VLM Çıkarım Benchmark Gezgini

Cosmos3-Edge, Jetson AGX Orin 32GB üzerinde — BF16, vLLM görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

ModelCosmos3-Edge
Parametre3.9B
CihazJetson AGX Orin 32GB
KuantizasyonBF16
Görüntü boyutu720p
Kamera başına görüntü1
Maks. kamera (TTFT ≤ 3000 ms)8+
Inference EnginevLLM
KameraTTFT (ms)TPS (tok/s)Hedef
168442.6≤3000 ms
280235.6≤3000 ms
4160232.0≤3000 ms
8288726.2≤3000 ms
İstek başına görüntüTTFT (ms)TPS (tok/s)Hedef
168442.6≤3000 ms
3175540.5≤3000 ms
5295638.5≤3000 ms

Cosmos3-Edge (3,9B parametre), BF16 biçiminde vLLM ile Jetson AGX Orin 32GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 684 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 42,6 tok/s hızla yazar.

Kamera başına 720p boyutunda 5 görüntüyle yanıt 2.956 ms sonra başlar. Tek bir 2K görüntüyle 3.951 ms sonra.

Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda en az 8 kameraya yetişir: ölçülen en yüksek kamera sayısında bile hedefi karşıladı, gerçek sınır daha yüksektir.