VLM Çıkarım Benchmark Gezgini

Cosmos-Reason2-2B, Jetson AGX Orin 32GB üzerinde — Q8_0, llama.cpp görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

ModelCosmos-Reason2-2B
Parametre2.4B
CihazJetson AGX Orin 32GB
KuantizasyonQ8_0
Görüntü boyutu720p
Kamera başına görüntü1
Maks. kamera (TTFT ≤ 3000 ms)2
Inference Enginellama.cpp
KameraTTFT (ms)TPS (tok/s)Hedef
1134844.4≤3000 ms
2182725.8≤3000 ms
4302417.0>3000 ms
8859621.1>3000 ms
İstek başına görüntüTTFT (ms)TPS (tok/s)Hedef
1134844.4≤3000 ms
3377843.8>3000 ms
5626141.5>3000 ms

Cosmos-Reason2-2B (2,4B parametre), Q8_0 biçiminde llama.cpp ile Jetson AGX Orin 32GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 1.348 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 44,4 tok/s hızla yazar.

Kamera başına 720p boyutunda 5 görüntüyle yanıt 6.261 ms sonra başlar. Tek bir 2K görüntüyle 9.690 ms sonra.

Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 2 kameraya yetişir.