VLM Çıkarım Benchmark Gezgini

Cosmos-Reason2-8B, Jetson AGX Orin 32GB üzerinde — Q4_K_M, llama.cpp görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

ModelCosmos-Reason2-8B
Parametre8.8B
CihazJetson AGX Orin 32GB
KuantizasyonQ4_K_M
Görüntü boyutu720p
Kamera başına görüntü1
Maks. kamera (TTFT ≤ 3000 ms)>3000 ms
Inference Enginellama.cpp
KameraTTFT (ms)TPS (tok/s)Hedef
1400118.8>3000 ms
246357.6>3000 ms
476574.1>3000 ms
8229347.8>3000 ms
İstek başına görüntüTTFT (ms)TPS (tok/s)Hedef
1400118.8>3000 ms
31190718.2>3000 ms
51983617.8>3000 ms

Cosmos-Reason2-8B (8,8B parametre), Q4_K_M biçiminde llama.cpp ile Jetson AGX Orin 32GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 4.001 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 18,8 tok/s hızla yazar.

Kamera başına 720p boyutunda 5 görüntüyle yanıt 19.836 ms sonra başlar. Tek bir 2K görüntüyle 31.764 ms sonra.

Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) tek bir kamera bile zamanında yanıt almaz.