VLM Çıkarım Benchmark Gezgini

Cosmos-Reason2-2B, Jetson Orin NX 16GB üzerinde — Q8_0, llama.cpp görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

ModelCosmos-Reason2-2B
Parametre2.4B
CihazJetson Orin NX 16GB
KuantizasyonQ8_0
Görüntü boyutu720p
Kamera başına görüntü1
Maks. kamera (TTFT ≤ 3000 ms)2
Inference Enginellama.cpp
KameraTTFT (ms)TPS (tok/s)Hedef
1202030.4≤3000 ms
2234319.4≤3000 ms
4473814.8>3000 ms
İstek başına görüntüTTFT (ms)TPS (tok/s)Hedef
1202030.4≤3000 ms
3595128.5>3000 ms
5993526.9>3000 ms

Cosmos-Reason2-2B (2,4B parametre), Q8_0 biçiminde llama.cpp ile Jetson Orin NX 16GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 2.020 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 30,4 tok/s hızla yazar.

Kamera başına 720p boyutunda 5 görüntüyle yanıt 9.935 ms sonra başlar. Tek bir 1080p görüntüyle 5.448 ms sonra.

Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 2 kameraya yetişir.