VLM Çıkarım Benchmark Gezgini

Llama-3.1-Nemotron-Nano-VL-8B, RTX PRO 6000 üzerinde — BF16, vLLM görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

ModelLlama-3.1-Nemotron-Nano-VL-8B
Parametre8.7B
CihazRTX PRO 6000
KuantizasyonBF16
Görüntü boyutu720p
Kamera başına görüntü1
Maks. kamera (TTFT ≤ 3000 ms)16+
Inference EnginevLLM
KameraTTFT (ms)TPS (tok/s)Hedef
129294.9≤3000 ms
232584.6≤3000 ms
443173.2≤3000 ms
873559.4≤3000 ms
16127346.5≤3000 ms
İstek başına görüntüTTFT (ms)TPS (tok/s)Hedef
129294.9≤3000 ms
393787.8≤3000 ms
5178689.1≤3000 ms

Llama-3.1-Nemotron-Nano-VL-8B (8,7B parametre), BF16 biçiminde vLLM ile RTX PRO 6000 üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 292 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 94,9 tok/s hızla yazar.

Kamera başına 720p boyutunda 5 görüntüyle yanıt 1.786 ms sonra başlar. Tek bir 2K görüntüyle 486 ms sonra.

Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda en az 16 kameraya yetişir: ölçülen en yüksek kamera sayısında bile hedefi karşıladı, gerçek sınır daha yüksektir.