VLM Çıkarım Benchmark Gezgini

Gemma-4-31B-it, RTX PRO 6000 üzerinde — NVFP4, vLLM görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

ModelGemma-4-31B-it
Parametre31B
CihazRTX PRO 6000
KuantizasyonNVFP4
Görüntü boyutu720p
Kamera başına görüntü1
Maks. kamera (TTFT ≤ 3000 ms)16+
Inference EnginevLLM
KameraTTFT (ms)TPS (tok/s)Hedef
127145.1≤3000 ms
221843.2≤3000 ms
428040.5≤3000 ms
840038.2≤3000 ms
1667035.6≤3000 ms
İstek başına görüntüTTFT (ms)TPS (tok/s)Hedef
127145.1≤3000 ms
334944.5≤3000 ms
557944.4≤3000 ms

Gemma-4-31B-it (31B parametre), NVFP4 biçiminde vLLM ile RTX PRO 6000 üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 271 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 45,1 tok/s hızla yazar.

Kamera başına 720p boyutunda 5 görüntüyle yanıt 579 ms sonra başlar. Tek bir 2K görüntüyle 305 ms sonra.

Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda en az 16 kameraya yetişir: ölçülen en yüksek kamera sayısında bile hedefi karşıladı, gerçek sınır daha yüksektir.