VLM Çıkarım Benchmark Gezgini

Qwen3-VL-8B-Instruct, RTX PRO 6000 üzerinde — Q8_0, llama.cpp görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

ModelQwen3-VL-8B-Instruct
Parametre8.8B
CihazRTX PRO 6000
KuantizasyonQ8_0
Görüntü boyutu720p
Kamera başına görüntü1
Maks. kamera (TTFT ≤ 3000 ms)16+
Inference Enginellama.cpp
KameraTTFT (ms)TPS (tok/s)Hedef
1329153.8≤3000 ms
2391101.8≤3000 ms
461162.0≤3000 ms
8129475.2≤3000 ms
16203256.3≤3000 ms
İstek başına görüntüTTFT (ms)TPS (tok/s)Hedef
1329153.8≤3000 ms
3725151.5≤3000 ms
51037146.1≤3000 ms

Qwen3-VL-8B-Instruct (8,8B parametre), Q8_0 biçiminde llama.cpp ile RTX PRO 6000 üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 329 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 153,8 tok/s hızla yazar.

Kamera başına 720p boyutunda 5 görüntüyle yanıt 1.037 ms sonra başlar. Tek bir 2K görüntüyle 1.788 ms sonra.

Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda en az 16 kameraya yetişir: ölçülen en yüksek kamera sayısında bile hedefi karşıladı, gerçek sınır daha yüksektir.