VLM Çıkarım Benchmark Gezgini

Qwen3.6-35B-A3B, RTX PRO 6000 üzerinde — FP8, vLLM görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

ModelQwen3.6-35B-A3B
Parametre35B
CihazRTX PRO 6000
KuantizasyonFP8
Görüntü boyutu720p
Kamera başına görüntü1
Maks. kamera (TTFT ≤ 3000 ms)16+
Inference EnginevLLM
KameraTTFT (ms)TPS (tok/s)Hedef
1212220.8≤3000 ms
2307167.0≤3000 ms
4363125.8≤3000 ms
8499116.9≤3000 ms
1671698.4≤3000 ms
İstek başına görüntüTTFT (ms)TPS (tok/s)Hedef
1212220.8≤3000 ms
3389211.5≤3000 ms
5844220.1≤3000 ms

Qwen3.6-35B-A3B (35B parametre), FP8 biçiminde vLLM ile RTX PRO 6000 üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 212 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 220,8 tok/s hızla yazar.

Kamera başına 720p boyutunda 5 görüntüyle yanıt 844 ms sonra başlar. Tek bir 2K görüntüyle 586 ms sonra.

Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda en az 16 kameraya yetişir: ölçülen en yüksek kamera sayısında bile hedefi karşıladı, gerçek sınır daha yüksektir.