Qwen3-VL-30B-A3B-Instruct, RTX PRO 6000 üzerinde — FP8, vLLM görüntü-dil çıkarım benchmark'ı
Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın
| Model | Qwen3-VL-30B-A3B-Instruct |
|---|---|
| Parametre | 30B |
| Cihaz | RTX PRO 6000 |
| Kuantizasyon | FP8 |
| Görüntü boyutu | 720p |
| Kamera başına görüntü | 1 |
| Maks. kamera (TTFT ≤ 3000 ms) | 16+ |
| Inference Engine | vLLM |
| Kamera | TTFT (ms) | TPS (tok/s) | Hedef |
|---|---|---|---|
| 1 | 161 | 194.4 | ≤3000 ms |
| 2 | 257 | 153.3 | ≤3000 ms |
| 4 | 324 | 127.4 | ≤3000 ms |
| 8 | 425 | 100.6 | ≤3000 ms |
| 16 | 550 | 82.3 | ≤3000 ms |
| İstek başına görüntü | TTFT (ms) | TPS (tok/s) | Hedef |
|---|---|---|---|
| 1 | 161 | 194.4 | ≤3000 ms |
| 3 | 373 | 186.1 | ≤3000 ms |
| 5 | 1041 | 182.7 | ≤3000 ms |
Qwen3-VL-30B-A3B-Instruct (30B parametre), FP8 biçiminde vLLM ile RTX PRO 6000 üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 161 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 194,4 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 1.041 ms sonra başlar. Tek bir 2K görüntüyle 581 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda en az 16 kameraya yetişir: ölçülen en yüksek kamera sayısında bile hedefi karşıladı, gerçek sınır daha yüksektir.
Qwen3-VL-30B-A3B-Instruct (30B parametre), FP8 biçiminde vLLM ile RTX PRO 6000 üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 161 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 194,4 tok/s hızla yazar.
Kamera başına 720p boyutunda 5 görüntüyle yanıt 1.041 ms sonra başlar. Tek bir 2K görüntüyle 581 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda en az 16 kameraya yetişir: ölçülen en yüksek kamera sayısında bile hedefi karşıladı, gerçek sınır daha yüksektir.