Qwen3-VL-30B-A3B-Instruct, DGX B300 (1 GPU) üzerinde — FP8, vLLM görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

Model	Qwen3-VL-30B-A3B-Instruct
Parametre	30B
Cihaz	DGX B300 (1 GPU)
Kuantizasyon	FP8
Görüntü boyutu	720p
Kamera başına görüntü	1
Maks. kamera (TTFT ≤ 3000 ms)	128
Inference Engine	vLLM

Kamera	TTFT (ms)	TPS (tok/s)	Hedef
1	83	298.0	≤3000 ms
2	125	247.5	≤3000 ms
4	200	221.0	≤3000 ms
8	289	192.8	≤3000 ms
16	562	139.6	≤3000 ms
32	594	74.3	≤3000 ms
64	2067	37.4	≤3000 ms
128	2772	44.7	≤3000 ms
256	5397	35.6	>3000 ms
384	8019	28.2	>3000 ms
416	—	—	Başarısız

İstek başına görüntü	TTFT (ms)	TPS (tok/s)	Hedef
1	83	298.0	≤3000 ms
2	177	295.4	≤3000 ms
4	200	289.9	≤3000 ms
8	329	279.4	≤3000 ms
16	694	262.7	≤3000 ms
32	1635	245.6	≤3000 ms
64	3509	221.2	>3000 ms
128	9232	188.5	>3000 ms
256	26497	142.7	>3000 ms
512	—	—	Başarısız

Qwen3-VL-30B-A3B-Instruct (30B parametre), FP8 biçiminde vLLM ile DGX B300 (1 GPU) üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 83 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 298 tok/s hızla yazar.

Kamera başına 720p boyutunda 256 görüntüyle yanıt 26.497 ms sonra başlar. Tek bir 2K görüntüyle 245 ms sonra.

Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 128 kameraya yetişir.