Qwen3-VL-30B-A3B-Instruct op DGX B300 (1 GPU) — FP8, vLLM vision-language-inferentiebenchmark

Deze configuratie openen in de VLM Inference Benchmark Explorer

Model	Qwen3-VL-30B-A3B-Instruct
Parameters	30B
Apparaat	DGX B300 (1 GPU)
Kwantisatie	FP8
Beeldformaat	720p
Beelden per camera	1
Max. camera's (TTFT ≤ 3000 ms)	128
Engine	vLLM

Camera's	TTFT (ms)	TPS (tok/s)	Doel
1	83	298.0	≤3000 ms
2	125	247.5	≤3000 ms
4	200	221.0	≤3000 ms
8	289	192.8	≤3000 ms
16	562	139.6	≤3000 ms
32	594	74.3	≤3000 ms
64	2067	37.4	≤3000 ms
128	2772	44.7	≤3000 ms
256	5397	35.6	>3000 ms
384	8019	28.2	>3000 ms
416	—	—	Mislukt

Beelden per verzoek	TTFT (ms)	TPS (tok/s)	Doel
1	83	298.0	≤3000 ms
2	177	295.4	≤3000 ms
4	200	289.9	≤3000 ms
8	329	279.4	≤3000 ms
16	694	262.7	≤3000 ms
32	1635	245.6	≤3000 ms
64	3509	221.2	>3000 ms
128	9232	188.5	>3000 ms
256	26497	142.7	>3000 ms
512	—	—	Mislukt

Qwen3-VL-30B-A3B-Instruct (30B parameters), geserveerd in FP8-formaat met vLLM op DGX B300 (1 GPU), begint één camera die één 720p-beeld stuurt na 83 ms (time to first token, TTFT) te antwoorden en schrijft daarna 298 tok/s.

Met 256 beelden per camera op 720p begint het antwoord na 26,497 ms. Met één beeld op 2K na 245 ms.

Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 128 camera's tegelijk bij.