VLM Çıkarım Benchmark Gezgini

Qwen3-VL-8B-Instruct, DGX Spark üzerinde — BF16, vLLM görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

Model	Qwen3-VL-8B-Instruct
Parametre	8.8B
Cihaz	DGX Spark
Kuantizasyon	BF16
Görüntü boyutu	720p
Kamera başına görüntü	1
Maks. kamera (yanıt ≤ 3 sn)	16
Inference Engine	vLLM

Kamera	Yanıt (sn)	TPS (tok/s)	Hedef
1	0.36	14.4	≤3 sn
2	0.57	14.9	≤3 sn
4	1.03	14.4	≤3 sn
8	1.66	13.2	≤3 sn
16	2.60	10.9	≤3 sn
32	3.94	7.8	>3 sn
64	6.72	5.0	>3 sn
80	8.03	4.1	>3 sn
88	8.91	3.8	>3 sn
96	—	—	Başarısız

İstek başına görüntü	Yanıt (sn)	TPS (tok/s)	Hedef
1	0.36	14.4	≤3 sn
2	0.71	14.3	≤3 sn
4	1.35	14.1	≤3 sn
8	2.73	13.6	≤3 sn
16	5.84	12.9	>3 sn
32	13.4	11.6	>3 sn
64	33.3	9.4	>3 sn
128	96.1	7.1	>3 sn
256	311.6	4.8	>3 sn
512	—	—	Başarısız

Qwen3-VL-8B-Instruct (8,8B parametre), BF16 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 0,36 sn sonra yanıt vermeye başlar, ardından 14,4 tok/s hızla yazar.

Kamera başına 720p boyutunda 256 görüntüyle yanıt 311,58 sn sonra başlar. Tek bir 2K görüntüyle 1,68 sn sonra.

Yanıtın 3 sn içinde başlaması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 16 kameraya yetişir.