Qwen3.5-2B, DGX Spark üzerinde — BF16, vLLM görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

Model	Qwen3.5-2B
Parametre	2.3B
Cihaz	DGX Spark
Kuantizasyon	BF16
Görüntü boyutu	720p
Kamera başına görüntü	1
Maks. kamera (yanıt ≤ 3 sn)	64
Inference Engine	vLLM

Kamera	Yanıt (sn)	TPS (tok/s)	Hedef
1	0.15	44.8	≤3 sn
2	0.21	55.1	≤3 sn
4	0.33	52.3	≤3 sn
8	0.60	47.5	≤3 sn
16	1.02	38.7	≤3 sn
32	1.48	26.3	≤3 sn
64	2.45	16.3	≤3 sn
128	4.66	9.2	>3 sn
192	6.97	6.5	>3 sn
224	8.51	5.8	>3 sn
240	8.91	5.4	>3 sn
256	—	—	Başarısız

İstek başına görüntü	Yanıt (sn)	TPS (tok/s)	Hedef
1	0.15	44.8	≤3 sn
2	0.26	44.7	≤3 sn
4	0.51	44.5	≤3 sn
8	1.00	44.1	≤3 sn
16	2.03	43.6	≤3 sn
32	4.17	42.3	>3 sn
64	8.93	39.8	>3 sn
128	20.2	36.2	>3 sn
256	—	—	Başarısız

Qwen3.5-2B (2,3B parametre), BF16 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 0,15 sn sonra yanıt vermeye başlar, ardından 44,8 tok/s hızla yazar.

Kamera başına 720p boyutunda 128 görüntüyle yanıt 20,23 sn sonra başlar. Tek bir 2K görüntüyle 0,69 sn sonra.

Yanıtın 3 sn içinde başlaması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 64 kameraya yetişir.