Qwen3.6-35B-A3B, DGX Spark üzerinde — NVFP4, vLLM görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

Model	Qwen3.6-35B-A3B
Parametre	35B
Cihaz	DGX Spark
Kuantizasyon	NVFP4
Görüntü boyutu	720p
Kamera başına görüntü	1
Maks. kamera (yanıt ≤ 3 sn)	16
Inference Engine	vLLM

Kamera	Yanıt (sn)	TPS (tok/s)	Hedef
1	0.30	78.2	≤3 sn
2	0.51	60.5	≤3 sn
4	0.90	47.3	≤3 sn
8	1.52	33.3	≤3 sn
16	2.45	20.5	≤3 sn
32	3.53	12.2	>3 sn
64	5.37	6.7	>3 sn
96	7.67	4.7	>3 sn
112	8.76	4.1	>3 sn
120	9.41	3.9	>3 sn
128	—	—	Başarısız

İstek başına görüntü	Yanıt (sn)	TPS (tok/s)	Hedef
1	0.30	78.2	≤3 sn
2	0.52	77.7	≤3 sn
4	1.03	76.7	≤3 sn
8	2.04	75.0	≤3 sn
16	4.14	71.8	>3 sn
32	8.70	66.0	>3 sn
64	19.1	56.5	>3 sn
128	47.4	44.4	>3 sn
256	128.0	31.2	>3 sn
512	—	—	Başarısız

Qwen3.6-35B-A3B (35B parametre), NVFP4 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 0,3 sn sonra yanıt vermeye başlar, ardından 78,2 tok/s hızla yazar.

Kamera başına 720p boyutunda 256 görüntüyle yanıt 127,97 sn sonra başlar. Tek bir 2K görüntüyle 1,34 sn sonra.

Yanıtın 3 sn içinde başlaması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 16 kameraya yetişir.