Qwen3.6-35B-A3B, DGX Spark üzerinde — FP8, vLLM görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

Model	Qwen3.6-35B-A3B
Parametre	35B
Cihaz	DGX Spark
Kuantizasyon	FP8
Görüntü boyutu	720p
Kamera başına görüntü	1
Maks. kamera (yanıt ≤ 3 sn)	16
Inference Engine	vLLM

Kamera	Yanıt (sn)	TPS (tok/s)	Hedef
1	0.40	51.0	≤3 sn
2	0.69	40.4	≤3 sn
4	1.15	29.1	≤3 sn
8	1.83	19.7	≤3 sn
16	2.63	12.7	≤3 sn
32	3.89	7.9	>3 sn
64	6.37	4.9	>3 sn
96	8.59	3.6	>3 sn
104	9.32	3.4	>3 sn
112	—	—	Başarısız

İstek başına görüntü	Yanıt (sn)	TPS (tok/s)	Hedef
1	0.40	51.0	≤3 sn
2	0.62	50.8	≤3 sn
4	1.23	50.4	≤3 sn
8	2.46	49.6	≤3 sn
16	4.85	48.2	>3 sn
32	10.1	45.5	>3 sn
64	22.1	40.7	>3 sn
128	53.2	34.0	>3 sn
256	139.9	25.6	>3 sn
512	—	—	Başarısız

Qwen3.6-35B-A3B (35B parametre), FP8 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 0,4 sn sonra yanıt vermeye başlar, ardından 51 tok/s hızla yazar.

Kamera başına 720p boyutunda 256 görüntüyle yanıt 139,86 sn sonra başlar. Tek bir 2K görüntüyle 1,56 sn sonra.

Yanıtın 3 sn içinde başlaması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 16 kameraya yetişir.