MiniCPM-V-4.6, DGX Spark üzerinde — BF16, vLLM görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

Model	MiniCPM-V-4.6
Parametre	1.3B
Cihaz	DGX Spark
Kuantizasyon	BF16
Görüntü boyutu	720p
Kamera başına görüntü	1
Maks. kamera (yanıt ≤ 3 sn)	32
Inference Engine	vLLM

Kamera	Yanıt (sn)	TPS (tok/s)	Hedef
1	0.19	114.3	≤3 sn
2	0.32	127.5	≤3 sn
4	0.50	120.3	≤3 sn
8	0.77	101.2	≤3 sn
16	1.33	80.0	≤3 sn
32	2.20	50.0	≤3 sn
64	3.75	27.2	>3 sn
128	5.51	12.9	>3 sn
256	9.24	6.8	>3 sn
384	21.5	5.5	>3 sn
416	—	—	Başarısız

İstek başına görüntü	Yanıt (sn)	TPS (tok/s)	Hedef
1	0.19	114.3	≤3 sn
2	0.33	114.2	≤3 sn
4	0.61	113.1	≤3 sn
8	1.19	112.1	≤3 sn
16	2.34	109.2	≤3 sn
32	4.80	104.4	>3 sn
64	9.67	96.1	>3 sn
128	19.9	83.2	>3 sn
256	—	—	Başarısız

MiniCPM-V-4.6 (1,3B parametre), BF16 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 0,19 sn sonra yanıt vermeye başlar, ardından 114,3 tok/s hızla yazar.

Kamera başına 720p boyutunda 128 görüntüyle yanıt 19,86 sn sonra başlar. Tek bir 2K görüntüyle 0,29 sn sonra.

Yanıtın 3 sn içinde başlaması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 32 kameraya yetişir.