LensVLM-9B, DGX Spark üzerinde — BF16, vLLM görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

Model	LensVLM-9B
Parametre	9.4B
Cihaz	DGX Spark
Kuantizasyon	BF16
Görüntü boyutu	720p
Kamera başına görüntü	1
Maks. kamera (yanıt ≤ 3 sn)	16
Inference Engine	vLLM

Kamera	Yanıt (sn)	TPS (tok/s)	Hedef
1	0.37	13.0	≤3 sn
2	0.46	13.7	≤3 sn
4	0.51	12.8	≤3 sn
8	0.87	11.8	≤3 sn
16	1.77	9.9	≤3 sn
32	3.33	7.2	>3 sn
64	6.42	4.8	>3 sn
80	8.28	4.0	>3 sn
88	—	—	Başarısız

İstek başına görüntü	Yanıt (sn)	TPS (tok/s)	Hedef
1	0.37	13.0	≤3 sn
2	0.66	12.9	≤3 sn
4	1.25	13.1	≤3 sn
8	2.49	13.0	≤3 sn
16	5.04	12.6	>3 sn
32	10.4	12.5	>3 sn
64	22.2	11.8	>3 sn
128	50.7	11.0	>3 sn
256	—	—	Başarısız

LensVLM-9B (9,4B parametre), BF16 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 0,37 sn sonra yanıt vermeye başlar, ardından 13 tok/s hızla yazar.

Kamera başına 720p boyutunda 128 görüntüyle yanıt 50,71 sn sonra başlar. Tek bir 2K görüntüyle 0,66 sn sonra.

Yanıtın 3 sn içinde başlaması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 16 kameraya yetişir.