Llama-3.1-Nemotron-Nano-VL-8B, DGX Spark üzerinde — BF16, vLLM görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

Model	Llama-3.1-Nemotron-Nano-VL-8B
Parametre	8.7B
Cihaz	DGX Spark
Kuantizasyon	BF16
Görüntü boyutu	720p
Kamera başına görüntü	1
Maks. kamera (yanıt ≤ 3 sn)	8
Inference Engine	vLLM

Kamera	Yanıt (sn)	TPS (tok/s)	Hedef
1	0.89	14.2	≤3 sn
2	1.04	13.6	≤3 sn
4	1.44	12.0	≤3 sn
8	2.17	9.6	≤3 sn
16	4.43	7.2	>3 sn
32	8.30	4.2	>3 sn
64	—	—	Başarısız

İstek başına görüntü	Yanıt (sn)	TPS (tok/s)	Hedef
1	0.89	14.2	≤3 sn
2	1.73	14.0	≤3 sn
4	3.58	13.6	>3 sn
8	7.80	12.6	>3 sn
16	18.3	11.3	>3 sn
32	47.6	9.2	>3 sn
64	—	—	Başarısız

Llama-3.1-Nemotron-Nano-VL-8B (8,7B parametre), BF16 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 0,89 sn sonra yanıt vermeye başlar, ardından 14,2 tok/s hızla yazar.

Kamera başına 720p boyutunda 32 görüntüyle yanıt 47,61 sn sonra başlar. Tek bir 2K görüntüyle 0,92 sn sonra.

Yanıtın 3 sn içinde başlaması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 8 kameraya yetişir.