VLM Çıkarım Benchmark Gezgini

Nemotron-Nano-12B-v2-VL, Jetson AGX Thor üzerinde — BF16, vLLM görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

Model	Nemotron-Nano-12B-v2-VL
Parametre	13B
Cihaz	Jetson AGX Thor
Kuantizasyon	BF16
Görüntü boyutu	720p
Kamera başına görüntü	1
Maks. kamera (yanıt ≤ 3 sn)	16
Inference Engine	vLLM

Kamera	Yanıt (sn)	TPS (tok/s)	Hedef
1	0.58	10.2	≤3 sn
2	0.68	9.8	≤3 sn
4	0.81	9.6	≤3 sn
8	1.31	8.5	≤3 sn
12	2.08	7.4	≤3 sn
16	2.49	6.8	≤3 sn
32	4.17	5.2	>3 sn
64	7.35	3.6	>3 sn
80	9.10	3.0	>3 sn
88	10.1	2.8	>3 sn
96	—	—	Başarısız

İstek başına görüntü	Yanıt (sn)	TPS (tok/s)	Hedef
1	0.58	10.2	≤3 sn
2	1.00	10.1	≤3 sn
4	1.63	10.3	≤3 sn
8	3.15	11.5	>3 sn
16	6.03	9.9	>3 sn
32	12.1	10.7	>3 sn
64	26.2	10.2	>3 sn
128	59.1	12.0	>3 sn
256	—	—	Başarısız

Nemotron-Nano-12B-v2-VL (13B parametre), BF16 biçiminde vLLM ile Jetson AGX Thor üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 0,58 sn sonra yanıt vermeye başlar, ardından 10,2 tok/s hızla yazar.

Kamera başına 720p boyutunda 128 görüntüyle yanıt 59,14 sn sonra başlar. Tek bir 2K görüntüyle 1,36 sn sonra.

Yanıtın 3 sn içinde başlaması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 16 kameraya yetişir.