LFM2.5-VL-3B, Jetson Orin NX 16GB üzerinde — Q8_0, llama.cpp görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

Model	LFM2.5-VL-3B
Parametre	3.1B
Cihaz	Jetson Orin NX 16GB
Kuantizasyon	Q8_0
Görüntü boyutu	720p
Kamera başına görüntü	1
Maks. kamera (yanıt ≤ 3 sn)	2
Inference Engine	llama.cpp

Kamera	Yanıt (sn)	TPS (tok/s)	Hedef
1	2.35	20.7	≤3 sn
2	2.79	15.2	≤3 sn
4	12.2	15.4	>3 sn
8	29.3	15.4	>3 sn

İstek başına görüntü	Yanıt (sn)	TPS (tok/s)	Hedef
1	2.35	20.7	≤3 sn
2	4.61	20.6	>3 sn
4	9.20	20.3	>3 sn
8	18.4	19.9	>3 sn
16	37.3	19.0	>3 sn
32	76.2	20.4	>3 sn

LFM2.5-VL-3B (3,1B parametre), Q8_0 biçiminde llama.cpp ile Jetson Orin NX 16GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 2,35 sn sonra yanıt vermeye başlar, ardından 20,7 tok/s hızla yazar.

Kamera başına 720p boyutunda 32 görüntüyle yanıt 76,15 sn sonra başlar. Tek bir 2K görüntüyle 6,95 sn sonra.

Yanıtın 3 sn içinde başlaması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 2 kameraya yetişir.