Qwen3.5-0.8B, Jetson Orin NX 16GB üzerinde — Q8_0, llama.cpp görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

Model	Qwen3.5-0.8B
Parametre	0.9B
Cihaz	Jetson Orin NX 16GB
Kuantizasyon	Q8_0
Görüntü boyutu	720p
Kamera başına görüntü	1
Maks. kamera (yanıt ≤ 3 sn)	2
Inference Engine	llama.cpp

Kamera	Yanıt (sn)	TPS (tok/s)	Hedef
1	0.97	43.2	≤3 sn
2	1.50	44.3	≤3 sn
4	5.91	50.0	>3 sn
8	12.9	50.1	>3 sn

İstek başına görüntü	Yanıt (sn)	TPS (tok/s)	Hedef
1	0.97	43.2	≤3 sn
2	1.90	42.7	≤3 sn
4	3.72	41.8	>3 sn
8	7.43	39.7	>3 sn
16	15.2	36.7	>3 sn
32	31.8	31.8	>3 sn

Qwen3.5-0.8B (0,9B parametre), Q8_0 biçiminde llama.cpp ile Jetson Orin NX 16GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 0,97 sn sonra yanıt vermeye başlar, ardından 43,2 tok/s hızla yazar.

Kamera başına 720p boyutunda 32 görüntüyle yanıt 31,75 sn sonra başlar. Tek bir 2K görüntüyle 6,5 sn sonra.

Yanıtın 3 sn içinde başlaması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 2 kameraya yetişir.