VLM Çıkarım Benchmark Gezgini

Qwen3-VL-8B-Instruct, Jetson Orin NX 16GB üzerinde — Q4_K_M, llama.cpp görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

ModelQwen3-VL-8B-Instruct
Parametre8.8B
CihazJetson Orin NX 16GB
KuantizasyonQ4_K_M
Görüntü boyutu720p
Kamera başına görüntü1
Maks. kamera (TTFT ≤ 3000 ms)>3000 ms
Inference Enginellama.cpp
KameraTTFT (ms)TPS (tok/s)Hedef
1691611.4>3000 ms
2103274.9>3000 ms
4222248.6>3000 ms
İstek başına görüntüTTFT (ms)TPS (tok/s)Hedef
1691611.4>3000 ms
32061211.0>3000 ms
53443110.7>3000 ms

Qwen3-VL-8B-Instruct (8,8B parametre), Q4_K_M biçiminde llama.cpp ile Jetson Orin NX 16GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 6.916 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 11,4 tok/s hızla yazar.

Kamera başına 720p boyutunda 5 görüntüyle yanıt 34.431 ms sonra başlar. Tek bir 1080p görüntüyle 21.785 ms sonra.

Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) tek bir kamera bile zamanında yanıt almaz.