VLM Çıkarım Benchmark Gezgini

Qwen3-VL-4B-Instruct, Jetson AGX Orin 32GB üzerinde — Q8_0, llama.cpp görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

ModelQwen3-VL-4B-Instruct
Parametre4.4B
CihazJetson AGX Orin 32GB
KuantizasyonQ8_0
Görüntü boyutu720p
Kamera başına görüntü1
Maks. kamera (TTFT ≤ 3000 ms)2
Inference Enginellama.cpp
KameraTTFT (ms)TPS (tok/s)Hedef
1183223.2≤3000 ms
2270420.2≤3000 ms
4558414.3>3000 ms
81183912.4>3000 ms
İstek başına görüntüTTFT (ms)TPS (tok/s)Hedef
1183223.2≤3000 ms
3533822.5>3000 ms
5888821.8>3000 ms

Qwen3-VL-4B-Instruct (4,4B parametre), Q8_0 biçiminde llama.cpp ile Jetson AGX Orin 32GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 1.832 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 23,2 tok/s hızla yazar.

Kamera başına 720p boyutunda 5 görüntüyle yanıt 8.888 ms sonra başlar. Tek bir 2K görüntüyle 11.276 ms sonra.

Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 2 kameraya yetişir.