VLM Çıkarım Benchmark Gezgini

Qwen3.5-4B, Jetson AGX Orin 32GB üzerinde — Q4_K_M, llama.cpp görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

ModelQwen3.5-4B
Parametre4.7B
CihazJetson AGX Orin 32GB
KuantizasyonQ4_K_M
Görüntü boyutu720p
Kamera başına görüntü1
Maks. kamera (TTFT ≤ 3000 ms)1
Inference Enginellama.cpp
KameraTTFT (ms)TPS (tok/s)Hedef
1221025.3≤3000 ms
2357420.7>3000 ms
4715013.1>3000 ms
81474013.0>3000 ms
İstek başına görüntüTTFT (ms)TPS (tok/s)Hedef
1221025.3≤3000 ms
3631225.1>3000 ms
51038525.0>3000 ms

Qwen3.5-4B (4,7B parametre), Q4_K_M biçiminde llama.cpp ile Jetson AGX Orin 32GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 2.210 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 25,3 tok/s hızla yazar.

Kamera başına 720p boyutunda 5 görüntüyle yanıt 10.385 ms sonra başlar. Tek bir 2K görüntüyle 12.483 ms sonra.

Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) yalnızca tek bir kameraya yetişir.