VLM Çıkarım Benchmark Gezgini

Qwen3-VL-8B-Instruct, Jetson AGX Orin 32GB üzerinde — Q8_0, llama.cpp görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

ModelQwen3-VL-8B-Instruct
Parametre8.8B
CihazJetson AGX Orin 32GB
KuantizasyonQ8_0
Görüntü boyutu720p
Kamera başına görüntü1
Maks. kamera (TTFT ≤ 3000 ms)>3000 ms
Inference Enginellama.cpp
KameraTTFT (ms)TPS (tok/s)Hedef
1386817.0>3000 ms
2583912.8>3000 ms
4122059.6>3000 ms
8212876.2>3000 ms
İstek başına görüntüTTFT (ms)TPS (tok/s)Hedef
1386817.0>3000 ms
31151216.6>3000 ms
51920416.2>3000 ms

Qwen3-VL-8B-Instruct (8,8B parametre), Q8_0 biçiminde llama.cpp ile Jetson AGX Orin 32GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 3.868 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 17 tok/s hızla yazar.

Kamera başına 720p boyutunda 5 görüntüyle yanıt 19.204 ms sonra başlar. Tek bir 2K görüntüyle 31.317 ms sonra.

Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) tek bir kamera bile zamanında yanıt almaz.