VLM Çıkarım Benchmark Gezgini

Gemma-4-26B-A4B-it, Jetson AGX Orin 32GB üzerinde — Q4_0, llama.cpp görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

ModelGemma-4-26B-A4B-it
Parametre26B
CihazJetson AGX Orin 32GB
KuantizasyonQ4_0
Görüntü boyutu720p
Kamera başına görüntü1
Maks. kamera (TTFT ≤ 3000 ms)>3000 ms
Inference Enginellama.cpp
KameraTTFT (ms)TPS (tok/s)Hedef
1358725.1>3000 ms
242609.4>3000 ms
496577.0>3000 ms
8239019.4>3000 ms
İstek başına görüntüTTFT (ms)TPS (tok/s)Hedef
1358725.1>3000 ms
31521924.4>3000 ms
52409723.9>3000 ms

Gemma-4-26B-A4B-it (26B parametre), Q4_0 biçiminde llama.cpp ile Jetson AGX Orin 32GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 3.587 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 25,1 tok/s hızla yazar.

Kamera başına 720p boyutunda 5 görüntüyle yanıt 24.097 ms sonra başlar. Tek bir 2K görüntüyle 15.438 ms sonra.

Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) tek bir kamera bile zamanında yanıt almaz.