VLM Çıkarım Benchmark Gezgini

Gemma-4-E4B-it, Jetson AGX Orin 32GB üzerinde — Q4_0, llama.cpp görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

ModelGemma-4-E4B-it
Parametre8.0B
CihazJetson AGX Orin 32GB
KuantizasyonQ4_0
Görüntü boyutu720p
Kamera başına görüntü1
Maks. kamera (TTFT ≤ 3000 ms)2
Inference Enginellama.cpp
KameraTTFT (ms)TPS (tok/s)Hedef
1118326.2≤3000 ms
2178721.6≤3000 ms
4366118.7>3000 ms
8706512.4>3000 ms
İstek başına görüntüTTFT (ms)TPS (tok/s)Hedef
1118326.2≤3000 ms
3315025.8>3000 ms
5512725.7>3000 ms

Gemma-4-E4B-it (8,0B parametre), Q4_0 biçiminde llama.cpp ile Jetson AGX Orin 32GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 1.183 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 26,2 tok/s hızla yazar.

Kamera başına 720p boyutunda 5 görüntüyle yanıt 5.127 ms sonra başlar. Tek bir 2K görüntüyle 3.432 ms sonra.

Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 2 kameraya yetişir.