VLM Çıkarım Benchmark Gezgini

Gemma-4-E4B-it, Jetson Orin NX 16GB üzerinde — Q4_0, llama.cpp görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

ModelGemma-4-E4B-it
Parametre8.0B
CihazJetson Orin NX 16GB
KuantizasyonQ4_0
Görüntü boyutu720p
Kamera başına görüntü1
Maks. kamera (TTFT ≤ 3000 ms)1
Inference Enginellama.cpp
KameraTTFT (ms)TPS (tok/s)Hedef
1185617.2≤3000 ms
2306012.3>3000 ms
4603212.8>3000 ms
İstek başına görüntüTTFT (ms)TPS (tok/s)Hedef
1185617.2≤3000 ms
3507516.9>3000 ms
5831516.8>3000 ms

Gemma-4-E4B-it (8,0B parametre), Q4_0 biçiminde llama.cpp ile Jetson Orin NX 16GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 1.856 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 17,2 tok/s hızla yazar.

Kamera başına 720p boyutunda 5 görüntüyle yanıt 8.315 ms sonra başlar. Tek bir 1080p görüntüyle 4.451 ms sonra.

Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) yalnızca tek bir kameraya yetişir.