VLM Çıkarım Benchmark Gezgini

Gemma-4-E2B-it, Jetson Orin NX 16GB üzerinde — Q4_0, llama.cpp görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

ModelGemma-4-E2B-it
Parametre5.1B
CihazJetson Orin NX 16GB
KuantizasyonQ4_0
Görüntü boyutu720p
Kamera başına görüntü1
Maks. kamera (TTFT ≤ 3000 ms)2
Inference Enginellama.cpp
KameraTTFT (ms)TPS (tok/s)Hedef
1137929.8≤3000 ms
2224928.4≤3000 ms
4417320.8>3000 ms
İstek başına görüntüTTFT (ms)TPS (tok/s)Hedef
1137929.8≤3000 ms
3385229.2>3000 ms
5630629.1>3000 ms

Gemma-4-E2B-it (5,1B parametre), Q4_0 biçiminde llama.cpp ile Jetson Orin NX 16GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 1.379 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 29,8 tok/s hızla yazar.

Kamera başına 720p boyutunda 5 görüntüyle yanıt 6.306 ms sonra başlar. Tek bir 1080p görüntüyle 3.430 ms sonra.

Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 2 kameraya yetişir.