VLM Inference Benchmark Explorer

Gemma-4-26B-A4B-it op Jetson AGX Orin 32GB — Q4_0, llama.cpp vision-language-inferentiebenchmark

Deze configuratie openen in de VLM Inference Benchmark Explorer

ModelGemma-4-26B-A4B-it
Parameters26B
ApparaatJetson AGX Orin 32GB
KwantisatieQ4_0
Beeldformaat720p
Beelden per camera1
Max. camera's (TTFT ≤ 3000 ms)>3000 ms
Enginellama.cpp
Camera'sTTFT (ms)TPS (tok/s)Doel
1358725.1>3000 ms
242609.4>3000 ms
496577.0>3000 ms
8239019.4>3000 ms
Beelden per verzoekTTFT (ms)TPS (tok/s)Doel
1358725.1>3000 ms
31521924.4>3000 ms
52409723.9>3000 ms

Gemma-4-26B-A4B-it (26B parameters), geserveerd in Q4_0-formaat met llama.cpp op Jetson AGX Orin 32GB, begint één camera die één 720p-beeld stuurt na 3,587 ms (time to first token, TTFT) te antwoorden en schrijft daarna 25.1 tok/s.

Met 5 beelden per camera op 720p begint het antwoord na 24,097 ms. Met één beeld op 2K na 15,438 ms.

Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) krijgt zelfs één camera niet op tijd antwoord.