VLM Inference Benchmark Explorer

Alpamayo2-Super op Jetson AGX Thor — BF16, vLLM vision-language-inferentiebenchmark

Deze configuratie openen in de VLM Inference Benchmark Explorer

ModelAlpamayo2-Super
Parameters34.3B
ApparaatJetson AGX Thor
KwantisatieBF16
Beeldformaat720p
Beelden per camera1
Max. camera's (TTFT ≤ 3000 ms)16
EnginevLLM
Camera'sTTFT (ms)TPS (tok/s)Doel
17804.6≤3000 ms
210614.8≤3000 ms
411644.6≤3000 ms
815344.4≤3000 ms
1621543.9≤3000 ms
3232542.9>3000 ms
6454231.7>3000 ms
128141521.5>3000 ms
160183841.3>3000 ms
176207111.4>3000 ms
192——Mislukt
Beelden per verzoekTTFT (ms)TPS (tok/s)Doel
17804.6≤3000 ms
28334.6≤3000 ms
410644.8≤3000 ms
817115.2≤3000 ms
1633645.7>3000 ms
326442217.8>3000 ms
6414952212.3>3000 ms
128353656.7>3000 ms
2561356643.7>3000 ms
512——Mislukt

Alpamayo2-Super (34.3B parameters), geserveerd in BF16-formaat met vLLM op Jetson AGX Thor, begint één camera die één 720p-beeld stuurt na 780 ms (time to first token, TTFT) te antwoorden en schrijft daarna 4.6 tok/s.

Met 256 beelden per camera op 720p begint het antwoord na 135,664 ms. Met één beeld op 2K na 838 ms.

Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 16 camera's tegelijk bij.