VLM Inference Benchmark Explorer

Alpamayo2-Edge op Jetson AGX Thor — BF16, vLLM vision-language-inferentiebenchmark

Deze configuratie openen in de VLM Inference Benchmark Explorer

ModelAlpamayo2-Edge
Parameters2.7B
ApparaatJetson AGX Thor
KwantisatieBF16
Beeldformaat720p
Beelden per camera1
Max. camera's (TTFT ≤ 3000 ms)128
EnginevLLM
Camera'sTTFT (ms)TPS (tok/s)Doel
1136101.2≤3000 ms
214995.3≤3000 ms
416274.6≤3000 ms
8212138.8≤3000 ms
1635548.4≤3000 ms
3255132.4≤3000 ms
6494836.5≤3000 ms
128189517.0≤3000 ms
256424816.1>3000 ms
512864718.7>3000 ms
10241790214.4>3000 ms
12802100312.3>3000 ms
14082363511.6>3000 ms
1536——Mislukt
Beelden per verzoekTTFT (ms)TPS (tok/s)Doel
1136101.2≤3000 ms
2185728.8≤3000 ms
4247297.8≤3000 ms
841072.5≤3000 ms
1679269.1≤3000 ms
32148558.5≤3000 ms
64330751.2>3000 ms
128720045.8>3000 ms
2561716835.0>3000 ms
51246217148.7>3000 ms
1024——Mislukt

Alpamayo2-Edge (2.7B parameters), geserveerd in BF16-formaat met vLLM op Jetson AGX Thor, begint één camera die één 720p-beeld stuurt na 136 ms (time to first token, TTFT) te antwoorden en schrijft daarna 101.2 tok/s.

Met 512 beelden per camera op 720p begint het antwoord na 46,217 ms. Met één beeld op 2K na 229 ms.

Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 128 camera's tegelijk bij.