VLM Inference Benchmark Explorer
Alpamayo2-Super op Jetson AGX Thor — BF16, vLLM vision-language-inferentiebenchmark
Deze configuratie openen in de VLM Inference Benchmark Explorer
| Model | Alpamayo2-Super |
|---|---|
| Parameters | 34.3B |
| Apparaat | Jetson AGX Thor |
| Kwantisatie | BF16 |
| Beeldformaat | 720p |
| Beelden per camera | 1 |
| Max. camera's (TTFT ≤ 3000 ms) | 16 |
| Engine | vLLM |
| Camera's | TTFT (ms) | TPS (tok/s) | Doel |
|---|---|---|---|
| 1 | 780 | 4.6 | ≤3000 ms |
| 2 | 1061 | 4.8 | ≤3000 ms |
| 4 | 1164 | 4.6 | ≤3000 ms |
| 8 | 1534 | 4.4 | ≤3000 ms |
| 16 | 2154 | 3.9 | ≤3000 ms |
| 32 | 3254 | 2.9 | >3000 ms |
| 64 | 5423 | 1.7 | >3000 ms |
| 128 | 14152 | 1.5 | >3000 ms |
| 160 | 18384 | 1.3 | >3000 ms |
| 176 | 20711 | 1.4 | >3000 ms |
| 192 | — | — | Mislukt |
| Beelden per verzoek | TTFT (ms) | TPS (tok/s) | Doel |
|---|---|---|---|
| 1 | 780 | 4.6 | ≤3000 ms |
| 2 | 833 | 4.6 | ≤3000 ms |
| 4 | 1064 | 4.8 | ≤3000 ms |
| 8 | 1711 | 5.2 | ≤3000 ms |
| 16 | 3364 | 5.7 | >3000 ms |
| 32 | 6442 | 217.8 | >3000 ms |
| 64 | 14952 | 212.3 | >3000 ms |
| 128 | 35365 | 6.7 | >3000 ms |
| 256 | 135664 | 3.7 | >3000 ms |
| 512 | — | — | Mislukt |
Alpamayo2-Super (34.3B parameters), geserveerd in BF16-formaat met vLLM op Jetson AGX Thor, begint één camera die één 720p-beeld stuurt na 780 ms (time to first token, TTFT) te antwoorden en schrijft daarna 4.6 tok/s.
Met 256 beelden per camera op 720p begint het antwoord na 135,664 ms. Met één beeld op 2K na 838 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 16 camera's tegelijk bij.
Alpamayo2-Super (34.3B parameters), geserveerd in BF16-formaat met vLLM op Jetson AGX Thor, begint één camera die één 720p-beeld stuurt na 780 ms (time to first token, TTFT) te antwoorden en schrijft daarna 4.6 tok/s.
Met 256 beelden per camera op 720p begint het antwoord na 135,664 ms. Met één beeld op 2K na 838 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 16 camera's tegelijk bij.
Alpamayo2-Super (een 32B Qwen3-VL-backbone en een 2.3B diffusie-expert) schrijft uit zes camera's (elk 4 frames) en de recente beweging van het voertuig een korte causaliteitsketen (chain of causation) en plant daarna een traject. De tabel hierboven meet alleen het vision-language-deel, geserveerd met vLLM in BF16. Op "Describe the scene." antwoordt dat deel meestal in een paar tokens (gemiddeld 2 tot 34 per cel) dat er geen scènebeschrijving is gegeven, hoewel het het beeld wel beschrijft als gevraagd wordt wat het ziet ("The scene shows a road intersection"); de tok/s-waarden schommelen daardoor meer dan bij andere rijen. Deze test draait het hele model via het officiële inferentiepad van zijn repository (NVlabs/alpamayo2, inference_smoke.py: BF16, 10 diffusiestappen, één traject, top-p 0.98, temperatuur 0.6) op de 5 validatieclips van de repository, elk 3 keer, op een Jetson AGX Thor op MAXN.
In de tabel hierboven kwamen 2 verzoeken terug met een leeg antwoord; zoals bij de cameralimiet telt een leeg antwoord niet als fout en beëindigt het dus geen reeks. Voor dit model bestaat geen TensorRT-recept; attention draait via PyTorch SDPA, omdat flash-attn geen build voor dit bord heeft.
| Stap | Gemiddeld | p50 | p90 |
|---|---|---|---|
| Hele beslissing | 13.3 | 12.6 | 17.5 |
| Invoer voorbereiden | 1.0 | 1.0 | 1.0 |
| Model (causaliteitsketen en traject) | 12.3 | 11.7 | 16.5 |
Elke beslissing leest 24 beelden (4,580 prompttokens) en schrijft ongeveer 18 tokens causaliteitsketen (10 tot 32); hoe langer de keten, hoe langer de beslissing. Het model gebruikt 69 GiB geheugen. Alpamayo2-Edge doet er op hetzelfde bord met zijn TensorRT-recept 331 ms per beslissing over.