VLM Inference Benchmark Explorer
Alpamayo2-Edge op Jetson AGX Thor — BF16, vLLM vision-language-inferentiebenchmark
Deze configuratie openen in de VLM Inference Benchmark Explorer
| Model | Alpamayo2-Edge |
|---|---|
| Parameters | 2.7B |
| Apparaat | Jetson AGX Thor |
| Kwantisatie | BF16 |
| Beeldformaat | 720p |
| Beelden per camera | 1 |
| Max. camera's (TTFT ≤ 3000 ms) | 128 |
| Engine | vLLM |
| Camera's | TTFT (ms) | TPS (tok/s) | Doel |
|---|---|---|---|
| 1 | 136 | 101.2 | ≤3000 ms |
| 2 | 149 | 95.3 | ≤3000 ms |
| 4 | 162 | 74.6 | ≤3000 ms |
| 8 | 212 | 138.8 | ≤3000 ms |
| 16 | 355 | 48.4 | ≤3000 ms |
| 32 | 551 | 32.4 | ≤3000 ms |
| 64 | 948 | 36.5 | ≤3000 ms |
| 128 | 1895 | 17.0 | ≤3000 ms |
| 256 | 4248 | 16.1 | >3000 ms |
| 512 | 8647 | 18.7 | >3000 ms |
| 1024 | 17902 | 14.4 | >3000 ms |
| 1280 | 21003 | 12.3 | >3000 ms |
| 1408 | 23635 | 11.6 | >3000 ms |
| 1536 | — | — | Mislukt |
| Beelden per verzoek | TTFT (ms) | TPS (tok/s) | Doel |
|---|---|---|---|
| 1 | 136 | 101.2 | ≤3000 ms |
| 2 | 185 | 728.8 | ≤3000 ms |
| 4 | 247 | 297.8 | ≤3000 ms |
| 8 | 410 | 72.5 | ≤3000 ms |
| 16 | 792 | 69.1 | ≤3000 ms |
| 32 | 1485 | 58.5 | ≤3000 ms |
| 64 | 3307 | 51.2 | >3000 ms |
| 128 | 7200 | 45.8 | >3000 ms |
| 256 | 17168 | 35.0 | >3000 ms |
| 512 | 46217 | 148.7 | >3000 ms |
| 1024 | — | — | Mislukt |
Alpamayo2-Edge (2.7B parameters), geserveerd in BF16-formaat met vLLM op Jetson AGX Thor, begint één camera die één 720p-beeld stuurt na 136 ms (time to first token, TTFT) te antwoorden en schrijft daarna 101.2 tok/s.
Met 512 beelden per camera op 720p begint het antwoord na 46,217 ms. Met één beeld op 2K na 229 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 128 camera's tegelijk bij.
Alpamayo2-Edge (2.7B parameters), geserveerd in BF16-formaat met vLLM op Jetson AGX Thor, begint één camera die één 720p-beeld stuurt na 136 ms (time to first token, TTFT) te antwoorden en schrijft daarna 101.2 tok/s.
Met 512 beelden per camera op 720p begint het antwoord na 46,217 ms. Met één beeld op 2K na 229 ms.
Bij het standaarddoel van een gemiddelde TTFT binnen 3,000 ms (720p, één beeld per camera) houdt het 128 camera's tegelijk bij.
Alpamayo2-Edge is een rijmodel: uit zes camera's (22 frames), de recente beweging van het voertuig en een navigatie-instructie schrijft het een korte causaliteitsketen (chain of causation) en plant het zes kandidaat-trajecten. De tabel hierboven meet alleen het vision-language-deel, geserveerd met vLLM in BF16 met greedy decodering, zoals het model vragen beantwoordt. De antwoorden op "Describe the scene." zijn kort (gemiddeld 2 tot 48 tokens per cel), dus de tok/s-waarden schommelen meer dan bij andere rijen. Deze test draait het hele model met het officiële FP8 TensorRT Edge-LLM-recept (TensorRT Edge-LLM v0.11.1, 5 diffusiestappen, 6 kandidaten, greedy decodering van de causaliteitsketen) op de 19 navigatiedemoclips van het recept, elk 3 keer.
Jetson AGX Thor op MAXN met jetson_clocks en TensorRT 11.3; de eigen cijfers van het recept komen van een DRIVE AGX Thor met TensorRT 11.3. Zoals in het recept codeert elke beslissing alleen het nieuwste frame van elke camera en hergebruikt de eerdere.
| Fase | Jetson AGX Thor | DRIVE AGX Thor (recept) |
|---|---|---|
| Vision-encoder, 6 nieuwste frames | 21 | 20 |
| Prefill, 3,261 tokens | 67 | 75 |
| Causaliteitsketen, per token | 7.8 | ongeveer 7 |
| Trajectexpert, 5 stappen × 6 kandidaten | 70 | 70 |
| Hele beslissing (22 tokens) | 331 (p90 341) | ongeveer 320 |
| Instelling | ms |
|---|---|
| 120W, TensorRT 10.16 (JetPack) | 439 |
| MAXN, TensorRT 10.16 (JetPack) | 423 |
| MAXN + jetson_clocks, TensorRT 11.3 | 331 |
Met alle 22 frames gecodeerd binnen de gemeten tijd duurt een beslissing 402 ms. TensorRT 11.3 bracht de trajectexpert van 99 naar 70 ms; het vastzetten van de GPU- en geheugenklokken met jetson_clocks (geheugen op 4266 MHz in plaats van ongeveer 2750) deed de rest.
Het recept noemt ongeveer 7 ms per token voor greedy decodering, maar geen greedy totaal; ongeveer 320 ms is de som van zijn fasen plus 22 tokens × 7 ms. Op de voorbeeldclip van het recept komt de causaliteitsketen woord voor woord overeen met de tekst van het recept.