Alpamayo2-Edge, Jetson AGX Thor üzerinde — BF16, vLLM görüntü-dil çıkarım benchmark'ı
Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın
| Model | Alpamayo2-Edge |
|---|---|
| Parametre | 2.7B |
| Cihaz | Jetson AGX Thor |
| Kuantizasyon | BF16 |
| Görüntü boyutu | 720p |
| Kamera başına görüntü | 1 |
| Maks. kamera (TTFT ≤ 3000 ms) | 128 |
| Inference Engine | vLLM |
| Kamera | TTFT (ms) | TPS (tok/s) | Hedef |
|---|---|---|---|
| 1 | 136 | 101.2 | ≤3000 ms |
| 2 | 149 | 95.3 | ≤3000 ms |
| 4 | 162 | 74.6 | ≤3000 ms |
| 8 | 212 | 138.8 | ≤3000 ms |
| 16 | 355 | 48.4 | ≤3000 ms |
| 32 | 551 | 32.4 | ≤3000 ms |
| 64 | 948 | 36.5 | ≤3000 ms |
| 128 | 1895 | 17.0 | ≤3000 ms |
| 256 | 4248 | 16.1 | >3000 ms |
| 512 | 8647 | 18.7 | >3000 ms |
| 1024 | 17902 | 14.4 | >3000 ms |
| 1280 | 21003 | 12.3 | >3000 ms |
| 1408 | 23635 | 11.6 | >3000 ms |
| 1536 | — | — | Başarısız |
| İstek başına görüntü | TTFT (ms) | TPS (tok/s) | Hedef |
|---|---|---|---|
| 1 | 136 | 101.2 | ≤3000 ms |
| 2 | 185 | 728.8 | ≤3000 ms |
| 4 | 247 | 297.8 | ≤3000 ms |
| 8 | 410 | 72.5 | ≤3000 ms |
| 16 | 792 | 69.1 | ≤3000 ms |
| 32 | 1485 | 58.5 | ≤3000 ms |
| 64 | 3307 | 51.2 | >3000 ms |
| 128 | 7200 | 45.8 | >3000 ms |
| 256 | 17168 | 35.0 | >3000 ms |
| 512 | 46217 | 148.7 | >3000 ms |
| 1024 | — | — | Başarısız |
Alpamayo2-Edge (2,7B parametre), BF16 biçiminde vLLM ile Jetson AGX Thor üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 136 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 101,2 tok/s hızla yazar.
Kamera başına 720p boyutunda 512 görüntüyle yanıt 46.217 ms sonra başlar. Tek bir 2K görüntüyle 229 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 128 kameraya yetişir.
Alpamayo2-Edge (2,7B parametre), BF16 biçiminde vLLM ile Jetson AGX Thor üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 136 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 101,2 tok/s hızla yazar.
Kamera başına 720p boyutunda 512 görüntüyle yanıt 46.217 ms sonra başlar. Tek bir 2K görüntüyle 229 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 128 kameraya yetişir.
Alpamayo2-Edge bir sürüş modelidir: altı kameradan (22 kare), aracın son hareketinden ve bir navigasyon talimatından kısa bir nedensellik zinciri (chain of causation) yazar ve altı aday yörünge planlar. Yukarıdaki tablo yalnızca modelin görü-dil kısmını, vLLM ile BF16 olarak ve greedy decoding ile (model soruları böyle yanıtlar) sunulduğunda ölçer. "Describe the scene." sorusuna cevapları kısadır (hücre başına ortalama 2 ile 48 token), bu yüzden tok/s değerleri diğer satırlardan daha çok dalgalanır. Bu test ise modelin tamamını resmi FP8 TensorRT Edge-LLM tarifiyle (TensorRT Edge-LLM v0.11.1, 5 difüzyon adımı, 6 aday, nedensellik zincirinin greedy decoding ile üretilmesi) tarifin 19 navigasyon demo klibinde, her birinde 3 kez çalıştırır.
Jetson AGX Thor MAXN modunda, jetson_clocks ve TensorRT 11.3 ile; tarifin kendi rakamları TensorRT 11.3 ile bir DRIVE AGX Thor üzerinde alınmıştır. Tarifte olduğu gibi her kararda her kameranın yalnızca en yeni karesi kodlanır, önceki kareler yeniden kullanılır.
| Aşama | Jetson AGX Thor | DRIVE AGX Thor (tarif) |
|---|---|---|
| Görüntü kodlayıcı, en yeni 6 kare | 21 | 20 |
| Prefill, 3,261 token | 67 | 75 |
| Nedensellik zinciri, token başına | 7.8 | yaklaşık 7 |
| Yörünge uzmanı, 5 adım × 6 aday | 70 | 70 |
| Kararın tamamı (22 token) | 331 (p90 341) | yaklaşık 320 |
| Ayar | ms |
|---|---|
| 120W, TensorRT 10.16 (JetPack) | 439 |
| MAXN, TensorRT 10.16 (JetPack) | 423 |
| MAXN + jetson_clocks, TensorRT 11.3 | 331 |
22 karenin tamamı ölçülen süre içinde kodlandığında bir karar 402 ms sürer. TensorRT 11.3 yörünge uzmanını 99 ms'den 70 ms'ye indirdi; GPU ve bellek saatlerinin jetson_clocks ile sabitlenmesi (bellek yaklaşık 2750 yerine 4266 MHz) farkın kalanını kapattı.
Tarif greedy decoding için token başına yaklaşık 7 ms verir, greedy toplamını vermez; yaklaşık 320 ms, tarifin aşamalarına 22 token × 7 ms eklenerek bulunur. Tarifin örnek klibinde nedensellik zinciri, tarifteki metinle kelimesi kelimesine aynıdır.