Alpamayo2-Super, Jetson AGX Thor üzerinde — BF16, vLLM görüntü-dil çıkarım benchmark'ı
Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın
| Model | Alpamayo2-Super |
|---|---|
| Parametre | 34.3B |
| Cihaz | Jetson AGX Thor |
| Kuantizasyon | BF16 |
| Görüntü boyutu | 720p |
| Kamera başına görüntü | 1 |
| Maks. kamera (TTFT ≤ 3000 ms) | 16 |
| Inference Engine | vLLM |
| Kamera | TTFT (ms) | TPS (tok/s) | Hedef |
|---|---|---|---|
| 1 | 780 | 4.6 | ≤3000 ms |
| 2 | 1061 | 4.8 | ≤3000 ms |
| 4 | 1164 | 4.6 | ≤3000 ms |
| 8 | 1534 | 4.4 | ≤3000 ms |
| 16 | 2154 | 3.9 | ≤3000 ms |
| 32 | 3254 | 2.9 | >3000 ms |
| 64 | 5423 | 1.7 | >3000 ms |
| 128 | 14152 | 1.5 | >3000 ms |
| 160 | 18384 | 1.3 | >3000 ms |
| 176 | 20711 | 1.4 | >3000 ms |
| 192 | — | — | Başarısız |
| İstek başına görüntü | TTFT (ms) | TPS (tok/s) | Hedef |
|---|---|---|---|
| 1 | 780 | 4.6 | ≤3000 ms |
| 2 | 833 | 4.6 | ≤3000 ms |
| 4 | 1064 | 4.8 | ≤3000 ms |
| 8 | 1711 | 5.2 | ≤3000 ms |
| 16 | 3364 | 5.7 | >3000 ms |
| 32 | 6442 | 217.8 | >3000 ms |
| 64 | 14952 | 212.3 | >3000 ms |
| 128 | 35365 | 6.7 | >3000 ms |
| 256 | 135664 | 3.7 | >3000 ms |
| 512 | — | — | Başarısız |
Alpamayo2-Super (34,3B parametre), BF16 biçiminde vLLM ile Jetson AGX Thor üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 780 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 4,6 tok/s hızla yazar.
Kamera başına 720p boyutunda 256 görüntüyle yanıt 135.664 ms sonra başlar. Tek bir 2K görüntüyle 838 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 16 kameraya yetişir.
Alpamayo2-Super (34,3B parametre), BF16 biçiminde vLLM ile Jetson AGX Thor üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 780 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 4,6 tok/s hızla yazar.
Kamera başına 720p boyutunda 256 görüntüyle yanıt 135.664 ms sonra başlar. Tek bir 2K görüntüyle 838 ms sonra.
Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 16 kameraya yetişir.
Alpamayo2-Super (32B bir Qwen3-VL omurgası ve 2.3B bir difüzyon uzmanı) altı kameradan (her birinden 4 kare) ve aracın son hareketinden kısa bir nedensellik zinciri (chain of causation) yazar, ardından bir yörünge planlar. Yukarıdaki tablo yalnızca modelin görü-dil kısmını, vLLM ile BF16 olarak sunulduğunda ölçer. Bu kısım "Describe the scene." sorusuna çoğunlukla birkaç token ile (hücre başına ortalama 2 ile 34) bir sahne açıklaması verilmediğini söyler; görüntüde ne gördüğü sorulduğunda ise görüntüyü anlatır ("The scene shows a road intersection"). Bu yüzden tok/s değerleri diğer satırlardan daha çok dalgalanır. Bu test ise modelin tamamını deposundaki resmi çıkarım yoluyla (NVlabs/alpamayo2, inference_smoke.py: BF16, 10 difüzyon adımı, tek yörünge, top-p 0.98, sıcaklık 0.6) deponun 5 doğrulama klibinde, her birinde 3 kez, MAXN modundaki Jetson AGX Thor üzerinde çalıştırır.
Yukarıdaki tabloda 2 istek boş cevapla döndü; kamera limitinde olduğu gibi boş cevap hata sayılmaz, bu yüzden bir seriyi bitirmez. Bu model için bir TensorRT tarifi yoktur; flash-attn'ın bu kart için bir derlemesi olmadığından dikkat (attention) PyTorch SDPA ile çalışır.
| Adım | Ortalama | p50 | p90 |
|---|---|---|---|
| Kararın tamamı | 13.3 | 12.6 | 17.5 |
| Girdi hazırlığı | 1.0 | 1.0 | 1.0 |
| Model (nedensellik zinciri ve yörünge) | 12.3 | 11.7 | 16.5 |
Her karar 24 görüntü (4,580 prompt token) okur ve yaklaşık 18 token (10 ile 32 arası) nedensellik zinciri yazar; zincir uzadıkça karar da uzar. Model 69 GiB bellek kullanır. Alpamayo2-Edge aynı kartta TensorRT tarifiyle bir kararı 331 ms'de verir.