VLM Çıkarım Benchmark Gezgini

Alpamayo2-Super, Jetson AGX Thor üzerinde — BF16, vLLM görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

ModelAlpamayo2-Super
Parametre34.3B
CihazJetson AGX Thor
KuantizasyonBF16
Görüntü boyutu720p
Kamera başına görüntü1
Maks. kamera (TTFT ≤ 3000 ms)16
Inference EnginevLLM
KameraTTFT (ms)TPS (tok/s)Hedef
17804.6≤3000 ms
210614.8≤3000 ms
411644.6≤3000 ms
815344.4≤3000 ms
1621543.9≤3000 ms
3232542.9>3000 ms
6454231.7>3000 ms
128141521.5>3000 ms
160183841.3>3000 ms
176207111.4>3000 ms
192——Başarısız
İstek başına görüntüTTFT (ms)TPS (tok/s)Hedef
17804.6≤3000 ms
28334.6≤3000 ms
410644.8≤3000 ms
817115.2≤3000 ms
1633645.7>3000 ms
326442217.8>3000 ms
6414952212.3>3000 ms
128353656.7>3000 ms
2561356643.7>3000 ms
512——Başarısız

Alpamayo2-Super (34,3B parametre), BF16 biçiminde vLLM ile Jetson AGX Thor üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 780 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 4,6 tok/s hızla yazar.

Kamera başına 720p boyutunda 256 görüntüyle yanıt 135.664 ms sonra başlar. Tek bir 2K görüntüyle 838 ms sonra.

Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 16 kameraya yetişir.