VLM Çıkarım Benchmark Gezgini

Alpamayo2-Edge, Jetson AGX Thor üzerinde — BF16, vLLM görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

ModelAlpamayo2-Edge
Parametre2.7B
CihazJetson AGX Thor
KuantizasyonBF16
Görüntü boyutu720p
Kamera başına görüntü1
Maks. kamera (TTFT ≤ 3000 ms)128
Inference EnginevLLM
KameraTTFT (ms)TPS (tok/s)Hedef
1136101.2≤3000 ms
214995.3≤3000 ms
416274.6≤3000 ms
8212138.8≤3000 ms
1635548.4≤3000 ms
3255132.4≤3000 ms
6494836.5≤3000 ms
128189517.0≤3000 ms
256424816.1>3000 ms
512864718.7>3000 ms
10241790214.4>3000 ms
12802100312.3>3000 ms
14082363511.6>3000 ms
1536——Başarısız
İstek başına görüntüTTFT (ms)TPS (tok/s)Hedef
1136101.2≤3000 ms
2185728.8≤3000 ms
4247297.8≤3000 ms
841072.5≤3000 ms
1679269.1≤3000 ms
32148558.5≤3000 ms
64330751.2>3000 ms
128720045.8>3000 ms
2561716835.0>3000 ms
51246217148.7>3000 ms
1024——Başarısız

Alpamayo2-Edge (2,7B parametre), BF16 biçiminde vLLM ile Jetson AGX Thor üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 136 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 101,2 tok/s hızla yazar.

Kamera başına 720p boyutunda 512 görüntüyle yanıt 46.217 ms sonra başlar. Tek bir 2K görüntüyle 229 ms sonra.

Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 128 kameraya yetişir.