VLM Çıkarım Benchmark Gezgini

Cosmos3-Edge, RTX PRO 6000 Max-Q üzerinde — BF16, vLLM görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

ModelCosmos3-Edge
Parametre3.9B
CihazRTX PRO 6000 Max-Q
KuantizasyonBF16
Görüntü boyutu720p
Kamera başına görüntü1
Maks. kamera (TTFT ≤ 3000 ms)16+
Inference EnginevLLM
KameraTTFT (ms)TPS (tok/s)Hedef
188310.3≤3000 ms
2105276.4≤3000 ms
4132238.5≤3000 ms
8240205.8≤3000 ms
16379168.6≤3000 ms
İstek başına görüntüTTFT (ms)TPS (tok/s)Hedef
188310.3≤3000 ms
3208300.9≤3000 ms
5343289.7≤3000 ms

Cosmos3-Edge (3,9B parametre), BF16 biçiminde vLLM ile RTX PRO 6000 Max-Q üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 88 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 310,3 tok/s hızla yazar.

Kamera başına 720p boyutunda 5 görüntüyle yanıt 343 ms sonra başlar. Tek bir 2K görüntüyle 432 ms sonra.

Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda en az 16 kameraya yetişir: ölçülen en yüksek kamera sayısında bile hedefi karşıladı, gerçek sınır daha yüksektir.