VLM Çıkarım Benchmark Gezgini

Qwen3-VL-4B-Instruct, Jetson Orin NX 16GB üzerinde — FP8, vLLM görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

ModelQwen3-VL-4B-Instruct
Parametre4.4B
CihazJetson Orin NX 16GB
KuantizasyonFP8
Görüntü boyutu720p
Kamera başına görüntü1
Maks. kamera (TTFT ≤ 3000 ms)2
Inference EnginevLLM
KameraTTFT (ms)TPS (tok/s)Hedef
1166814.2≤3000 ms
2259013.1≤3000 ms
4474413.1>3000 ms
İstek başına görüntüTTFT (ms)TPS (tok/s)Hedef
1166814.2≤3000 ms
3400414.2>3000 ms

Qwen3-VL-4B-Instruct (4,4B parametre), FP8 biçiminde vLLM ile Jetson Orin NX 16GB üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 1.668 ms sonra (ilk token süresi, TTFT) yanıt vermeye başlar, ardından 14,2 tok/s hızla yazar.

Kamera başına 720p boyutunda 3 görüntüyle yanıt 4.004 ms sonra başlar. Tek bir 1080p görüntüyle 4.345 ms sonra.

Ortalama TTFT'nin 3.000 ms içinde kalması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 2 kameraya yetişir.