Qwen3-VL-4B-Instruct, Jetson AGX Thor üzerinde — BF16, vLLM görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

Model	Qwen3-VL-4B-Instruct
Parametre	4.4B
Cihaz	Jetson AGX Thor
Kuantizasyon	BF16
Görüntü boyutu	720p
Kamera başına görüntü	1
Maks. kamera (yanıt ≤ 3 sn)	32
Inference Engine	vLLM

Kamera	Yanıt (sn)	TPS (tok/s)	Hedef
1	0.33	28.2	≤3 sn
2	0.46	27.4	≤3 sn
4	0.65	26.2	≤3 sn
8	0.95	23.7	≤3 sn
16	1.58	19.1	≤3 sn
32	2.23	13.6	≤3 sn
64	3.61	8.4	>3 sn
128	7.40	4.3	>3 sn
160	9.72	3.4	>3 sn
176	—	—	Başarısız

İstek başına görüntü	Yanıt (sn)	TPS (tok/s)	Hedef
1	0.33	28.2	≤3 sn
2	0.49	27.8	≤3 sn
4	0.84	26.8	≤3 sn
8	1.79	25.4	≤3 sn
16	4.32	23.3	>3 sn
32	11.3	19.4	>3 sn
64	34.3	14.6	>3 sn
128	113.5	9.9	>3 sn
256	407.7	6.0	>3 sn
512	—	—	Başarısız

Qwen3-VL-4B-Instruct (4,4B parametre), BF16 biçiminde vLLM ile Jetson AGX Thor üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 0,33 sn sonra yanıt vermeye başlar, ardından 28,2 tok/s hızla yazar.

Kamera başına 720p boyutunda 256 görüntüyle yanıt 407,74 sn sonra başlar. Tek bir 2K görüntüyle 1,26 sn sonra.

Yanıtın 3 sn içinde başlaması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 32 kameraya yetişir.