VLM Çıkarım Benchmark Gezgini

Cosmos3-Nano, DGX Spark üzerinde — BF16, vLLM görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

Model	Cosmos3-Nano
Parametre	16B
Cihaz	DGX Spark
Kuantizasyon	BF16
Görüntü boyutu	720p
Kamera başına görüntü	1
Maks. kamera (yanıt ≤ 3 sn)	16
Inference Engine	vLLM

Kamera	Yanıt (sn)	TPS (tok/s)	Hedef
1	0.47	14.2	≤3 sn
2	0.50	14.5	≤3 sn
4	0.57	13.7	≤3 sn
8	0.86	12.0	≤3 sn
16	2.00	10.8	≤3 sn
32	3.18	7.9	>3 sn
64	5.71	4.6	>3 sn
96	8.62	3.2	>3 sn
104	—	—	Başarısız

İstek başına görüntü	Yanıt (sn)	TPS (tok/s)	Hedef
1	0.47	14.2	≤3 sn
2	0.65	14.1	≤3 sn
4	1.28	13.9	≤3 sn
8	2.60	13.6	≤3 sn
16	5.53	13.1	>3 sn
32	12.8	11.8	>3 sn
64	33.7	9.6	>3 sn
128	96.9	7.0	>3 sn
256	308.9	4.7	>3 sn
512	—	—	Başarısız

Cosmos3-Nano (16B parametre), BF16 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 0,47 sn sonra yanıt vermeye başlar, ardından 14,2 tok/s hızla yazar.

Kamera başına 720p boyutunda 256 görüntüyle yanıt 308,95 sn sonra başlar. Tek bir 2K görüntüyle 1,61 sn sonra.

Yanıtın 3 sn içinde başlaması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 16 kameraya yetişir.