Cosmos-Reason2-2B, Jetson AGX Thor üzerinde — BF16, vLLM görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

Model	Cosmos-Reason2-2B
Parametre	2.4B
Cihaz	Jetson AGX Thor
Kuantizasyon	BF16
Görüntü boyutu	720p
Kamera başına görüntü	1
Maks. kamera (yanıt ≤ 3 sn)	64
Inference Engine	vLLM

Kamera	Yanıt (sn)	TPS (tok/s)	Hedef
1	0.24	62.6	≤3 sn
2	0.27	58.2	≤3 sn
4	0.33	52.2	≤3 sn
8	0.61	45.8	≤3 sn
16	1.08	34.9	≤3 sn
32	1.52	22.4	≤3 sn
64	2.37	13.1	≤3 sn
128	4.49	7.0	>3 sn
256	10.4	3.7	>3 sn
288	—	—	Başarısız

İstek başına görüntü	Yanıt (sn)	TPS (tok/s)	Hedef
1	0.24	62.6	≤3 sn
2	0.37	61.0	≤3 sn
4	0.62	57.9	≤3 sn
8	1.25	53.0	≤3 sn
16	2.76	46.4	≤3 sn
32	6.47	35.3	>3 sn
64	17.7	24.2	>3 sn
128	52.6	15.1	>3 sn
256	176.3	8.6	>3 sn
512	—	—	Başarısız

Cosmos-Reason2-2B (2,4B parametre), BF16 biçiminde vLLM ile Jetson AGX Thor üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 0,24 sn sonra yanıt vermeye başlar, ardından 62,6 tok/s hızla yazar.

Kamera başına 720p boyutunda 256 görüntüyle yanıt 176,28 sn sonra başlar. Tek bir 2K görüntüyle 1,02 sn sonra.

Yanıtın 3 sn içinde başlaması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 64 kameraya yetişir.