Eagle2.5-8B, DGX Spark üzerinde — BF16, vLLM görüntü-dil çıkarım benchmark'ı

Bu yapılandırmayı VLM Çıkarım Benchmark Gezgini'nde açın

Model	Eagle2.5-8B
Parametre	8.1B
Cihaz	DGX Spark
Kuantizasyon	BF16
Görüntü boyutu	720p
Kamera başına görüntü	1
Maks. kamera (yanıt ≤ 3 sn)	8
Inference Engine	vLLM

Kamera	Yanıt (sn)	TPS (tok/s)	Hedef
1	0.74	15.5	≤3 sn
2	0.90	15.7	≤3 sn
4	1.11	11.3	≤3 sn
8	2.22	6.8	≤3 sn
16	6.08	4.7	>3 sn
32	13.4	3.8	>3 sn
40	17.5	4.0	>3 sn
44	18.9	3.8	>3 sn
48	—	—	Başarısız

İstek başına görüntü	Yanıt (sn)	TPS (tok/s)	Hedef
1	0.74	15.5	≤3 sn
2	1.44	14.6	≤3 sn
4	2.97	15.7	≤3 sn
8	6.41	13.3	>3 sn
16	14.8	13.1	>3 sn
32	37.7	13.2	>3 sn
64	109.2	9.0	>3 sn
128	—	—	Başarısız

Eagle2.5-8B (8,1B parametre), BF16 biçiminde vLLM ile DGX Spark üzerinde sunuldu; bir 720p görüntü gönderen tek bir kameraya 0,74 sn sonra yanıt vermeye başlar, ardından 15,5 tok/s hızla yazar.

Kamera başına 720p boyutunda 64 görüntüyle yanıt 109,19 sn sonra başlar. Tek bir 2K görüntüyle 0,78 sn sonra.

Yanıtın 3 sn içinde başlaması varsayılan hedefinde (720p, kamera başına bir görüntü) aynı anda 8 kameraya yetişir.