LLM Çıkarım Benchmark Gezgini

2× DGX Spark üzerinde MiniMax-M2.7 — NVFP4, vLLM, TP1, PP2 çıkarım benchmark'ı

Bu yapılandırmayı LLM Çıkarım Benchmark Gezgini'nde aç

ModelMiniMax-M2.7
Parametre229B
Zekâ Endeksi22.8
Agentic Endeksi15.3
Cihaz2× DGX Spark
KuantizasyonNVFP4
Maks C0
Chat Kapasitesi0
Agentic Kapasitesi0
TP—
DP—
PP2
Inference EnginevLLM
Spekülatif Kod Çözme—
CTTFT (ms)TPS (tok/s)Durum
139617.20FAIL
237114.65FAIL
450110.73FAIL
86707.52FAIL

OpenZeka'nın ölçümünde, 2× DGX Spark üzerinde vLLM ile NVFP4 formatında sunulan MiniMax-M2.7 (229B parametre, PP=2), tek istekte istek başına 17,2 tok/s üretim hızına ve 396 ms ilk token süresine (TTFT) ulaştı.

Varsayılan hız hedeflerinde (istek başına en az 20 tok/s, en fazla 1.000 ms TTFT) bu yapılandırma için bir kapasite tahmini çıkmıyor: ölçülen hiçbir yük seviyesi bu hedefleri karşılamadı.

Notlar: PP=2 (pipeline parallel)

Zekâ Endeksi ve Agentic Endeksi değerleri Artificial Analysis tarafından yayımlanmıştır ve kaynak belirtilerek burada aktarılmıştır.