2× DGX Spark üzerinde Gemma-4-31B-it — NVFP4, vLLM, TP2 çıkarım benchmark'ı
Bu yapılandırmayı LLM Çıkarım Benchmark Gezgini'nde aç
| Model | Gemma-4-31B-it |
|---|---|
| Parametre | 31B |
| Zekâ Endeksi | 19 |
| Agentic Endeksi | 4.2 |
| Cihaz | 2× DGX Spark |
| Kuantizasyon | NVFP4 |
| Maks C | 0 |
| Chat Kapasitesi | 0 |
| Agentic Kapasitesi | 0 |
| TP | 2 |
| DP | — |
| PP | — |
| Inference Engine | vLLM |
| Spekülatif Kod Çözme | — |
| C | TTFT (ms) | TPS (tok/s) | Durum |
|---|---|---|---|
| 1 | 136 | 19.42 | FAIL |
| 2 | 227 | 19.59 | FAIL |
| 4 | 246 | 19.17 | FAIL |
| 8 | 280 | 18.20 | FAIL |
| 16 | 293 | 15.81 | FAIL |
| 32 | 337 | 13.21 | FAIL |
| 64 | 420 | 9.16 | FAIL |
OpenZeka'nın ölçümünde, 2× DGX Spark üzerinde vLLM ile NVFP4 formatında sunulan Gemma-4-31B-it (31B parametre, TP=2), tek istekte istek başına 19,4 tok/s üretim hızına ve 136 ms ilk token süresine (TTFT) ulaştı.
Varsayılan hız hedeflerinde (istek başına en az 20 tok/s, en fazla 1.000 ms TTFT) bu yapılandırma için bir kapasite tahmini çıkmıyor: ölçülen hiçbir yük seviyesi bu hedefleri karşılamadı.
Zekâ Endeksi ve Agentic Endeksi değerleri Artificial Analysis tarafından yayımlanmıştır ve kaynak belirtilerek burada aktarılmıştır.
OpenZeka'nın ölçümünde, 2× DGX Spark üzerinde vLLM ile NVFP4 formatında sunulan Gemma-4-31B-it (31B parametre, TP=2), tek istekte istek başına 19,4 tok/s üretim hızına ve 136 ms ilk token süresine (TTFT) ulaştı.
Varsayılan hız hedeflerinde (istek başına en az 20 tok/s, en fazla 1.000 ms TTFT) bu yapılandırma için bir kapasite tahmini çıkmıyor: ölçülen hiçbir yük seviyesi bu hedefleri karşılamadı.