1× DGX Spark üzerinde Gemma-4-31B-it — NVFP4, vLLM, TP1 çıkarım benchmark'ı
Bu yapılandırmayı LLM Çıkarım Benchmark Gezgini'nde aç
| Model | Gemma-4-31B-it |
|---|---|
| Parametre | 31B |
| Zekâ Endeksi | 19 |
| Agentic Endeksi | 4.2 |
| Cihaz | 1× DGX Spark |
| Kuantizasyon | NVFP4 |
| Maks C | 0 |
| Chat Kapasitesi | 0 |
| Agentic Kapasitesi | 0 |
| TP | — |
| DP | — |
| PP | — |
| Inference Engine | vLLM |
| Spekülatif Kod Çözme | — |
| C | TTFT (ms) | TPS (tok/s) | Durum |
|---|---|---|---|
| 1 | 202 | 10.81 | FAIL |
| 2 | 283 | 11.06 | FAIL |
| 4 | 294 | 10.89 | FAIL |
| 8 | 316 | 10.51 | FAIL |
| 16 | 347 | 10.04 | FAIL |
| 32 | 399 | 8.87 | FAIL |
| 64 | 532 | 7.36 | FAIL |
OpenZeka'nın ölçümünde, 1× DGX Spark üzerinde vLLM ile NVFP4 formatında sunulan Gemma-4-31B-it (31B parametre), tek istekte istek başına 10,8 tok/s üretim hızına ve 202 ms ilk token süresine (TTFT) ulaştı.
Varsayılan hız hedeflerinde (istek başına en az 20 tok/s, en fazla 1.000 ms TTFT) bu yapılandırma için bir kapasite tahmini çıkmıyor: ölçülen hiçbir yük seviyesi bu hedefleri karşılamadı.
Notlar: Model: RedHatAI/gemma-4-31B-it-NVFP4 (31B dense)
Zekâ Endeksi ve Agentic Endeksi değerleri Artificial Analysis tarafından yayımlanmıştır ve kaynak belirtilerek burada aktarılmıştır.
OpenZeka'nın ölçümünde, 1× DGX Spark üzerinde vLLM ile NVFP4 formatında sunulan Gemma-4-31B-it (31B parametre), tek istekte istek başına 10,8 tok/s üretim hızına ve 202 ms ilk token süresine (TTFT) ulaştı.
Varsayılan hız hedeflerinde (istek başına en az 20 tok/s, en fazla 1.000 ms TTFT) bu yapılandırma için bir kapasite tahmini çıkmıyor: ölçülen hiçbir yük seviyesi bu hedefleri karşılamadı.