1× DGX Spark üzerinde Qwen3.6-27B — FP8, vLLM, TP1, spekülatif kod çözme çıkarım benchmark'ı
Bu yapılandırmayı LLM Çıkarım Benchmark Gezgini'nde aç
| Model | Qwen3.6-27B |
|---|---|
| Parametre | 27B |
| Zekâ Endeksi | 21.4 |
| Agentic Endeksi | 18.5 |
| Cihaz | 1× DGX Spark |
| Kuantizasyon | FP8 |
| Maks C | 0 |
| Chat Kapasitesi | 0 |
| Agentic Kapasitesi | 0 |
| TP | — |
| DP | — |
| PP | — |
| Inference Engine | vLLM |
| Spekülatif Kod Çözme | Evet |
| C | TTFT (ms) | TPS (tok/s) | Durum |
|---|---|---|---|
| 1 | 323 | 19.50 | FAIL |
| 2 | 516 | 19.83 | FAIL |
| 4 | 531 | 18.56 | FAIL |
| 8 | 621 | 16.62 | FAIL |
| 16 | 813 | 13.84 | FAIL |
OpenZeka'nın ölçümünde, 1× DGX Spark üzerinde vLLM ile FP8 formatında ve spekülatif kod çözmeyle sunulan Qwen3.6-27B (27B parametre), tek istekte istek başına 19,5 tok/s üretim hızına ve 323 ms ilk token süresine (TTFT) ulaştı.
Varsayılan hız hedeflerinde (istek başına en az 20 tok/s, en fazla 1.000 ms TTFT) bu yapılandırma için bir kapasite tahmini çıkmıyor: ölçülen hiçbir yük seviyesi bu hedefleri karşılamadı.
Notlar: MTP gives 2.4x TPS improvement
Zekâ Endeksi ve Agentic Endeksi değerleri Artificial Analysis tarafından yayımlanmıştır ve kaynak belirtilerek burada aktarılmıştır.
OpenZeka'nın ölçümünde, 1× DGX Spark üzerinde vLLM ile FP8 formatında ve spekülatif kod çözmeyle sunulan Qwen3.6-27B (27B parametre), tek istekte istek başına 19,5 tok/s üretim hızına ve 323 ms ilk token süresine (TTFT) ulaştı.
Varsayılan hız hedeflerinde (istek başına en az 20 tok/s, en fazla 1.000 ms TTFT) bu yapılandırma için bir kapasite tahmini çıkmıyor: ölçülen hiçbir yük seviyesi bu hedefleri karşılamadı.