2× DGX Spark üzerinde Qwen3.6-27B — NVFP4, vLLM, TP2 çıkarım benchmark'ı
Bu yapılandırmayı LLM Çıkarım Benchmark Gezgini'nde aç
| Model | Qwen3.6-27B |
|---|---|
| Parametre | 27B |
| Zekâ Endeksi | 21.4 |
| Agentic Endeksi | 18.5 |
| Cihaz | 2× DGX Spark |
| Kuantizasyon | NVFP4 |
| Maks C | 4 |
| Chat Kapasitesi | 16 |
| Agentic Kapasitesi | 6 |
| TP | 2 |
| DP | — |
| PP | — |
| Inference Engine | vLLM |
| Spekülatif Kod Çözme | — |
| C | TTFT (ms) | TPS (tok/s) | Durum |
|---|---|---|---|
| 1 | 149 | 23.00 | PASS |
| 2 | 252 | 21.72 | PASS |
| 4 | 320 | 20.77 | PASS |
| 8 | 457 | 18.70 | FAIL |
| 16 | 741 | 16.25 | FAIL |
| 32 | 1197 | 12.24 | FAIL |
| 64 | 2137 | 7.58 | FAIL |
OpenZeka'nın ölçümünde, 2× DGX Spark üzerinde vLLM ile NVFP4 formatında sunulan Qwen3.6-27B (27B parametre, TP=2), tek istekte istek başına 23 tok/s üretim hızına ve 149 ms ilk token süresine (TTFT) ulaştı.
Hız hedefleri ve kullanılabilir KV önbelleği kapasitesi göz önünde bulundurulduğunda, tahmini kapasite chat kullanımı için 16, agentic kullanım için 6 kullanıcıdır. Gerçekçi kapasite muhtemelen bu iki değer arasında olacaktır. Kodlama, araç kullanımı, uzun iş akışları ve çoklu ajan kullanımının ağırlıklı olduğu senaryolarda kapasite agentic tahmine yaklaşırken; daha kısa etkileşimlerin, standart sohbetlerin ve daha hafif görevlerin ağırlıkta olduğu kullanımlarda chat tahminine yaklaşacaktır.
Notlar: nvidia NVFP4, eugr nightly
Zekâ Endeksi ve Agentic Endeksi değerleri Artificial Analysis tarafından yayımlanmıştır ve kaynak belirtilerek burada aktarılmıştır.
OpenZeka'nın ölçümünde, 2× DGX Spark üzerinde vLLM ile NVFP4 formatında sunulan Qwen3.6-27B (27B parametre, TP=2), tek istekte istek başına 23 tok/s üretim hızına ve 149 ms ilk token süresine (TTFT) ulaştı.
Hız hedefleri ve kullanılabilir KV önbelleği kapasitesi göz önünde bulundurulduğunda, tahmini kapasite chat kullanımı için 16, agentic kullanım için 6 kullanıcıdır. Gerçekçi kapasite muhtemelen bu iki değer arasında olacaktır. Kodlama, araç kullanımı, uzun iş akışları ve çoklu ajan kullanımının ağırlıklı olduğu senaryolarda kapasite agentic tahmine yaklaşırken; daha kısa etkileşimlerin, standart sohbetlerin ve daha hafif görevlerin ağırlıkta olduğu kullanımlarda chat tahminine yaklaşacaktır.