LLM Çıkarım Benchmark Gezgini

1× DGX Spark üzerinde Qwen3.6-27B — FP8, vLLM, TP1 çıkarım benchmark'ı

Bu yapılandırmayı LLM Çıkarım Benchmark Gezgini'nde aç

ModelQwen3.6-27B
Parametre27B
Zekâ Endeksi21.4
Agentic Endeksi18.5
Cihaz1× DGX Spark
KuantizasyonFP8
Maks C0
Chat Kapasitesi0
Agentic Kapasitesi0
TP—
DP—
PP—
Inference EnginevLLM
Spekülatif Kod Çözme—
CTTFT (ms)TPS (tok/s)Durum
12718.21FAIL
23588.26FAIL
44478.05FAIL
85117.74FAIL
168677.03FAIL

OpenZeka'nın ölçümünde, 1× DGX Spark üzerinde vLLM ile FP8 formatında sunulan Qwen3.6-27B (27B parametre), tek istekte istek başına 8,2 tok/s üretim hızına ve 271 ms ilk token süresine (TTFT) ulaştı.

Varsayılan hız hedeflerinde (istek başına en az 20 tok/s, en fazla 1.000 ms TTFT) bu yapılandırma için bir kapasite tahmini çıkmıyor: ölçülen hiçbir yük seviyesi bu hedefleri karşılamadı.

Notlar: vLLM v0.22.0

Zekâ Endeksi ve Agentic Endeksi değerleri Artificial Analysis tarafından yayımlanmıştır ve kaynak belirtilerek burada aktarılmıştır.