LLM Çıkarım Benchmark Gezgini

Thor üzerinde Laguna-S-2.1 — NVFP4, vLLM, TP1 çıkarım benchmark'ı

Bu yapılandırmayı LLM Çıkarım Benchmark Gezgini'nde aç

ModelLaguna-S-2.1
Parametre118B
Zekâ Endeksi—
Agentic Endeksi—
CihazThor
KuantizasyonNVFP4
Maks C0
Chat Kapasitesi0
Agentic Kapasitesi0
TP—
DP—
PP—
Inference EnginevLLM
Spekülatif Kod Çözme—
CTTFT (ms)TPS (tok/s)Durum
157813.10FAIL
267411.47FAIL
48478.84FAIL
810326.58FAIL

OpenZeka'nın ölçümünde, Thor üzerinde vLLM ile NVFP4 formatında sunulan Laguna-S-2.1 (118B parametre), tek istekte istek başına 13,1 tok/s üretim hızına ve 578 ms ilk token süresine (TTFT) ulaştı.

Varsayılan hız hedeflerinde (istek başına en az 20 tok/s, en fazla 1.000 ms TTFT) bu yapılandırma için bir kapasite tahmini çıkmıyor: ölçülen hiçbir yük seviyesi bu hedefleri karşılamadı.

Notlar: Jetson Thor. max_model_len 262144

Zekâ Endeksi ve Agentic Endeksi değerleri Artificial Analysis tarafından yayımlanmıştır ve kaynak belirtilerek burada aktarılmıştır.