Thor üzerinde Laguna-S-2.1 — NVFP4, vLLM, TP1 çıkarım benchmark'ı
Bu yapılandırmayı LLM Çıkarım Benchmark Gezgini'nde aç
| Model | Laguna-S-2.1 |
|---|---|
| Parametre | 118B |
| Zekâ Endeksi | — |
| Agentic Endeksi | — |
| Cihaz | Thor |
| Kuantizasyon | NVFP4 |
| Maks C | 0 |
| Chat Kapasitesi | 0 |
| Agentic Kapasitesi | 0 |
| TP | — |
| DP | — |
| PP | — |
| Inference Engine | vLLM |
| Spekülatif Kod Çözme | — |
| C | TTFT (ms) | TPS (tok/s) | Durum |
|---|---|---|---|
| 1 | 578 | 12.92 | FAIL |
| 2 | 674 | 11.10 | FAIL |
| 4 | 847 | 8.69 | FAIL |
| 8 | 1032 | 6.48 | FAIL |
OpenZeka'nın ölçümünde, Thor üzerinde vLLM ile NVFP4 formatında sunulan Laguna-S-2.1 (118B parametre), tek istekte istek başına 12,9 tok/s üretim hızına ve 578 ms ilk token süresine (TTFT) ulaştı.
Varsayılan hız hedeflerinde (istek başına en az 20 tok/s, en fazla 1.000 ms TTFT) bu yapılandırma için bir kapasite tahmini çıkmıyor: ölçülen hiçbir yük seviyesi bu hedefleri karşılamadı.
Notlar: Jetson Thor. max_model_len 262144
Zekâ Endeksi ve Agentic Endeksi değerleri Artificial Analysis tarafından yayımlanmıştır ve kaynak belirtilerek burada aktarılmıştır.
OpenZeka'nın ölçümünde, Thor üzerinde vLLM ile NVFP4 formatında sunulan Laguna-S-2.1 (118B parametre), tek istekte istek başına 12,9 tok/s üretim hızına ve 578 ms ilk token süresine (TTFT) ulaştı.
Varsayılan hız hedeflerinde (istek başına en az 20 tok/s, en fazla 1.000 ms TTFT) bu yapılandırma için bir kapasite tahmini çıkmıyor: ölçülen hiçbir yük seviyesi bu hedefleri karşılamadı.