LLM Çıkarım Benchmark Gezgini

DGX B300 üzerinde DeepSeek-V4-Pro — FP4, vLLM, TP4 çıkarım benchmark'ı

Bu yapılandırmayı LLM Çıkarım Benchmark Gezgini'nde aç

ModelDeepSeek-V4-Pro
Parametre1.60T
Zekâ Endeksi30.4
Agentic Endeksi26.3
CihazDGX B300
KuantizasyonFP4
Maks C32
Chat Kapasitesi128
Agentic Kapasitesi48
TP4
DP—
PP—
Inference EnginevLLM
Spekülatif Kod Çözme—
CTTFT (ms)TPS (tok/s)Durum
1303102.15PASS
232594.07PASS
442160.10PASS
842945.75PASS
1685929.33PASS
3265520.57PASS
64105614.14FAIL

OpenZeka'nın ölçümünde, DGX B300 üzerinde vLLM ile FP4 formatında sunulan DeepSeek-V4-Pro (1,60T parametre, TP=4), tek istekte istek başına 102,2 tok/s üretim hızına ve 303 ms ilk token süresine (TTFT) ulaştı.

Hız hedefleri ve kullanılabilir KV önbelleği kapasitesi göz önünde bulundurulduğunda, tahmini kapasite chat kullanımı için 128, agentic kullanım için 48 kullanıcıdır. Gerçekçi kapasite muhtemelen bu iki değer arasında olacaktır. Kodlama, araç kullanımı, uzun iş akışları ve çoklu ajan kullanımının ağırlıklı olduğu senaryolarda kapasite agentic tahmine yaklaşırken; daha kısa etkileşimlerin, standart sohbetlerin ve daha hafif görevlerin ağırlıkta olduğu kullanımlarda chat tahminine yaklaşacaktır.

Zekâ Endeksi ve Agentic Endeksi değerleri Artificial Analysis tarafından yayımlanmıştır ve kaynak belirtilerek burada aktarılmıştır.