SemiAnalysis· @SemiAnalysis_ · X·· 5 天前AI 评分40
AI 导读
快讯🚨：GB300 NVL72 上，@sgl_project 通过激进地融合内核，在 DeepSeek Flash v4.1 上能接近每用户 1000 tok/s！！ TileRT 在开源前沿模型的 megakernel 引擎生态中开创了这一趋势！很高兴看到 SGLang 广泛采用它！ 感谢 SGLang、@radixark 和 NVIDIA 团队在性能提升上的出色工作！
AI 生成摘要 · 以原文为准
正文
ALERT🚨: GB300 NVL72 @sgl_project can get close to 1000 tok/s/user on DeepSeek Flash v4.1 by aggressively fusing kernels together!!
TileRT started this trend in the ecosystem of megakernel engines on OSS frontier models! Glad to see SGLang widely adopting it!
Great work by the SGLang, @radixark, and NVIDIA teams on pushing performance!
来源：SemiAnalysis · x.com