SGLang 合入 megakernel 低延迟模式，GB300、MI355X 推理速度最高提升约 1.5 倍
先了解这件事
SGLang 合入 megakernel（低延迟模式）支持，功能在 SGLang Docker 镜像中开箱即用。据 LMSYS 发布，该模式由 SGLang 与 NVIDIA、AMD 合作构建：在 DeepSeek-V4.1-Flash 的 AgentX trace replay 测试中，NVIDIA GB300 上 P90 每用户 token 速度最高提升 1.38 倍（671 到 928 tok/s），接近每用户 1000 tok/s；AMD MI355X 上提升 1.56 倍（332 到 516 tok/s）。SemiAnalysis 发帖祝贺，并称 TileRT 在开源前沿模型的 megakernel 引擎生态中开创了这一趋势，SGLang 对其做了广泛采用。 技术路径上，NVIDIA 端通过 kernel 重叠把解码层时间从 96.8 µs 降至 68.4 µs；AMD 端每层用 2 个 persistent kernel 取代数十个小 kernel。SemiAnalysis 称该方案同时提升了高并发吞吐量和低延迟服务。此外 SGLang 新增了支持外部库自定义 kernel 自动回退的插件系统，GLM-5.3、K3、MiniMax M3 的低延迟 kernel 正在推进中。
AI 生成摘要 · 以原文为准
AI 根据报道生成 · 5 天前更新
事件进展
2 个进展
- 10月27日 02:01 · 1 篇报道SGLang 团队发布 MegaKernel + PD 获祝贺X · SemiAnalysis：SGLang 团队发布 MegaKernel + PD 获祝贺
- 10月20日 08:56 · 2 篇报道SGLang合并Megakernel支持并提升推理速度X · SemiAnalysis：SGLang 合入 megakernel 支持，GB300 NVL72 上接近每用户 1000 tok/s
报道时间线
沿着报道，了解事件的不同侧面。
- X · SemiAnalysisSGLang GB300 上 DeepSeek 推理速度创新高
快讯🚨：GB300 NVL72 上，@sgl_project 通过激进地融合内核，在 DeepSeek Flash v4.1 上能接近每用户 1000 tok/s！！ TileRT 在开源前沿模型的 megakernel 引擎生态中开创了这一趋势！很高兴看到 SGLang 广泛采用它！ 感谢 SGLang、@radixark 和 NVIDIA 团队在性能提升上的出色工作！
- X · SemiAnalysisSGLang 团队发布 MegaKernel + PD 获祝贺
祝贺 SGLang 和 RadixArk 团队在 MegaKernel + PD 上的出色工作，同时提升了高并发吞吐量和低延迟服务！(1/2)🧵
- X · SemiAnalysisSGLang 合入 megakernel 支持，GB300 NVL72 上接近每用户 1000 tok/s
SGLang 合入 megakernel 支持，在 GB300 NVL72 AgentX Harness 上接近每用户 1000 tok/s，MI355X 交互性提升约 1.5 倍，且在 SGLang Docker 镜像中开箱即用。引用的 LMSYS 发布称，SGLang 低延迟模式与 NVIDIA、AMD 合作构建，在 DeepSeek-V4.1-Flash 的 AgentX trace replay 中，NVIDIA GB300 上 P90 每用户 token 速度提升最高 1.38 倍（671 到 928 tok/s），AMD MI355X 上提升 1.56 倍（332 到 516 tok/s）；NVIDIA 端通过 kernel 重叠把解码层时间从 96.8 µs 降至 68.4 µs，AMD 端每层用 2 个 persistent kernel 取代数十个小 kernel，并新增支持外部库自定义 kernel 自动回退的插件系统，GLM-5.3、K3、MiniMax M3 的低延迟 kernel 正在推进。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 1010月30日 00:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。