SemiAnalysis· @SemiAnalysis_ · X·· 13 天前AI 评分43
AI 导读
一个月内，三个团队用 megakernel 推进了 LLM 解码：Inferact 基于 Google TPU，AMD 推出 TileRT 和 FlyDSL，如今 NVIDIA 在 GB300 上实现，现已在 InferenceX 上线。 我们很高兴看到这些进展，并深入探究更快推理背后的工程实现。 Megakernel 将通常在独立程序中运行的工作整合到一起。这正是其重要之处，以及各团队方法的工作原理。(1/8)🧵
AI 生成摘要 · 以原文为准
正文
Three teams in one month have pushed LLM decode forward with megakernels: Inferact on Google TPUs, AMD with TileRT and FlyDSL, and now NVIDIA on GB300, now live on InferenceX.
We're excited to see these gains and dig into the engineering behind faster inference.
Megakernels combine work that normally runs in separate programs. Here's why that matters and how each team's approach works. (1/8)🧵
来源：SemiAnalysis · x.com