跳到正文
SemiAnalysis· @SemiAnalysis_ · X·· 21 天前AI 评分35
AI 导读

警报🚨:NVIDIA SGLANG 推理:RUBIN 的每美元性能比 GB300 NVL72 还要高出 4.23 倍 🚀。这是在广泛使用的生产级 LLM 引擎 @sgl_project 上测得的。(1/2)🧵

AI 生成摘要 · 以原文为准

正文

ALERT🚨: NVIDIA SGLANG INFERENCE RUBIN IS 4.23x BETTER 🚀 PERF PER DOLLAR THAN EVEN GB300 NVL72. This is on the widely used production LLM engine called @sgl_project. (1/2)🧵

来源:SemiAnalysis · x.com