SemiAnalysis· @SemiAnalysis_ · X·· 2 天前AI 评分31
AI 导读
突发新闻🚨：根据 NVIDIA AgentX 的新提交内容，通过智能体集群编写的软件，HBM 芯片在 700B+ 大模型上可达到每用户 1000 token/秒以上。 此外，在 Rubin NVL72 上，即使在 325 token/秒/用户的“超快”速度下，其单位 TCO 性能也比 GB300 NVL72 高出 20.9 倍；在 200 token/秒/用户下，最高可高出 9.11 倍。(1/2)🧵
AI 生成摘要 · 以原文为准
正文
BREAKING NEWS🚨: HBM CHIPS CAN REACH OVER 1000 tok/s/user on giant 700B+ models via agent swarm-written software, according to a new NVIDIA AgentX submission.
Furthermore, on Rubin NVL72, it can achieve 20.9x better perf per TCO than GB300 NVL72 at even "ultrafast" speeds of 325 tok/s/user and up to 9.11x better perf per TCO at 200 tok/s/user. (1/2)🧵
来源：SemiAnalysis · x.com