Together发布持续编译系统TKCC,SemiAnalysis称已验证部分结果
先了解这件事
Together 研究团队发布 Together Compiler(TKCC),一个用智能体对 AI 推理部署做持续编译优化的系统;SemiAnalysis 转发称已独立验证其中一项 InferenceX/AgentX 结果,认为其可在保证精度的同时快速部署到生产。 按 Together 介绍,TKCC 每小时可尝试比以往智能体推理优化系统多 252 倍的实验,并在 24 小时、每编译 2 个节点内超越所测 InferenceX 引擎,给出的成绩包括 MiniMax M3.1 B200 上 1111 TPS、DeepSeek v4.1 Flash GB300 上 batch size 1 时 1205 TPS,覆盖 NVIDIA、AMD、Trainium2 硬件。系统已用于生产推理(每天服务大量生产 token),可在几小时内的重编译中适应流量变化。
AI 生成摘要 · 以原文为准
AI 根据报道生成 · 32 分钟前更新
报道时间线
沿着报道,了解事件的不同侧面。
- X · Dylan PatelDylan Patel 评价 Together Compiler:智能体持续编译优化 AI 推理部署
SemiAnalysis 的 Dylan Patel 转发并点评 Together 团队发布的 Together Compiler,称其为智能体与专家协作优化系统性能的工作,并指出研究显示人类归纳偏置有时会限制智能体发挥。被引内容介绍该编译器用智能体持续优化推理部署:TKCC 每小时可比此前智能体推理优化系统多尝试 252 倍优化实验,24 小时、每编译 2 节点内跑赢所测 InferenceX 引擎,包括 MiniMax M3.1 B200 上 1111 TPS 和 DeepSeek v4.1 Flash GB300 上 1205 TPS(batch size 1),支持 NVIDIA、AMD、Trainium2,目前每天服务大量生产 token,可在数小时内通过重编译适应流量变化。
- X · SemiAnalysisTogether 团队发布 Together Compiler(TKCC)持续编译系统,SemiAnalysis 称已验证部分结果
Together 团队发布 Together Compiler(TKCC),用智能体对 AI 推理部署做持续编译优化,称每小时可尝试比以往智能体推理优化系统多 252 倍的实验,并在 24 小时、每编译 2 个节点内超越所测 InferenceX 引擎,包括 MiniMax M3.1 B200 上 1111 TPS、DeepSeek v4.1 Flash GB300 上 batch size 1 时 1205 TPS,覆盖 NVIDIA、AMD、Trainium2。系统目前每天服务大量生产 token,并可在几小时内的重编译中适应流量变化;SemiAnalysis 转发称已独立验证其中一项 InferenceX/AgentX 结果,认为其可在保证精度的同时快速部署到生产。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。