跳到正文
热点事件持续更新

Together发布持续编译系统TKCC,SemiAnalysis称已验证部分结果

2 篇报道2 个报道来源45 分钟前更新

先了解这件事

AI 综述

Together 研究团队发布 Together Compiler(TKCC),一个用智能体对 AI 推理部署做持续编译优化的系统;SemiAnalysis 转发称已独立验证其中一项 InferenceX/AgentX 结果,认为其可在保证精度的同时快速部署到生产。 按 Together 介绍,TKCC 每小时可尝试比以往智能体推理优化系统多 252 倍的实验,并在 24 小时、每编译 2 个节点内超越所测 InferenceX 引擎,给出的成绩包括 MiniMax M3.1 B200 上 1111 TPS、DeepSeek v4.1 Flash GB300 上 batch size 1 时 1205 TPS,覆盖 NVIDIA、AMD、Trainium2 硬件。系统已用于生产推理(每天服务大量生产 token),可在几小时内的重编译中适应流量变化。

AI 生成摘要 · 以原文为准

AI 根据报道生成 · 32 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月5日
  1. X · Dylan Patel
    Dylan Patel 评价 Together Compiler:智能体持续编译优化 AI 推理部署

    SemiAnalysis 的 Dylan Patel 转发并点评 Together 团队发布的 Together Compiler,称其为智能体与专家协作优化系统性能的工作,并指出研究显示人类归纳偏置有时会限制智能体发挥。被引内容介绍该编译器用智能体持续优化推理部署:TKCC 每小时可比此前智能体推理优化系统多尝试 252 倍优化实验,24 小时、每编译 2 节点内跑赢所测 InferenceX 引擎,包括 MiniMax M3.1 B200 上 1111 TPS 和 DeepSeek v4.1 Flash GB300 上 1205 TPS(batch size 1),支持 NVIDIA、AMD、Trainium2,目前每天服务大量生产 token,可在数小时内通过重编译适应流量变化。

  2. X · SemiAnalysis
    Together 团队发布 Together Compiler(TKCC)持续编译系统,SemiAnalysis 称已验证部分结果

    Together 团队发布 Together Compiler(TKCC),用智能体对 AI 推理部署做持续编译优化,称每小时可尝试比以往智能体推理优化系统多 252 倍的实验,并在 24 小时、每编译 2 个节点内超越所测 InferenceX 引擎,包括 MiniMax M3.1 B200 上 1111 TPS、DeepSeek v4.1 Flash GB300 上 batch size 1 时 1205 TPS,覆盖 NVIDIA、AMD、Trainium2。系统目前每天服务大量生产 token,并可在几小时内的重编译中适应流量变化;SemiAnalysis 转发称已独立验证其中一项 InferenceX/AgentX 结果,认为其可在保证精度的同时快速部署到生产。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。