SemiAnalysis· @SemiAnalysis_ · X·· 17 天前AI 评分43
AI 导读
TOKENMAXXING：@vllm_project 和 @inferact 通过在 AgentX 上采用分离式推理（disaggregated serving），在超大规模云厂商批量价格下实现了每美元 TCO 13 亿（1.3 BILLION）token 的吞吐。 这一结果比 B300 聚合（aggregated）配置高出 4 倍。
AI 生成摘要 · 以原文为准
正文
TOKENMAXXING: @vllm_project and @inferact achieve 1.3 BILLION tokens per $ of TCO (hyperscaler volume pricing) via disaggregated serving on AgentX.
This result is 4x better than the B300 aggregated configuration.
来源：SemiAnalysis · x.com