NVIDIA 发布 Vera CPU,称智能体吞吐与速度兼顾优于 x86
Vera Delivers the Best of Both Worlds: Highest Throughput and Fastest Agents
NVIDIA 官方宣布 Vera CPU 在 100 兆瓦数据中心对比中,性能同时超过最快的 x86 CPU 和能效最优的 x86 CPU,每瓦可多支持 1.6 倍智能体,智能体速度较能效最优 x86 CPU 快 2 倍。早期客户测试中,Perplexity 的智能体编程任务快 1.5 倍并计划部署,DeepInfra 的智能体编排达到最优 x86 处理器最高 2.2 倍速度。
AI 生成摘要 · 以原文为准
官方公布了 Vera CPU 的智能体负载对比数据与 Perplexity、DeepInfra 等早期客户测试结果,可用于跟踪其在 AI 工厂中的部署进展。
AI 智能体不只是生成答案。它们会搜索信息、查询数据库、编写并测试代码,还会采取行动。
每一步都依赖 CPU,智能体在整个任务中不断在 GPU 推理与 CPU 执行之间切换。
随着企业投入更多智能体,AI 工厂需要能够快速执行这些步骤、同时支持大量智能体,并在可用功耗范围内完成这一切的 CPU。
这意味着:AI 基础设施提供商需要支持更多智能体,同时不增加每个智能体完成工作所需的等待时间。关键在于,AI 工厂受功耗限制。这意味着运营者需要选择能够最大化每瓦电力所完成工作量的基础设施。
为何重要: NVIDIA Vera 在单颗 CPU 中同时提供了快速的智能体性能和每瓦高容量。这让提供商可以用一颗 CPU 应对多种智能体工作负载,而无需混搭快速与高密度的 x86 部件来平衡速度与容量。
证明这一点数据:在一项 100 兆瓦数据中心的对比中,NVIDIA 发现单颗 Vera CPU 的表现优于最快的 x86 CPU 和最节能的 x86 CPU。
- Vera 提供业界领先的智能体速度,同时相比最快的 x86 CPU,每瓦可支持的智能体数量多 1.6 倍。
- 与最节能的 x86 CPU 相比,Vera 在能效领先的情况下提供 2 倍的智能体速度。
合作伙伴已经在使用 Vera。早期采用者在生产级测试中看到了同样出色的性能:
- Perplexity:使用 Vera 运行智能体编码任务的速度比传统 CPU 快 1.5 倍。Perplexity 计划在即将推出的生产系统中部署 Vera。
- DeepInfra:在其生产智能体工作负载的智能体编排上,达到了最佳 x86 处理器高达 2.2 倍的速度,是测试的四种架构中最快的。
- ClickHouse:其标准二进制文件未经任何针对 Vera 的调优,便在 176 个核心上实现了近乎线性的扩展,并登顶 ClickBench 硬件排行榜。
- DuckLabs:达到了 Intel Xeon 6 基准约 1.5 倍的 TPC-H SF1000 中位数性能。
- Daytona:使用 Vera 在 10.8 秒内启动了 1,000 个智能体沙箱,并在 2,000 个并发沙箱下实现每秒完成 12.7 个任务,而 x86 需要 88.4 秒。
- Modal:与同级别 x86 硬件相比,每核心沙箱吞吐量最高提升 2 倍,且在高负载下增益更大。
了解更多关于 NVIDIA Vera CPU 的信息。
来源:NVIDIA Blog · blogs.nvidia.com