a16z@a16z· 00:03精选AI 评分6868Berkeley 博士生 Woosuk Kwon 2022 年发起的 vLLM 项目已发展为最大的开源推理引擎之一，任何时刻运行在约 50 万块 GPU 上，Google、Amazon 和 Meta 均在生产环境使用。项目从操作系统借来虚拟内存思想按需分配显存；今年 1 月核心维护者创办 Inferact 并融资 1.5 亿美元，为 vLLM 组建全职团队，正在旧金山和新加坡招聘工程。AI 生成摘要 · 以原文为准关注理由：梳理了 vLLM 从 Berkeley 课题到大规模开源推理引擎的脉络，其虚拟内存方法和 1.5 亿美元融资细节可供了解推理基础设施格局。
a16z@a16z精选AI 评分6868
a16z@a16z精选AI 评分6868