Berkeley 博士生 Woosuk Kwon 2022 年发起的 vLLM 项目已发展为最大的开源推理引擎之一，任何时刻运行在约 50 万块 GPU 上，Google、Amazon 和 Meta 均在生产环境使用。项目从操作系统借来虚拟内存思想按需分配显存；今年 1 月核心维护者创办 Inferact 并融资 1.5 亿美元，为 vLLM 组建全职团队，正在旧金山和新加坡招聘工程。
AI 生成摘要 · 以原文为准
梳理了 vLLM 从 Berkeley 课题到大规模开源推理引擎的脉络，其虚拟内存方法和 1.5 亿美元融资细节可供了解推理基础设施格局。
2022 年，伯克利博士生 Woosuk Kwon 以为他能在两周内让 Meta 新发布的开放权重模型 OPT-175B 跑得更快。
四年过去，3000 名贡献者加入后，这个项目成了 @vllm_project——最大的开源推理引擎之一，任何时刻都在约 50 万块 GPU 上运行。
他和 fellow 研究者 Simon Mo、Kaichao You、Roger Wang 从操作系统中借用了"虚拟内存"的概念，只在需要时才分配内存，让每块 GPU 能同时处理大小悬殊的请求。（vLLM 中的 "v" 就代表 virtual。）
他们的第一个用户、伯克利邻居 @arena，把 GPU 需求减半。如今 Google、Amazon 和 Meta 都在生产环境中运行 vLLM。
今年一月，核心维护者创办了 @inferact，融资 1.5 亿美元，为 vLLM 组建全职团队。
他们正在旧金山和新加坡招聘工程、市场和开发者关系岗位：https://a16zjobs.substack.com/p/inferact-raised-one-of-the-largest
@simon_mo_ @woosuk_k @KaichaoYou @rogerw0108
来源：a16z · x.com