最热门的开源大语言模型推理引擎——vllm 的创始团队与核心开发者正式成立 ai 基础设施初创企业：inferact。
据彭博社消息，Inferact 在近期完成的新一轮种子轮融资中成功募集 1.5 亿美元，投后估值约为 8 亿美元。本轮融资由全球顶尖风投机构 Andreessen Horowitz（a16z）与 Lightspeed Venture Partners 共同领投，Sequoia Capital、Altimeter Capital、Redpoint Ventures 以及真格基金等多家知名投资方也参与了跟投。
目前，vLLM 已兼容超过 500 种模型架构，可在 200 余种硬件加速器上高效运行，并已支撑起全球化规模的推理服务。Inferact 表示，其使命是将 vLLM 打造成全球首屈一指的 AI 推理基础设施平台，持续推动推理成本下降与吞吐性能提升，从而全面加速 AI 技术的落地与普及。
在 AI 全流程中，推理（inference）指的是将已完成训练的模型部署至真实场景并执行预测任务的关键环节。随着大模型和生成式 AI 应用的爆发式增长，推理阶段所消耗的算力资源与运营成本正迅速攀升。相较以往资本高度聚焦于模型训练环节，当前市场正将更多目光投向推理优化技术——即如何让模型“跑得更快、更省、更稳”。Inferact 正是直击这一核心挑战而生。
近期，一批专注 AI 推理层的基础设施公司密集获得大额融资，凸显出业界对高性能推理能力的迫切需求。提升推理效率不仅意味着更低的延迟与更强的并发能力，更能显著减少云端部署开销，成为 AI 实现规模化商业应用的核心支点。Inferact 此次融资既印证了高质量开源项目向商业化成功跃迁的可能性，也标志着 AI 基础设施赛道的战略重心正从“训练为王”加速转向“推理制胜”。
源码地址：点击下载
