英伟达收购 CentML 加速 AI 软件发展

英伟达收购 CentML：深度学习领域新星助推 AI 软件发展

人工智能领域持续火热，而近年来大模型的崛起更是掀起了一股浪潮。在此背景下，专注于开源机器学习编译器及平台服务的 CentML 近日被英伟达收购，引发行业关注。此次交易不仅标志着 CentML 在深度学习领域取得了成功，也为英伟达的 AI 软件发展注入了新的活力。

CentML 由几位曾在多伦多大学深造的学者创立，其核心产品包括开源机器学习编译器 Hidet 和一体化 AI 基础设施方案。通过 Hidet 编译器，开发者能够直接对接英伟达基于 vLLM 的服务引擎 CServe，实现 CentML 平台与英伟达现有生态系统的无缝集成。借助 CentML 平台，开发者可选择 Llama、Mistral 或 DeepSeek 等开源模型，并将其部署于各种硬件平台，包括英伟达 H100、AMD MI300X 和 TPU。

在技术方面，CentML 表现出色。其团队曾利用 Hidet 编译器领域特定语言 Hexcute，为大模型 DeepSeek-R1 的混合专家层构建全融合 GPU 内核，相比 Triton 编译器的同类方案提升了 2 到 11 倍的速度。此外，CentML 还开发了 EAGLE 推测式解码技术，通过利用更小的草稿模型减少原始大模型的工作量，实现 1.5 到 2 倍的速度提升。

而 CentML 最近发表的 Seesaw 大模型推理引擎论文则展现了其在吞吐量导向型任务上的优势。Seesaw 通过动态模型重分片技术，在不同阶段间实现并行化策略的动态重构，从而在两个阶段均实现吞吐量最大化。评估结果表明，Seesaw 的吞吐量最高提升 1.78 倍（平均提升 1.36 倍），超过目前应用最广泛的顶尖大模型推理引擎 vLLM。

此次被英伟达收购后，CentML 团队悉数入职英伟达。原 CEO 佩基门科担任 AI 软件高级总监，同时继续在多伦多大学任教；原 CTO 王尚担任 AI 软件系统经理；原首席架构师阿南德·贾亚拉詹担任工程经理；原 COO 阿克巴·努尔利巴耶夫担任 AI 软件高级经理。

英伟达此次收购 CentML 可以看作是对其在 AI 软件领域战略布局的进一步强化。CentML 的技术实力和开源社区资源将为英伟达提供强大助力，帮助其打造更加完善、高效的 AI 解决方案。而对于 CentML 团队来说，这将是一个全新的职业平台，能够更快地将他们的技术成果应用于更广泛的场景中。## 阅读本文之前，你最好先了解...

为了更好地理解本文的内容，建议您先了解以下基础知识：

• 深度学习: 一种机器学习的子领域，利用多层神经网络模拟人类大脑的学习过程，用于处理复杂的数据模式。
• 大模型: 指参数数量庞大的深度学习模型，通常具有强大的泛化能力和适应不同任务的能力。例如，GPT-3、LaMDA 等都是著名的例子。
• 机器学习编译器: 用于优化和加速机器学习模型训练和推理过程的工具，通过将模型代码转换为高效的执行指令，提高性能。
• 开源社区: 旨在共同开发和共享软件代码的团体，例如 GitHub 等平台。

了解这些基础知识可以帮助您更好地理解 CentML 的工作原理、其在深度学习领域的影响以及此次收购对英伟达和 AI 软件行业的影响。

如果你有其它意见，请评论留言。