什么是异构计算(以及它为何对 AI 至关重要)

如今大多数运行 AI 推理的企业都依赖单一处理向量——GPU。这种方式可行,但会让其余可用硬件(CPU、NPU、XPU)处于闲置状态,而每一次性能提升最终都只能依赖购买更多 GPU。

异构计算是一种将机器上所有可用加速器——来自任何厂商的 GPU、CPU、NPU 与 XPU——进行统一编排的方法。工作负载不再依赖单一处理向量,而是分布到两个或多个向量上,充分利用企业已经拥有的硬件。

其实际影响体现在两方面。第一,单机性能更高,因为不会出现只有 GPU 独自运算、其余加速器闲置的情况。第二,对单一厂商的依赖降低:如果解决方案不绑定某个特定芯片品牌,企业就能获得更大的议价、迁移与扩展自由,不受硬件锁定的限制。

这正是 Linux Foundation 专门成立 UXL Foundation 来推动异构计算标准化与普及的原因,也是 MultiCortex 将整个技术栈——从操作系统到最终产品——都建立在这一原则之上的原因。

对于已经在生产环境中运行 AI 的企业而言,这在实践中意味着:用相同的硬件获得更多每秒 token 数,降低计算与能耗成本,并保持 100% 本地部署或私有云运行,而无需依赖单一厂商来持续演进。