AI芯片竞赛进入新纪元：行业焦点转向“每瓦特令牌数”

根据巴克莱银行(Barclays)的分析，人工智能(AI)芯片竞赛的重点正在发生转变。在今年的Hot Chips大会上，行业领导者普遍将工程优先事项确立为在固定的功率限制内实现计算性能最大化，标志着能效已成为新的核心战场。

巴克莱分析师Tom O’Malley指出，由于数据中心空间持续受限，而计算令牌的需求远超供应，“每瓦特令牌数”（tokens per watt）已成为“当今最关键的成功标准之一”。硬件供应商、超大规模计算服务商和组件供应商都强调了在固定功率预算下获得最高性能的重要性。

效率优先：行业共识与多元路径

为了提升能效，各大公司正采取不同的技术路径。AMD透露，其通过增强超越函数引擎（transcendental engine）和增加张量数据移动器（tensor data mover）来提高计算能力和效率。微软则推出了一种名为“软件定义本地访问数据流”（Software Defined Local Access Dataflow）的新架构，旨在通过更好的能源效率来降低总拥有成本。

在推理芯片领域，策略也出现了分化。英伟达(Nvidia)在会上讨论了一种“推测解码”（speculative decode）方法。与此同时，Cerebras正通过与AMD和AWS的合作推行“分离式推理”（disaggregated inference），O’Malley认为这种方法“可能在每千瓦每秒令牌数上实现数量级的提升”。而OpenAI的Jalapeño芯片则采取了不同的集成化设计，将预填充、草稿和解码功能保留在同一芯片上。

从组件到系统：自研芯片与供应链动态

Ad

分析师O’Malley观察到，行业关注点正从单个组件转向整个系统的性能，如今“机架被视为计算单元”。在自研芯片方面，双重采购（dual-sourcing）的趋势日益明显。例如，谷歌(Google)的一条芯片产品线使用了联发科(MediaTek)的技术，同时又引入了美满电子(Marvell)为其开发一款推理芯片的变体。

O’Malley表示，尽管行业正更多地关注“瓦上芯片”（chip-on-tile）模型，但博通(Broadcom)和美满电子凭借其在SerDes（串行器/解串器）方面的专业知识和供应链能力，其市场地位依然“具有防御性”。

内存技术成为新战场

内存的容量、带宽和能效已成为另一个核心议题。O’Malley提到了英伟达最近发布的NVHBM技术。据英伟达称，与标准HBM4E相比，该技术可将内存带宽提高30%，将HBM功耗降低15%，并在计算芯片上释放25%的额外空间。

展望未来，下一代内存架构的重大变革可能涉及3D DRAM。三星(Samsung)和Cerebras都在探索堆叠配置，但O’Malley指出，鉴于散热和供电方面的挑战，这些努力仍“处于非常早期的阶段”。此外，CXL内存扩展也持续吸引着业界的兴趣，但该分析师表示，在看到实际部署证据前，他对此仍持“谨慎态度”。