Story
Hot Chips大會揭示AI晶片新趨勢：「每瓦代幣產出」成關鍵指標
根據巴克萊銀行（Barclays）的分析報告，人工智慧（AI）晶片競賽的焦點正在轉變。在今年的Hot Chips半導體大會上，業界領導者們共同指出，在固定的功耗限制下最大化運算效能，已成為首要的工程目標。
效能功耗比成新戰場
巴克萊分析師 Tom O’Malley 指出，由於資料中心空間有限，而市場對運算「代幣」（tokens）的需求持續超越供給，「每瓦代幣產出」（tokens per watt） 已成為當前衡量晶片成功最關鍵的指標之一。從硬體供應商、超大規模資料中心業者到零組件供應商，整個產業鏈都強調在固定的功率預算內榨出最高效能。
O’Malley 表示，產業的關注點也從單一零組件的效能，轉向整個系統的表現，如今機櫃（racks）已被視為「運算的基本單位」。這種系統級的思維促使廠商開發更全面的解決方案。
各大廠策略分歧，推論晶片設計引發辯論
為了提升效率，各大廠採取了不同的技術路徑，尤其在AI推論（inference）晶片的設計上出現了顯著分歧。
Ad- Nvidia 在會中討論了其「推測解碼」（speculative decode）的方法。
- Cerebras 則透過與 AMD 和 AWS 的合作，推動「分散式推論」（disaggregated inference），O’Malley 稱這種方法在每千瓦每秒代幣產出上「可能帶來數量級的提升」。
- OpenAI 則反其道而行，其發表的 Jalapeño 晶片將預填（prefill）、草稿（draft）和解碼（decode）等功能整合在同一晶片上，而非分散到不同硬體。
與此同時，微軟（Microsoft） 發表了名為「軟體定義本地存取資料流」（Software Defined Local Access Dataflow）的新架構，旨在透過軟體調度來提升能源效率，進而降低總體擁有成本。
記憶體與客製化晶片成發展重點
記憶體的容量、頻寬和功耗效率成為另一個核心議題。Nvidia 近期發表的 NVHBM 技術便是一例，該公司宣稱與標準 HBM4E 相比，可提升 30% 的記憶體頻寬、降低 15% 的 HBM 功耗，並在運算晶粒上釋放 25% 的面積。
展望未來，分析師認為下一個記憶體架構的重大變革可能是 3D DRAM，目前三星（Samsung）和 Cerebras 皆在探索堆疊式組態，但因散熱與供電挑戰，仍處於「非常初期的階段」。在客製化晶片方面，雙源採購趨勢日益明顯，例如 Google 的一條晶片產品線採用了聯發科（MediaTek） 的設計，同時也引入邁威爾（Marvell） 負責其推論晶片的另一版本。