Story
AI半導体開発、新時代へ――電力効率「ワット当たりトークン」が最重要指標に
AI（人工知能）半導体の開発競争は、純粋な処理能力の追求から、電力効率を最優先する新たな時代に突入した。バークレイズ証券の分析によると、今年の半導体技術会議「Hot Chips」では、主要企業が固定された電力制約内でいかにコンピューティング性能を最大化するかに焦点を当てており、「ワット当たりトークン」が成功を測る極めて重要な指標となっている。
電力効率が新たな主戦場に
バークレイズのアナリスト、トム・オマリー氏は、データセンターのスペースと電力が限られる一方で、AIモデルが生成する「トークン」への需要が供給を上回り続けていると指摘。この状況下で、ハードウェアプロバイダーからハイパースケーラー、部品メーカーに至るまで、業界全体が固定された電力予算から最大の性能を引き出すことを共通の目標としている。
このトレンドを背景に、個々の部品性能だけでなく、サーバーラック全体を「一つの計算ユニット」と見なすシステムレベルでの最適化へと関心が移っている。投資家にとって、これは単一のチップ性能だけでなく、システム全体のエネルギー効率や総所有コスト（TCO）を評価することの重要性が増していることを意味する。
各社の戦略と技術動向
各社は電力効率を高めるため、独自のアプローチを打ち出している。
Ad- AMDは、超越関数エンジンを強化し、テンソルデータムーバーを追加することで計算効率を向上させたと発表。
- Microsoftは、「Software Defined Local Access Dataflow」と呼ばれる新アーキテクチャを導入。ソフトウェアによる最適化でエネルギー効率を高め、TCOを削減する。
- NVIDIAは、「投機的デコード」と呼ばれるアプローチを議論。一方、CerebrasはAMDやAWSとの提携を通じて「分離型推論」を追求しており、これにより「ワット秒当たりトークン」を桁違いに改善できる可能性があるという。
- OpenAIは、自社開発の「Jalapeño」チップで、推論の各機能を単一チップ上に統合する異なるアプローチを採用している。
カスタムチップの分野では、GoogleがMediaTekとMarvellの両社からチップを調達するなど、デュアルソーシング（複数社からの調達）の動きが活発化している。オマリー氏は、BroadcomやMarvellが持つ高速通信技術（SerDes）の専門知識とサプライチェーン能力は、依然として強力な競争優位性であると分析している。
メモリ技術の進化が成功の鍵
メモリの容量、帯域幅、電力効率も中心的な課題となっている。NVIDIAが最近発表したNVHBMは、標準的なHBM4Eメモリと比較して、メモリ帯域幅を最大30%向上させつつ、HBMの消費電力を15%削減できるとしている。
さらに将来の技術として、SamsungやCerebrasが研究を進める3D DRAM（DRAMチップの3次元積層）が次の大きな技術革新になる可能性がある。ただし、熱や電力供給の課題から、実用化はまだ「非常に初期段階」にあると見られている。CXLによるメモリ拡張技術への関心も続いているが、アナリストは実際の導入事例が出てくるまで慎重な姿勢を崩していない。