Story
AIのメモリー需要、HBMからDRAM・NANDへ拡大 バーンスタインが分析
米証券会社バーンスタインのアナリストは、人工知能（AI）の急速な発展がメモリーのボトルネックを生み出しており、その需要が広帯域幅メモリー（HBM）だけでなく、従来のDRAM、NANDフラッシュ、ストレージへとメモリースタック全体に拡大しているとの見解を示しました。AIの用途が多様化するにつれ、メモリー市場における投資機会も変化していくと指摘しています。
AIワークロードで変化するメモリー需要
バーンスタインによると、AI関連の投資機会は、そのAIがどのような処理（ワークロード）を行うかによって大きく左右されます。AIモデルの「トレーニング」と「推論」では、メモリーに対する要求が根本的に異なります。
- トレーニング段階: 大量の計算処理を必要とし、メモリー帯域幅がモデルサイズや処理速度を制限します。HBMが中心的な役割を果たしますが、データセットの保存やキャッシュのため、システムDRAMやローカルSSD、ネットワークストレージも大規模に必要とされます。
- 推論段階: ユーザーのプロンプトを処理して最初の応答を生成する「プリフィル」段階は計算処理が中心ですが、その後の応答を続ける「デコード」段階はメモリーへの負荷が大きくなります。
「KVキャッシュ」が新たな需要を創出
特に推論のデコード段階では、モデルが直前のやり取りを「キー・バリュー（KV）キャッシュ」と呼ばれる領域に保存します。このKVキャッシュは、文脈が長くなったり、同時利用者数が増えたりするのに伴い、その要求量が飛躍的に増大します。
Adバーンスタインは、大規模なAIサービス展開においては、このKVキャッシュがモデル本体の重み（ウェイト）よりも多くのメモリーを必要とする可能性を指摘しており、これがAIサービスがサポートできるユーザー数を制限する要因になり得ると分析しています。この課題に対応するため、HBMやDRAM、SSDに加え、CXLメモリーやNVIDIAの「Storage Next」構想など、性能、容量、コストのバランスを取るための新しいメモリー階層技術が登場しています。
RAGとエージェントAIが需要をさらに押し上げ
検索拡張生成（RAG）やエージェントAIといった新しい技術も、メモリー需要をさらに押し上げる要因となります。RAGデータベースの構築には大容量のSSDやHDDが必要となり、その検索時にはDRAMが重要な役割を果たします。
自律的に動作するエージェントAIは、中間結果を保持したり、外部ツールと連携したりするため、KVキャッシュへの要求が急増します。これにより、従来のサーバーにおけるCPUや通常メモリーの重要性も高まるとみられています。バーンスタインは、サムスン電子、SKハイニックス、マイクロン、シーゲイト、ウエスタンデジタルなどを「アウトパフォーム」と評価する一方、キオクシアは「アンダーパフォーム」と評価しています。