AI記憶體需求擴散 伯恩斯坦：HBM之外 DRAM與NAND迎來新機遇

根據投資研究機構伯恩斯坦（Bernstein）的分析，人工智慧（AI）的快速發展正在引發日益嚴重的記憶體瓶頸，其需求已不再局限於高頻寬記憶體（HBM），而是全面擴散至傳統的 DRAM、NAND 快閃記憶體及其他儲存裝置。

AI工作負載分化 記憶體需求各異

伯恩斯坦分析師表示，記憶體領域的投資機會將日益取決於 AI 的具體工作負載。不同的 AI 應用，如模型訓練、推論、檢索增強生成（RAG）及代理式 AI，對記憶體堆疊（memory stack）提出了截然不同的要求。

模型訓練階段仍是高度運算密集型的任務，記憶體頻寬是限制模型規模和運算速度的關鍵。雖然 HBM 在此扮演核心角色，但大規模訓練同樣需要系統 DRAM、本地固態硬碟（SSD）及網路儲存裝置，以處理資料集、快取和檢查點。

推論瓶頸浮現 新興技術崛起

相較之下，推論階段面臨不同的挑戰。在 AI 模型處理提示並生成第一個詞元（token）的「預填（prefill）」階段，主要受限於運算能力，因此 GPU 和 HBM 更為重要。然而，隨後的「解碼（decode）」階段則轉為受限於記憶體。

Ad

在解碼過程中，模型會將先前生成的詞元儲存在一個稱為「鍵值快取（KV cache）」的記憶體區域。隨著上下文長度和同時在線用戶數的增加，KV 快取的需求也隨之飆升。伯恩斯坦指出，在大型部署中，KV 快取所需的記憶體容量甚至可能超過模型權重本身，從而限制 AI 服務可支援的用戶數量。此壓力正催生新的記憶體層級，包括 CXL 記憶體、輝達（Nvidia）的「Storage Next」計畫及 CMX 上下文儲存等，旨在平衡效能、容量與成本。

RAG與代理式AI進一步推升需求

檢索增強生成（RAG）技術可能進一步擴大需求。伯恩斯坦認為，建立 RAG 資料庫需要大量的 SSD 或傳統硬碟（HDD）容量，以及系統 DRAM 的支援，尤其在搜尋這些資料庫時，DRAM 的角色更為吃重。

而代理式 AI（Agentic AI）則可能使需求更為緊張。由於自主系統需要保留中間結果、與外部工具互動並在不同代理之間傳遞輸出，這將迅速增加 KV 快取的需求，同時也對傳統伺服器中的 CPU 和常規記憶體提出更高要求。

為應對此趨勢，記憶體製造商正開發如「高頻寬快閃記憶體」等技術，試圖結合 HBM 的頻寬與 NAND 的大容量及低成本優勢，但伯恩斯坦也提醒，相關技術障礙依然很高。該機構給予三星電子、SK 海力士、美光、SanDisk、希捷和威騰電子「表現優於大盤」的評級，而鎧俠（Kioxia）則為「表現遜於大盤」。