Analis: Permintaan AI Ciptakan 'Bottleneck' Memori, Peluang Meluas di Luar HBM

Permintaan kecerdasan buatan (AI) menciptakan *bottleneck* atau keterbatasan memori yang semakin besar, dengan permintaan kini meluas di luar *high-bandwidth memory* (HBM) ke DRAM konvensional, NAND flash, dan penyimpanan. Analis dari Bernstein menyatakan bahwa peluang investasi di sektor memori akan semakin bergantung pada jenis beban kerja AI.

Beban Kerja AI Mendorong Permintaan yang Beragam

Menurut Bernstein, berbagai jenis tugas AI—seperti pelatihan, inferensi, *Retrieval-Augmented Generation* (RAG), dan AI agentik—memiliki tuntutan yang berbeda pada tumpukan memori (*memory stack*).

• Pelatihan (Training): Proses ini tetap sangat intensif secara komputasi, di mana *bandwidth* memori membatasi ukuran model dan kecepatan pemrosesan. HBM memainkan peran sentral, tetapi pelatihan skala besar juga memerlukan DRAM sistem, SSD lokal, dan penyimpanan jaringan.
• Inferensi (Inference): Tahap ini menyajikan tantangan yang berbeda. Tahap awal "prefill", di mana model memproses *prompt*, lebih terikat pada komputasi (GPU dan HBM). Namun, tahap "decode" berikutnya lebih terikat pada memori, di mana model menyimpan token sebelumnya dalam *cache Key-Value* (KV).

Tantangan KV Cache dan Inovasi Teknologi

Kebutuhan memori untuk *cache KV* meningkat seiring dengan panjang konteks dan jumlah pengguna simultan. Bernstein mencatat bahwa dalam implementasi skala besar, *cache KV* berpotensi memerlukan lebih banyak memori daripada bobot model itu sendiri, sehingga dapat membatasi jumlah pengguna yang dapat didukung oleh layanan AI.

Ad

Tekanan ini mendorong pengembangan tingkatan memori baru untuk menyeimbangkan kinerja, kapasitas, dan biaya. Inovasi yang muncul mencakup memori CXL, inisiatif "Storage Next" dari Nvidia, dan penyimpanan konteks CMX, yang melengkapi HBM, DRAM konvensional, dan SSD.

Dampak RAG dan Prospek Pasar

Teknologi seperti RAG dapat memperluas permintaan lebih jauh. Bernstein menyatakan bahwa membangun basis data RAG memerlukan kapasitas SSD atau HDD yang substansial di samping DRAM sistem. Sementara itu, AI agentik dapat mengintensifkan kebutuhan ini lebih lanjut karena sistem otonom perlu menyimpan hasil sementara dan berinteraksi dengan alat eksternal, yang dengan cepat meningkatkan permintaan *cache KV*.

Produsen memori juga sedang mengembangkan teknologi seperti *high-bandwidth flash* yang bertujuan menggabungkan *bandwidth* HBM dengan kapasitas lebih besar dan biaya lebih rendah dari NAND, meskipun tantangan teknisnya tetap tinggi. Bernstein memberikan peringkat Outperform untuk saham Samsung Electronics, SK hynix, Micron, Seagate, dan Western Digital, sementara Kioxia diberi peringkat Underperform.