Ledakan AI Pacu Permintaan Merentas Pelbagai Jenis Memori — Bernstein

Ledakan kecerdasan buatan (AI) sedang mewujudkan "kesesakan memori" yang semakin meningkat, dengan permintaan kini merebak melangkaui Memori Jalur Lebar Tinggi (HBM) kepada komponen konvensional seperti DRAM, flash NAND dan storan, menurut penganalisis di Bernstein.

Firma itu menyatakan bahawa peluang pelaburan dalam sektor memori akan semakin bergantung pada jenis beban kerja AI, kerana setiap proses — sama ada latihan, inferens, atau teknologi baharu seperti AI agentik — meletakkan tuntutan yang berbeza pada rantaian memori.

Keperluan Berbeza Mengikut Beban Kerja AI

Proses latihan (training) model AI kekal sangat intensif dari segi pengiraan, di mana lebar jalur memori mengehadkan saiz model dan kelajuan pemprosesan. Walaupun HBM memainkan peranan utama, latihan berskala besar juga memerlukan DRAM sistem, SSD tempatan dan storan rangkaian untuk set data dan proses sokongan.

Inferens (inference), iaitu apabila model AI digunakan untuk menjana output, memberikan cabaran yang berbeza. Peringkat awal atau *prefill* lebih terikat kepada pengiraan (GPU dan HBM), tetapi peringkat seterusnya yang dikenali sebagai *decode* adalah terikat kepada memori. Model perlu menyimpan token sebelumnya dalam *cache* KV (*key-value*), dan keperluannya meningkat selaras dengan panjang konteks dan jumlah pengguna serentak.

Menurut Bernstein, *cache* KV ini berpotensi memerlukan lebih banyak memori berbanding pemberat model itu sendiri dalam penggunaan berskala besar. Ini mendorong pembangunan teknologi memori baharu untuk mengimbangi prestasi, kapasiti dan kos.

Inovasi dan Implikasi Pasaran

Ad

Tekanan pada kapasiti memori ini memacu inovasi seperti memori CXL, inisiatif "Storage Next" oleh Nvidia, dan storan konteks CMX. Teknologi-teknologi ini bertujuan untuk mewujudkan kumpulan memori yang lebih besar dan cekap kos di samping HBM, DRAM konvensional dan SSD sedia ada.

Selain itu, teknologi masa depan seperti Penjanaan Dipertingkat Pengambilan (RAG) dan AI agentik dijangka akan meningkatkan lagi permintaan. RAG memerlukan kapasiti SSD atau HDD yang besar untuk pangkalan data, manakala AI agentik akan meningkatkan permintaan untuk *cache* KV, CPU dan memori konvensional secara mendadak.

Sebagai respons, pengeluar sedang membangunkan teknologi seperti *high-bandwidth flash*, yang cuba menggabungkan lebar jalur seakan HBM dengan kapasiti dan kos rendah NAND, walaupun cabaran teknikalnya masih tinggi. Berdasarkan landskap ini, Bernstein memberikan penarafan Outperform kepada syarikat-syarikat berikut:

• Samsung Electronics
• SK hynix
• Micron
• SanDisk
• Seagate
• Western Digital

Manakala Kioxia dinilai sebagai Underperform.