AI tạo 'nút thắt cổ chai' bộ nhớ, mở rộng cơ hội sang DRAM và NAND

Sự bùng nổ của trí tuệ nhân tạo (AI) đang tạo ra một "nút thắt cổ chai" ngày càng lớn về bộ nhớ, và theo các nhà phân tích tại Bernstein, nhu cầu này đang lan rộng ra ngoài bộ nhớ băng thông cao (HBM) sang cả DRAM, bộ nhớ flash NAND và các giải pháp lưu trữ truyền thống.

Cơ hội đầu tư trên toàn thị trường bộ nhớ sẽ ngày càng phụ thuộc vào từng loại tác vụ AI cụ thể, do các hoạt động như huấn luyện, suy luận, tạo sinh tăng cường truy xuất (RAG) và AI tác tử (agentic AI) đặt ra những yêu cầu khác nhau đối với hệ thống bộ nhớ.

Nhu cầu đa dạng hóa theo từng tác vụ AI

Quá trình huấn luyện các mô hình AI vẫn đòi hỏi năng lực tính toán cực lớn, trong đó băng thông bộ nhớ là yếu tố giới hạn quy mô mô hình và tốc độ xử lý. HBM đóng vai trò trung tâm, nhưng việc huấn luyện quy mô lớn cũng cần đến DRAM hệ thống, ổ cứng SSD cục bộ và lưu trữ nối mạng để chứa các bộ dữ liệu, bộ nhớ đệm và các điểm kiểm tra (checkpoint).

Tuy nhiên, quá trình suy luận (inference) lại đặt ra một thách thức khác. Giai đoạn "prefill" ban đầu, khi mô hình xử lý câu lệnh và tạo ra token đầu tiên, chủ yếu phụ thuộc vào năng lực tính toán của GPU và HBM. Nhưng giai đoạn "decode" tiếp theo lại phụ thuộc vào bộ nhớ. Các mô hình lưu trữ các token đã tạo trước đó trong một bộ nhớ đệm key-value (KV cache), và yêu cầu về dung lượng này tăng lên cùng với độ dài ngữ cảnh và số lượng người dùng đồng thời.

Theo Bernstein, bộ nhớ đệm KV có thể yêu cầu nhiều dung lượng hơn cả trọng số của mô hình trong các hệ thống triển khai lớn, có khả năng giới hạn số lượng người dùng mà một dịch vụ AI có thể hỗ trợ.

Công nghệ mới và cơ hội cho các nhà sản xuất

Áp lực từ bộ nhớ đệm KV đang thúc đẩy sự ra đời của các cấp bộ nhớ mới, bao gồm bộ nhớ CXL, sáng kiến "Storage Next" của Nvidia và bộ nhớ ngữ cảnh CMX, bên cạnh HBM, DRAM và SSD truyền thống. Các công nghệ mới này tìm cách cân bằng giữa hiệu suất, dung lượng và chi phí khi hệ thống AI đòi hỏi các vùng nhớ lớn hơn.

Ad

Nhu cầu dự kiến sẽ còn mở rộng hơn nữa với các ứng dụng như RAG và AI tác tử.

• Tạo sinh Tăng cường Truy xuất (RAG): Việc xây dựng cơ sở dữ liệu RAG đòi hỏi dung lượng SSD hoặc HDD đáng kể cùng với DRAM hệ thống.
• AI Tác tử (Agentic AI): Các hệ thống tự hành này làm tăng đột biến nhu cầu bộ nhớ đệm KV và cũng đòi hỏi nhiều CPU và bộ nhớ thông thường hơn trên các máy chủ truyền thống.

Các nhà sản xuất cũng đang phát triển các công nghệ như flash băng thông cao, nhằm kết hợp băng thông tương tự HBM với dung lượng lớn hơn và chi phí thấp hơn của NAND, dù các rào cản kỹ thuật vẫn còn rất lớn.

Triển vọng thị trường

Trong bối cảnh này, Bernstein đã đưa ra xếp hạng cho các công ty chủ chốt trong ngành sản xuất bộ nhớ và lưu trữ:

• Xếp hạng Khả quan (Outperform): Samsung Electronics, SK hynix, Micron, SanDisk, Seagate và Western Digital.
• Xếp hạng Kém khả quan (Underperform): Kioxia.