번스타인 "AI 메모리 병목, HBM 넘어 D램·낸드까지 수요 확산"

번스타인(Bernstein) 분석가들은 인공지능(AI) 기술 발전이 심각한 메모리 병목 현상을 초래하고 있으며, 이로 인해 수요가 고대역폭 메모리(HBM)를 넘어 일반 D램, 낸드 플래시, 스토리지까지 확산되고 있다고 분석했습니다. 보고서에 따르면 AI 투자 기회는 훈련, 추론, 검색 증강 생성(RAG) 등 특정 작업 부하에 따라 점차 세분화될 것으로 보입니다.

AI 작업 부하별 메모리 요구 사양 변화

AI 모델 훈련(Training) 단계는 여전히 컴퓨팅 집약적인 작업으로, 메모리 대역폭이 모델의 크기와 연산 속도를 좌우합니다. HBM이 중심적인 역할을 하지만, 대규모 훈련에는 데이터셋, 캐싱, 체크포인트 저장을 위해 시스템 D램, 로컬 SSD, 네트워크 스토리지 등도 필수적입니다.

반면 추론(Inference) 단계는 다른 과제를 제시합니다. AI 모델이 프롬프트를 처리해 첫 토큰을 생성하는 초기 '사전 처리(prefill)' 단계는 컴퓨팅 의존도가 높아 GPU와 HBM의 중요성이 크지만, 이후의 '디코딩(decode)' 단계는 메모리 의존적입니다. 모델은 이전 토큰들을 '키-밸류(KV) 캐시'에 저장하는데, 이 요구량은 컨텍스트 길이와 동시 접속자 수가 늘어날수록 급증합니다. 번스타인은 대규모 배포 환경에서 KV 캐시가 모델 가중치(weights)보다 더 많은 메모리를 필요로 할 수 있다고 지적했습니다.

새로운 메모리 기술과 수요 확장

Ad

이러한 메모리 압박은 새로운 계층의 메모리 기술 개발을 촉진하고 있습니다. HBM, D램, SSD와 더불어 CXL 메모리, 엔비디아의 '스토리지 넥스트(Storage Next)' 이니셔티브, CMX 컨텍스트 스토리지 등은 AI 시스템이 더 큰 메모리 풀을 요구함에 따라 성능, 용량, 비용 간의 균형을 맞추기 위한 기술들입니다.

또한, 검색 증강 생성(RAG)과 에이전틱(Agentic) AI는 메모리 수요를 더욱 확대할 전망입니다.

• 검색 증강 생성(RAG): RAG 데이터베이스 구축에는 상당한 SSD 또는 HDD 용량이 필요하며, 데이터베이스 검색 시에는 시스템 D램이 중요한 역할을 합니다.
• 에이전틱 AI: 자율 시스템이 중간 결과를 저장하고 외부 도구와 상호 작용하면서 KV 캐시 수요를 급격히 증가시키며, 기존 서버의 CPU와 일반 메모리에 대한 요구 사항도 커집니다.

번스타인은 삼성전자, SK하이닉스, 마이크론, 샌디스크, 씨게이트, 웨스턴 디지털에 대해 '시장수익률 상회(Outperform)' 등급을 부여했으며, 키옥시아는 '시장수익률 하회(Underperform)'로 평가했습니다.