AI 칩 경쟁의 새 시대: '와트당 토큰' 효율성이 핵심 지표로 부상

인공지능(AI) 칩 개발 경쟁이 전력 효율성을 중심으로 재편되고 있다. 바클레이즈(Barclays)는 최근 열린 반도체 컨퍼런스 '핫 칩스(Hot Chips)'의 핵심 의제는 제한된 전력 예산 내에서 컴퓨팅 성능을 극대화하는 것이었다고 분석하며, '와트당 토큰(tokens per watt)'이 업계의 새로운 성공 척도로 자리 잡았다고 밝혔다.

전력 효율성이 새로운 전쟁터

바클레이즈의 톰 오맬리 애널리스트에 따르면, 데이터센터의 공간은 한정적인 반면 AI 모델 구동에 필요한 컴퓨팅 토큰 수요는 공급을 계속 앞지르고 있다. 이로 인해 하드웨어 공급업체부터 하이퍼스케일러, 부품 제조업체에 이르기까지 모든 기업이 고정된 전력량으로 최대의 성능을 끌어내는 데 집중하고 있다.

이러한 변화는 개별 부품의 성능을 넘어 전체 시스템의 효율성을 중시하는 흐름으로 이어지고 있다. 이제는 서버 랙(rack) 자체가 하나의 '컴퓨팅 단위'로 취급되며, 시스템 전체의 최적화가 중요해졌다.

주요 기업들의 기술 전략

컨퍼런스에서 주요 기업들은 각기 다른 방식으로 전력 효율성 향상 전략을 제시했다.

Ad

• Nvidia: '추측성 디코딩(speculative decode)' 접근법을 논의하며 소프트웨어 최적화를 통한 효율성 개선을 강조했다.
• AMD: 연산 및 효율성 증대를 위해 트랜센덴탈 엔진을 강화하고 텐서 데이터 무버를 추가했다고 밝혔다.
• Microsoft: 명시적인 소프트웨어 조정을 통해 에너지 효율성을 높여 총소유비용(TCO)을 절감하는 '소프트웨어 정의 로컬 액세스 데이터플로'라는 새로운 아키텍처를 공개했다.
• Cerebras: AMD, AWS와 협력하여 '분산형 추론(disaggregated inference)'을 추진 중이다. 오맬리 애널리스트는 이 방식이 '킬로와트당 초당 토큰' 성능을 10배 향상시킬 수 있다고 평가했다.
• OpenAI: 자체 개발한 '할라피뇨(Jalapeño)' 칩을 통해 프리필, 드래프트, 디코드 기능을 별도 하드웨어로 분리하지 않고 단일 칩에 통합하는 접근법을 택했다.

맞춤형 칩과 메모리 기술 동향

맞춤형 칩 분야에서는 듀얼 소싱(dual-sourcing) 추세가 뚜렷해지고 있다. 구글은 칩 라인 하나에 미디어텍을 활용하는 동시에, 추론용 변종 칩에는 마벨을 영입하는 등 공급망을 다변화하고 있다. 브로드컴과 마벨은 SerDes(직렬/병렬 변환기) 기술 전문성과 공급망 관리 능력 덕분에 견고한 입지를 유지하고 있다.

메모리 기술 역시 핵심 주제로 다뤄졌다. Nvidia는 표준 HBM4E 대비 메모리 대역폭을 최대 30% 개선하고, HBM 전력 소비를 15% 절감하며, 컴퓨팅 다이 면적을 25% 더 확보할 수 있는 NVHBM 기술을 발표했다. 장기적으로는 삼성전자와 Cerebras가 연구 중인 3D D램이 차세대 메모리 아키텍처가 될 수 있으나, 발열 및 전력 공급 문제로 아직은 초기 단계라고 오맬리 애널리스트는 덧붙였다.