Cuộc đua chip AI chuyển hướng: 'Tokens trên mỗi Watt' trở thành thước đo mới

Cuộc đua chip trí tuệ nhân tạo (AI) đang bước vào một kỷ nguyên mới, nơi hiệu suất sử dụng năng lượng trở thành ưu tiên hàng đầu thay vì chỉ tập trung vào sức mạnh xử lý thuần túy. Theo các nhà phân tích của Barclays, chỉ số "tokens trên mỗi watt" hiện được xem là một trong những thước đo thành công quan trọng nhất trong ngành.

Hiệu suất năng lượng là ưu tiên hàng đầu

Tại hội nghị Hot Chips gần đây, các công ty chip hàng đầu, nhà cung cấp dịch vụ đám mây siêu quy mô và nhà sản xuất linh kiện đều nhấn mạnh mục tiêu chung: tối đa hóa hiệu suất tính toán trong một ngân sách năng lượng cố định. Nhà phân tích Tom O'Malley của Barclays cho biết, sự thay đổi này xuất phát từ thực tế không gian và nguồn điện tại các trung tâm dữ liệu ngày càng bị hạn chế, trong khi nhu cầu về token tính toán tiếp tục tăng cao.

Ngành công nghiệp cũng đang chuyển từ việc đánh giá các thành phần riêng lẻ sang hiệu suất toàn hệ thống. Giờ đây, các tủ rack (dàn máy chủ) được coi là "đơn vị tính toán" cơ bản, phản ánh một cách tiếp cận toàn diện hơn về hiệu quả hoạt động.

Các chiến lược đa dạng từ những gã khổng lồ

Các công ty công nghệ lớn đang áp dụng những chiến lược khác nhau để giải quyết bài toán hiệu suất năng lượng:

Ad

• AMD đã cải tiến bộ xử lý "transcendental engine" và bổ sung một bộ di chuyển dữ liệu tensor để tăng cường khả năng tính toán và hiệu quả.
• Microsoft giới thiệu một kiến trúc mới có tên là Software Defined Local Access Dataflow, sử dụng phần mềm để điều phối nhằm giảm tổng chi phí sở hữu (TCO) thông qua việc cải thiện hiệu quả năng lượng.
• Cuộc tranh luận về việc phân tách khối lượng công việc suy luận (inference) đang nóng lên. Nvidia thảo luận về phương pháp giải mã suy đoán (speculative decode), trong khi Cerebras, hợp tác với AMD và AWS, theo đuổi mô hình suy luận phân tách (disaggregated inference), được cho là có thể cải thiện hiệu suất "tokens-trên-giây-trên-kilowatt" lên cả một bậc độ lớn.
• Ngược lại, OpenAI với chip Jalapeño của mình lại tích hợp các chức năng prefill, draft và decode trên cùng một con chip thay vì tách chúng ra các phần cứng riêng biệt.

Bộ nhớ trở thành yếu tố then chốt

Bộ nhớ cũng là một chủ đề trọng tâm, với dung lượng, băng thông và hiệu quả năng lượng là những yếu tố cốt lõi. Gần đây, Nvidia đã công bố NVHBM, một công nghệ mới hứa hẹn:

• Cải thiện băng thông bộ nhớ lên tới 30%
• Giảm tiêu thụ điện năng của HBM khoảng 15%
• Giải phóng thêm 25% diện tích trên đế tính toán so với chuẩn HBM4E thông thường.

Nhìn về tương lai, các chuyên gia cho rằng bước chuyển lớn tiếp theo trong kiến trúc bộ nhớ có thể là DRAM 3D, với Samsung và Cerebras là những công ty đang tiên phong khám phá. Tuy nhiên, các nỗ lực này vẫn còn ở giai đoạn rất sơ khai do những thách thức về nhiệt và truyền tải điện năng.