สมรภูมิชิป AI เข้าสู่ยุคใหม่: เน้น 'Tokens per Watt' เพิ่มประสิทธิภาพ-ลดการใช้พลังงาน

การแข่งขันในอุตสาหกรรมชิปปัญญาประดิษฐ์ (AI) กำลังเข้าสู่ยุคใหม่ โดยเปลี่ยนจุดสนใจหลักจากการเพิ่มพลังการประมวลผลเพียงอย่างเดียว ไปสู่การเพิ่มประสิทธิภาพสูงสุดภายใต้ข้อจำกัดด้านพลังงาน ซึ่งเป็นประเด็นสำคัญที่ถูกหยิบยกขึ้นมาในการประชุม Hot Chips ประจำปีนี้ ตามการวิเคราะห์ของ Barclays

หัวใจใหม่ของการแข่งขัน: ประสิทธิภาพต่อพลังงาน

Tom O'Malley นักวิเคราะห์จาก Barclays ระบุว่า "โทเคนต่อวัตต์" (tokens per watt) ได้กลายเป็น "หนึ่งในมาตรวัดความสำเร็จที่สำคัญที่สุดในปัจจุบัน" เนื่องจากพื้นที่ในศูนย์ข้อมูลยังคงมีจำกัด ในขณะที่ความต้องการโทเคนเพื่อการประมวลผลยังคงเติบโตแซงหน้าอุปทาน ทำให้ทั้งผู้ผลิตฮาร์ดแวร์, ผู้ให้บริการคลาวด์รายใหญ่ (hyperscalers) และซัพพลายเออร์ชิ้นส่วน ต่างให้ความสำคัญกับการดึงประสิทธิภาพสูงสุดจากงบประมาณด้านพลังงานที่มีอยู่อย่างจำกัด

แนวคิดนี้ยังส่งผลให้อุตสาหกรรมเปลี่ยนมุมมองจากการพิจารณาประสิทธิภาพของชิ้นส่วนแต่ละชิ้น ไปสู่ประสิทธิภาพของทั้งระบบ (full-system performance) โดยปัจจุบัน "แร็ค" (rack) ถูกมองว่าเป็น "หน่วยของการประมวลผล" แทนที่จะเป็นชิปเดี่ยวๆ

กลยุทธ์ที่แตกต่างของยักษ์ใหญ่เทคโนโลยี

บริษัทชั้นนำต่างนำเสนอกลยุทธ์ที่แตกต่างกันเพื่อรับมือกับความท้าทายด้านประสิทธิภาพพลังงาน:

Ad

• Nvidia ได้นำเสนอแนวทาง "speculative decode" และประกาศเปิดตัวหน่วยความจำ NVHBM ใหม่ ซึ่งช่วยเพิ่มแบนด์วิดท์ได้ถึง 30% และลดการใช้พลังงานของ HBM ลง 15%
• AMD เปิดเผยว่าได้ปรับปรุง transcendental engine และเพิ่ม tensor data mover เพื่อเพิ่มประสิทธิภาพการประมวลผลและลดการใช้พลังงาน
• Microsoft เปิดตัวสถาปัตยกรรมใหม่ที่เรียกว่า Software Defined Local Access Dataflow ซึ่งใช้ซอฟต์แวร์ในการควบคุมการทำงานเพื่อลดต้นทุนรวมในการเป็นเจ้าของ (TCO) ผ่านประสิทธิภาพการใช้พลังงานที่ดีขึ้น
• Cerebras กำลังเดินหน้าในแนวทาง "การอนุมานแบบแยกส่วน" (disaggregated inference) ผ่านความร่วมมือกับ AMD และ AWS ซึ่ง O'Malley กล่าวว่า "สามารถปรับปรุงประสิทธิภาพโทเคนต่อวินาทีต่อกิโลวัตต์ได้ในระดับที่แตกต่างกันอย่างมีนัยสำคัญ"
• OpenAI เลือกใช้แนวทางที่แตกต่างออกไปด้วยชิป Jalapeño ซึ่งรวมฟังก์ชัน prefill, draft และ decode ไว้บนชิปตัวเดียวกัน แทนที่จะแยกส่วนบนฮาร์ดแวร์หลายชิ้น

สมรภูมิหน่วยความจำและแนวโน้มในอนาคต

หน่วยความจำกลายเป็นอีกหนึ่งสมรภูมิสำคัญ โดยมีปัจจัยด้านความจุ, แบนด์วิดท์ และประสิทธิภาพการใช้พลังงานเป็นหัวใจหลัก O'Malley ชี้ว่าการเปลี่ยนแปลงสถาปัตยกรรมหน่วยความจำที่สำคัญครั้งต่อไปอาจเป็นการมาถึงของ 3D DRAM ซึ่งทั้ง Samsung และ Cerebras กำลังสำรวจการออกแบบในรูปแบบซ้อนกัน อย่างไรก็ตาม เขากล่าวว่าความพยายามเหล่านี้ยังอยู่ใน "ช่วงเริ่มต้นอย่างมาก" เนื่องจากความท้าทายด้านความร้อนและการจ่ายพลังงาน

นอกจากนี้ เทคโนโลยีการขยายหน่วยความจำแบบ CXL (CXL memory expansion) ยังคงได้รับความสนใจจากอุตสาหกรรมอย่างต่อเนื่อง แม้ว่านักวิเคราะห์จะยังคง "ระมัดระวังจนกว่าจะได้เห็นหลักฐานการนำไปใช้งานจริง" ก็ตาม ในขณะเดียวกัน แนวโน้มการใช้ซัพพลายเออร์สองราย (dual-sourcing) สำหรับชิปที่ออกแบบเองก็เพิ่มขึ้น โดย Google ได้ใช้บริการ MediaTek สำหรับชิปสายหนึ่ง และดึง Marvell เข้ามาสำหรับชิปที่เน้นการอนุมานอีกรุ่นหนึ่ง