Era Baharu Cip AI: 'Token per Watt' Jadi Metrik Kritikal

Perlumbaan dalam industri cip kecerdasan buatan (AI) sedang memasuki fasa baharu di mana kecekapan kuasa menjadi keutamaan, mengatasi prestasi semata-mata. Menurut penganalisis Barclays, Tom O'Malley, metrik 'token per watt' (token bagi setiap watt) telah muncul sebagai kayu ukur kejayaan yang paling kritikal, satu tema utama yang dibincangkan oleh syarikat-syarikat cip terkemuka di persidangan Hot Chips tahun ini.

Kecekapan Kuasa Jadi Tumpuan Utama

Anjakan strategik ini didorong oleh kekangan ruang fizikal di pusat data dan permintaan untuk 'token' pengkomputeran AI yang terus mengatasi penawaran. Akibatnya, penyedia perkakasan, syarikat *hyperscaler*, dan pembekal komponen kini memberi tumpuan untuk memaksimumkan prestasi dalam bajet kuasa yang tetap.

Menurut O'Malley, industri juga sedang beralih daripada melihat komponen individu kepada prestasi sistem penuh. Rak pelayan kini dianggap sebagai "unit pengkomputeran" tunggal, menandakan pendekatan yang lebih holistik terhadap reka bentuk dan kecekapan pusat data.

Strategi Berbeza Daripada Gergasi Teknologi

Syarikat-syarikat utama dilaporkan menggunakan pelbagai pendekatan untuk mencapai kecekapan yang lebih tinggi. Perdebatan semasa tertumpu pada konsep *disaggregated inference*, iaitu memisahkan beban kerja inferens.

Ad

• Nvidia membincangkan pendekatan *speculative decode* untuk meningkatkan kecekapan.
• Cerebras, melalui kerjasama dengan AMD dan AWS, sedang meneroka *disaggregated inference*, yang menurut O'Malley "boleh membawa peningkatan berpuluh kali ganda" dalam metrik token-per-saat-per-kilowatt.
• OpenAI mengambil pendekatan berbeza dengan cip Jalapeño, yang mengekalkan fungsi *prefill*, *draft*, dan *decode* pada cip yang sama dan bukannya memisahkannya.
• Microsoft memperkenalkan seni bina baharu yang dipanggil *Software Defined Local Access Dataflow* untuk mengurangkan jumlah kos pemilikan melalui kecekapan tenaga yang lebih baik.

Peranan Penting Memori dan Cip Khas

Memori telah menjadi satu lagi tema utama, dengan kapasiti, lebar jalur (*bandwidth*), dan kecekapan kuasa menjadi pertimbangan utama. O'Malley mengetengahkan pengumuman NVHBM oleh Nvidia baru-baru ini, yang didakwa syarikat boleh meningkatkan lebar jalur memori sehingga 30%, mengurangkan penggunaan kuasa HBM sebanyak 15%, dan membebaskan 25% lebih banyak ruang pada cip pemprosesan.

Dalam segmen cip khas (*custom chip*), trend penyumberan dwi (*dual-sourcing*) semakin berkembang, dengan Google dilaporkan menggunakan MediaTek untuk satu barisan cip dan Marvell untuk varian inferens. Penganalisis itu berkata kepakaran Broadcom dan Marvell dalam teknologi SerDes memastikan kedudukan mereka kekal kukuh dalam pasaran.

Melihat ke hadapan, anjakan seni bina memori utama yang seterusnya mungkin melibatkan 3D DRAM, dengan Samsung dan Cerebras kedua-duanya sedang meneroka konfigurasi bertindan. Walau bagaimanapun, O'Malley menyatakan usaha ini masih di peringkat awal kerana cabaran terma dan penghantaran kuasa.