Era Baru Persaingan Chip AI: Fokus Bergeser ke Efisiensi 'Token per Watt'

Perlombaan pengembangan chip kecerdasan buatan (AI) telah memasuki era baru, di mana fokus utama tidak lagi hanya pada kekuatan komputasi mentah, melainkan pada efisiensi daya. Menurut analisis Barclays terhadap konferensi Hot Chips tahun ini, metrik "token per watt" telah menjadi salah satu tolok ukur keberhasilan yang paling krusial bagi para pemain industri.

Pergeseran Fokus ke Efisiensi Daya

Analis Barclays, Tom O'Malley, mencatat bahwa para produsen perangkat keras, *hyperscaler*, dan pemasok komponen kini memprioritaskan cara memaksimalkan kinerja komputasi dalam batasan anggaran daya yang tetap. Tren ini didorong oleh keterbatasan ruang dan daya di pusat data, sementara permintaan untuk token komputasi terus melampaui pasokan.

Akibatnya, industri mulai beralih dari melihat komponen individual ke kinerja sistem secara keseluruhan. Kini, sebuah rak server (*rack*) diperlakukan sebagai "unit komputasi" yang utuh, mengubah cara para insinyur merancang dan mengoptimalkan infrastruktur AI.

Strategi Para Raksasa Teknologi

Para pemimpin industri menampilkan berbagai pendekatan untuk mencapai efisiensi yang lebih tinggi. Menurut laporan tersebut, beberapa strategi yang menonjol antara lain:

Ad

• Nvidia: Membahas pendekatan *speculative decode* dan mengumumkan teknologi memori NVHBM, yang diklaim dapat meningkatkan *bandwidth* memori hingga 30%, mengurangi konsumsi daya HBM sebesar 15%, dan membebaskan 25% lebih banyak area pada *compute die*.
• Microsoft: Memperkenalkan arsitektur baru bernama *Software Defined Local Access Dataflow* yang bertujuan untuk menurunkan total biaya kepemilikan (*total cost of ownership*) melalui efisiensi energi yang lebih baik.
• AMD: Meningkatkan *transcendental engine* dan menambahkan *tensor data mover* untuk mendorong kinerja komputasi dan efisiensi.
• Debat Inferensi: Terdapat perbedaan strategi dalam mempartisi beban kerja AI. Cerebras, bekerja sama dengan AMD dan AWS, mengejar model *inferensi terdisagregasi* yang disebut dapat memberikan "peningkatan pesanan besaran" pada metrik token-per-detik-per-kilowatt. Sebaliknya, chip Jalapeño dari OpenAI mengintegrasikan fungsi *prefill*, *draft*, dan *decode* pada satu chip yang sama.

Tren Chip Kustom dan Masa Depan Memori

Di sisi chip kustom, O'Malley menyoroti tren *dual-sourcing* yang berkembang, mencontohkan Google yang menggunakan MediaTek untuk satu lini chip sambil juga menggandeng Marvell untuk varian inferensi. Posisi Broadcom dan Marvell dinilai tetap "dapat dipertahankan" berkat keahlian mereka di bidang SerDes dan kapabilitas rantai pasok.

Memori juga menjadi tema sentral, dengan kapasitas, *bandwidth*, dan efisiensi daya sebagai pertimbangan utama. Ke depan, analis Barclays melihat pergeseran arsitektur memori besar berikutnya mungkin melibatkan DRAM 3D, dengan Samsung dan Cerebras telah mengeksplorasi konfigurasi bertumpuk. Namun, upaya ini masih berada "pada tahap yang sangat awal" mengingat tantangan termal dan pengiriman daya.