Apa itu NPU dan Mengapa Teknologi Besar Tiba-tiba Terobsesi?

Ada CPUnya. Ada GPUnya . Pada tahun lalu, setiap perusahaan teknologi membicarakan tentang “NPU”. Jika Anda tidak mengetahui dua hal pertama, Anda mungkin bingung dengan hal ketiga dan mengapa setiap industri teknologi memuji manfaat unit pemrosesan saraf. Seperti yang mungkin sudah Anda duga, semua ini disebabkan oleh siklus hype yang sedang berlangsung seputar AI. Namun, perusahaan teknologi kurang baik dalam menjelaskan apa yang dilakukan NPU ini atau mengapa Anda harus peduli.

Semua orang menginginkan sepotong kue AI. Google mengatakan “AI” lebih dari 120 kali selama konferensi pengembang I/O bulan ini , di mana kemungkinan aplikasi dan asisten AI baru secara praktis memukau para hostnya. Selama konferensi Build baru-baru ini, Microsoft membahas tentang PC Copilot+ berbasis ARM baru yang menggunakan Qualcomm Snapdragon X Elite dan X Plus. CPU mana pun akan tetap menawarkan NPU dengan 45 TOPS. Maksudnya itu apa? Ya, PC baru seharusnya bisa mendukung AI pada perangkat. Namun, jika dipikir-pikir, itulah yang dijanjikan Microsoft dan Intel akhir tahun lalu dengan apa yang disebut “ AI PC .”

Jika Anda membeli laptop baru dengan chip Intel Core Ultra tahun ini dengan janji AI pada perangkat, Anda mungkin tidak akan senang jika tertinggal. Microsoft telah memberi tahu Gizmodo bahwa hanya PC Copilot+ yang akan memiliki akses ke fitur berbasis AI seperti Recall “karena chip yang menjalankannya.”

Namun, terdapat beberapa perselisihan ketika leaker terkenal Albacore mengklaim bahwa mereka dapat menjalankan Recall di PC berbasis ARM64 lain tanpa bergantung pada NPU. Laptop baru ini belum tersedia, tetapi kita harus menunggu dan melihat seberapa besar tekanan yang diberikan fitur AI baru pada prosesor saraf.

Namun jika Anda benar-benar ingin tahu tentang apa yang terjadi dengan NPU dan mengapa semua orang mulai dari Apple, Intel, hingga startup PC kecil membicarakannya, kami telah membuat penjelasan untuk membantu Anda mengetahui informasi terbaru.

Menjelaskan NPU dan 'TOPS'

Jadi pertama-tama, kami harus memberikan kepada orang-orang di belakang gambaran singkat tentang kemampuan komputasi PC biasa Anda. CPU, atau “unit pemrosesan pusat”,—pada dasarnya—adalah “otak” komputer yang memproses sebagian besar tugas pengguna. GPU, atau “unit pemrosesan grafis”, lebih dikhususkan untuk menangani tugas-tugas yang memerlukan data dalam jumlah besar, seperti merender objek 3D atau memainkan video game. GPU bisa berupa unit terpisah di dalam PC, atau bisa juga dikemas di dalam CPU itu sendiri.

Dengan cara ini, NPU lebih mirip dengan GPU dalam hal sifat khusus, tetapi Anda tidak akan menemukan prosesor saraf terpisah di luar unit pusat atau pemrosesan grafis, setidaknya untuk saat ini. Ini adalah jenis prosesor yang dirancang untuk menangani perhitungan matematis khusus untuk algoritma pembelajaran mesin. Tugas-tugas ini diproses “secara paralel”, artinya permintaan akan dipecah menjadi tugas-tugas yang lebih kecil dan kemudian memprosesnya secara bersamaan. Ini dirancang khusus untuk menangani tuntutan jaringan saraf yang intens tanpa memanfaatkan prosesor sistem lain.

Standar untuk menilai kecepatan NPU adalah TOPS, atau “triliunan operasi per detik.” Saat ini, ini adalah satu-satunya cara perusahaan teknologi besar membandingkan kemampuan pemrosesan saraf mereka satu sama lain. Ini juga merupakan cara yang sangat reduktif untuk membandingkan kecepatan pemrosesan. CPU dan GPU menawarkan banyak titik perbandingan yang berbeda, mulai dari jumlah dan jenis inti hingga kecepatan clock umum atau teraflop, dan itu pun tidak menghilangkan kerumitan yang terkait dengan arsitektur chip. Qualcomm menjelaskan bahwa TOPS hanyalah persamaan matematika cepat dan kotor yang menggabungkan kecepatan dan akurasi prosesor saraf.

Mungkin suatu hari nanti, kita akan melihat NPU dengan granularitas yang sama seperti CPU atau GPU, tapi itu mungkin hanya terjadi setelah kita melewati siklus AI yang sedang booming saat ini. Meski begitu, tidak satu pun dari penggambaran prosesor ini yang ditetapkan secara pasti. Ada juga gagasan GPNPU, yang pada dasarnya merupakan kombinasi kemampuan GPU dan NPU. Dalam waktu dekat, kita perlu memecah kemampuan PC kecil berkemampuan AI dengan PC lebih besar yang dapat menangani ratusan atau bahkan ribuan TOPS.

NPU Telah Ada Selama Beberapa Tahun di Ponsel dan PC

Ponsel juga menggunakan NPU jauh sebelum kebanyakan orang atau perusahaan peduli. Google berbicara tentang kemampuan NPU dan AI sejak Pixel 2 . Huawei dan Asus yang berpusat di Tiongkok meluncurkan NPU pada ponsel seperti Mate 10 tahun 2017 dan Zenphone 5 tahun 2018 . Kedua perusahaan mencoba untuk mendorong kemampuan AI pada kedua perangkat saat itu, meskipun pelanggan dan pengulas jauh lebih skeptis terhadap kemampuan mereka dibandingkan saat ini.

Memang benar, NPU saat ini jauh lebih kuat dibandingkan enam atau delapan tahun yang lalu, namun jika Anda tidak memperhatikan, kapasitas saraf dari sebagian besar perangkat ini akan hilang begitu saja.

Chip komputer telah menggunakan prosesor saraf selama bertahun-tahun sebelum tahun 2023. Misalnya, CPU seri M Apple, chip berbasis ARC milik perusahaan, telah mendukung kemampuan saraf pada tahun 2020. Chip M1 memiliki 11 TOPS, dan M2 serta M3 memiliki 15,8 dan 19 TOPS, masing-masing. Hanya dengan chip M4 di dalam iPad Pro 2024 baru , Apple memutuskan perlu membanggakan kecepatan 38 TOPS dari mesin saraf terbarunya. Dan aplikasi AI iPad Pro apa yang benar-benar memanfaatkan kemampuan baru tersebut? Tidak banyak, jujur ​​saja. Mungkin kita akan melihat lebih banyak lagi dalam beberapa minggu di WWDC 2024 , tapi kita harus menunggu dan melihat .

Obsesi Saat Ini terhadap NPU Adalah Bagian Perangkat Keras dan Bagian Hype

Ide di balik NPU adalah bahwa NPU dapat meringankan beban menjalankan AI pada perangkat dari CPU atau GPU, sehingga pengguna dapat menjalankan program AI, baik itu generator seni AI atau chatbot, tanpa memperlambat PC mereka. Masalahnya adalah kita semua masih mencari satu program AI sejati yang dapat memanfaatkan peningkatan kemampuan AI.

Gizmodo telah melakukan pembicaraan dengan pembuat chip besar selama setahun terakhir, dan satu hal yang terus kami dengar adalah bahwa pembuat perangkat keras merasa bahwa, untuk kali ini, mereka telah melampaui permintaan perangkat lunak. Untuk waktu yang lama, yang terjadi justru sebaliknya. Para pembuat perangkat lunak akan melampaui batasan-batasan yang tersedia pada perangkat keras konsumen, sehingga memaksa para pembuat chip untuk mengejar ketertinggalannya.

Namun sejak tahun 2023, kami hanya melihat beberapa aplikasi AI marginal yang mampu berjalan di perangkat. Sebagian besar demo kemampuan AI pada chip Qualcomm atau Intel biasanya melibatkan pengoperasian fitur Zoom background blur. Akhir-akhir ini, kami telah melihat perusahaan membandingkan NPU mereka dengan model generator musik AI Riffusion dalam aplikasi yang sudah ada seperti Audacity atau dengan teks langsung di OBS Studio. Tentu saja, Anda dapat menemukan beberapa aplikasi yang menjalankan chatbot dan mampu berjalan di perangkat, namun LLM yang kurang mumpuni dan kurang bernuansa tidak terasa seperti aplikasi pembunuh raksasa yang akan membuat semua orang kehabisan ponsel pintar terbaru atau “AI PC. ”

Sebaliknya, kami terbatas pada aplikasi yang relatif sederhana dengan Gemini Nano di ponsel Pixel , seperti  ringkasan teks dan audio . Versi AI terkecil Google akan hadir di Pixel 8 dan Pixel 8a . Fitur AI Samsung yang dulunya eksklusif untuk Galaxy S24 telah hadir di ponsel lama dan akan segera hadir di perangkat wearable perusahaan . Kami belum mengukur kecepatan kemampuan AI ini pada perangkat lama, namun hal ini menunjukkan bahwa perangkat lama sejak tahun 2021 sudah memiliki banyak kapasitas pemrosesan saraf.

AI pada perangkat masih terhambat oleh kurangnya kekuatan pemrosesan untuk produk konsumen akhir. Microsoft, OpenAi, dan Google perlu menjalankan pusat data besar yang menggunakan ratusan GPU AI canggih dari Nvidia , seperti H100 (Microsoft dan lainnya dilaporkan sedang mengerjakan chip AI mereka sendiri ), untuk memproses beberapa LLM atau chatbot yang lebih canggih dengan model seperti Gemini Lanjutan atau GPT 4o . Hal ini tidak murah dalam hal uang atau sumber daya seperti listrik dan air , namun itulah sebabnya banyak konsumen AI yang lebih maju dapat membayar untuk menjalankannya di cloud. Menjalankan AI di perangkat akan memberikan manfaat bagi pengguna dan lingkungan. Jika perusahaan berpikir bahwa konsumen memerlukan model AI terbaru dan terhebat, perangkat lunak tersebut akan terus melampaui apa yang mungkin ada pada perangkat konsumen.