NPU Nedir ve Büyük Teknoloji Neden Aniden Takıntılı Oldu?

Bir CPU var. Bir GPU var . Geçtiğimiz yıl her teknoloji şirketi “NPU'lardan” bahsediyordu. İlk ikisini bilmiyorsanız, muhtemelen üçüncüsü ve neden her teknoloji endüstrisinin sinirsel işlem biriminin faydalarını övdüğü konusunda şaşkına dönmüşsünüzdür. Tahmin edebileceğiniz gibi, bunların hepsi yapay zeka etrafında devam eden heyecan döngüsünden kaynaklanıyor. Ancak yine de teknoloji şirketleri bu NPU'ların ne yaptığını veya neden umursamanız gerektiğini açıklamakta oldukça başarısız oldu.

Herkes AI pastasından bir parça istiyor. Google, yeni AI uygulamalarının ve asistanlarının sunduğu olanakların sunucularını adeta mest ettiği bu ayki I/O geliştirici konferansında 120'den fazla kez "AI" dedi . Son Build konferansı sırasında Microsoft, Qualcomm Snapdragon X Elite ve X Plus kullanan yeni ARM tabanlı Copilot+ bilgisayarlarıyla ilgiliydi. Her iki CPU da 45 TOPS'lu bir NPU sunmaya devam edecek. Bu ne anlama gelir? Yeni bilgisayarların cihaz içi yapay zekayı desteklemesi gerekiyor. Ancak düşündüğünüzde, Microsoft ve Intel'in geçen yılın sonlarında " AI PC " olarak adlandırılan ürünle tam da bunu vaat ettiğini görüyorsunuz.

Bu yıl, cihaz içi yapay zeka vaadiyle Intel Core Ultra çipli yeni bir dizüstü bilgisayar satın aldıysanız, muhtemelen geride kalmaktan pek memnun değilsiniz. Microsoft, Gizmodo'ya yalnızca Copilot+ bilgisayarların "onları çalıştıran çipler nedeniyle" Recall gibi AI tabanlı özelliklere erişebileceğini söyledi .

Ancak ünlü sızıntıcı Albacore, Recall'ı başka bir ARM64 tabanlı bilgisayarda NPU'ya güvenmeden çalıştırabileceklerini iddia ettiğinde bazı tartışmalar yaşandı. Yeni dizüstü bilgisayarlar henüz mevcut değil, ancak yeni AI özelliklerinin sinir işlemcileri üzerinde ne kadar baskı oluşturduğunu bekleyip görmemiz gerekecek.

Ancak NPU'larda neler olup bittiğini ve neden Apple'dan Intel'e ve küçük PC girişimlerine kadar herkesin onlar hakkında konuştuğunu gerçekten merak ediyorsanız, sizi bilgilendirmek için bir açıklayıcı hazırladık.

NPU ve 'TOPS'un açıklanması

Bu nedenle öncelikle arka planda çalışan kişilere normal bilgisayarınızın bilgi işlem yeteneklerinin kısa bir özetini sunmalıyız. CPU veya "merkezi işlem birimi", esas olarak, kullanıcının görevlerinin çoğunu işleyen bilgisayarın "beynidir". GPU veya "grafik işleme birimi", 3 boyutlu bir nesneyi işlemek veya video oyunu oynamak gibi büyük miktarda veri gerektiren görevleri yerine getirmek için daha uzmanlaşmıştır. GPU'lar bilgisayarın içinde ayrı bir birim olabilir veya CPU'nun içinde paketlenmiş olarak gelebilirler.

Bu sayede NPU, uzmanlaşmış yapısı itibarıyla GPU'ya daha yakın ancak merkezi veya grafik işlem birimi dışında ayrı bir sinir işlemcisini en azından şimdilik bulamazsınız. Makine öğrenimi algoritmalarına özgü matematiksel hesaplamaları gerçekleştirmek için tasarlanmış bir işlemci türüdür. Bu görevler "paralel olarak" işlenir, yani istekler daha küçük görevlere bölünür ve ardından eş zamanlı olarak işlenir. Diğer sistemlerin herhangi bir işlemcisinden yararlanmadan sinir ağlarının yoğun taleplerini karşılamak üzere özel olarak tasarlanmıştır.

NPU hızını değerlendirme standardı TOPS veya "saniyede trilyonlarca işlem" cinsindendir. Şu anda büyük teknoloji şirketlerinin sinirsel işleme yeteneklerini birbirleriyle karşılaştırmasının tek yolu bu. Bu aynı zamanda işlem hızlarını karşılaştırmanın inanılmaz derecede azaltıcı bir yoludur. CPU'lar ve GPU'lar, çekirdek sayılarından ve türlerinden genel saat hızlarına veya terafloplara kadar birçok farklı karşılaştırma noktası sunar ve bu bile çip mimarisiyle ilgili komplikasyonların yüzeyini çizmez. Qualcomm, TOPS'un sinir işlemcilerinin hızını ve doğruluğunu birleştiren hızlı ve kirli bir matematik denkleminden ibaret olduğunu açıklıyor .

Belki bir gün, CPU'lar veya GPU'larla aynı ayrıntı düzeyine sahip NPU'lara bakacağız, ancak bu ancak mevcut AI heyecan döngüsünü aştıktan sonra gelebilir. Ve o zaman bile, işlemcilere ilişkin bu tanımlamaların hiçbiri kesin değildir. Temel olarak GPU ve NPU yeteneklerinin birleşiminden oluşan GPNPU'lar fikri de var. Çok yakında, daha küçük yapay zeka özellikli bilgisayarların yeteneklerini yüzlerce, hatta binlerce TOPS'u işleyebilecek daha büyük bilgisayarlarla ayırmamız gerekecek.

NPU'lar Birkaç Yıldır Hem Telefonlarda hem de Bilgisayarlarda Var

Çoğu kişi veya şirket bunu umursamadan çok önce telefonlar da NPU'ları kullanıyordu. Google, Pixel 2'ye kadar NPU'lardan ve yapay zeka yeteneklerinden bahsetmişti . Çin merkezli Huawei ve Asus, 2017'deki Mate 10 ve 2018'deki Zenphone 5 gibi telefonlarda NPU'ları piyasaya sürdü . O zamanlar her iki şirket de yapay zeka yeteneklerini her iki cihazda da geliştirmeye çalışıyordu; ancak müşteriler ve incelemeciler, bunların yetenekleri konusunda bugüne göre çok daha şüpheciydi.

Aslında günümüzün NPU'ları altı ya da sekiz yıl öncesine göre çok daha güçlü; ancak eğer dikkat etmeseydiniz, bu cihazların çoğunun sinirsel kapasitesi gözünüzden kaçardı.

Bilgisayar çipleri, 2023'ten önce de yıllardır nöral işlemcileri kullanıyordu. Örneğin, şirketin tescilli ARC tabanlı çipleri olan Apple'ın M serisi CPU'ları, 2020'de zaten nöral yetenekleri destekliyordu. M1 çipinde 11 TOPS, M2 ve M3'te ise 15,8 TOPS vardı. ve sırasıyla 19 TOPS. Apple, en yeni sinir motorunun 38 TOPS hızıyla övünmesi gerektiğine ancak yeni iPad Pro 2024'ün içindeki M4 çipiyle karar verdi. Peki hangi iPad Pro AI uygulamaları bu yeni özellikten gerçekten yararlanıyor? Dürüst olmak gerekirse çok değil. Belki birkaç hafta sonra WWDC 2024'te daha fazlasını göreceğiz ama bekleyip görmemiz gerekecek .

NPU'lara Yönelik Mevcut Takıntı, Parça Donanım ve Parça Aldatmacasıdır

NPU'nun arkasındaki fikir, cihazdaki AI çalıştırma yükünü CPU veya GPU'dan alabilmesi ve kullanıcıların, ister AI sanat jeneratörleri ister sohbet robotları olsun, bilgisayarlarını yavaşlatmadan AI programlarını çalıştırabilmelerine olanak sağlamasıdır. Sorun şu ki hepimiz hala artan yapay zeka yeteneklerini kullanabilecek tek gerçek yapay zeka programını arıyoruz.

Gizmodo geçen yıl büyük yonga üreticileriyle görüşmelerde bulundu ve sürekli duyduğumuz şey donanım üreticilerinin bir kez olsun yazılım talebini geride bıraktıklarını hissetmeleri. Uzun süre tam tersi oldu. Yazılım üreticileri, tüketiciye yönelik donanımlarda mevcut olanın sınırlarını zorlayacak ve çip üreticilerini yetişmeye zorlayacaktır.

Ancak 2023'ten beri yalnızca cihazda çalışabilen bazı marjinal yapay zeka uygulamalarını gördük. Qualcomm'un veya Intel'in çiplerinin yapay zeka yeteneklerinin çoğu demosu genellikle Yakınlaştırma arka plan bulanıklaştırma özelliğinin çalıştırılmasını içerir. Son zamanlarda şirketlerin NPU'larını Audacity gibi mevcut uygulamalarda AI müzik üreteci modeli Riffusion ile veya OBS Studio'da canlı altyazılarla karşılaştırdığını gördük. Elbette, cihaz üzerinde çalışabilen sohbet robotları çalıştıran bazı uygulamalar bulabilirsiniz, ancak daha az yetenekli, daha az incelikli bir LLM, herkesin en yeni akıllı telefonu veya "AI PC"yi satın almak için koşmasına neden olacak devasa bir uygulama gibi hissettirmiyor. ”

Bunun yerine, Pixel telefonlarda Gemini Nano'nun kullanıldığı ,  metin ve sesli özetler gibi nispeten basit uygulamalarla sınırlıyız . Google'ın yapay zekasının en küçük sürümü Pixel 8 ve Pixel 8a'ya geliyor . Samsung'un bir zamanlar Galaxy S24'e özel olan yapay zeka özellikleri zaten eski telefonlarda yerini aldı ve yakında şirketin giyilebilir cihazlarına da gelecek . Bu yapay zeka yeteneklerinin hızını eski cihazlarla karşılaştırmadık ancak bu, 2021'e kadar uzanan eski cihazların zaten oldukça fazla sinirsel işleme kapasitesine sahip olduğunu gösteriyor.

Cihaz içi yapay zeka, tüketici ürünlerine yönelik işlem gücünün eksikliği nedeniyle hâlâ engel teşkil ediyor. Microsoft, OpenAi ve Google'ın , bazı daha gelişmiş LLM'leri veya modellerle sohbet robotlarını işlemek için H100 gibi (Microsoft ve diğerlerinin kendi AI çipleri üzerinde çalıştığı bildiriliyor ) Nvidia'nın yüzlerce gelişmiş AI GPU'sunu destekleyen büyük veri merkezlerini çalıştırması gerekiyor. Gemini Advanced veya GPT 4o gibi . Bu, ne para açısından, ne de enerji ve su gibi kaynaklar açısından ucuz değil , ancak bu nedenle, daha gelişmiş yapay zeka tüketicilerinin ödeyebildiği çoğu şey bulutta çalışıyor. Cihazda yapay zekanın çalıştırılması kullanıcılara ve çevreye fayda sağlar. Şirketler tüketicilerin en yeni ve en iyi yapay zeka modellerini talep ettiğini düşünürse yazılım, tüketiciye yönelik bir cihazda mümkün olanın ötesine geçmeye devam edecektir.