NPU とは何ですか? 大手テクノロジー企業が突然 NPU に夢中になっているのはなぜですか?

CPU があります。GPU があります 。過去 1 年間、あらゆるテクノロジー企業が「NPU」について語ってきました。最初の 2 つを知らなかった人は、3 つ目について、そしてテクノロジー業界全体がニューラル プロセッシング ユニットの利点を称賛する理由について、おそらく困惑しているでしょう。ご想像のとおり、これはすべて AI をめぐる進行中の誇大宣伝サイクルによるものです。しかし、テクノロジー企業はこれらの NPU の機能や、なぜユーザーが関心を持つべきかを説明するのがかなり苦手です。

誰もが AI のパイの一部を手に入れたいと考えています。Google は今月開催されたI/O 開発者会議で「AI」という言葉を120 回以上使用し、新しい AI アプリやアシスタントの可能性に出席者は夢中になりました。最近のBuild 会議では、 Microsoft が Qualcomm Snapdragon X Elite および X Plus を使用した新しい ARM ベースの Copilot+ PC を大々的に宣伝しました。どちらの CPU も、45 TOPS の NPU を提供します。これは何を意味するのでしょうか。新しい PC はデバイス上の AI をサポートできるはずです。しかし、よく考えてみると、それはまさに Microsoft と Intel が昨年末にいわゆる「AI PC」で約束していたことです。

今年、デバイス上の AI を期待して Intel Core Ultra チップを搭載した新しいノート PC を購入した人は、取り残されたことにあまり満足していないかもしれません。Microsoft は Gizmodo に対し、Recall などの AI ベースの機能 にアクセスできるのは「それらを実行するチップのせいで」Copilot+ PC だけだと語っています。

しかし、有名なリーク元Albacore が、NPU に頼らずに別の ARM64 ベースの PC で Recall を実行できると主張したことで、議論が巻き起こった。新しいラップトップはまだ発売されていないが、新しい AI 機能がニューラル プロセッサにどの程度の負荷をかけるのかは、待って確認する必要がある。

しかし、NPU で何が起こっているのか、そして Apple から Intel、小規模 PC スタートアップまで誰もが NPU について語っている理由について本当に興味があるなら、私たちがその詳細を解説する資料を用意しました。

NPUと「TOPS」の説明

そこでまず、裏で働いている人たちに、通常の PC のコンピューティング能力について簡単に説明しましょう。CPU、つまり「中央処理装置」は、基本的に、ユーザーのタスクのほとんどを処理するコンピューターの「頭脳」です。GPU、つまり「グラフィック処理装置」は、3D オブジェクトのレンダリングやビデオ ゲームのプレイなど、大量のデータを必要とするタスクの処理に特化しています。GPU は、PC 内の独立したユニットである場合もあれば、CPU 自体に同梱されている場合もあります。

このように、NPU は特殊性という点では GPU に近いですが、少なくとも現時点では、中央処理装置またはグラフィック処理装置の外部に独立したニューラル プロセッサはありません。これは、機械学習アルゴリズムに特有の数学的計算を処理するように設計されたプロセッサの一種です。これらのタスクは「並列」に処理されます。つまり、リクエストを小さなタスクに分割し、それらを同時に処理します。これは、他のシステムのプロセッサを一切利用せずに、ニューラル ネットワークの厳しい要求を処理するように特別に設計されています。

NPU の速度を判断する基準は TOPS、つまり「1 秒あたり兆回の演算」です。現在、これは大手テクノロジー企業が自社のニューラル処理能力を互いに比較する唯一の方法です。また、これは処理速度を比較する非常に簡略化された方法でもあります。CPU と GPU は、コアの数や種類から一般的なクロック速度やテラフロップスまで、さまざまな比較ポイントを提供しますが、それでもチップ アーキテクチャに伴う複雑さの表面をかすめるだけです。Qualcomm は、 TOPS はニューラル プロセッサの速度と精度を組み合わせた簡単な数式にすぎないと説明しています。

おそらくいつか、CPU や GPU と同じ粒度の NPU が登場するでしょうが、それは現在の AI の誇大宣伝サイクルが終わった後かもしれません。そしてその時でも、プロセッサの区分はどれも確定していません。また、基本的に GPU と NPU の機能を組み合わせた GPNPU というアイデアもあります。すぐに、小型の AI 対応 PC の機能を、数百または数千の TOPS を処理できる大型の PC に分割する必要が出てくるでしょう。

NPUは数年前から携帯電話とPCの両方で使われてきました

スマートフォンも、ほとんどの人や企業が関心を持つずっと前から NPU を使っていた。Google はPixel 2 の頃から NPU と AI 機能について語っていた。中国中心の Huawei と Asus は、2017 年のMate 10 や 2018 年のZenphone 5 などのスマートフォンで NPU を初めて採用した。当時、両社は両デバイスで AI 機能を推進しようとしたが、顧客やレビュー担当者は、現在よりもその機能に懐疑的だった。

確かに、今日の NPU は 6 年前や 8 年前よりもはるかに強力になっていますが、注意を払っていなければ、これらのデバイスのほとんどのニューラル能力は見逃されていたでしょう。

コンピュータチップは、2023年より何年も前からニューラルプロセッサを搭載している。たとえば、AppleのMシリーズCPU、同社独自のARCベースチップは、2020年にすでにニューラル機能をサポートしていた。M1チップは11 TOPS、M2とM3はそれぞれ15.8 TOPSと19 TOPSだった。Appleが最新のニューラルエンジンの38 TOPSの速度を自慢する必要があると判断したのは、新しいiPad Pro 2024に搭載されたM4チップに なってからである。では、どのiPad Pro AIアプリケーションがその新しい機能を本当に活用しているのだろうか？正直なところ、多くはない。おそらく数週間後のWWDC 2024でさらに詳しく見られるだろうが、それは 待って見る しかない。

現在のNPUへの執着は、ハードウェアと誇大広告の両方である

NPU の背後にある考え方は、デバイス上の AI を実行する負担を CPU や GPU から取り除き、ユーザーが AI アート ジェネレーターやチャットボットなどの AI プログラムを PC の速度を低下させることなく実行できるようにすることです。問題は、私たち全員が、強化された AI 機能を使用できる真の AI プログラムをまだ探し求めているということです。

Gizmodo は過去 1 年間、主要なチップメーカーと話し合いを重ねてきましたが、ハードウェア メーカーは今回初めて、ソフトウェアの需要を上回ったと感じている、という声が聞こえてきます。長い間、その逆でした。ソフトウェア メーカーは、消費者向けハードウェアで利用できるものの限界を押し広げ、チップメーカーに追いつこうと迫っていました。

しかし、2023年以降、デバイス上で実行できるAIアプリケーションはごくわずかしか見られなくなりました。QualcommやIntelのチップのAI機能のデモのほとんどは、通常、Zoomの背景ぼかし機能の実行を伴います。最近では、Audacityなどの既存のアプリケーションでAI音楽ジェネレーターモデルRiffusionを使用したり、OBS Studioのライブキャプションを使用してNPUをベンチマークしている企業を見ました。もちろん、デバイス上で実行できるチャットボットを実行しているアプリはいくつかありますが、それほど機能がなく、ニュアンスに富んでいないLLMは、最新の新しいスマートフォンや「AI PC」をみんなが買い求めるような巨大なキラーアプリのようには思えません。

代わりに、 Pixelスマートフォン のGemini Nanoでは、 テキストや音声の要約 など、比較的単純なアプリケーションしか使用できません。GoogleのAIの最小バージョンは、Pixel 8とPixel 8a に搭載されます。かつてはGalaxy S24専用だったSamsungのAI機能は、すでに古いスマートフォンに搭載されており 、まもなく同社のウェアラブル にも搭載される予定です。古いデバイスでのこれらのAI機能の速度をベンチマークしたことはありません。しかし、2021年までさかのぼる古いデバイスにはすでに十分なニューラル処理能力があったことを示しています。

デバイス上の AI は、依然として消費者向け製品の処理能力不足によって妨げられている。Microsoft、OpenAi、Google は、より高度な LLM や、Gemini Advanced や GPT 4o などのモデルを使用したチャットボットを処理するために、H100 などのNvidia の高度な AI GPU を 数百基搭載した大規模なデータセンターを運用する必要がある(Microsoft と他の企業は独自の AI チップに取り組んでいると報じられている ) 。これは、お金の面でも、電力 や水などのリソースの面でも安くはないが、だからこそ、消費者が支払える高度な AI の多くがクラウドで実行されているのだ。デバイス上で AI を実行することは、ユーザーと環境の両方に利益をもたらす。消費者が最新かつ最高の AI モデルを求めていると企業が考えれば、ソフトウェアは消費者向けデバイスで可能な範囲を超え続けるだろう。