Google I/O: 未来の AI アシスタント Project Astra を体験

いつものように、Google I/O 2024 は ニュースと発表の嵐です。今年、Google はハードウェア、Android、Chrome に焦点を当てるのではなく、今年の開発者会議のほとんどを、AI 機能 が優先する価値があることを説得することに費やしました。そのプロジェクトの 1 つが Project Astra です。これは、カメラを同時に使用して物体と人を識別できる、半ば会話できるマルチモーダル AI アシスタントです。

「半分」と言ったのは、デモを見た後、Gemini のこの部分がまだ初期段階にあることが明らかになったからです。Pixel 8 Pro で Project Astra を数分間試して、リアルタイムでどのように動作するかを確認しました。完全にテストしたり、トリックを試したりする時間がありませんでしたが、Android ユーザーとして将来がどのような感じになるかは感じ取ることができました。

何でも聞いてください

Project Astra のポイントは、現実世界であなたを案内するアシスタントのような存在になることです。物体、顔、気分、織物などを識別することで、周囲の環境に関する質問に答えることができます。最後に何かを置いた場所を思い出すのにも役立ちます。

Project Astra には、4 つの異なるデモが用意されていました。さまざまな入力に基づいて Gemini に物語を作り上げるよう求める Storyteller モードや、基本的にコンピューターと落書きを推測するゲームである Pictionary などです。また、AI が同じ文字で始まる単語を見つける能力を披露する頭韻法モードや、チャットをやり取りできる Free-Form モードもありました。

私が体験したデモは、Pixel 8 Pro の Free-Form バージョンでした。私のグループの別のジャーナリストがこれを強くリクエストしていたため、デモのほとんどは、デバイスとこのアシスタントのようなモードを一緒に使用することに焦点を当てていました。

カメラを別のジャーナリスト、Pixel 8 Pro に向けると、Gemini は被写体が人物であると認識できました。私たちは、その人物が男性であると明確に伝えました。すると、その人物がスマートフォンを持っていることを正しく認識しました。その後の質問で、私たちのグループは彼の服装について尋ねました。すると、Gemini は「カジュアルな服を着ているようだ」という一般的な答えを返しました。次に、何をしているのかと尋ねると、Project Astra は、彼はサングラスをかけていて（実際そうでした）、カジュアルなポーズを取っているようだと答えました。

私は Pixel 8 Pro をほんの少しの間手に取りました。私は Gemini に造花の鉢植えを正しく識別させました。それはチューリップでした。Gemini はそれがカラフルであることにも気付きました。そこから先は、何をきっかけにすればよいのか分からず、私の時間切れとなりました。私は入店時よりも多くの疑問を抱えたまま店を後にしました。

Google の AI では、これは大胆な試みのように思えます。人物とその行動を識別することが、目の見えない人や弱視の人が周囲の世界を移動する際に役立つアクセシビリティ ツールになる可能性はわかります。しかし、このデモの目的はそれではありません。これは、Project Astra の機能と、それとどのようにやり取りするかを紹介するためのものでした。

私の最大の疑問は、Project Astra のようなものが Android デバイスの Google Assistant に取って代わるかどうかだ。結局のところ、この AI は、ユーザーがアイテムをどこに置いたかを覚えていて、ニュアンスを捉えることができる。少なくとも、デモではそう伝えられていた。私が尋ねた数人の Google 関係者からは回答が得られなかった。しかし、Android の将来は、電話機とのやり取りにタップではなく、話しかけることに重点が置かれるようになるだろうという強い予感がしている。