Cerebral Valley のハッカーが 20 ドルのオープンソース スマート グラスを開発

先週末に24時間ハッカソンプロジェクトとして始まったものが、オープンソースコミュニティに力を与えてスマートグラス業界を一変させるかもしれない。5人のチームメンバーが、MetaのLlama 3などのAIチャットボットに見聞きしたものを接続する、Open Glassと呼ばれる20ドルのスマートグラスを開発した。

スコット・フィッツモーンズ氏は土曜日の朝、ニック・シェフチェンコ氏に会うためにサンフランシスコのダウンタウンに向かったが、彼がこれから24時間、AIハッカソンで彼と一緒に新しいデバイスを作ることになるとは知らなかった。その時、フィッツモーンズ氏は、サンフランシスコで成長を続けるAIウェアラブルムーブメントのリーダーと称するシェフチェンコ氏が作ったAIペンダントを手に入れるつもりだった。週末の終わりまでに、彼らのチームはハッカソンで優勝し、オープンソースのスマートグラスの事前注文待ちリストには約1,500人が名を連ねていた。

「私はこのハッカソンについて何も知りませんでしたが、とても偶然の出会いでした」とフィッシモネス氏は語った。「そして、ご存じのとおり、私たちはただジャムセッションをし、最初のプロトタイプを構築し始めたと思います。」

一方、シェフチェンコ氏は、チームメイトによると、ある種のスマートグラスのハードウェア要素を作りたいと思いハッカソンに参加したという（シェフチェンコ氏はGizmodoのインタビューの要請には応じなかった）。彼には、プロジェクトの最も難しいソフトウェアの課題を解決したステプナン・コルシャコフ氏が加わった。この2人がフィッシモネス氏、シュリーガネシュ・ラマナン氏、ジャティン・グプタ氏を引き連れて優勝チームを結成した。

ベイエリアの青い海と緑の山々を見下ろす、広くて風通しの良い部屋では、ふかふかのソファに座り、横にはラクロワのワインが積み重なったソファでソフトウェアエンジニアたちがコーディングに励んでいた。Cerebral Valley では、サンフランシスコの活気ある AI スタートアップ シーンを結集して、このようなハッカソンを頻繁に開催している。チームの他のメンバーがソフトウェアの開発に取り組んでいる間、シェフチェンコはラップトップではなくはんだ付けペンを使用している数少ないメンバーの 1 人だった。土曜日の夜遅く、シェフチェンコはイベントを離れ、Open Glass コンピューター ケースの 3D プリントに取り掛かった。

約 1 日のハッキングを経て、シェフチェンコ氏とチームは、右側から黒い箱が突き出ている安物のサングラスを誇らしげに発表しました。このサングラスには、5 秒ごとに写真を撮るカメラと、音声を絶えず書き起こすマイクが搭載されていました。これにより、写真とテキストのデータベースが収集され、目と耳で捉えたものが反映されます。サングラスの側面にあるボタンを押すと、Meta の Llama 3 チャットボットに、自分の生活に関する質問に答えてもらうことができます。

「その人の名前は何でしたっけ？」「鍵はどこに置き忘れましたか？」「この果物のカロリーは何カロリーですか？」などは、デモ中に AI が答えた質問の一部です。この技術は多くの人にとって便利な用途がありますが、特に視力や聴力が弱い人を助けるのに優れています。

デモ中にメガネの音声テキスト変換機能にバグがあったにもかかわらず、シェフチェンコ氏のチームはハッカソンで最優秀賞を獲得した。チームはMeta社とGroq社の幹部、そして最終プロジェクトの審査員を務めたHugging Face社のCEOクレム・デラング氏から高い評価を受けた。数時間のうちにシェフチェンコ氏の起業家精神は最高潮に達し、プロトタイプ版の予約注文待ちリストを作成した。

「おおおおおおおおおお、なんと1,300台だ」と月曜日、電話で予約注文が何件あったかを知ったコルシャコフ氏は私に言った。「世界中の人がこれで何かを作りたがっている。今や彼らは、自分たちでこのプロジェクトを所有し、成功に貢献する方法を手に入れたのだ。」

現在市場に出回っているスマートグラスは他にもありますが、Meta Ray-Bans など、オープンソースでもなければ、これほど安価でもありません。Open Glass は、開発者が使用したい LLM を選択し、グラスに何をさせたいかを決めることができる、比較的安価なキットを提供しています。たとえば、すべての Open Glass が写真を撮ったり、常に音声を録音したりする必要はありません。これにより、これまでは極めて高価でできることが限られていたフォームファクターであるスマートグラスに、手頃な価格でハッキング可能なオプションが提供されます。

「OpenAI にも Gemini にも接続できます」とラマナン氏は電話インタビューで語った。「すべての最良のオプションを組み合わせて、独自の興味深いアプリケーションやフレームワークを作成できることが重要です。」

スマートグラスは、他のウェアラブルほど普及していない。しかし、マルチモーダル AI モデルの進歩により、今はスマートグラスにとってエキサイティングな時代だ。ビデオ、オーディオ、テキストを同時に処理できる OpenAI の新しい GPT-4 Omni が、このようなグラスにどのように使用されるかは容易に想像できる。Google は火曜日、最新の AI のデモで新しい Google Glasses のプロトタイプを披露した。Open Glass は、オープンソース コミュニティにこの技術へのアクセスを提供することで、この分野でより大きなイノベーションが実現することを期待している。

スマートグラスを悩ませている問題の一つは、プライバシーに関する懸念だ。Meta の Ray-Ban は、ユーザーの生活をデータベースのように利用するために音声や動画を常時記録しているわけではない。これはおそらく良いことだ。しかし、究極のパーソナル アシスタントを作成するために自分の生活を常時記録するというアイデアに興味を持つ、シリコン バレーの AI ガジェット マニアのコミュニティが拡大している。指輪、ペンダント、そして今ではメガネが、この可能性に魅了されたサンフランシスコのスタートアップ企業から次々と生まれている。

テクノロジーをオープンソース化することで、開発者はこれらのアイデアをより独自の方法で革新できるようになりますが、プライバシーとコストについては依然として大きな懸念事項が残っています。これらの問題は重要ですが、このテクノロジーの初期段階の開発者にとって焦点となるものではありません。開発者にとってより重要なのは、それを有用なものにすることです。

技術に詳しくない人の中には、安価なスマートグラスとして Open Glass を購入する人もいるかもしれません。チームはまだ製品を検討中ですが、大規模な言語モデルが組み込まれ、モバイルアプリも付属した状態で提供されるようです。デバイスの実際の価格も変更される可能性がありますが、ソースコードはすべてGitHub で無料で入手できます。

Open Glass のストーリーは、サンフランシスコの AI スタートアップ文化が盛んであることを証明しています。オープンソース コミュニティは、スマート グラスのような行き詰まった技術に重要なブレークスルーをもたらす可能性があります。より実用的な点としては、技術に詳しくない人にも映画のチケット 1 枚分の価格でスマート グラスを提供できる可能性があります。