Hakerzy z Cerebra Valley zbudowali inteligentne okulary Open Source za 20 dolarów

To, co rozpoczęło się w zeszły weekend jako 24-godzinny hackaton, może umożliwić społeczności open source wywrócenie do góry nogami branży inteligentnych okularów. Pięciu członków zespołu zbudowało parę inteligentnych okularów za 20 dolarów, nazwanych Open Glass, które łączą to, co widzisz i słyszysz, z chatbotem AI, takim jak Meta's Llama 3.

Scott Fitsimones udał się w sobotę rano do centrum San Francisco, aby spotkać się z Nikiem Szewczenko, nie wiedząc, że kolejne 24 godziny spędzi na hackatonie AI, budując z nim nowe urządzenie. Fitsimones myślał wówczas, że bierze do ręki wisiorek AI wykonany przez Szewczenko, którego opisuje jako przywódcę rosnącego ruchu urządzeń do noszenia AI w San Francisco. Pod koniec weekendu ich zespół wygrał hackaton i około 1500 osób znalazło się na liście oczekujących, aby zamówić w przedsprzedaży inteligentne okulary typu open source.

„Nie miałem pojęcia o tym hackatonie i był on po prostu bardzo nieoczekiwany” – powiedział Fitsimones. „A potem, wiesz, myślę, że zaczęliśmy po prostu jammować i budować na pierwotnym prototypie”.

Ze swojej strony Szewczenko wziął udział w hackatonie, wiedząc, jak twierdzą jego koledzy z drużyny, że chce zbudować element sprzętowy do jakichś inteligentnych okularów (Szewczenko nie odpowiedział na prośbę Gizmodo o wywiady). Dołączył do niego Stepnan Korshakov, który rozwiązał najtrudniejsze wyzwania programowe projektu. Ci dwaj wybrali Fitsimonesa, Shreeganesha Ramanana i Jatina Guptę, aby stworzyć zwycięską drużynę.

W dużym, przestronnym pokoju z widokiem na błękitne wody Bay Area i zielone góry inżynierowie oprogramowania kodowali na grubych kanapach ze stosami La Croix z boku. W Cerebra Valley często odbywają się takie hackatony, w których uczestniczy prężnie rozwijająca się scena start-upów AI w San Francisco. Szewczenko jako jeden z nielicznych używał lutownicy zamiast laptopa, podczas gdy reszta zespołu zajmowała się oprogramowaniem. W pewnym momencie pod koniec soboty Szewczenko opuścił wydarzenie, aby wydrukować w 3D obudowę komputera Open Glass.

Po mniej więcej dniu hakowania Szewczenko i zespół z dumą zaprezentowali parę tanich okularów przeciwsłonecznych z czarnym pudełkiem wystającym z prawej strony. Okulary były wyposażone w kamerę, która robiła zdjęcie co pięć sekund, oraz mikrofon, który stale transkrybował dźwięk. Gromadzi to bazę danych zawierającą zdjęcia i tekst odzwierciedlający to, co rejestrują Twoje oczy i uszy. Naciśnij przycisk z boku okularów, a możesz poprosić chatbota Meta's Llama 3 o udzielenie odpowiedzi na pytania dotyczące Twojego własnego życia.

„Jak ta osoba miała na imię?”, „Gdzie zostawiłem klucze?” i „Ile kalorii mają te owoce?” to kilka pytań, na które sztuczna inteligencja odpowiedziała podczas demonstracji. Technologia ta ma przydatne zastosowania dla wielu osób, ale szczególnie może się przydać osobom ze słabym wzrokiem lub słuchem.

Zespół Szewczenki zdobył pierwszą nagrodę na hackatonie pomimo błędu w możliwościach przetwarzania mowy na tekst w okularach podczas demonstracji. Zdobyli ukłony od dyrektorów Meta i Groq, a także od Clema Delangue, dyrektora generalnego Hugging Face, który oceniał końcowe projekty. W ciągu kilku godzin przedsiębiorczy umysł Szewczenko włączył się na najwyższych obrotach i utworzył listę oczekujących, aby złożyć zamówienie w przedsprzedaży na wersję prototypu.

„Woah woah woah woah, jest 1300” – powiedział Korszakow przez telefon w poniedziałek, gdy dowiedział się, ile otrzymali zamówień w przedsprzedaży. „Ludzie na całym świecie chcą z tego budować rzeczy. Teraz mają możliwość samodzielnego wzięcia udziału w sukcesie tego projektu i przyczynienia się do niego.”

Chociaż inne inteligentne okulary są obecnie dostępne na rynku – takie jak Meta Ray-Bans – nie są to okulary typu open source ani tak tanie. Open Glass oferuje stosunkowo niedrogi zestaw, który pozwala programistom wybierać, jakich LLM chcą używać i decydować, do czego chcą, aby okulary miały działać. Na przykład nie każda para Open Glass musi robić zdjęcia lub stale nagrywać dźwięk. Zapewnia to niedrogą, możliwą do zhakowania opcję inteligentnych okularów, które wcześniej były rażąco drogie i ograniczały możliwości.

„Możesz podłączyć go do OpenAI, możesz podłączyć go do Gemini” – powiedział Ramanan w rozmowie telefonicznej. „Ważna jest możliwość mieszania i dopasowywania wszystkich najlepszych opcji, a następnie tworzenia własnych, interesujących aplikacji i frameworków”.

Inteligentne okulary nie przyjęły się tak bardzo, jak inne urządzenia do noszenia. Jednak rozwój multimodalnych modeli sztucznej inteligencji sprawia, że ​​jest to ekscytujący czas dla inteligentnych okularów. Łatwo sobie wyobrazić, jak nowy GPT-4 Omni OpenAI, który może jednocześnie przetwarzać wideo, audio i tekst, może być używany w takich okularach. We wtorek Google pokazał nawet prototyp nowych okularów Google w ramach demonstracji swojej najnowszej sztucznej inteligencji. Open Glass ma nadzieję, że udostępnienie tej technologii społeczności open source umożliwi większą innowacyjność w przestrzeni kosmicznej.

Jedną z kwestii, która nęka inteligentne okulary, są obawy dotyczące prywatności. Ray-Bany Meta nie nagrywają stale dźwięku i obrazu, aby używać Twojego życia jak bazy danych i to prawdopodobnie dobrze. Jednak w Dolinie Krzemowej rośnie społeczność fanatyków gadżetów AI, których interesuje pomysł ciągłego nagrywania swojego życia w celu stworzenia najlepszego osobistego asystenta. Pierścionki, wisiorki, a teraz okulary wyrastają ze start-upów w San Francisco, wszyscy zafascynowani tym potencjałem.

Chociaż technologia open source umożliwi programistom wprowadzanie innowacji w oparciu o te pomysły w bardziej lokalny sposób, nadal istnieją poważne obawy dotyczące prywatności i kosztów, którymi należy się zająć. Te pytania są ważne, ale nie skupiają się na programistach na wczesnych etapach rozwoju tej technologii. Ważniejsze jest dla nich to, żeby było to przydatne.

Niektóre osoby nietechniczne mogą kupić Open Glass, aby po prostu używać taniej pary inteligentnych okularów. Zespół wciąż pracuje nad produktem, ale wygląda na to, że będzie gotowy, z wbudowanymi dużymi modelami językowymi i dołączoną aplikacją mobilną. Rzeczywista cena urządzenia również może ulec zmianie, chociaż cały kod źródłowy jest dostępny bezpłatnie w serwisie GitHub .

Historia Open Glass jest świadectwem kwitnącej kultury start-upów AI w San Francisco. Społeczność open source mogłaby odblokować kluczowe przełomy w zablokowanych technologiach, takich jak inteligentne okulary. Bardziej praktycznie, mogłoby to również zaoferować osobom nietechnicznym parę inteligentnych okularów w cenie biletu do kina.