모두를 위한 신경망

오랜만에 첫 신경망을 훈련시키는 데 6학년 과학 박람회가 필요했습니다. 우리 가족은 참나무, 삼나무 및 기타 토종 식물로 가득한 북부 캘리포니아의 시골 지역에 살고 있습니다. 다가오는 과학 박람회를 위해 제 아들은 지역 나무를 식별하기 위한 기계 학습 모델을 구축하기로 결정했습니다. 우리는 사진을 찍고 데이터 세트를 구축하기 위해 토요일 오후에 하이킹을 했고, 토요일 저녁에는 신경망 모델 작업을 했습니다. 과학 박람회가 2달 뒤에 있는데 괜찮은 모델을 만들려면 그 시간이 필요하다고 생각했습니다. 결과적으로 저는 머신 러닝이 얼마나 쉽고 접근하기 쉬워졌는지 매우 과소평가했습니다. 버전 1은 놀라운 정확도로 불과 몇 시간 만에 완성되었습니다. 우리는 많은 주요 AI 연구소와 동일한 강력한 AI 엔진을 사용했습니다. 우리는 브라우저에서 모든 작업을 수행했으며 무료였습니다.

저는 90년대 후반 이른바 AI 겨울 동안 AI에 관한 대학 과정에서 신경망을 처음 접했습니다. 이것은 일반적으로 AI, 특히 신경망에 대한 열정의 낮은 지점이었습니다. 80년대의 이론적 발전에도 불구하고 상업적 적용 가능성은 제한적이었고 신경망에 초점을 맞춘 연구실은 상대적으로 적었습니다. 그래도 저는 AI에 대한 생물학적 접근 방식에 흥미를 느꼈고 다양한 교육 접근 방식과 응용 프로그램을 실험했습니다. 나는 신경망 모델을 구축하고 훈련 알고리즘을 주로 리스프 에서 처음부터 코딩했습니다.프로그래밍 언어. 훈련에는 몇 시간이 걸릴 수 있었고 사용 가능한 훈련 데이터가 많지 않았습니다. 한동안 저는 신경망을 더 탐구하기 위해 UC San Diego의 AI 연구실에 합류했지만 결국 다른 곳으로 옮겼습니다. 신경망이 실제로 이륙하고 " 딥 러닝 "이라는 용어가 널리 사용되기까지는 15년이 더 걸릴 것입니다.

지난 10여 년 동안 신경망은 GPU, 클라우드 컴퓨팅, 방대한 데이터 세트 및 학습 알고리즘의 지속적인 발전으로 구동되는 새로운 르네상스에 진입했습니다. 상업용 애플리케이션이 폭발적으로 증가했습니다. 애플리케이션에는 음성 인식(Siri, Alexa), 번역(Google 번역), 텍스트 생성(OpenAI의 GPT-3), 이미지 인식(Tesla Autopilot, Adobe Sensei), 이미지 생성(Dall-E 2, Midjourney, Stable Diffusion), 얼굴 인식(Apple Photos), 비디오 생성(Runway) 및 약물 발견. 가장 인상적인 새로운 애플리케이션 중 일부는 놀라운 속도로 발전하고 있는 생성 AI 에 있습니다.

몇 가지 관찰에 박차를 가한 지난 추수 감사절 주말로 빨리 감습니다.

첫째, 상당히 정교한 기계 학습 모델도 설정하고 훈련하는 것이 놀라울 정도로 쉽습니다. 코딩을 하거나 기계 학습에 대한 배경 지식이 필요하지 않습니다. 기계 학습 워크플로의 일반적인 단계를 자동화하는 코드 없는 AutoML 기계 학습 도구가 많이 있습니다 . 자신만의 워크플로를 함께 연결하려면 기계 학습 커뮤니티에서 널리 사용되는 언어인 Python에 대한 기본 지식이 있으면 도움이 됩니다. 12살짜리 아들이 약 2년 동안 파이썬을 배우고 있습니다. 그는 자신의 주도로 Google 및 OpenAI를 지원하는 기계 학습 라이브러리인 TensorFlow 를 다운로드했고 신속하게 노트북에서 샘플 모델을 실행했습니다. 그보다 더 쉬운 튜토리얼 을 찾았습니다.TensorFlow를 사용하고 Google의 Colab 환경 에서 실행되는 이미지 분류에 대해 Colab을 사용하면 패키지를 전혀 다운로드하거나 설치하지 않고도 웹 브라우저에서 기계 학습 모델을 빌드하고 Google의 GPU에서 무료로 실행할 수 있습니다. 시작할 수 있는 수많은 자습서와 사전 훈련된 모델 이 있습니다.

둘째, 이 기술을 배포하기 위한 속도 제한 요소는 새로운 실제 응용 프로그램에 대한 상상력과 모델 교육을 위한 품질 데이터입니다. 이미지를 기반으로 나무의 종류를 인식하는 문제는 이미지 분류 영역에 속합니다. 이것은 기계 학습의 일반적인 응용 프로그램이므로 가장 어려운 단계는 강력한 데이터 세트를 모으는 것입니다. 우리는 이름이 표시된 로컬 트리의 쉽게 사용할 수 있는 데이터 세트를 찾을 수 없어서 자체적으로 만들었습니다. 아이폰으로 짧은 하이킹을 하면 약 250개의 이미지를 얻을 수 있습니다. 이것은 오늘날의 기준으로는 작습니다. 최신 Stable Diffusion 모델은 웹에서 최근 발표된 58억 5천만 개의 이미지 LAION-5B 데이터 세트를 사용하여 학습됩니다. 더 많은 데이터 세트가 공개되면 특수 목적 모델 개발에 대한 장벽이 낮아질 것입니다.

셋째, 이제 기계 학습 모델을 프로덕션(ML Ops)에 적용하기 위한 풍부한 솔루션과 리소스가 있습니다. 불과 몇 년 전만 해도 모델을 교육하고 웹 속도와 규모로 배포하는 것은 어려운 일이었습니다. 오늘날에는 브라우저, 전화, 서버 또는 엔터프라이즈 워크플로 내에서 모델을 배포하는 것이 상대적으로 간단합니다.

우리는 신경망의 황금기에 접어들었습니다. 지금은 AI/딥 러닝 연구원, AI 기업가 또는 AI에 관심이 있는 학생에게 매우 흥미로운 시기입니다. 현재 성숙한 애플리케이션이 준비되어 있으며, 앞으로 몇 년 동안 혁신적인 애플리케이션을 강화할 새로운 AI 연구 파이프라인이 있습니다. 기술의 접근성은 참여하기 위해 연구실이나 자본이 필요하지 않음을 의미합니다. 개념이 수십 년 동안 존재할 수 있지만(예: 전기 자동차, 신경망) 조건이 적절할 때까지 이륙하지 않는 방법은 놀랍습니다.