Stability 및 Cohere 와 같은 다른 모델과 함께 ChatGPT 의 출시 로 AI가 각광을 받게 되었으며 이제 AI가 소비자화되고 있다고 말하는 것이 안전합니다. 수많은 게시물에서 이러한 모델을 사용하여 가까운 미래에 무엇이 가능할 것인지에 대해 가설을 세웠으며 상한선이 지속적으로 증가하는 것처럼 보입니다.

AI가 콘텐츠를 생성할 수 있지만 AI가 작업을 생성할 수 있다면 어떨까요? Balderton에서 우리는 AI가 문제에 대한 지침을 생성할 뿐만 아니라 계속해서 문제를 해결하는 미래를 봅니다(그리고 우리는 그것이 멀지 않다고 생각합니다!).

ChatGPT, T5 및 RoBERTa와 같은 모든 훌륭한 LLM을 뒷받침하는 기술은 변환기로 알려져 있습니다. 이는 자연어 처리 및 시계열 분석(즉, 시퀀스로 모델링할 수 있는 모든 것)과 같은 순차 분석 문제 에서 획기적인 발전을 이룬 순환 신경망(RNN)의 반복입니다 . LLM은 변환기가 NLP를 어떻게 레벨업했는지 보여주었고 이제 변환기가 거래와 같은 다른 시계열 문제에서도 마찬가지로 효과적이라는 증거가 있습니다. 우리는 또한 컴퓨터 비전과 같은 순차 분석 문제를 넘어서 사용되는 변환기의 예를 보았습니다.영리한 기술을 사용하여 이미지를 시퀀스로 변환함으로써 — 이 논문은 "An Image is Worth 16x16 Words"라는 적절하게 이름이 지정되었으며 결과적으로 계산 리소스가 상당히 낮은 SOTA 성능을 제공합니다.

이 게시물에서는 우리가 특히 기대하는 변환기 및 LLM의 한 가지 사용 사례를 살펴봅니다.

실행 가능한 LLM

AI의 변환기 및 기타 혁신이 콘텐츠(예: 텍스트 , 코드 , 이미지 및 비디오 )를 생성하는 데 적합하다는 것은 분명하지만 AI가 간단한 일반 언어 프롬프트를 기반으로 결정을 내리고 조치를 취할 수 있다면 어떨까요?

AI는 이전에 결정을 내리는 데 매우 능숙하고(주로 DeepMind 덕분에 ) 바둑과 같은 복잡한 게임에서 세계 챔피언이 됨으로써 헤드라인을 장식했습니다. 이러한 혁신을 뒷받침하는 기술은 강화 학습 (RL)으로 알려져 있으며, 시행 착오를 통해 환경과 상호 작용하고 고유한 피드백으로 보상을 받아 의사 결정 에이전트를 구축하고 최적의 행동을 학습하는 프레임워크입니다. RL은 산업 자동화, 의료, 마케팅 및 자율 주행 자동차와 같은 광범위한 실제 의사 결정 기반 사용 사례에서 엄청난 발전을 가져왔습니다.

Decision Transformers 는 작년에 Facebook AI Research와 Google Brain에서 RL 프레임워크에 변환기를 적용하여 도입했습니다. "An Image is Worth 16x16 Words"가 이미지를 시퀀스로 추상화한 것과 같은 방식으로 Decision Transformers는 RL을 시퀀스 모델링 문제로 추상화합니다. 훌륭한 Hugging Face 블로그 게시물이 이를 탐구합니다. 더 자세히 알고 싶다면 여기 .

ChatGPT는 컴퓨팅의 다음 시대가 우리가 원하는 것을 컴퓨터에 직접 말할 수 있게 해주는 자연어 인터페이스에 의해 정의될 것임을 보여주었습니다. 진정한 아름다움은 그들이 의도를 해석 할 수 있다는 것 입니다. Adept 는 웹 페이지에서 UI 요소의 작업 공간 내에서 작동하는 모델인 Action Transformer(ACT-1)를 개발하여 이를 다음 단계로 끌어 올리고 있습니다. 엔터프라이즈 애플리케이션. 이 글을 읽는 것만으로 흥분되지 않는다면 여기 에서 몇 가지 데모를 보고 이것이 의미하는 바를 진정으로 이해할 가치가 있습니다.

Adept는 OpenAI 접근 방식을 사용하고 엄청나게 큰 "액션 공간"으로 광범위한 기반 모델을 구축합니다. 이는 액션이 ​​수행되어야 하는 범위를 정의합니다. Decision Transformers의 개념은 멋지지만 구축하기가 쉽지 않으며 어떻게 사용될지에 대해서는 여전히 불분명합니다. 그러나 이제 LLM을 활용하여 논리를 구축하고 수직화된 행동 공간 내에서 행동 하는 동시에 훌륭한 UX에 집중할 수 있는 즉각적인 기회가 있습니다.

예를 들어 Glyphic 은 B2B 영업의 행동 공간 내에서 조치를 취할 수 있는 제품을 만들고 있으며, ShiftLab 은 전자 상거래의 행동 공간 내에서 조치를 취할 수 있는 제품을 만들고 있으며 Harvey 는 행동 공간을 위해 건물을 짓고 있습니다. 변호사의.

행동 공간으로 널리 인식되지 않는 많은 행동 공간이 있다는 점은 주목할 가치가 있습니다. 예를 들어 Jasper.ai 는 빈 광고의 행동 공간을, Copilot 은 VSCode의 행동 공간을 맡았습니다. 코드가 없는 도구는 본질적으로 작업 공간 이므로 이러한 도구가 모두 사용자가 자연어를 통해 플랫폼과 상호 작용할 수 있는 AI 기능을 구축하기 시작하는 것은 시간 문제입니다. Glide , Fillout 및 Qatalog 는 이미 이를 탐색하고 있습니다.

궁극적인 행동 공간인 물리적 세계에는 AI 사용 사례가 있을 수밖에 없으며, 우리는 이미 비지도 학습을 통해 로봇 공학의 발전을 보고 있습니다.

결론

우리는 가장 유용한 모델이 단지 생성하는 것이 아니라 "작동하는 모델"이 될 것이라고 믿으며 새로운 수준의 생산성에 도달하기 위해 도메인별 Copilot 버전의 세계로 나아가고 있습니다.

지난 12개월 동안 우리는 Levity 및 Photoroom과 같은 많은 AI 네이티브 회사를 지원했습니다. 우리가 당신과 이야기하고 싶은 공간에 건물을 짓고 있다면 언제든지 [email protected] 으로 연락하십시오.