FOMO(Foundational Model Orchestration) — 입문서

머신 러닝, 클라우드 인프라, 개발자 도구, 오픈 소스 및 보안에 대한 VC Astasia Myers의 관점. 여기에서 가입하세요 .

기계 학습(ML) 애플리케이션을 구축하는 데는 두 가지 접근 방식이 있습니다. 전통적으로 데이터 과학자와 ML 엔지니어는 노트북 또는 API로 프로덕션에 배포한 ML 모델을 훈련하거나 미세 조정했습니다. 최근 소프트웨어 개발자를 포함할 수 있는 ML 실무자가 즉각적인 엔지니어링을 활용하여 API를 통해 호스팅된 기본 모델에서 결과를 얻는 새로운 접근 방식이 등장했습니다. 프롬프트 엔지니어링은 ML 모델에서 바람직하거나 유용한 결과를 생성하는 입력을 검색하는 자연어 처리(NLP) 개념입니다. 기본 모델이 부상하면서 기본 모델 기반 워크플로 내에서 작업을 조정하는 FOMO(기본 모델 오케스트레이션)라는 새로운 도구가 등장했습니다.

Stanford에 따르면 기본 모델은 "광범위한 다운스트림 작업에 적용할 수 있는 광범위한 데이터(일반적으로 대규모 자체 감독 사용)에 대해 훈련된 모델"입니다. 오늘날 기본 모델은 텍스트와 같은 단일 형식을 지원합니다(예: Open GPT-3 , Cohere 및 Anthropic ). 이미지( 안정성 , DallE ); 비디오( Microsoft X-Clip ); 및 오디오( OpenAI Whisper ). 우리는 앞으로 다중 모달 기본 모델을 볼 수 있을 것으로 기대합니다.

기본 모델을 활용하여 애플리케이션을 구축하는 20명의 ML 실무자와 이야기를 나눴습니다. 흥미롭게도 50%는 ML 내에서 떠오르는 인물인 소프트웨어 엔지니어였습니다. 기본 모델은 ML 모델 구축에 대한 장벽을 낮추고 더 높은 수준의 추상화이기 때문에 처음으로 소프트웨어 개발자가 ML 개발 프로세스의 일부가 되는 것을 볼 수 있습니다. 호스팅된 LLM(Large Lange Models)으로 작업하는 사람들의 경우 시간의 80%는 Open GPT-3 , Cohere는 15%, Anthropic은 5%를 사용했습니다. 가장 일반적인 사용 사례는 검색, 요약, Q&A 및 챗봇이었습니다.

FOMO 솔루션이 등장한 한 가지 이유는 기본 모델 API가 데이터 계산 및 지식 시스템을 포함하는 파이프라인 컨텍스트 내에 존재하기 때문입니다. 모델에서 가치를 찾는 대부분의 시간은 단지 결과를 받기 위해 API를 쿼리하는 것이 아닙니다. 대신 다단계 프로세스입니다. 현재 호스팅된 API는 플랫폼 경험의 일부로 전처리 및 후처리를 제공하지 않습니다. 사전 처리의 촉매는 기본 모델에 ~4K 토큰 제한이 있으므로 사용자가 문자열 분할을 수행해야 한다는 것입니다. FOMO 솔루션이 등장한 두 번째 이유는 기본 모델이 현재 팀이 데이터베이스 및 SaaS 제품과 같은 외부 리소스와 직접 통합하는 것을 허용하지 않기 때문입니다. 이는 사용자가 특정 작업 또는 도메인의 성능을 향상시키기 위해 자신의 데이터를 모델에 직접 추가할 수 없음을 의미합니다.

GPT-3와 같은 기본 모델을 사용하여 성적표를 요약하고 싶다고 가정해 보겠습니다. 1시간 분량의 회의 기록이 있는 경우 ~7.5K 단어가 될 수 있습니다. 1,500단어는 약 2048개의 토큰에 해당하므로 총 성적표는 약 10K 토큰입니다. 이는 4K 토큰 한도를 초과하고 하나의 프롬프트에 너무 많습니다. 차례로 텍스트를 세 그룹으로 나누기 위해 문자열 분할부터 시작해야 합니다. 그런 다음 GPT-3을 사용하여 문서 청크를 요약하는 매핑/축소 작업입니다(청크 간에 어느 정도 겹치는 부분 포함). 마지막으로 모델을 쿼리하여 최종 출력에 대한 요약을 요약합니다.

또 다른 예로는 교과서에 대한 Q&A 서비스를 만드는 것입니다. 이것은 많은 양의 정보이므로 재료를 청크로 분할하는 문자열로 시작합니다. 청크 임베딩을 생성하고 Pinecone 또는 Weaviate 와 같은 벡터 저장소에 함께 추가할 수 있습니다 . 사용자가 질문을 하면 동일한 임베딩 모델을 사용하여 쿼리를 포함하고 벡터 데이터베이스를 사용하여 코사인 유사성 검색을 수행합니다. 이를 통해 응답을 얻기 위해 기본 모델 API에 대해 사용할 수 있는 프롬프트를 작성할 수 있습니다. 이것은 "k 가장 가까운 이웃" 검색을 포함하고 반환 응답을 얻기 위한 프롬프트로 LLM 모델을 쿼리하는 전처리의 다단계 프로세스를 보여줍니다.

FOMO 솔루션은 LLM을 내부 데이터 시스템에 연결하는 데 유용합니다. A/B 테스트 프롬프트와 같은 신속한 엔지니어링 모델을 함께 연결; 기본 모델 전환; A/B 테스트 기본 모델. 우리는 기본 모델이 검색 확대를 위해 타사 서비스에 연결하는 기능을 추가하여 이 기능의 가치가 시간이 지남에 따라 낮아질 것으로 기대합니다. ML 실무자는 여전히 API를 핑하는 개별 프롬프트를 관리해야 하지만 제로샷 학습과 증가된 토큰 제한으로 인해 프롬프트 엔지니어링의 가치는 시간이 지남에 따라 감소할 것이라고 믿습니다. 우리는 함께 연결되어야 하는 특정 작업을 위해 조정된 여러 기본 모델이 있는 세상을 믿습니다. 이 세계에서 FOMO의 가치는 A/B 테스트 기본 모델, 체인 서비스, 모델을 쉽게 전환할 수 있습니다. 사용자와 대화할 때 선택할 모델 공급업체의 결정 기준은 성능, 비용, 결과 필터 및 기존 관계의 조합이라는 것을 들었습니다. Pinging 모델 API는 비용이 많이 들 수 있으므로 회사에서 고객 계층에 따라 다른 모델을 사용할 수 있다는 말을 지속적으로 들었습니다. FOMO 솔루션은 통합된 다중 제공자 인터페이스를 통해 비용 절감 및 공급업체 유연성을 지원합니다.

또한 우리는 하나의 다중 모달 모델이 모든 작업을 수행할 수 있으므로 체인이 필요하지 않은 세상을 믿지 않습니다 . 우리는 시간이 지남에 따라 특정 작업에서 탁월한 성능을 발휘하는 보다 전문화된 기본 모델이 있을 것이라고 믿습니다. 또한 체인에 호스팅된 ML API와 자체 호스팅된 미세 조정 모델이 혼합되어 포함될 것이라고 상상할 수 있습니다. FOMO 제품은 LLM으로 시작했지만 LLM을 넘어 이미지, 비디오, 오디오 등과 같은 다른 기본 모델 유형으로 이동하여 멀티모달이 될 것으로 예상합니다.

데이터 또는 ML 오케스트레이션 솔루션으로 기본 모델 오케스트레이션을 수행할 수 없는 이유는 무엇입니까? 오늘날 이러한 솔루션에는 기본 모델 에코시스템을 위한 목적 빌드 기능 및 어댑터가 없습니다. 위에서 설명한 것처럼 기본 모델 파이프라인은 데이터 또는 ML과 다릅니다. ML 오케스트레이션 솔루션은 교육에서 실험 추적, 배포 및 제공에 이르는 ML 수명 주기를 조정하는 데 중점을 둡니다. FOMO 솔루션은 주제를 이해합니다. 대안을 크게 확대해야 합니다. 불가능하지는 않지만 가장 자연스러운 확장은 아닙니다.

이제 LangChain , Dust , GPT Index 및 Cognosis를 포함하여 기본 모델 오케스트레이션 공간에 소수의 오퍼링이 있습니다 . 우리는 오퍼링이 기본 모델 애플리케이션 개발을 가속화하고 릴리스 후 불과 몇 개월 만에 프로덕션에서 사용되고 있다는 사용자의 의견을 들었습니다.

우리는 FOMO가 기본 모델 인프라 스택의 핵심 부분이 될 것이라고 믿습니다. 사람들이 GPT-4를 열렬히 기대하면서 알고리즘이 빠르게 발전하는 동안 도구도 마찬가지로 빠르게 등장하고 있습니다. 평가 최적화에서 디버깅, 관찰 가능성, 낮은 코드 플랫폼에 이르기까지 새로운 기본 모델 도구 체인이 등장할 것으로 예상합니다. 귀하 또는 귀하가 아는 사람이 ML 도구 시작 또는 인접 제품에서 작업하는 경우 귀하의 소식을 들으면 좋을 것입니다. 아래에 댓글을 달거나 [email protected] 으로 이메일을 보내 알려주세요.