이 블로그에서는 RL(강화 학습)을 사용하여 ChatGPT와 같은 대규모 언어 모델을 만들고 개선하는 프로세스를 검토합니다. 그런 다음 OpenAI와 Microsoft가 RL을 사용하여 제너레이티브 AI 시장에서 경쟁업체가 경쟁하지 못하도록 방지하는 방법을 보여드리겠습니다. 그런 다음 신규 스타트업이 요새를 공략할 수 있는 전략을 제시하겠습니다. 먼저 공격자가 ChatGPT 성에 도달하지 못하도록 하는 "해자"가 무엇을 의미하는지 검토해 보겠습니다.

Porter의 다섯 가지 힘 모델의 배경

1979년에 Michael Porter는 산업의 경쟁 특성을 분석하는 중요한 논문을 발표했습니다. 이제 이 프로세스를 Porter의 다섯 가지 힘 분석 이라고 합니다 . 아래 다이어그램을 사용하여 주어진 시장에서 일련의 압력 포인트를 시각화할 수 있습니다.

OpenAI는 ChatGPT에 대한 프리미엄 액세스에 대해 월 20달러를 청구합니다 . 1억 명이 넘는 사용자가 사용하는 무료 버전도 있습니다 . OpenAI는 이러한 사용자를 피드백을 받고 모델을 개선하는 방법으로 사용합니다.

ChatGPT를 객관적으로 보면 그 기능에 근접한 공개적으로 사용 가능한 다른 도구는 없습니다. 사용자 인터페이스는 원시적이지만 생성된 텍스트의 품질은 경쟁 제품에 비해 놀랍습니다. 이것은 일반적이고 다양한 용도를 가진 유일한 모델입니다 .

따라서 지금 당장은 OpenAI를 위의 생성 AI 서클에만 넣을 수 있습니다. 그러나 이것은 바뀔 것이며 Microsoft가 OpenAI에 100억 달러를 투자한 이유를 이해하게 될 것입니다.

이 분석에서는 경쟁이 없기 때문에 구매자의 교섭력을 무시합니다 . 공급자의 교섭력 은 Microsoft Azure 내의 NIVIDA GPU 하드웨어와 OpenAI 내의 소프트웨어 개발자입니다. 장기적으로는 무시할 수 없지만 현재로서는 하드웨어를 모두 구입하고 OpenAI 개발자에게 지불할 수 있는 충분한 자금이 있습니다. 그것은 우리가 고려해야 할 한 가지 힘을 남깁니다: 신규 진입자의 위협. 검색 엔진을 사용하거나 정보를 찾기 위해 책을 읽는 등 ChatGPT를 대체하는 위협이 있습니다 . 이러한 옵션 중 어느 것도 매력적이지 않습니다.

신규 진입자의 위협

위의 도표를 보면 가장 강력한 힘을 신규 진입자의 위협 이라고 합니다 . 이미 대규모 언어 모델 영역에 깊이 관여하고 있는 다른 거대 기술 회사로 구성되어 있습니다. 여기에는 다음이 포함됩니다.

1. Google — 새 모델을 구축하기 위한 검색 및 피드백에 대한 지식이 있는 사람
2. Amazon — 대규모 언어 모델을 교육하기 위해 클라우드 서비스를 홍보하기 위해 기계 학습에 종사하는 대규모 팀을 보유하고 있습니다.
3. 메타 — Facebook이 사용자가 어떤 광고를 클릭할지 자세히 예측하는 데 사용할 수 있는 사용자에 대한 약 50,000개의 사실을 수집합니다.
4. HuggingFace — 개발자가 100K 모델에 쉽게 액세스하고 빠르고 쉬운 Spaces 애플리케이션을 사용하여 모델을 미세 조정할 수 있습니다.

OpenAI는 상당한 우위를 점하고 있습니다. OpenAI는 2018년 6월 11일 에 GPT 논문을 처음 발표했습니다 . 그 뒤를 이어 2019년 2월 14일 에 15억 개의 매개변수가 있는 GPT-2가 출시되었습니다. 그 뒤를 이어 2020년 6월 11일에 놀라운 1,750억 매개변수로 치솟은 획기적인 GPT-3가 출시되었습니다. GPT-3가 생성한 텍스트의 품질이 놀라웠기 때문에 이러한 결과는 인상적이었습니다. 그러나 OpenAI는 속도를 늦추지 않았습니다. 그들은 더 나은 교육 의도 탐지를 통해 기본 GPT-3 모델을 미세 조정하는 모델을 추가하고 Codex라는 소프트웨어에서 훈련된 또 다른 모델을 통합했습니다.

사용자가 엄지척 또는 반대를 할 때마다 OpenAI의 모델을 개선하기 위한 더 많은 데이터가 있습니다. 이 모든 작업 후에 그들은 인간 피드백을 통한 강화 학습(RLHF)이라는 또 다른 소프트웨어 계층을 적용했습니다. RLHF는 오늘날에도 1억 명의 사용자를 위해 사용되고 있습니다.

인지 비서의 세 가지 진입 장벽

다음은 새로운 참가자가 ChatGPT에 대한 완료 경쟁에 참여하지 못하게 하는 세 가지 주요 요인입니다.

1. AI 인재 — NLP 및 대규모 언어 모델에 대해 깊이 감사하는 직원이 있습니까? 조직 데이터의 지식 표현을 잘 이해하고 있습니까? 귀하의 조직은 뜨거운 산업에서 이 인재를 고용하고 유지할 수 있습니까?
2. 교육 하드웨어 비용 — 조직에서 대규모 언어 모델을 교육하고 미세 조정하기 위해 수천 개의 GPU/TPU/IPU 또는 HBU에 액세스할 수 있습니까?
3. 피드백 — 피드백을 제공할 의사가 있는 수십만 명의 사용자가 있습니까? OpenAI는 현재 1억 명이 넘는 사용자를 보유하고 있으며 이 피드백을 통해 모델을 개선함에 따라 이 숫자는 증가할 것으로 예상됩니다.

일부 시스템 사고 적용

시스템 사고의 원칙을 이 문제에 적용하면 긍정적 강화 주기가 있는 인과 관계 고리 다이어그램(CLD)을 볼 수 있습니다. 다음과 같습니다.

이 작은 CLD는 관계를 설명하여 설명할 수 있습니다.

1. 데이터를 모델로 — 데이터를 사용하여 기계 학습 모드를 구축합니다.
2. Model to Prediction — 기계 학습 모델을 사용하여 사전 지식을 기반으로 미래를 예측합니다.
3. 예측은 피드백을 가능하게 합니다 . 합리적으로 좋은 예측을 할 수 있게 되면 인간이 피드백을 제공합니다.
4. 피드백은 데이터입니다 — 피드백을 새로운 데이터로 사용하여 모델을 개선할 수 있습니다.

The God Graph 및 Systems Thinking for Knowledge Management 의 블로그에서 Systems Thinking의 역할에 대해 자세히 알아볼 수 있습니다 .

인간의 피드백이 있는 AI 플라이휠

위의 그림은 조직이 데이터를 수집하고, 예측 모델을 구축하고, 예측하고, 더 나은 예측을 위해 더 많은 데이터를 수집하기 위해 사람의 피드백을 사용하는 방법을 설명하는 고전적인 "AI 플라이휠"입니다. 저는 이 모델을 제가 가르치는 거의 모든 KR 및 AI 과정 에서 사용합니다 . 기업이 피드백을 사용하여 새로운 인지 비서를 만드는 방법을 이해하는 데 기본이기 때문입니다.

몇 가지 세부 사항을 더 포함하도록 기존의 단순화된 4개 구성 요소 루프(데이터, 모델, 예측, 피드백)를 수정했습니다. 집중하고 싶은 다이어그램의 두 가지 필수 기능이 있습니다.

첫째, 우리는 모든 사람이 피드백이 상황에 따른다는 것을 이해하고 있는지 확인하고 싶습니다. 당신은 피드백이 사람에게서 나온다는 것을 알고 싶을 뿐만 아니라 그들의 환경에서 이 사람의 맥락을 알고 싶어합니다. 이것이 코딩 제안에 대한 피드백이라면 이것이 시니어 개발자인지 주니어 개발자인지 알고 싶을 것입니다. 생성된 편지에 대한 피드백인 경우 독자가 해당 분야의 전문가인지 초보자인지 알고 싶을 것입니다. 컨텍스트가 전부이므로 지식 그래프를 사용하지 않으면 피드백을 제공하는 사람에 대한 대부분의 정보를 버리고 있는 것입니다.

두 번째는 가치를 제공하지 않는 한 인간으로부터 정보를 수집하지 않는다는 점을 이해하는 것입니다. 즉, 제안의 1/3 이상이 올바르지 않으면 사용자가 제안을 비활성화합니다. 그것들은 가치 있는 것보다 더 성가시다. 이것이 예측 모델이 1/3 컷오프에 있지 않은 경우 피드백을 제공하기 위해 사용자에게 비용을 지불해야 하는 이유입니다. 이것이 바로 OpenAI와 같은 회사가 제품 출시 전에 해야 했던 일입니다. 사람들이 무료로 사용하기 시작하자 피드백의 흐름이 유입되기 시작했습니다. 그리고 클릭할 때마다 ChatGPT 주변의 해자가 더 넓어집니다.

결론

요약하면, 피드백 및 강화 학습은 일반 인지 보조 장치에 대한 일반적인 ChatGPT 기반 시장에서 계속 경쟁할 네트워크 효과를 유발합니다. 소규모 회사인 경우 이 분야에서 경쟁할 리소스가 없을 수 있습니다. 소규모 기업이 전문 데이터에 액세스할 수 있는 좁은 분야에서 작업하는 인지 도우미를 구축하고 예측을 미세 조정하는 데 도움을 주는 자원 봉사자를 구축할 수 있는 많은 기회가 남아 있습니다. 마지막으로 소규모 스타트업은 OpenAI의 GPT-3 davinci 모델과 같은 라이선스 시스템을 고려하고 이를 제품에 통합해야 합니다.