Neste blog, revisarei o processo de uso do Reinforcement Learning (RL) para criar e melhorar um modelo de linguagem ampla, como o ChatGPT. Em seguida, mostrarei como a OpenAI e a Microsoft podem usar a RL para impedir que os concorrentes concorram contra eles no mercado de IA generativa. Em seguida, sugerirei estratégias para novas startups atacarem a fortaleza. Primeiro, vamos rever o que queremos dizer com um “fosso” que impede os invasores de alcançar o castelo do ChatGPT.

Antecedentes do Modelo das Cinco Forças de Porter

Em 1979, Michael Porter publicou seu artigo seminal sobre a análise da natureza competitiva de uma indústria. Agora nos referimos a esse processo como Análise das Cinco Forças de Porter . Podemos usar o diagrama abaixo para visualizar um conjunto de pontos de pressão em qualquer mercado.

A OpenAI cobra modestos US$ 20/mês pelo acesso premium ao ChatGPT. Há também uma versão gratuita com mais de 100 milhões de usuários . A OpenAI está usando esses usuários como um método para obter feedback e melhorar seu modelo.

Quando olhamos para o ChatGPT objetivamente, não há realmente nenhuma outra ferramenta disponível publicamente que se aproxime de seus recursos. Embora a interface do usuário seja primitiva, a qualidade do texto gerado é impressionante em comparação com seus rivais. Este é o único modelo tão geral e com tantos usos diferentes .

Então, agora, só podemos colocar o OpenAI no círculo de IA geradora acima. Mas isso vai mudar e entenderemos por que a Microsoft investiu US$ 10 bilhões na OpenAI.

Para esta análise, iremos desconsiderar o Poder de Negociação dos Compradores , pois não há concorrência. O poder de barganha dos fornecedores é o hardware da GPU NIVIDA no Microsoft Azure e os desenvolvedores de software no OpenAI. Isso não pode ser ignorado a longo prazo, mas, por enquanto, há dinheiro suficiente para comprar o hardware e pagar os desenvolvedores do OpenAI. Isso deixa uma força que precisamos considerar: ameaças de novos entrantes. Existem ameaças de substitutos para o ChatGPT, como usar um mecanismo de pesquisa ou ler livros para encontrar informações. Nenhuma dessas opções é atraente.

Ameaças de novos entrantes

Olhando para o diagrama acima, a força máxima é chamada de Ameaça de Novos Entrantes . Consiste em outras grandes empresas de tecnologia que já estão profundamente investidas na área de grandes modelos de linguagem. Isso inclui:

1. Google — que têm conhecimento sobre pesquisa e feedback para construir novos modelos
2. Amazon — tem grandes equipes de pessoas trabalhando em aprendizado de máquina para promover seus serviços em nuvem para treinar modelos de linguagem grande
3. Meta — onde o Facebook reúne cerca de 50 mil fatos sobre os usuários que podem ser usados ​​para fazer previsões detalhadas sobre em quais anúncios eles podem clicar
4. HuggingFace — torna mais fácil para os desenvolvedores acessar modelos 100K e ajustá-los usando aplicativos Spaces rápidos e fáceis.

OpenAI tem uma vantagem considerável. A OpenAI publicou pela primeira vez seu documento GPT em 11 de junho de 2018 . Isso foi seguido em 14 de fevereiro de 2019 , com GPT-2, que tinha 1,5 bilhão de parâmetros. Isso foi seguido pelo inovador GPT-3 em 11 de junho de 2020, que disparou para incríveis 175 bilhões de parâmetros. Esses resultados foram impressionantes porque a qualidade do texto que o GPT-3 gerou foi incrível. Mas a OpenAI não desacelerou. Eles adicionaram modelos que ajustaram o modelo GPT-3 básico com melhor detecção de intenção instrucional e também integraram outro modelo treinado em software chamado Codex.

Sempre que um usuário dá um polegar para cima ou para baixo, há mais dados para os modelos da OpenAI melhorarem. Depois de todo esse trabalho, eles aplicaram outra camada de software chamada Reinforcement Learning with Human Feedback ou RLHF. O RLHF ainda está sendo usado hoje para esses 100 milhões de usuários.

Três barreiras à entrada de assistentes cognitivos

Aqui estão os três principais fatores que impedem os novos participantes de entrar na briga de conclusão contra o ChatGPT.

1. O talento de IA — Você tem uma equipe que aprecia profundamente a PNL e os grandes modelos de linguagem? Eles têm um forte entendimento da representação do conhecimento dos dados da sua organização? Sua organização pode contratar e reter esse talento em um setor em alta?
2. Os custos de hardware de treinamento — Sua organização tem acesso a milhares de GPUs/TPUs/IPUs ou HBUs para treinar e ajustar modelos de linguagem grande?
3. O feedback — Você tem centenas de milhares de usuários dispostos a fornecer feedback? A OpenAI tem mais de 100 milhões de usuários hoje, e espera-se que esse número cresça à medida que eles refinam seus modelos com esse feedback.

Aplique algum pensamento sistêmico

Quando aplicamos os princípios do Pensamento Sistêmico a esse problema, vemos um Diagrama de Loop Causal (CLD) com um ciclo de reforço positivo. Parece o seguinte:

Este pequeno CLD pode ser explicado descrevendo as relações:

1. Dados para modelar — usamos dados para criar modos de aprendizado de máquina.
2. Modelar para previsão — usamos modelos de aprendizado de máquina para fazer previsões sobre o futuro com base no conhecimento prévio.
3. Previsões permitem feedback — assim que pudermos fazer previsões razoavelmente boas, os humanos nos darão feedback.
4. Feedback is Data — podemos usar o feedback como novos dados para melhorar nossos modelos.

Você pode descobrir mais sobre o papel do pensamento sistêmico nos blogs The God Graph e Systems Thinking for Knowledge Management .

O volante AI com feedback humano

A figura acima é o clássico “AI Flywheel” que descreve como as organizações coletam dados, criam modelos preditivos, fazem previsões e usam o feedback humano para coletar mais dados para fazer melhores previsões. Eu uso esse modelo em quase todos os cursos de KR e AI que ministro porque é fundamental para entender como as empresas usarão o feedback para criar novos assistentes cognitivos.

Modifiquei o tradicional loop simplificado de 4 componentes (dados, modelo, previsão, feedback) para incluir mais alguns detalhes. Há duas características essenciais do diagrama que queremos focar.

Primeiro, queremos garantir que todos entendam que o feedback é contextual. Você não quer apenas saber que o feedback vem de um ser humano, mas também o contexto dessa pessoa em seu ambiente. Se este for um feedback para uma sugestão de codificação, você deseja saber se é um desenvolvedor sênior ou júnior. Se for um feedback sobre uma carta gerada, você deseja saber se o leitor é um especialista no assunto ou um novato. O contexto é tudo, portanto, se você não usar um gráfico de conhecimento, estará jogando fora a maior parte de suas informações sobre o ser humano que está lhe dando feedback.

A segunda é entender que você não coletará informações de humanos a menos que forneça valor a eles. Isso significa que, se pelo menos 1/3 de suas sugestões não estiverem corretas, o usuário desativará suas sugestões. Eles são mais irritantes do que valem a pena. É por isso que, se seu modelo preditivo não estiver no corte de 1/3, talvez seja necessário pagar aos usuários para fornecer feedback. Isso é exatamente o que empresas como a OpenAI tiveram que fazer antes do lançamento de seus produtos. Assim que as pessoas começaram a usá-lo (de graça), o fluxo de feedback começou a fluir. E a cada clique, o fosso em torno do ChatGPT fica mais amplo.

Conclusão

Em resumo, o feedback e o aprendizado por reforço causam efeitos de rede que continuarão competindo fora do mercado geral orientado pelo ChatGPT para assistentes cognitivos gerais. Se você é uma empresa pequena, pode não ter recursos para competir nessa área. Isso ainda deixa muitas oportunidades para as pequenas empresas construírem assistentes cognitivos que trabalham em disciplinas restritas com acesso a dados especializados e voluntários para ajudá-los a ajustar suas previsões. Por fim, pequenas startups devem considerar sistemas de licenciamento, como os modelos davinci GPT-3 da OpenAI, e integrá-los aos produtos.