Deficiências do ChatGPT - A piada é nossa

Se você for como eu, suas caixas de entrada, feeds e portais de notícias estariam cheios de histórias sobre Bing, Microsoft, ChatGPT, Bard e Google. Dados seus recentes 'desastres', muitos estão questionando e criticando abertamente as capacidades de grandes modelos AI/ML. Todo o ridículo deveria ser um aviso onipresente para as organizações que criaram essas tecnologias, certo?

Talvez não.

Talvez a piada não seja sobre eles. É por nossa conta.

Fundo

Para entender o porquê, é preciso entender a mecânica do ChatGPT. Aqui está um artigo antigo, mas rico, que explica como o InstructGPT foi criado pela OpenAI —https://www.assemblyai.com/blog/how-chatgpt-actually-works/O ChatGPT foi desenvolvido usando a mesma metodologia, com uma pequena diferença na forma como seus dados de treinamento foram coletados.

No passado, grandes modelos de linguagem eram treinados com predição do próximo token e modelagem de linguagem mascarada como princípios básicos. Partes das frases foram apagadas ou ocultadas, e o modelo previu a próxima palavra na sequência ou a palavra que faltava. Isso permitiu que os modelos aprendessem as estatísticas da linguagem e os ajudou a gerar um texto mais natural e fluente.

No entanto, esses modelos geralmente produzem respostas sintaticamente corretas, mas semanticamente inúteis. Na pior das hipóteses, os modelos poderiam criar discurso de ódio e precisavam ser rapidamente retirados. ( Tay , alguém?)

A Mecânica do ChatGPT

Assim, a OpenAI adotou uma nova abordagem para o ChatGPT, chamada Aprendizagem por Reforço com Feedback Humano (RLHF). Este compreende quatro fases:

1. Supervisioned Fine Tuning (SFT), em que um modelo de linguagem pré-treinado é ajustado em uma quantidade relativamente pequena de prompts (também conhecidos como perguntas) contribuídos por rotuladores e colhidos das APIs da OpenAI
2. O modelo é feito para gerar um número de respostas para esses prompts, e os rotuladores votam e pontuam essas respostas para indicar um conjunto de respostas 'humano'. O novo conjunto de dados destina-se a imitar a preferência humana e é chamado de dados de comparação.
3. Os novos dados são usados ​​para treinar um modelo de recompensa (RM) que se baseia nas respostas 'preferidas' que o SFT produz. O modelo de recompensa gera as 'pontuações' para uma série de prompts e respostas. Essas pontuações são realimentadas no modelo SFT para ajustar ainda mais sua política. A política destina-se a otimizar três resultados - Utilidade, Verdade e Inocuidade.
4. Por fim, o Reinforcement Learning é aplicado para ajustar automaticamente e continuamente o modelo usando um algoritmo chamado Proximal Policy Optimization (PPO). O PPO permite melhorias 'on-the-fly' para a política, pois a recompensa de cada resultado atualiza diretamente a política principal do modelo (em vez de ter que treinar novamente o modelo offline).

1. Um conjunto de contratados e clientes da OpenAI forneceu um conjunto de prompts/entradas para a OpenAI,
2. As respostas foram produzidas usando um modelo (GPT 3.5),
3. Estes foram pontuados por humanos em utilidade, veracidade e inofensividade e, finalmente,
4. O aprendizado por reforço foi introduzido para garantir que o modelo continue com o curso correto a cada interação.

Existem várias deficiências nessa abordagem, inclusive com a própria técnica de PPO e RLFH. No entanto, é mais interessante notar as preocupações mais humanas.

Certamente, o conjunto de rotuladores e clientes não pode refletir todas as preferências da humanidade? O viés deles se infiltra nas saídas que o ChatGPT produz. A classificação deles pode não ser precisa o suficiente para todos nós.

Em segundo lugar, o número de prompts usados ​​para treinar o modelo é severamente limitado, pois o OpenAI não possui um vasto repositório de prompts para otimizar seu modelo para questões que refletem mais amplamente a humanidade.

Solução do ChatGPT

Então o que eles fazem? Eles abrem o ChatGPT para o mundo.

Agora, eles têm de milhares a milhões de rotuladores, 100 milhões conforme a última contagem, alimentando bilhões de prompts em seu conjunto de dados de treinamento. À medida que mais e mais pessoas continuam a usar o ChatGPT, o OpenAI pode acabar com um tesouro de insights do Google sobre nossas perguntas e desejos. O Sr. Nadella e a Microsoft podem ter impulsionado o processo integrando o ChatGPT com o Bing. O Bing recebe mais de um bilhão de visitas por mês. Agora, a velocidade e a escala com que as perguntas alimentam os braços de espera da OpenAI crescem exponencialmente. Os dados serão muito úteis ao treinar o GPT 4 ou qualquer que seja a próxima versão.

O produto em si é um mecanismo inteligente, uma espécie de máquina autossustentável. Os usuários refinam suas solicitações alimentando novos prompts até ficarem satisfeitos com a resposta. Ou eles clicam em regenerar até encontrarem algo de que gostem. Os usuários pagos geralmente votam a favor ou contra as respostas. Dessa forma, o ChatGPT acumulou um exército disposto de milhões de rotuladores cujas interações alimentam o aprendizado sempre presente de PPO e reforço. O modelo está em sintonia fina com esteróides. Graças a nós!

Somos o laboratório das respostas do ChatGPT. Nós somos os trabalhadores que o alimentam com dados preciosos e corrigem seu curso. E entramos em listas de espera e pagamos pelas coisas.

Adivinha quem ganha aqui?