A IA perdeu a cabeça?

Na minha primeira aula acadêmica sobre IA, o professor vai até a lousa e escreve duas palavras: “Ciência” e “Engenharia”. Esses, diz ele, são os dois lados da IA ​​– o projeto científico é usar modelagem computacional para entender os mecanismos da inteligência humana – programas de computador que são teorias científicas. A engenharia cresceria naturalmente a partir disso. À medida que os insights científicos se desenvolvem, as oportunidades de engenharia para aplicações de IA surgirão naturalmente.

Estávamos no final dos anos 1980, e o professor era Mitch Marcus — já famoso por sua tese de doutorado na qual escreveu um programa para analisar sentenças. O Marcus Parser foi projetado de tal forma que parecia capturar uma característica intrigante, mas fundamental da linguagem: “restrições insulares”. Estas têm a ver com o facto de um texto não ser apenas uma simples sequência de palavras. Em vez disso, as palavras dependem umas das outras de várias maneiras. E uma palavra pode depender de outra palavra, mesmo quando estão muito distantes. Mas essa grande liberdade nas relações entre as palavras é contrabalançada por um fato surpreendente — em certas construções, denominadas “ilhas”, não é permitido que duas palavras se relacionem. Esta é uma restrição intrigante, e que aparentemente escapou da atenção dos linguistas por milênios, até ser descoberta por John Ross na década de 1960.

A genialidade do Marcus Parser foi que ele mostrou como (alguns aspectos das) restrições da ilha podem ser uma espécie de efeito colateral do funcionamento interno do programa de análise em execução na cabeça das pessoas. E é esse programa mental que Marcus pretendia emular com seu analisador sintático. Este foi um exemplo clássico de IA como ciência – o programa era a teoria científica: simples, elegante e esclarecedor.

Eu estava pensando nisso enquanto lia sobre a experiência angustiante de Kevin Roose com o Bing Chatbot , que, em uma conversa de duas horas,
revelou impulsos sombrios e desejos perigosos, deixando o jornalista de tecnologia “profundamente inquieto, até assustado”. O CEO da Microsoft não conseguiu explicar o comportamento de seu produto tão badalado, oferecendo a sugestão esfarrapada de que Roose deveria manter suas conversas mais curtas. Conseguimos construir uma impressionante máquina de linguagem. Mas não podemos explicar por que ele faz o que faz, porque não entendemos como funciona.

A pesquisa de IA tornou-se amplamente a busca da engenharia na ausência da ciência. Os chatbots atuais possuem habilidades impressionantes de linguagem e raciocínio, e muito se sabe sobre os mecanismos subjacentes a essas habilidades humanas, em áreas como linguística, lógica e psicologia. No entanto, os chatbots são construídos de uma forma que ignora completamente esses corpos de conhecimento. Por exemplo, houve um aumento constante na quantidade de dados necessários para treinar esses sistemas de chatbot, conhecidos como modelos de linguagem grande. O modelo GPT3, aparentemente treinado em cerca de 500 bilhões de palavras, parece ter dominado amplamente a gramática, embora seja difícil estabelecer a extensão precisa de suas habilidades gramaticais. E não está claro como essas habilidades gramaticais resultaram do processo de treinamento. Por que, por exemplo, precisa de centenas de bilhões de palavras? O que quer que esteja acontecendo, deve ser extremamente grosseiro comparado ao aprendizado humano, já que as crianças dominam a gramática depois de serem expostas a uma fração muito pequena da quantidade de dados necessários para o GPT3.

Qual é, afinal, o sentido de fazer engenharia, desvinculada do entendimento científico? O projeto de IA é o grande desafio científico do nosso tempo. Talvez a ciência nunca possa iluminar o espaço interior da mente humana da maneira que fez de forma tão espetacular com os planetas, estrelas e galáxias do espaço sideral. Mas eu, por exemplo, estou otimista.

Gigantes da tecnologia como Microsoft e Google estão usando vastos recursos para produzir modelos de linguagem cada vez maiores em projetos que poderiam muito bem ser chamados de moon-shots. Mas é como se tivéssemos começado a enviar foguetes para a lua sem primeiro descobrir a teoria da relatividade ou mesmo as leis do movimento de Newton. Com esforço de força bruta suficiente, pode ser possível atingir a lua. Mas isso exigiria um desperdício impressionante de recursos e, sem dúvida, resultaria em todos os tipos de danos imprevistos. Mas o mais importante, não seria muito interessante.