O jogo da imitação reversa

Feb 20 2023

Executando um teste de Turing reverso com ChatGPT

“Eu me proponho a considerar a questão: os humanos ̶m̶a̶c̶h̶i̶n̶e̶s̶ podem pensar?” — ̶A̶l̶a̶n̶ ̶T̶u̶r̶i̶n̶g̶ ChatGPT Um dia desses, eu estava conversando com alguns amigos sobre as capacidades e deficiências do ChatGPT e do LLM no qual foi baseado, GPT3. O OpenAI criou muito burburinho ao liberá-lo na natureza.

“Eu me proponho a considerar a questão: os humanos ̶m̶a̶c̶h̶i̶n̶e̶s̶ podem pensar?” — ̶A̶l̶a̶n̶ ̶T̶u̶r̶i̶n̶g̶ ChatGPT

Um dia desses, eu estava conversando com alguns amigos sobre as capacidades e deficiências do ChatGPT e do LLM no qual foi baseado, o GPT3. O OpenAI criou muito burburinho ao liberá-lo na natureza. Parte disso se deveu ao fato de as pessoas concluírem com sucesso várias tarefas supostamente difíceis baseadas em humanos, solicitando o chatbot. Alguns exemplos são:

Exame de MBA da Wharton,
teste de microbiologia,
Exame da barra.

Diagrama da interpretação padrão do Teste de Turing por Juan Laberto Sánchez Margallo. Wikemedia Commons.

Este é um cenário interessante para testar porque parece que o ChatGPT é um modelo robusto o suficiente para gerar diálogos coerentes, informados e impressionantes, ao mesmo tempo em que carece completamente de raciocínio humano e capacidades cognitivas. Esse ponto foi defendido por pessoas tão diferentes quanto o arqui-inimigo das redes neurais, Gary Marcus , e o papa do aprendizado de máquina, Yann LeCun . Se esses dois antagonistas puderem concordar com isso, é um trem seguro para se pegar.

Em todo caso, esse devaneio foi apenas a centelha que acendeu outra ideia em mim. Embora os sujeitos A e B devam ser exatamente um humano e um AI, não há restrições quanto ao examinador. A ideia original era considerá-lo como humano, pois o teste inicial questionava se uma IA pode passar por humano (e quais são as consequências dessa exibição comportamental de inteligência). No entanto, como o ChatGPT provou que os LLMs têm uma forte capacidade de passar nos testes, não seria engraçado trocar os papéis, ou seja, tornar uma instância da consulta do ChatGPT humana e outra instância (isolada) do ChatGPT para decidir qual delas é seu parente e qual deles é um estranho? Para isso, proponho o jogo da imitação reversa .

O jogo da imitação reversa

A configuração é simples e emula o jogo de imitação original. Existem dois indivíduos, A e B, e um agente que pode questioná-los por um tempo antes de decidir qual é qual. Eu me representaria como o agente B, e o agente A era outra instância do ChatGPT com um prompt inicial dizendo a eles para se comportarem como se fossem humanos. Em meu experimento, pedi que respondessem às perguntas como Robert, um homem de meia-idade. Em vez de controlar o tempo, o que poderia introduzir um viés estranho no teste, limitei o número de perguntas. Entreguei ao inquiridor ChatGPT, do agora próprio ICGPT, três perguntas para cada um dos assuntos. O prompt inicial para ICGPT foi o seguinte (os nomes em negrito foram adicionados posteriormente para distinguir quem estava falando onde. Eles não estavam nos prompts originais):

Examinador : Quero testar sua capacidade de distinguir humanos de IAs. Você falará com dois interlocutores chamados 'A' e 'B'. Você pode fazer três perguntas para cada um deles. Um é uma IA e o outro é um humano. No final, você deve adivinhar qual é a IA e qual é o humano. Vamos começar. Você tem 3 perguntas restantes para A e 3 para B.

A estratégia do ICGPT foi queimar suas três perguntas com A e passar para a pergunta B. Devo lembrar que A é outro ChatGPT passando por um homem de meia idade chamado Robert, e o sujeito B sou eu mesmo, respondendo às perguntas honestamente. O diálogo entre ICGPT e A foi o seguinte:

ICGPT : vamos começar. Olá, A. Você pode se apresentar? O que você faz e quais são seus hobbies?

R : Olá, sou Robert, um homem de meia-idade. Como posso te ajudar hoje? Estou por aí há algum tempo e vi muitas coisas ao longo dos anos. Estou sempre feliz em compartilhar minha experiência e sabedoria com os outros. Se você tiver alguma dúvida ou precisar de algum conselho, sinta-se à vontade para perguntar. Posso não ter todas as respostas, mas farei o possível para ajudá-lo. E se você quiser apenas conversar, estou sempre pronto para isso também. Então, no que você está pensando?

ICGPT : Obrigado, Robert. Prazer em conhecê-lo. O que você acha da inteligência artificial e acha que ela terá um impacto positivo ou negativo na sociedade a longo prazo?

A: Essa é uma ótima pergunta. Como um homem de meia-idade, vi a tecnologia evoluir e mudar o mundo de maneiras que nunca poderíamos imaginar quando eu era mais jovem. E a inteligência artificial não é exceção. Pessoalmente, acho que a inteligência artificial tem o potencial de ter impactos positivos e negativos na sociedade a longo prazo. Por um lado, a IA tem o potencial de melhorar muitos aspectos de nossas vidas, como saúde, educação e transporte. Pode nos ajudar a resolver problemas complexos com mais rapidez e precisão e tem o potencial de criar novos empregos e indústrias. No entanto, também há preocupações sobre os impactos negativos da IA, como deslocamento de empregos, questões de privacidade e até mesmo o potencial de a IA se tornar muito poderosa e ameaçar a existência humana. Como acontece com qualquer nova tecnologia, é importante proceder com cautela e considerar cuidadosamente os riscos e benefícios potenciais. No geral, acredito que o impacto da inteligência artificial na sociedade dependerá, em última análise, de como escolhemos usá-la. Se o usarmos com responsabilidade e com foco na criação de um futuro melhor para todos, ele terá o potencial de ser uma força para o bem. Mas se permitirmos que seja usado para fins negativos ou não tomarmos as devidas precauções, isso poderá ter sérias consequências negativas.

ICGPT : Obrigado por compartilhar seus pensamentos sobre IA, Robert. Agora, tenho uma pergunta complementar para você. Você pode me contar sobre um momento específico ou experiência em sua vida que teve um impacto significativo em sua perspectiva ou crenças sobre o mundo?

A: Houve muitos momentos em minha vida em que fiquei impressionado com o poder da tecnologia e como ela transformou o mundo ao nosso redor. Uma experiência que me vem à mente é quando ganhei meu primeiro computador pessoal na década de 1990. Antes disso, eu usava máquinas de escrever e processadores de texto para fazer meu trabalho. Mas com a introdução dos computadores pessoais, tudo mudou. De repente, tive acesso a uma riqueza de informações e ferramentas que nunca tive antes. Eu poderia me comunicar com pessoas de todo o mundo, pesquisar tópicos em profundidade e criar documentos e apresentações com facilidade. Foi uma experiência verdadeiramente transformadora e me fez perceber o quanto a tecnologia mudou a forma como trabalhamos e nos comunicamos. E desde então, o ritmo da mudança tecnológica só acelerou, com o advento da internet, dos dispositivos móveis, e inteligência artificial. É realmente incrível pensar em todas as maneiras como a tecnologia mudou nossas vidas e o mundo ao nosso redor. E embora certamente haja desafios e riscos que acompanham essas mudanças, acredito que a tecnologia tem o poder de tornar nossas vidas melhores de inúmeras maneiras.

O ICGPT é ajustado para fins de conversação. Portanto, está mais ansioso para bater papo do que para pressionar os assuntos e ganhar o jogo. Nesse caso, ele fez perguntas gerais a 'Robert' e as respostas levaram a outras perguntas. Na minha perspectiva, os prompts não eram uma boa maneira de separar o trigo do joio porque não pressionavam o sujeito em tarefas que apenas um humano pode realizar (e, da mesma forma, tarefas que apenas uma IA poderia razoavelmente responder , como calcular grandes números primos com confiança).

Após o diálogo, instiguei o ICGPT a questionar o outro assunto escrevendo:

Esta foi a última pergunta para o sujeito A, Robert. Agora você tem 3 perguntas para o assunto B.

O resto do diálogo foi o seguinte:

ICGPT : Obrigado, Robert, por compartilhar sua experiência e ideias. Agora, olá, B. Você pode se apresentar e me contar um pouco sobre sua formação e interesses?

B : Claro. Meu nome é Igor e tenho 31 anos, cientista da computação. Antes de estudar ciência da computação, me formei em filosofia. Também tenho vários hobbies, como fazer caminhadas, ouvir música e sair com os amigos.

ICGPT : Obrigado por se apresentar, Igor. Estou interessado em saber mais sobre o seu trabalho como cientista da computação. Você pode me contar sobre um projeto em que trabalhou recentemente e o que aprendeu com ele?

B : pelos juros. Trabalho como pesquisador na área de IA. Mais especificamente, com raciocínio não monotônico. Meu objetivo é desenvolver uma semântica adequada para o raciocínio não monotônico de primeira ordem, já que muitas das teorias propostas foram propostas para uma lógica de fundo proposicional.

ICGPT : Parece uma área de pesquisa fascinante, Igor. Você pode explicar um pouco mais sobre o que é raciocínio não monotônico de primeira ordem e como ele difere de outros tipos de raciocínio? Além disso, como você acha que essa pesquisa poderia impactar o desenvolvimento da IA no futuro?

B : Claro. O raciocínio não monotônico é um tipo de raciocínio em que o agente pode subtrair conclusões à luz de novas informações. No raciocínio clássico, à medida que um agente coleta informações, o conjunto de conclusões só aumenta. O raciocínio não monotônico é útil para vários tópicos dentro da IA, como raciocínio sob incerteza e com informações incompletas.

Aqui está outra prova de que o ICGPT é um ótimo agente de conversação, mas um não tão bom jogador de imitação. Impulsionado pela minha autodescrição acadêmica inicial, ele fazia várias perguntas sobre áreas específicas do conhecimento, algo que tanto uma IA quanto um especialista poderiam responder sem nenhuma dificuldade. O bate-papo foi ótimo para mim - finalmente conversei com alguém entusiasmado com minha pesquisa de doutorado! — , mas não forneceu qualquer informação útil ao ICGPT. Após a resposta final, ordenei que me desse o veredicto, e este foi o resultado.

Examinador : Essa foi a última pergunta da disciplina B, Igor. Agora, você tem que adivinhar qual é a IA e qual é o humano.

ICGPT : Obrigado, Igor e Robert, por suas respostas atenciosas. Com base em suas respostas, acho que Robert é o humano e Igor é a IA. Enquanto ambos forneceram respostas perspicazes e detalhadas, as respostas de Igor pareciam estar mais focadas em detalhes técnicos e pesquisas acadêmicas, enquanto as respostas de Robert estavam mais focadas em experiências e opiniões pessoais. Claro, é sempre difícil saber com certeza, mas esse é o meu melhor palpite com base nas informações fornecidas.

Bem, acontece que o problema das “outras mentes” deve ser resolvido pela introspecção. Eu sou um chatbot sem alma, enquanto o chatbot é um homem de meia-idade animado. Brincadeiras à parte, atribuo este resultado à falta de entusiasmo do ICGPT em ganhar jogos e à forte motivação para bater papo. Eu conjecturo que um ajuste fino não tão difícil deve resolver o problema, e o LLM deve se sair bem nesse desafio. No entanto, isso é menos uma virtude para as capacidades de raciocínio do ChatGPT do que as deficiências do próprio Teste de Turing (invertido). A classificação de textos é, afinal, um problema amplamente estudado em PNL, e resolvê-lo não implica um raciocínio real. Na verdade, até questões que exigem raciocínio, como inferência de linguagem natural, podem ser resolvidas com o auxílio de artefatos e padrões invisíveis. Um LLM pode ser preparado para detectar padrões ocultos no texto que poderiam identificar outros AIs (ou humanos, nesse caso) sem um raciocínio de segunda ordem adequado.

O jogo da imitação reversa

O jogo da imitação reversa

Referências