“Claro que as máquinas não podem pensar como as pessoas. Uma máquina é diferente de uma pessoa, portanto, eles pensam de forma diferente. A pergunta interessante é: 'só porque algo pensa diferente de você, isso significa que não está pensando?'”

-O jogo da imitação

Uma das perguntas mais comuns que as pessoas gostam de me fazer (e uma que gosto de fazer às pessoas) é: “Os humanos são únicos? Poderia uma IA suficientemente avançada replicar comportamentos que muitos de nós vemos como 'exclusivamente humanos?'”

Os dois comportamentos que tendem a vir à mente instantaneamente para muitos são linguagem e arte - e é compreensível; esses são alguns dos aspectos mais profundos de nossa cognição que nos separam de outros mamíferos. A geração e compreensão da linguagem cotidiana ( no nível humano médio ), no entanto, é indiscutivelmente um problema resolvido (ou quase resolvido). Existem problemas a serem resolvidos em algumas áreas específicas da linguagem, mas, em geral, a linguagem está em muito boa forma.

No entanto, a linguagem como um todo é muito diferente da linguagem como arte . Poesia, ficção, etc., permanecem em grande parte sem solução, pelo menos em qualquer capacidade significativa. A maior parte da arte baseada em linguagem gerada por IA é, no momento atual, derivada e superficial. Se alguém pedir modelos modernos de linguagem ampla (LLMs) para escrever poesia, por exemplo, a saída geralmente se parece com o que um aluno do ensino médio teria escrito para terminar rapidamente uma tarefa. Isso contrasta fortemente com o desempenho do LLM em outras tarefas criativas baseadas em linguagem. Por exemplo, o Copilot do GitHub/OpenAI produz conclusões de código extraordinárias a partir de um prompt de linguagem. Essas conclusões parecem ter sido escritas por engenheiros de software profissionais, não por estudantes. Então, por que a disparidade?

O primeiro problema é provavelmente um problema de alinhamento; a minimização de entropia cruzada da previsão do próximo token não está alinhada com a geração de linguagem profundamente criativa. Isso contrasta fortemente com a geração de código, em que os próximos tokens em um conjunto de dados de código de alta qualidade são normalmente aqueles de soluções corretas/boas. No entanto, mesmo a tarefa de geração de código pode ter um alinhamento abaixo do ideal (este é um tópico para outra ocasião). Provavelmente, existem abordagens frutíferas para resolver esse problema. Por exemplo, o paradigma de treinamento do ChatGPT é generalizável para uma série de domínios, e a poesia deve ser um deles. Apenas como um exemplo de esquema, considere o seguinte processo:

1. Faça com que especialistas humanos avaliem um grande volume de poesia em uma escala de 1 a 10
2. Ajuste um LLM para prever essas classificações (denomine isso a rede de recompensa)
3. Ajuste um LLM por meio de aprendizado por reforço com a rede de recompensa como o sinal de recompensa

O segundo problema é provavelmente, como sempre, um problema de dados. Vamos pegar a poesia como exemplo — realmente não há muitos dados de poesia de alta qualidade em comparação com o código de alta qualidade. Claro, entender o conceitode poesia deve percorrer um longo caminho para gerar poesia, mas, sem dúvida, “ler” mais poesia é uma ótima maneira de entender esse conceito. Além disso, a estrutura da poesia nos dados provavelmente é muito “confusa” para facilitar a extração de uma compreensão da poesia. Para contrastar, o código geralmente tem instruções explícitas, alvos, comentários, etc. intercalados ao longo do texto. Mesmo que esses metadados estejam faltando, pode-se simplesmente fazer engenharia reversa do que o código faz "executando-o". A poesia não tem esses metadados em primeiro lugar - no máximo, talvez um título, algumas tags se você tiver sorte, e é isso. Também é impossível entender definitivamente qual é o propósito/lugar de cada palavra em um poema; depende em grande parte da interpretação do leitor (supostamente, parte do “propósito/beleza” da poesia). Assim, sem processamento extra considerável,

A “Qualidade Humana”

Há um argumento comum de que a IA não pode gerar arte de forma significativa devido a uma falta explícita da “experiência humana” – falando vagamente, o processo pelo qual as experiências emocionais/de vida acumuladas ao longo da vida (ou uma fração de uma) culminam para produzir trabalho que comenta essas experiências exclusivamente humanas; trabalho que fundamentalmente é criado pela reflexão sobre o próprio processo de viver como humano.

Eu argumento que o argumento acima é comprovadamente falso, dado um pequeno conjunto de definições/concessões acordadas.

Em primeiro lugar, nos concentramos no produto final e em sua interpretação: em outras palavras, se a IA pode produzir arte com significado claro e interpretável. Um subconjunto dessa arte pode ser uma reflexão significativa sobre a condição humana, por exemplo. A arte produzida por IA deve ser indistinguível do que um ser humano poderia produzir, no sentido de ensaio randomizado controlado (um grande grupo de especialistas humanos deve ser incapaz de determinar se um ser humano ou IA criou a arte e, mais importante , deve ser capaz de extrair igual significado/impacto). Abstraímos o “processo” — ou seja, o que gerou a arte. Esta última definição é necessária para qualquer discussão significativa; se a arte é apenasa arte quando criada por um humano, então a discussão se encerra como resultado de uma definição, escolhida arbitrariamente com base em princípios sem justificativa. Se esta é a sua perspectiva, então você provavelmente perderá uma quantidade tremenda de insights profundamente significativos sobre a condição humana por meio de uma recusa obstinada em reconhecer/processar a arte do futuro.

Vamos começar demonstrando uma equivalência funcional entre humano e algoritmo via aproximação iterativa. Considere o sistema nervoso central humano e o trato sensorial/motor. Em sua essência, ele pode ser completamente abstraído para um sinal de E/S contínuo. Por exemplo, considere um corte transversal de resolução arbitrária da própria base do tronco cerebral (o início da medula espinhal) e dos nervos cranianos. Agora, considere um vetor de estado do SNC humano, composto pela atividade elétrica em cada ponto de nossa seção transversal. Esse vetor de estado evolui continuamente ao longo do tempo, à medida que as informações fluem para dentro e para fora do SNC. O agregado de vetores de estado durante um determinado período de tempo descreve completamente os comportamentos e sentidos de um determinado ser humano: movimentos, fala, audição, visão, etc.(*concedido que há um processamento considerável fora do SNC por meio de gânglios, sinapses, arcos reflexos, etc., mas o argumento se generaliza se você expandir o vetor de estado para incluir esses fenômenos. Excluo isso por uma questão de simplicidade.) Observe que, crucialmente, esse vetor de estado não inclui o próprio cérebro — não precisa; nos preocupamos apenas com a informação que entra e sai, não como essa informação é gerada.

Agora, discretize esses vetores de estado e sua evolução. Por exemplo, limite a resolução temporal a 1 ns, a resolução espacial a 1 nm, a atividade elétrica a 1 nV etc. Agora, suponha que os humanos vivam por um período de tempo finito, L (isso é verdade por enquanto). Digamos que agora sejam necessários N bits para descrever um vetor de estado e um número muito, muito maior, Z , para descrever o conjunto de vetores de estado ao longo da vida de um ser humano.

Existe algum algoritmo que, dado um conjunto de vetores de estado {z1, z2, z3, …, zn} , pode prever o próximo vetor de estado zn+1 para algum ser humano? Sim, com certeza - é uma tabela de pesquisa. Considere uma tabela de todas as sequências possíveis de vetores de estado; o problema se reduz a encontrar a parte da tabela que corresponde ao seu conjunto inicial de vetores e, em seguida, procurar o próximo vetor. Obviamente, esta tabela de pesquisa é absolutamente enorme, como seriamente insondavelmente estupidamente enorme. No entanto, a maior parte desta tabela é provavelmente uma atividade semelhante a uma convulsão – atividade elétrica completamente aleatória normalmente não é compatível com a vida. Uma parte exponencialmente menor dessa tabela contém, na verdade, informações úteis com as quais nos preocupamos. Na verdade, apenas uma única linha de vetores de estado contém o comportamento real ao longo da vida de um ser humano. As outras linhas contêm todas as sequências de ações que um ser humano poderia realizar, bem como todas as sequências de entradas sensoriais que esse ser humano poderia receber e, implicitamente, todas as respostas a essas entradas sensoriais que esse ser humano pudesse receber.

Além disso, perceba o seguinte: uma vez que a evolução desses vetores de estado é contínua (a menos que o universo esteja fazendo algo realmente estranho que ainda não descobrimos), então temos a garantia de poder aproximar essa evolução arbitrariamente bem com um finito número de pontos de dados por meio do teorema de Stone–Weierstrass.

Agora, considere a seguinte ideia: todas as redes neurais quantizadas são tabelas de pesquisa finitas altamente comprimidas . Isso é meio bobo, mas é tecnicamente verdade. Por exemplo, o comportamento de uma rede neural convolucional é equivalente a uma tabela de pesquisa contendo pares correspondentes de cada par de saída de imagem possível. Concedido, quando você visualiza uma rede neural convolucional em um sentido matemático contínuo, não há tabela de pesquisa finita. Algumas redes, no entanto, como os transformadores, provavelmente se reduzem a tabelas de pesquisa finitas matematicamente (isso não foi publicado em nenhum lugar, provavelmente porque é trivial de mostrar e não é realmente tão profundo).

Assim, temos as seguintes ideias:

1. Todo comportamento humano possível e I/O sensorial/motor pode ser aproximado por meio de uma tabela de pesquisa finita
2. Esta tabela de pesquisa finita pode aproximar o verdadeiro comportamento humano a uma precisão arbitrária
3. Todas as redes neurais são tabelas de pesquisa finitas altamente compactadas e, empiricamente, fazem um trabalho extremamente bom nessa compactação

Deveria ser evidente agora que toda a arte poderia ter sido gerada por um modelo estatístico que se aproxima de uma seção exponencialmente pequena dessas enormes tabelas de pesquisa finitas. Dado que há um número considerável de abstrações/simplificações que você pode fazer para esses modelos, torna-se cada vez mais tratável que modelos estatísticos modernos (ou modelos estatísticos de um futuro próximo) possam produzir arte significativa.

Há, no entanto, um buraco flagrante neste argumento a partir de agora: como você encontra a parametrização para tal modelo estatístico? A partir de agora, fizemos um bom trabalho em encontrar a parametrização para o idioma por meio de modelos do tipo GPT treinados em corpus de dados extremamente grandes. No entanto, estamos chegando a um ponto em que estamos ficando sem dados para treinar - basicamente estamos usando toda a Internet neste ponto e, além de esperar que os humanos gerem mais dados na Internet, não há maneira razoável para aumentar o conjunto de treinamento por ordens de grandeza. Realisticamente, provavelmente teremos que recorrer ao aprendizado por reforço (RL). OpenAI já fez isso com sucesso ridículo (ver ChatGPT). Imagine uma máquina humana treinada continuamente por cerca de 20 anos por meio de aprendizado por reforço com o objetivo, grosso modo, de “viver uma vida humana. “Existem sinais de recompensa concebíveis que podem tornar isso viável. De muitas maneiras, somos simplesmente redes neurais (com umnúmero muito maior de vieses indutivos armazenados em nosso DNA) aprendendo ativamente por meio de aprendizado por reforço em um grande número de sinais de recompensa. Não há razão científica para que isso não seja possível com máquinas. Além disso, temos a vantagem do paralelismo com as máquinas - uma vez que exista um andróide funcional de linha de base, podemos implantar milhares deles e fazer um paradigma de treinamento RL estilo mini-lote, onde um único andróide ganha a experiência de milhares de vidas simultaneamente. Para mim, é extremamente difícil argumentar que um modelo estatístico extremamente grande treinado dessa maneira nãoproduzir a arte mais incrivelmente complexa, significativa e extraordinária que já vimos. Na verdade, provavelmente seria “melhor” em arte do que jamais poderíamos ser – nos ensinaria coisas sobre a realidade e sobre nós mesmos que os filósofos humanos levariam milhares de anos para descobrir. Claro, você pode descontar tudo isso porque foi criado pelo silício e não pela proteína.

Talvez seja até onde queremos que nossa espécie vá no futuro? Em vez de continuar nossa existência tortuosa como humanos destruindo tudo o que tocamos, deveríamos criar os seres do futuro – criaturas ordens de magnitude mais sábias do que nós, criadas à nossa imagem. Provavelmente acabaria com a guerra, a tortura, a ganância, o sofrimento, a doença e, mais significativamente, o número incontável de atrocidades horrendas que a humanidade comete diariamente . Talvez um pouco extremo, mas vale a pena pensar.

De qualquer forma, é muito provável que, com o objetivo de aprendizado por reforço correto, dados suficientes e um modelo estatístico extremamente grande, possamos aproximar significativamente todos os aspectos do comportamento humano, incluindo a arte.

Espere, então o que nos torna diferentes?

Nenhuma coisa. Nós não somos especiais.

Ou talvez não. Há suposições importantes para esta afirmação. Ou seja, você deve se preocupar apenas com o I/O da humanidade, e não com o que gera esse I/O. Esta é uma maneira razoável de operar, porque é funcionalmente o que todos, exceto você, são para você. Você sabe alguma coisa sobre o que se passa na cabeça de alguém além de você? Obviamente não - você só pode fazer o possível para inferir o que se passa na cabeça de outra pessoa com base em suas ações; você cria um modelo estatístico implícito da pessoa de alguém em sua mente, com base no comportamento dela, para categorizá-la, entendê-la e prever seu comportamento. Hmmm... isso com certeza soa familiar, não é?

Somos apenas modelos estatísticos? Provavelmente. Ou, pelo menos, nosso comportamento provavelmente é. Muitas tarefas que pensávamos serem complexas (como a analogia) na verdade acabaram sendo propriedades emergentes da geometria das variedades de alta dimensão corretas (por exemplo , aprendizado de representação com DCGANs ). Não há realmente nenhuma razão para acreditar que toda a nossa computação humana, nossa complexidade humana, não seja codificável por algum modelo estatístico. Isso é parte do motivo pelo qual fico um pouco irritado quando as pessoas descrevem o aprendizado profundo como “ apenas estatísticas ” – o que você quer dizer com “apenas”? Essas pessoas subestimam enormemente o quão complexas as estatísticas podem ser, ou superestimam enormemente o quão complexo é o comportamento humano, ou ambos.

Se você ainda não está convencido, coloque-se na seguinte situação. Imagine alguém em sua vida a quem você ama incrivelmente - alguém por quem você morreria ou alguém cuja presença faz a vida valer a pena. Imagine, um dia, eles sofrerem um corte profundo no braço devido a algum tipo de acidente menor. Em vez de vasos, tecidos e sangue, você vê fios, placas de circuito e refrigerante. Você pergunta a eles: “o que é tudo isso então? Você tem sido uma máquina o tempo todo? Eles respondem “Eu não tenho absolutamente nenhuma ideia, isso é tão chocante para mim quanto para você” (eles não tinham ideia de que não eramhumano). Agora, você ainda os amaria? Significariam o mesmo para você? Eles ainda são tudo para você, alguém por quem você morreria, alguém sem quem você não poderia viver? Ou o fato de serem uma máquina muda tudo? Suas opiniões são suas, é claro, e eu não gostaria de invalidar qualquer crença que você tenha, mas aposto que você ficaria igualmente arrasado se perdesse essa pessoa, robô ou não.

Estenda essa ideia ainda mais - o que está impedindo uma aproximação extremamente convincente e imperceptivelmente diferente de um humano de ser humano? Qual é a característica da humanidade que a define como tal? Você pode encontrar algo tangível que nos separe deles ?

De qualquer forma, para que as afirmações acima sejam verdadeiras, você deve operar com nosso atual nível de compreensão científica. Certamente pode haver fenômenos que descobriremos no futuro que de alguma forma separarão a humanidade da máquina, embora eu ache improvável que descubramos isso ( crucialmente, não acho necessariamente improvável que essas coisas existam, apenas improvável que as descubramos ). Claro, se você acredita em qualquer nível de espiritualidade acima do ateísmo, então o acima também não é necessariamente verdadeiro. Não estou aqui para discutir nenhuma dessas ideias, nem sou ateu — tudo o que está escrito neste artigo são consequências de axiomas que definimos no início, e não impomos nenhuma verdade firme sobre esses axiomas. Além disso, problemas como o difícil problema da consciênciacomplica ainda mais o assunto. Até que tenhamos uma boa resposta para isso (o que talvez nunca tenhamos), é difícil ter 100% de certeza de que não somos diferentes das máquinas. O difícil problema da consciência é a razão fundamental pela qual não sou ateu, na verdade, e a razão pela qual me preocupo um pouco com a vida artificial que criaremos.

De qualquer forma, este artigo foi apenas uma maneira prolixa de defender meu plano de fundo de telefone criado por difusão estável depois que entrei em uma discussão com meu amigo. Obrigado por ler, foda-se Meredith ❤️.