Sobre aprender chinês, cérebro e IA

No ano passado, decidi aprender um pouquinho de chinês (中文). Não tenho uma boa desculpa - não estou planejando uma viagem nem nada. Parecia muito difícil (portanto, divertido) e muito diferente de tudo que já tentei. Nunca fui exposto a uma linguagem tonal ou qualquer coisa baseada em caracteres (também chamados de logogramas) como o “chinês simplificado” que as fontes on-line ensinam principalmente.

Na verdade, ainda não aprendi muito, mas notei algumas coisas que estou achando ainda mais interessantes do que a própria linguagem - ou seja, como meu cérebro está (ou principalmente, não está) funcionando.

Por exemplo, descobri que posso ler o que aprendi até agora com relativa facilidade e posso escolher personagens na tela e reuni-los em uma frase, mas não consigo nem começar a lembrar e desenhar a maioria dos personagens. com uma caneta e papel.

Normalmente, consigo ouvir a diferença entre os tons, mas quando tento pronunciá-los, soa como quando o dentista entorpece minha boca e enfia várias coisas afiadas lá e pergunta “então, você tem planos divertidos para o fim de semana? ” (Pensando bem, se alguém pudesse entender meu chinês, aposto que um dentista poderia!)

Vou chegar à parte AI em breve.

Essa estranha diferença entre entrada e saída me lembrou de um livro que li tempos atrás de Carl Sagan, Broca's Brain . O ensaio título, de acordo com a Wikipedia, “é nomeado em homenagem ao médico francês, anatomista e antropólogo Paul Broca (1824-1880). Ele é mais conhecido por sua descoberta de que diferentes funções são atribuídas a diferentes partes do cérebro.” O mais importante para mim agora é que a Área de Broca é uma parte do lobo frontal do nosso cérebro que é usada para a produção da linguagem .

Há uma parte totalmente diferente do cérebro, a área de Wernicke, que tem mais a ver com a recepção da linguagem .

Se alguém sofre danos cerebrais, pode ter afasia (uma “falta de” linguagem), mas pode assumir diferentes formas. Eles podem não ser capazes de entender a fala, mas podem falar. Ou eles podem não ser capazes de falar, mas podem entendê-lo. (Ou muitos outros tipos ainda mais estranhos.) Legal, certo? (E trágico.)

Aqui está a parte da IA: pode parecer que a pesquisa e o desenvolvimento da IA ​​são divididos e especializados, onde cada habilidade está progredindo de forma independente, mas algumas delas estão começando a se unir. Vou me referir apenas aos modelos OpenAI aqui para simplificar.

O ChatGPT dá a aparência de “compreender” o texto de entrada, bem como gerá-lo (e parece manter uma conversa devido a alimentar secretamente as últimas porções da saída de volta na entrada para “continuar” uma conversa), mas é principalmente apenas gerando. Portanto, é análogo à área de Broca.

Sussurro dá a aparência de “entendimento” da fala (e transformando-a em texto). Isso usa uma arquitetura Transformer para alcançar o mesmo tipo de coisa que fazemos quando usamos o contexto para entender a fala. Considere “estaca” versus “bife”. Mesmo que soem exatamente iguais, saberíamos qual foi sem pensar se alguém dissesse “ela enfiou uma estaca no coração do vampiro” versus “o médico disse que ele teve que cortar o bife para o coração”. Sussurro me parece análogo à área de Wernicke.

O legal é que a IA parece estar ficando muito boa em várias partes da cognição da mesma forma que nossos cérebros: geração de linguagem, reconhecimento de fala, geração de imagem, detecção de imagem, planejamento (por exemplo, AlphaGo) e assim por diante.

Então, “tudo o que precisamos fazer” é juntar as peças. Acredito que haja algum desacordo entre os pesquisadores sobre se isso é melhor feito com um único modelo multimodal gigantesco ou por meio de subsistemas separados. Vai ser divertido ver o que se desenvolve!

Será interessante ver se alguma vez juntei as peças em chinês também. Tudo bem se demorar um pouco. Como diz o Tao Te Ching:

真正的旅行者没有确定的计划，也不在意到达目的地

“Um bom viajante não tem planos fixos e não pretende chegar”

Coincidentemente, essa é minha abordagem atual para aprender sobre IA moderna também. (Fui para a pós-graduação para estudá-lo há muito tempo, mas isso foi quando estávamos principalmente rabiscando algoritmos nas paredes das cavernas.)