Formuladores de políticas: por favor, não caiam nas distrações do #AIhype

Abaixo está uma versão levemente editada do tópico do tweet/toot que montei na noite de terça-feira, 28 de março, em reação à carta aberta publicada pelo instituto Future of Life naquele mesmo dia.

Ok, então aquela carta de IA assinada por muitos pesquisadores de IA pedindo uma “Pausa [em] experimentos gigantes de IA”? Está pingando de #AIhype . Aqui está um rápido resumo.

A carta pode ser encontrada aqui:https://futureoflife.org/open-letter/pause-giant-ai-experiments/

Primeiro, para contextualizar, observe que URL? O Future of Life Institute é uma operação de longo prazo. Você sabe, as pessoas que estão focadas em maximizar a felicidade de bilhões de seres futuros que vivem em simulações de computador.

Para algum contexto, consulte:https://aeon.co/essays/why-longtermism-is-the-worlds-most-dangerous-secular-credo

Então isso já diz algo sobre de onde isso está vindo. Isso vai ser uma bagunça quente.

Há algumas coisas na carta com as quais concordo, tentarei retirá-las da sujeira à medida que prossigo. Com isso, no #AIhype . Começa com “sistemas de IA com inteligência competitiva humana podem representar riscos profundos para a sociedade e a humanidade, conforme demonstrado por extensa pesquisa [1]”.

A nota de rodapé 1 aponta para muitos artigos, começando com Stochastic Parrots . Mas naquele artigo, não estamos falando sobre “sistemas de IA hipotéticos com inteligência competitiva humana” naquele artigo. Estamos falando de grandes modelos de linguagem.

E quanto ao resto do parágrafo: Sim, os laboratórios de IA estão presos em uma corrida fora de controle, mas ninguém desenvolveu uma “mente digital” e eles não estão no processo de fazer isso.

Os criadores poderiam “controlar de forma confiável” #ChatGPT et al? Sim, eles poderiam - simplesmente não os configurando como fontes facilmente acessíveis de não-informação que envenenam nosso ecossistema de informações.

As pessoas poderiam “entender” esses sistemas? Existem muitas questões em aberto sobre como as redes neurais profundas mapeiam entradas para saídas, mas estaríamos muito melhor posicionados para estudá-las se os laboratórios de IA fornecessem transparência sobre dados de treinamento, arquitetura de modelo e regimes de treinamento.

Próximo parágrafo:

Humano competitivo em tarefas gerais, hein? O que a nota de rodapé 3 faz referência? A novela de ficção especulativa conhecida como “Papel Sparks” e cópia de anúncio não técnico da OpenAI para GPT4. ROFLMAO.

Sobre o papel “faíscas”, veja:
https://twitter.com/emilymbender/status/1638891855718002691?s=20

Na cópia do anúncio GPT-4, consulte:
https://twitter.com/emilymbender/status/1635697381244272640?s=20

E sobre “generalidade” nas chamadas tarefas de “IA”, veja: Raji et al. 2021. AI and the Everything in the Whole Wide World Benchmark from NeurIPS 2021 Track on Datasets and Benchmarks .

Quero dizer, estou feliz que os autores e signatários da carta estejam perguntando “Devemos deixar as máquinas inundarem nossos canais de informação com propaganda e falsidade?” mas as perguntas depois disso são apenas #AIhype desequilibrado, ajudando aqueles que constroem essas coisas a vendê-las.

Ok, pedindo uma pausa, algo como uma trégua entre os laboratórios de IA. Talvez as pessoas que pensam que estão realmente construindo IA considerem isso enquadrado assim?

Apenas dizendo: escrevemos um artigo inteiro no final de 2020 ( Stochastic Parrots , publicado em 2021) apontando que essa corrida desenfreada para modelos de linguagem cada vez maiores sem considerar os riscos era uma coisa ruim. Mas os riscos e danos nunca foram sobre “IA muito poderosa”.

Em vez disso: são sobre a concentração de poder nas mãos das pessoas, sobre a reprodução de sistemas de opressão, sobre danos ao ecossistema de informações e sobre danos ao ecossistema natural (através do uso perdulário de recursos energéticos).

Eles então dizem: “A pesquisa e o desenvolvimento de IA devem ser reorientados para tornar os sistemas poderosos e de última geração de hoje mais precisos, seguros, interpretáveis, transparentes, robustos, alinhados, confiáveis ​​e leais”.

Uh, preciso, transparente e interpretável faz sentido. “Seguro”, dependendo do que eles imaginam ser “inseguro”. “Alinhado” é uma palavra-código para fantasias estranhas de AGI. E “leal” evoca entidades autônomas e sencientes. #AIhype

Alguns desses objetivos políticos fazem sentido:

Sim, devemos ter regulamentação que exija sistemas de proveniência e marcas d'água. (E SEMPRE deve ser óbvio quando você encontrar texto sintético, imagens, vozes, etc.

Sim, deve haver responsabilidade - mas essa responsabilidade deve claramente recair sobre pessoas e corporações. “Danos causados ​​pela IA” já faz parecer que não há *pessoas* decidindo implantar essas coisas.

Sim, deveria haver financiamento público robusto, mas eu priorizaria campos não relacionados à CS que analisam os impactos dessas coisas em vez de “pesquisa técnica de segurança de IA”.

Também “as dramáticas perturbações econômicas e políticas que a IA causará”. Uh, nós não temos IA. Temos corporações e VCs procurando ganhar o máximo $$ possível com pouco cuidado com o que isso faz com a democracia (e o meio ambiente).

Formuladores de políticas: não perca seu tempo com as fantasias dos techbros dizendo “Ah, não, estamos construindo algo MUITO poderoso”. Em vez disso, ouça aqueles que estão estudando como as corporações (e governos) estão usando a tecnologia (e as narrativas de “IA”) para concentrar e exercer o poder.

Comece com o trabalho de estudiosos brilhantes como Ruha Benjamin, Meredith Broussard, Safiya Noble, Timnit Gebru, Sasha Costanza-Chock e jornalistas como Karen Hao e Billy Perrigo .

Atualização 31/03/23: Os autores listados do artigo Stochastic Parrots publicaram uma declaração conjunta respondendo à carta aberta.