Os detectores de IA erram. Escritores estão sendo demitidos de qualquer maneira

Kimberly Gasuras não usa IA. “Eu não preciso disso”, disse ela. “Sou repórter há 24 anos. Como você acha que fiz todo esse trabalho? Essa lógica não foi suficiente para salvar seu emprego.

Como jornalista local em Bucyrus, Ohio, Gasuras depende de esforços paralelos para pagar as contas. Por um tempo, ela ganhou um bom dinheiro em uma plataforma de redação freelance chamada WritersAccess, onde escrevia blogs e outros conteúdos para pequenas e médias empresas. Mas na metade de 2023, a receita despencou quando alguns clientes mudaram para o ChatGPT para atender às suas necessidades de escrita. Já foi um momento difícil. Então chegou o e-mail.

“Só recebi um aviso”, disse Gasuras. “Recebi esta mensagem dizendo que eles sinalizaram meu trabalho como IA usando uma ferramenta chamada 'Originalidade'.” Ela ficou pasma. Gasuras respondeu para defender sua inocência, mas nunca obteve resposta. Originalidade custa dinheiro, mas Gasuras começou a analisar seu trabalho por meio de outros detectores de IA antes de enviá-lo para ter certeza de que não seria atingida por engano. Alguns meses depois, o WritersAccess a expulsou da plataforma de qualquer maneira. “Disseram que minha conta foi suspensa devido ao uso excessivo de IA. Eu não conseguia acreditar”, disse Gasuras. WritersAccess não respondeu a um pedido de comentário.

Quando o ChatGPT incendiou o mundo, há um ano e meio, desencadeou uma busca febril por maneiras de capturar pessoas tentando fazer com que textos de IA fossem escritos por eles mesmos. Uma série de startups foram lançadas para preencher a lacuna por meio de ferramentas de detecção de IA, com nomes como Copyleaks, GPTZero, Originality.AI e Winston AI. É um negócio organizado em um cenário cheio de bicho-papões da IA.

Estas empresas anunciam paz de espírito, uma forma de retomar o controlo através de “provas” e “responsabilidade”. Alguns anunciam taxas de precisão de até 99,98%. Mas um corpo crescente de especialistas, estudos e membros da indústria argumentam que essas ferramentas são muito menos confiáveis ​​do que os seus fabricantes prometem. Não há dúvida de que os detectores de IA cometem erros frequentes e que espectadores inocentes são apanhados no fogo cruzado. Inúmeros estudantes foram acusados ​​de plágio de IA , mas uma epidemia mais silenciosa está acontecendo no mundo profissional. Alguns trabalhos de redação estão diminuindo graças aos chatbots . À medida que as pessoas lutam pelo cada vez menor campo de trabalho, os escritores perdem empregos devido a falsas acusações de detectores de IA.

“Essa tecnologia não funciona da maneira como as pessoas a anunciam”, disse Bars Juhasz, cofundador da Undetectable AI, que fabrica ferramentas para ajudar as pessoas a humanizar o texto da IA ​​para passar despercebido pelo software de detecção. “Temos muitas preocupações em relação à confiabilidade do processo de treinamento que esses detectores de IA usam. Esses caras afirmam ter 99% de precisão e, com base no nosso trabalho, acho que isso é impossível. Mas mesmo que seja verdade, isso ainda significa que para cada 100 pessoas haverá uma bandeira falsa. Estamos falando sobre os meios de subsistência das pessoas e suas reputações.”

Salvaguarda ou óleo de cobra?

Em geral, os detectores de IA funcionam detectando as características da caligrafia da IA, como gramática e pontuação perfeitas. Na verdade, uma das maneiras mais fáceis de sinalizar seu trabalho é usar Grammarly, uma ferramenta que verifica erros ortográficos e gramaticais. Ele até sugere maneiras de reescrever frases para maior clareza usando, você adivinhou, inteligência artificial. Para piorar a situação, o Gizmodo conversou com escritores que disseram ter sido demitidos por plataformas que exigiam o uso do Grammarly. (O Gizmodo confirmou os detalhes dessas histórias, mas estamos excluindo os nomes de certas plataformas freelance porque os escritores assinaram acordos de confidencialidade.)

Os detectores também procuram fatores mais reveladores, como “explosão”. Os escritores humanos são mais propensos a reutilizar certas palavras em grupos ou rajadas, enquanto a IA tem mais probabilidade de distribuir palavras uniformemente em um documento. Os detectores de IA também podem avaliar a “perplexidade”, que essencialmente pede a uma IA que meça a probabilidade de ter produzido um trecho de texto, dados os dados de treinamento do modelo. Algumas empresas, como a líder do setor Originaility.AI, treinam seus próprios modelos de linguagem de IA feitos especialmente para detectar o trabalho de outras IAs, destinadas a detectar padrões que são complexos demais para a mente humana.

No entanto, nenhuma destas técnicas é infalível e muitas instituições importantes abandonaram esta classe de ferramentas. A OpenAI lançou seu próprio detector de IA para acalmar os temores sobre seus produtos em 2023, mas retirou a ferramenta do mercado poucos meses depois “devido à sua baixa taxa de precisão ”. O mundo acadêmico foi o primeiro a adotar detectores de IA, mas falsas acusações levaram uma longa lista de universidades a proibir o uso de software de detecção de IA , incluindo Vanderbilt, Michigan State, Northwestern e a Universidade do Texas em Austin.

As empresas de detecção de IA “estão no negócio de vender óleo de cobra”, disse Debora Weber-Wulff, professora da Universidade de Ciências Aplicadas à Engenharia e Economia de Berlim, co-autora de um artigo recente sobre a eficácia da detecção de IA. De acordo com Weber-Wulff, a pesquisa mostra que os detectores de IA são imprecisos, não confiáveis ​​e fáceis de enganar. “As pessoas querem acreditar que pode haver algum software mágico que resolva seus problemas”, disse ela. Mas “o software de computador não pode resolver problemas sociais. Temos que encontrar outras soluções.”

As empresas que fabricam detectores de IA dizem que eles são uma ferramenta necessária, mas imperfeita, em um mundo inundado por textos gerados por robôs. Há uma demanda significativa por esses serviços, sejam eles eficazes ou não.

Alex Cui, diretor de tecnologia da empresa de detecção de IA GPTZero, disse que os detectores têm deficiências significativas, mas os benefícios superam as desvantagens. “Vemos um futuro onde, se nada mudar, a Internet se tornará cada vez mais ditada pela IA, sejam notícias, artigos revisados ​​por pares, marketing. Você nem sabe se a pessoa com quem está conversando nas redes sociais é real”, disse Cui. “Precisamos de uma solução para confirmar o conhecimento em massa e determinar se o conteúdo é de alta qualidade, autêntico e de autoria legítima.”

Um mal necessário?

Mark, outro redator de Ohio que pediu que omitissemos seu nome para evitar repercussões profissionais, disse que teve que trabalhar fazendo manutenção em uma loja local depois que um detector de IA lhe custou o emprego.

“Recebi um e-mail dizendo que meu artigo mais recente apresentava 95% de probabilidade de geração de IA”, disse Mark. "Eu estava em choque. Parecia ridículo que eles me acusassem depois de trabalharmos juntos por três anos, muito antes de o ChatGPT estar disponível.”

Ele tentou empurrar de volta. Mark enviou ao seu cliente uma cópia do Documento Google onde ele redigiu o artigo, que incluía carimbos de data e hora que demonstravam que ele escreveu o documento à mão. Não foi suficiente. O relacionamento de Mark com a plataforma de escrita desmoronou. Ele disse que perder o emprego lhe custou 90% de sua renda.

“Ouvimos essas histórias mais do que gostaríamos e entendemos a dor que os falsos positivos causam aos escritores quando o trabalho no qual eles dedicaram seu coração e alma é falsamente acusado”, disse Jonathan Gillham, CEO da Originality.AI. “Sentimos que estamos construindo uma ferramenta para ajudar os escritores, mas sabemos que às vezes isso tem algumas consequências.”

Mas, de acordo com Gillham, o problema é mais do que ajudar os escritores ou prestar contas. “O Google está perseguindo agressivamente o spam de IA”, disse ele. “Ouvimos falar de empresas que tiveram todo o seu site desindexado pelo Google que disseram que nem sabiam que seus redatores estavam usando IA.”

É verdade que a Internet está sendo inundada por fazendas de conteúdo de baixo esforço que publicam artigos ruins de IA em um esforço para manipular os resultados de pesquisa, obter cliques e ganhar dinheiro com publicidade com esses olhos. O Google está reprimindo esses sites , o que leva algumas empresas a acreditar que seus sites serão rebaixados se o Google detectar qualquer escrita de IA. Isso é um problema para as empresas baseadas na web e, cada vez mais, o principal argumento de venda para detectores de IA. A originalidade se promove como uma forma de “preparar seu site para o futuro no Google” no topo da lista de benefícios em sua página inicial.

Um porta-voz do Google disse que isso interpreta mal as políticas da empresa. O Google, uma empresa que fornece IA, disse que não tem problemas com o conteúdo de IA em si. “É incorreto dizer que o Google penaliza sites simplesmente porque eles podem usar algum conteúdo gerado por IA”, disse o porta-voz. “Como afirmamos claramente, conteúdo de baixo valor criado em escala para manipular as classificações de pesquisa é spam, independentemente da forma como é produzido. Nossos sistemas automatizados determinam o que aparece nos principais resultados de pesquisa com base em sinais que indicam se o conteúdo é útil e de alta qualidade.”

Mensagens mistas

Ninguém afirma que os detectores de IA são perfeitos, incluindo as empresas que os fabricam. Mas o Originality e outros detectores de IA enviam mensagens contraditórias sobre como suas ferramentas devem ser usadas. Por exemplo, Gillham disse “desaconselhamos a utilização da ferramenta no meio académico e recomendamos vivamente que não seja utilizada para ações disciplinares”. Ele explicou que o risco de falsos positivos é muito alto para os alunos, porque eles enviam um pequeno número de redações ao longo do ano letivo, mas o volume de trabalho produzido por um redator profissional significa que o algoritmo tem mais chances de acertar. No entanto, em uma das postagens do blog da empresa , Originality diz que a detecção de IA é “essencial” na sala de aula.

Depois, há dúvidas sobre como os resultados são apresentados. Muitos dos escritores com quem o Gizmodo conversou disseram que seus clientes não entendem as limitações dos detectores de IA ou mesmo o que os resultados realmente dizem. É fácil ver como alguém pode estar confuso: publiquei um de meus próprios artigos no detector de IA do Originality. Os resultados foram “70% Original” e “30% AI”. Você pode presumir que isso significa que a Originalidade determinou que 30% do artigo foi escrito por um chatbot, especialmente porque a ferramenta destaca frases específicas que considera suspeitas. No entanto, na verdade é uma pontuação de confiança; Originalidade é 70% de certeza de que foi um humano que escreveu o texto. (Eu mesmo escrevi tudo, mas você apenas terá que acreditar na minha palavra.)

Depois, há a maneira como a empresa descreve seu algoritmo. De acordo com a Originality, a versão mais recente de sua ferramenta tem uma taxa de precisão de 98,8%, mas a Originality também afirma que sua taxa de falsos positivos é de 2,8%. Se você tiver sua calculadora em mãos, notará que isso soma mais de 100%. Gillham disse que isso ocorre porque esses números vêm de dois testes diferentes.

Em defesa da Originalidade, a empresa fornece uma explicação detalhada de como você deve interpretar as informações logo abaixo dos resultados, junto com links para artigos mais detalhados sobre como usar a ferramenta. Parece que isso não é suficiente. O Gizmodo conversou com vários escritores que disseram ter que discutir com clientes que entenderam mal a ferramenta Originalidade.

A Originality publicou inúmeras postagens em blogs e estudos sobre precisão e outras questões, incluindo o conjunto de dados e a metodologia usada para desenvolver e medir suas próprias ferramentas. No entanto, Weber-Wulff, da Universidade de Ciências Aplicadas à Engenharia e Economia de Berlim, disse que os detalhes sobre a metodologia da Originality “não eram tão claros”.

Vários especialistas com quem o Gizmodo conversou, como Juhasz da Undetectable AI, disseram ter preocupações com o fato de as empresas do setor de detecção de IA inflarem suas taxas de precisão e enganarem seus clientes. Representantes da GPTZero e Originality AI disseram que suas empresas estão comprometidas com a abertura e a transparência. Ambas as empresas disseram que fazem de tudo para fornecer informações claras sobre as limitações e deficiências de suas ferramentas.

Pode parecer que estar contra os detectores de IA é estar do lado dos escritores, mas de acordo com Gillham o oposto é verdadeiro. “Se não houver detectores, a competição por trabalhos de redação aumenta e, como resultado, o salário cai”, disse ele. “Os detectores são a diferença entre um escritor poder fazer seu trabalho, enviar conteúdo e ser recompensado por isso, e alguém poder simplesmente copiar e colar algo do ChatGPT.”

Por outro lado, todos os redatores com quem o Gizmodo conversou disseram que os detectores de IA são o problema.

“IA é o futuro. Não há nada que possamos fazer para impedir isso, mas na minha opinião esse não é o problema. Posso ver muitas maneiras pelas quais a IA pode ser útil”, disse Mark. “São esses detectores. São eles que dizem com a maior certeza que podem detectar escrita de IA, e são eles que estão deixando nossos clientes nervosos e paranóicos e nos deixando desempregados.”