A Perplexity está supostamente permitindo que sua IA quebre uma regra básica da Internet

A Perplexity quer mudar a forma como usamos a Internet, mas a startup de pesquisa de IA apoiada por Jeff Bezos pode estar violando suas regras para fazer isso. A empresa parece estar ignorando um padrão da web amplamente aceito, o Protocolo de Exclusão de Robôs, para raspar partes da web que os operadores não querem que sejam acessadas por bots, de acordo com um relatório do desenvolvedor Robb Knight esta semana que foi confirmado pela Wired. .

O serviço da Perplexity resume artigos na web, alegando fornecer “respostas confiáveis” sem “necessidade de clicar em links diferentes”, conforme observado em uma postagem do blog . Para fazer isso, Wired e Knight descobriram que o Perplexity ignora o código (arquivos robots.txt) escrito deliberadamente para bloquear rastreadores da web. Os dois relatórios descobriram que o Perplexity usa um endereço IP não listado para circunavegar esses arquivos robots.txt e raspar os sites de qualquer maneira. A Wired afirma que seu site bloqueou o rastreador da Perplexity no início de 2024, mas o mecanismo de busca de IA ainda é capaz de resumir seus artigos em detalhes.

Apesar disso, a Perplexity afirma respeitar o Protocolo de Exclusão de Robôs na documentação de seu site. O CEO da Perplexity, Aravind Srinivas, disse à Wired que os repórteres tinham “um mal-entendido profundo e fundamental sobre como a Perplexity e a Internet funcionam”, mas não contestaram as descobertas diretamente. O Gizmodo entrou em contato com a Perplexity para pedir uma resposta mais detalhada e atualizará o artigo se recebermos resposta.

Separadamente, a Perplexity enfrenta atualmente ameaças legais por quebrar algumas outras regras da Internet: violação de direitos autorais. A Forbes supostamente ameaçou com uma ação legal contra a Perplexity esta semana, depois de acusar a startup de IA de roubar relatórios da Forbes sem a devida atribuição. A Forbes fez reportagens originais sobre o empreendimento de drones de IA do ex-CEO do Google, Eric Schmidt , e a Perplexity criou artigos, podcasts e vídeos gerados por IA usando textos e imagens da Forbes. O editor executivo da Forbes destacou Perplexity on X no início do mês.

O produto da Perplexity, embora útil, redireciona o tráfego na Internet. O Google também indexa páginas da web e oferece breves resumos de IA, mas direciona o tráfego diretamente para as páginas da web de onde vêm as informações. A perplexidade é efetivamente escrever artigos detalhados sobre IA, fazendo com que os usuários não cliquem nos sites, o que quebra o modelo de negócios da mídia digital.

A OpenAI firmou parcerias com empresas de mídia para resolver isso, pagando-lhes antecipadamente para licenciar conteúdo, e a Perplexity está supostamente trabalhando em parcerias de conteúdo semelhantes , mas em vez de pagar uma taxa fixa por conteúdo como OpenAI, a Perplexity pretendia compartilhar receitas. Mas essas parcerias ainda não existem, então, por enquanto, a Perplexity parece estar pulando acessos pagos e vasculhando sites para obter todas as informações necessárias para potencializar suas respostas de IA.