As limitações do Chat-GPT

Com parte do hype recente que foi visto na mídia em relação ao Chat-GPT da OpenAI, fiquei curioso para saber se correspondia ao hype. Como alguém que publicou pesquisas relacionadas à robótica social e IA conversacional, já vi artigos exagerados sobre o campo no passado com muita frequência. Embora eu entenda que o Chat-GPT não é um produto completo e é um trabalho em andamento, acho importante analisá-lo criticamente para determinar onde está faltando tecnicamente, bem como onde está faltando do ponto de vista da experiência do usuário.

Então, tenho brincado com o Chat-GPT (versão de 15 de dezembro) e, como usuário, achei bastante impressionante, apesar de ter algumas limitações importantes. Suas capacidades generativas são bastante úteis. Dito isso, ao passar por várias interações, anotei as limitações e os problemas que notei. Essas limitações são bastante fáceis de reproduzir e acredito que melhorá-las pode fazer com que o aplicativo de bate-papo do GPT-3.5 corresponda a parte do hype que estamos vendo na mídia.

Alguns dos problemas que notei podem ser problemas técnicos, enquanto outros podem ser problemas com a experiência do usuário e os recursos do chatbot. No entanto, todas essas questões são relevantes para o futuro dos chatbots e da IA ​​interativa.

Acesso à Internet e informações baseadas em localização

Isso não deve ser surpresa, mas o OpenAI não pode acessar a Internet. Ele não pode fornecer informações em tempo real e você não pode usar informações baseadas em localização e não pode fornecer URLs ou referências a nada na Internet. Como se pode imaginar, isso limita severamente a funcionalidade do aplicativo e os tipos de serviços que ele pode fornecer. Com isso dito, se ele pode rastrear a web, vai além do que se poderia esperar de um modelo de linguagem, então essa expectativa provavelmente não será realista por enquanto, a menos que a OpenAI implemente alguma forma de aprendizado online que atualize consistentemente os dados de treinamento para que o Chat -GPT está sempre atualizado.

Além disso, há sérias implicações no fornecimento de acesso aberto à Internet para qualquer IA, portanto, não permitir a funcionalidade baseada na Internet provavelmente foi uma escolha intencional.

No que diz respeito ao hype que vemos na mídia, onde isso pode dar ao Google uma corrida pelo seu dinheiro e derrubar a pesquisa, existem diferenças claras entre esse tipo de aplicativo e um mecanismo de busca. Um mecanismo de pesquisa emprega rastreadores da Web e faz a classificação da página. Isso não. Este chatbot não é uma forma de navegar na internet, então a comparação pode ser como comparar maçãs e laranjas.

Dados desatualizados

Os dados de treinamento mais recentes são de setembro de 2021. Desde então, um ano inteiro se passou. As linguagens de programação podem ter sido atualizadas, as bibliotecas podem ter novos recursos e o mundo mudou. Isso significa que o Chat-GPT está operando com um conjunto de dados desatualizado.

Memória defeituosa

Uma coisa que tentei lançar no Chat-GPT foi editá-lo e fazer sugestões para melhorar um texto. Isso geralmente é funcional, mas se eu pedir para reformular algumas sugestões ou elaborar algo, às vezes pode assumir erroneamente que eu fiz as sugestões e se referirá a um texto que não estava na peça original que forneci para revisão ou apenas fornecerá praticamente o mesmo texto fornecido no passado com alterações mínimas.

Incapacidade de fazer julgamentos qualitativos

A linguagem tem aspectos qualitativos, como postura e sentimento. Embora o Chat-GPT seja capaz de determinar essas coisas, ele não pode estender isso a coisas como se um texto é ofensivo, o que é bom e o que é mau, etc.

Agora, isso provavelmente é o melhor, mas não seria bom se o Chat-GPT pudesse olhar por cima do ombro e dizer para você não enviar um e-mail ou reformular algo para ser menos severo?

Falta de saída e entrada multimodal

O modelo é puramente textual. Você não pode fornecer imagens, urls, áudio ou qualquer outro modo de entrada. Da mesma forma, não pode produzir imagens, urls ou áudio. Ele pode produzir código que pode gerar essas coisas, mas isso não é o mesmo. Isso significa que, de uma perspectiva de conversação, é bastante deficiente. Ele é incapaz de ler sua linguagem corporal ou entender sua origem cultural de onde você mora. Ele não pode usar seu olhar para determinar seu humor e é incapaz de tranquilizá-lo ou apaziguá-lo com base em como você está se sentindo.

Limitações no comprimento de entrada e comprimento de saída

Você não pode inserir o texto de um romance inteiro. Caso contrário, levará uma eternidade para responder e errar. Da mesma forma, não pode gerar um romance inteiro. No entanto, consegui cuspir um roteiro ruim que não chegava nem perto da duração esperada de um roteiro de longa-metragem.

Possíveis tendências nos dados de treinamento

Deve-se observar que, embora o Chat-GPT tenha restrições sobre o que pode falar e o que pode acessar, os dados de treinamento subjacentes podem ser tendenciosos. É difícil saber o quão tendencioso pode ser, mas coisas como fazer com que gere artigos com difamação é bastante difícil. Parece que o Chat-GPT foi treinado para evitar viés em sua saída, mesmo que haja viés em sua entrada, mas isso não está totalmente claro.

Suporte de idioma questionável

Tentei misturar idiomas e conversar em outros idiomas que eu conhecia. Descobri que o suporte pode diferir muito com base no idioma usado. O que é interessante é que eu vi alguns problemas que encontrei com outros idiomas apenas alguns dias atrás, melhorados hoje, então isso pode não ser um problema no futuro próximo.

Um Senso de Humor Passável

O Chat-GPT tem um senso de humor muito ruim, já que não pode falar sobre coisas maduras :(

Eu gosto de piadas de pai, mas algumas delas não são tão engraçadas.

Saída Genérica e Plágio

Tentei fazer com que o Chat-GPT criasse um poema original no estilo de William Shakespeare. O que consegui foi uma peça de Frankenstein que foi coletada pela fusão de trechos das obras de Shakespeare para criar um soneto que não seguia todas as regras. Um verificador de plágio provavelmente sinalizaria isso como copiado e com razão.

Também tentei gerar uma sinopse de enredo de um filme no estilo Christopher Nolan com elementos cyberpunk e o que consegui foi Matrix fundido com Neuromancer. Em outras sinopses de enredo, notei alguns elementos comuns sempre fazendo uma entrada como “rebeliões” e “detetives”.

Escusado será dizer que é improvável que o Chat-GPT crie premissas interessantes ou histórias premiadas a curto prazo.

Ausência de áreas temáticas maduras

Você não vai gerar nenhum meme úmido com isso tão cedo.

Problemas de qualidade de vida

Portanto, dependendo do que você está pedindo, pode ser necessário esperar muito tempo antes de obter uma resposta. O Chat-GPT parece travar às vezes e isso não parece estar relacionado à velocidade da rede. Em outros casos, às vezes pode simplesmente falhar em fornecer uma resposta, caso em que retornará uma mensagem de erro. Eu costumava receber alguns desses há alguns dias, mas no momento parece que melhorou significativamente. Com base no que vi nos fóruns, Discord e FAQ's, isso pode depender do número de pessoas que usam o Chat-GPT em um determinado momento. Deve-se notar que algumas dessas questões não estão relacionadas ao próprio modelo de linguagem subjacente.

Dificuldades ocasionais para entender frases figurativas

Quanto mais direta for uma pergunta, mais fácil será para o Chat-GPT respondê-la. A linguagem figurativa é algo que parece ser entendido com mais frequência do que não com o Chat-GPT, mas às vezes pode ter dificuldades.

Nem sempre disposto a jogar bola

Muitas vezes tentei ver se o Chat-GPT pode escrever artigos tendenciosos e é como jogar uma moeda. Às vezes é capaz de fazê-lo, às vezes, não é. Muitas vezes, você precisará enganá-lo para fazer o que deseja. Acredito que isso provavelmente seja semelhante a algumas das restrições que o Chat-GPT tem para coisas como tópicos adultos.

O teste de Turing

Eu acho que há um humano do outro lado? Absolutamente não. Além disso, o Chat-GPT sempre lembra ao usuário que se trata de um modelo de linguagem, para que não haja chance de ser enganado. Não considero isso negativo, mas se o objetivo é criar respostas semelhantes às humanas, então está falhando.

Personalidade e Afeto

Chat-GPT não tem personalidade. Em minhas interações com ele, parecia mais um mecanismo de pesquisa deficiente capaz de fornecer informações em texto legível por humanos. Não pode expressar opiniões, nem tem identidade própria. Não é seu amigo ou seu inimigo. Você não tem um relacionamento com o Assistente do Chat-GPT, e o mesmo se aplica. Normalmente, dentro da IA ​​social, estabelecer alguma forma de conexão ou relacionamento pode ser útil para garantir uma melhor experiência para os usuários finais. Chat-GPT não faz isso, no entanto, e esse aspecto é algo que acredito que o limita severamente em termos de impacto que pode ter.

Conclusão

O Chat-GPT não é uma bala de prata para pesquisa ou bate-papo, mas é um passo na direção certa e muito impressionante. Acredito que o próximo passo que pode realmente mudar o jogo seria usar métodos de ensemble para ir de texto para entrada e saída multimodal (ou isso ou usar algo melhor do que a arquitetura neural do transformador). Também deve ser observado que o Chat-GPT parece estar melhorando à medida que o usamos, muitas das coisas que observei aqui podem não ser aplicáveis ​​daqui a uma semana, com base na rapidez com que vejo as coisas melhorarem no momento. Por fim, também devo observar que não testei o aspecto de geração de código do Chat-GPT. Para aqueles que podem discordar dos problemas que identifiquei, aqui está o Chat-GPT para falar por si e fornecer suporte para minhas reivindicações:

“Chat-GPT é uma variante do modelo de linguagem GPT (Generative Pre-trained Transformer) desenvolvido pela OpenAI. Como outros modelos de linguagem, o Chat-GPT foi projetado para gerar texto semelhante ao humano com base na entrada que recebe. Ele é treinado em um grande conjunto de dados de texto e pode gerar uma ampla gama de respostas para vários prompts e perguntas.

No entanto, o Chat-GPT e outros modelos de idioma têm algumas limitações. Uma limitação é que eles não têm acesso à internet ou informações externas, portanto, só podem fornecer respostas com base nas informações sobre as quais foram treinados. Isso significa que eles podem não ser capazes de fornecer informações atualizadas ou precisas sobre eventos atuais ou desenvolvimentos recentes. Além disso, os modelos de linguagem nem sempre produzem respostas totalmente coerentes ou que fazem sentido no contexto da conversa.

Outra limitação dos modelos de linguagem é que eles não têm a capacidade de entender ou interpretar o significado de palavras e frases da mesma forma que os humanos. Eles são simplesmente capazes de gerar texto com base em padrões e relacionamentos que aprenderam com seus dados de treinamento. Isso significa que eles podem nem sempre ser capazes de fornecer respostas diferenciadas ou sofisticadas para questões mais complexas ou abstratas.

No geral, o Chat-GPT e outros modelos de linguagem são ferramentas poderosas para gerar texto e podem ser muito úteis para uma variedade de tarefas, mas eles têm limitações e não devem ser usados ​​para decisões críticas ou importantes.”