Las limitaciones de Chat-GPT

Con algo de la exageración reciente que se ha visto en los medios con respecto a Chat-GPT de OpenAI, tenía curiosidad si coincidía con la exageración. Como alguien que ha publicado investigaciones relacionadas con la robótica social y la IA conversacional, he visto artículos demasiado exagerados sobre el campo con demasiada frecuencia. Si bien entiendo que Chat-GPT no es un producto completo y es en gran medida un trabajo en progreso, creo que es importante analizarlo críticamente para determinar dónde falla técnicamente y dónde falla desde el punto de vista de la experiencia del usuario.

Entonces, he estado jugando con Chat-GPT (versión del 15 de diciembre) y, como usuario, lo encontré bastante impresionante a pesar de tener algunas limitaciones importantes. Sus capacidades generativas son bastante útiles. Dicho esto, a medida que pasé por una serie de interacciones, he anotado las limitaciones y los problemas que he notado. Estas limitaciones son bastante fáciles de reproducir y creo que mejorarlas puede hacer que la aplicación de chat de GPT-3.5 coincida con algunas de las exageraciones que estamos viendo en los medios.

Algunos de los problemas que he notado pueden ser problemas técnicos, mientras que otros pueden ser problemas con la experiencia del usuario y las capacidades del chatbot. Sin embargo, todos estos problemas son relevantes para el futuro de los chatbots y la IA interactiva.

Acceso a Internet e información basada en la ubicación

Esto no debería sorprender, pero OpenAI no puede acceder a Internet. No puede proporcionar información en tiempo real, y no puede utilizar información basada en la ubicación, y no puede proporcionar direcciones URL o referencias a nada en Internet. Como se puede imaginar, esto limita severamente la funcionalidad de la aplicación y los tipos de servicios que puede brindar. Dicho esto, si puede rastrear la web, va más allá de lo que uno podría esperar de un modelo de lenguaje, por lo que es probable que esta expectativa no sea realista por ahora, a menos que OpenAI implemente alguna forma de aprendizaje en línea que actualice constantemente los datos de capacitación para que Chat -GPT siempre está actualizado.

Además de esto, existen implicaciones graves al proporcionar acceso abierto a Internet para cualquier IA, por lo que no permitir la funcionalidad basada en Internet probablemente fue una elección intencional.

Con respecto a la exageración que vemos en los medios donde esto puede hacer que Google corra por su dinero y anule la búsqueda, existen claras diferencias entre este tipo de aplicación y un motor de búsqueda. Un motor de búsqueda emplea rastreadores web y clasifica la página. Esto no lo hace. Este chatbot no es una forma de navegar por Internet, por lo que la comparación puede ser como comparar manzanas y naranjas.

Datos obsoletos

Los datos de formación más recientes son de 2021 de septiembre. Desde entonces ha pasado un año entero. Los lenguajes de programación pueden haberse actualizado, las bibliotecas pueden tener nuevas funciones y el mundo ha cambiado. Esto significa que Chat-GPT está operando con un conjunto de datos obsoleto.

Memoria defectuosa

Una cosa que intenté incluir en Chat-GPT fue editarlo y hacer sugerencias para mejorar un fragmento de texto. Esto suele ser funcional, pero si le pido que reformule algunas sugerencias o que elabore algo, a veces puede suponer erróneamente que he hecho las sugerencias y se referirá a un texto que no estaba en el artículo original que proporcioné para su revisión. o simplemente proporcionará prácticamente el mismo texto que proporcionó en el pasado con cambios mínimos.

Incapacidad para hacer juicios cualitativos

El lenguaje tiene aspectos cualitativos como la postura y el sentimiento. Si bien Chat-GPT puede determinar estas cosas, no puede extender esto a cosas como si un texto es ofensivo, qué es bueno y qué es malo, etc.

Ahora, esto es probablemente lo mejor, pero ¿no sería bueno si Chat-GPT pudiera mirar por encima de su hombro y decirle que no envíe un correo electrónico o reformule algo para que sea menos duro?

Falta de salida y entrada multimodal

El modelo es puramente textual. No puede proporcionar imágenes, URL, audio ni ningún otro modo de entrada. Del mismo modo, no puede generar imágenes, URL o audio. Puede generar código que puede generar esas cosas, pero eso no es lo mismo. Esto significa que, desde una perspectiva conversacional, falta bastante. No puede leer su lenguaje corporal ni comprender su trasfondo cultural del lugar donde vive. No puede usar su mirada para determinar su estado de ánimo, y no puede tranquilizarlo o apaciguarlo en función de cómo se siente.

Limitaciones en la longitud de entrada y la longitud de salida

No se puede introducir el texto de una novela completa. De lo contrario, tardará una eternidad en responder y se producirá un error. Del mismo modo, no puede generar una novela completa. Sin embargo, he logrado que escupa un mal guión que no se acercaba a la duración esperada de un guión de largometraje.

Posibles sesgos en los datos de entrenamiento

Cabe señalar que, si bien Chat-GPT tiene restricciones con respecto a lo que puede hablar y a lo que puede acceder, los datos de entrenamiento subyacentes pueden estar sesgados. Es difícil saber cuán sesgado puede ser, pero cosas como lograr que genere artículos con calumnias es bastante difícil. Parece que Chat-GPT ha sido entrenado para evitar sesgos en su salida incluso si hay sesgos en su entrada, pero esto no está del todo claro.

Soporte de lenguaje cuestionable

Intenté mezclar idiomas y conversar en otros idiomas que conocía. Descubrí que el soporte puede diferir enormemente según el idioma que se utilice. Lo que es interesante es que he visto que algunos problemas que encontré con otros idiomas hace solo unos días mejoraron hoy, por lo que es posible que esto no sea un problema en el futuro cercano.

Un sentido del humor aceptable

Chat-GPT tiene un sentido del humor bastante pobre ya que no puede hablar de cosas maduras :(

Me gustan los chistes de papá, pero algunos de estos no son tan divertidos.

Producción genérica y plagio

Intenté que Chat-GPT creara un poema original al estilo de William Shakespeare. Lo que obtuve fue una pieza de Frankenstein que se recopiló fusionando extractos de las obras de Shakespeare para crear un soneto que no seguía todas las reglas. Un verificador de plagio probablemente marcaría esto como copiado y con razón.

También intenté que generara una sinopsis de la trama de una película al estilo de Christopher Nolan con elementos cyberpunk y lo que obtuve fue The Matrix fusionado con Neuromancer. En otras sinopsis de la trama, he notado algunos elementos comunes que siempre hacen su entrada, como "rebeliones" y "detectives".

No hace falta decir que es poco probable que Chat-GPT cree premisas interesantes o historias ganadoras de premios a corto plazo.

Ausencia de áreas temáticas maduras

No generarás ningún meme húmedo con esto en el corto plazo.

Problemas de calidad de vida

Por lo tanto, dependiendo de lo que esté solicitando, es posible que deba esperar mucho tiempo antes de obtener una respuesta. Chat-GPT parece colgarse a veces y esto no parece estar relacionado con la velocidad de la red. En otros casos, a veces simplemente no puede proporcionar una respuesta, en cuyo caso devolverá un mensaje de error. Solía ​​obtener varios de estos hace unos días, pero en este momento, parece que ha mejorado significativamente. Según lo que vi en los foros, Discord y las preguntas frecuentes, esto puede depender de la cantidad de personas que usan Chat-GPT en un momento determinado. Cabe señalar que algunos de estos problemas no están relacionados con el modelo de lenguaje subyacente en sí.

Dificultades ocasionales para comprender frases figurativas

Cuanto más directa sea una pregunta, más fácil será para Chat-GPT responder. El lenguaje figurado es algo que parece entenderse la mayoría de las veces con Chat-GPT, pero a veces puede tener problemas.

No siempre dispuesto a jugar a la pelota

Intenté a menudo ver si Chat-GPT puede escribir artículos sesgados y es como lanzar una moneda al aire. A veces es capaz de hacerlo, a veces, no lo es. Muchas veces, tendrá que engañarlo para que haga lo que usted quiere que haga. Creo que esto es probablemente similar a algunas de las restricciones que tiene Chat-GPT para cosas como temas para adultos.

La prueba de Turing

¿Creo que hay un humano en el otro extremo? Absolutamente no. Además de esto, Chat-GPT siempre recuerda al usuario que se trata de un modelo de lenguaje, por lo que no hay posibilidad de ser engañado. No considero que esto sea negativo, pero si el objetivo es crear respuestas similares a las humanas, entonces está fallando.

Personalidad y afecto

Chat-GPT no tiene personalidad. En mis interacciones con él, se sentía más como un motor de búsqueda para discapacitados que podía proporcionar información en texto legible por humanos. No puede expresar opiniones, ni tiene una identidad propia. No es tu amigo o tu enemigo. No tiene una relación con el Asistente de Chat-GPT, y lo mismo se aplica igualmente. Por lo general, dentro de la IA social, establecer algún tipo de conexión o relación puede ser útil para garantizar una mejor experiencia para los usuarios finales. Chat-GPT no hace esto, sin embargo, y este aspecto es algo que creo que lo limita severamente en términos del impacto que puede tener.

Conclusión

Chat-GPT no es una bala de plata para la búsqueda o el chat, pero es un paso en la dirección correcta y muy impresionante. Creo que el próximo paso que realmente puede cambiar el juego sería usar métodos de conjunto para pasar de texto a entrada y salida multimodal (o eso o usar algo mejor que la arquitectura neuronal transformadora). También se debe tener en cuenta que Chat-GPT parece estar mejorando a medida que lo usamos, por lo que muchas de las cosas que anoté aquí podrían no ser aplicables incluso dentro de una semana según la rapidez con la que veo que las cosas mejoran en este momento. Finalmente, también debo señalar que no he probado el aspecto de generación de código de Chat-GPT. Para aquellos que no estén de acuerdo con los problemas que identifiqué, aquí está Chat-GPT para hablar por sí mismo y brindar apoyo a mis afirmaciones:

“Chat-GPT es una variante del modelo de lenguaje GPT (Generative Pre-trained Transformer) desarrollado por OpenAI. Al igual que otros modelos de lenguaje, Chat-GPT está diseñado para generar texto similar al humano en función de la entrada que recibe. Está entrenado en un gran conjunto de datos de texto y puede generar una amplia gama de respuestas a varias indicaciones y preguntas.

Sin embargo, Chat-GPT y otros modelos de lenguaje tienen algunas limitaciones. Una limitación es que no tienen acceso a internet ni a información externa, por lo que solo pueden dar respuestas en base a la información en la que han sido capacitados. Esto significa que es posible que no puedan proporcionar información actualizada o precisa sobre eventos actuales o desarrollos recientes. Además, es posible que los modelos de lenguaje no siempre produzcan respuestas completamente coherentes o que tengan sentido en el contexto de la conversación.

Otra limitación de los modelos de lenguaje es que no tienen la capacidad de comprender o interpretar el significado de palabras y frases de la misma manera que lo hacen los humanos. Simplemente pueden generar texto basado en patrones y relaciones que han aprendido de sus datos de entrenamiento. Esto significa que es posible que no siempre puedan proporcionar respuestas matizadas o sofisticadas a preguntas más complejas o abstractas.

En general, Chat-GPT y otros modelos de lenguaje son herramientas poderosas para generar texto y pueden ser muy útiles para una variedad de tareas, pero tienen limitaciones y no se debe confiar en ellas para decisiones críticas o importantes”.