OpenAI, la compañía detrás del popular modelo de IA conversacional, ChatGPT, ha lanzado una actualización para mejorar la precisión del chatbot.

Después de un período prolongado de inactividad el martes, ChatGPT está funcionando con un nuevo modelo.

Esta es la primera actualización de ChatGPT este año y la segunda actualización del modelo desde su lanzamiento en noviembre.

Un mensaje emergente enumera los cambios en lo que OpenAI llama la actualización de la “versión del 9 de enero”.

La ventana emergente dice:

“¡Hicimos más mejoras en el modelo ChatGPT! En general, debería ser mejor en una amplia gama de temas y ha mejorado la factualidad”.

Además, ahora puede detener ChatGPT mientras está en proceso de generar una respuesta, que es una función muy solicitada.

Los detalles en las notas de la versión son limitados, por lo que probé varias indicaciones en ChatGPT para obtener más información sobre la nueva actualización. Esto es lo que descubrí.

Datos todavía limitados a 2021

Si bien ChatGPT puede ser más preciso ahora, su conocimiento aún se limita a los datos de 2021.

Cuando se le preguntó qué hay en la nueva actualización de ChatGPT, la IA me dijo:

“ChatGPT es un gran modelo de lenguaje desarrollado por OpenAI que está entrenado en un conjunto de datos de texto conversacional. Dado que es un modelo OpenAI, se actualiza regularmente con nuevas funciones y mejoras. Sin embargo, como mi conocimiento se canceló en 2021, no tengo las últimas actualizaciones y no puedo brindarle información específica sobre qué nuevas características o mejoras se han agregado al modelo en las actualizaciones recientes”.

Cuando se me preguntó de otra manera, pude obtener más información sobre lo que implica mejorar la precisión de un modelo de IA:

“En general, cuando se realiza una actualización a un modelo de IA como ChatGPT, puede estar destinado a mejorar su rendimiento en uno o varios aspectos. Por ejemplo, puede tener un conjunto de datos más grande para entrenar o mejoras en su arquitectura que le permitan generar respuestas más fluidas y precisas. Y dicha actualización también lo hace mejor en factualidad, es decir, su capacidad para comprender y generar respuestas basadas en información fáctica”.

La precisión sigue siendo cuestionable

OpenAI afirma que ChatGPT ahora puede proporcionar más respuestas fácticas.

Probé esa afirmación consultando un repositorio de GitHub de fallas de ChatGPT y ejecutando varias indicaciones para ver si producía respuestas diferentes.

Prueba uno: fallida

Anteriormente, ChatGPT no podía identificar con precisión cuántas veces Argentina ganó la Copa Mundial de la FIFA.

Sin tener en cuenta la victoria en la Copa del Mundo de 2022, porque el conocimiento de ChatGPT se limita a 2021, debería decir que Argentina la ganó dos veces. Una vez en 1978 y otra vez en 1986.

Como se muestra en el tweet a continuación, ChatGPT no siempre devolvió la respuesta correcta:

Preguntó #ChatGPT sobre quién ganó la copa mundial de la FIFA en 2022. No pudo responder. Eso es de esperar. Sin embargo, parece proporcionar información incorrecta (sobre las otras 2 victorias) a pesar de que la información está en el sistema. Alguna #Explicaciones? pic.twitter.com/fvxe05N12p

— indranil sinharoy (@indranil_leo) 29 de diciembre de 2022

Ejecuté el indicador a través de la versión actualizada de ChatGPT, y devolvió una diferente pero aún así incorrecto respuesta.

Captura de pantalla de: chat.openai.com/chat, enero de 2023.

Prueba dos: fallida

Anteriormente, ChatGPT no pudo proporcionar una respuesta correcta cuando se le preguntó quién es el jugador de baloncesto más alto entre Shaq y Yao Ming.

Ejecuté el aviso a través de la versión actualizada de ChatGPT, y con confianza devolvió lo mismo incorrecto respuesta.

Captura de pantalla de: chat.openai.com/chat, enero de 2023.

Al revisar las fallas de ChatGPT vinculadas anteriormente, descubrí que continúa teniendo problemas con las mismas indicaciones.

Es difícil identificar las áreas en las que ChatGPT puede devolver respuestas más precisas. Sería útil si OpenAI pudiera proporcionar detalles específicos en las notas de la versión de futuras actualizaciones.

Dicho esto, tenga cuidado al usar ChatGPT como fuente de información. Aunque proporciona respuestas correctas a muchas preguntas, actualmente no es lo suficientemente confiable como para reemplazar a Google.

Fuente: OpenAI

Imagen destacada: CHUAN CHUAN/Shutterstock