La búsqueda ChatGPT de OpenAI tiene dificultades para citar con precisión a los editores de noticias, según un estudio realizado por el Tow Center for Digital Journalism de la Universidad de Columbia.

El informe encontró frecuentes citas erróneas y atribuciones incorrectas, lo que generó preocupaciones entre los editores sobre la visibilidad de la marca y el control sobre su contenido.

Además, los hallazgos desafían el compromiso de OpenAI con el desarrollo responsable de la IA en el periodismo.

Antecedentes sobre la búsqueda de ChatGPT

OpenAI lanzó ChatGPT Search el mes pasado, afirmando que colaboraba ampliamente con la industria de las noticias e incorporaba comentarios de los editores.

Esto contrasta con el lanzamiento original de ChatGPT en 2022, donde los editores descubrieron que su contenido se había utilizado para entrenar modelos de IA sin previo aviso ni consentimiento.

Ahora, OpenAI permite a los editores especificar mediante el archivo robots.txt si desean ser incluidos en los resultados de búsqueda de ChatGPT.

Sin embargo, los hallazgos del Tow Center sugieren que los editores enfrentan el riesgo de atribución errónea y tergiversación independientemente de su elección de participación.

Problemas de precisión

El Tow Center evaluó la capacidad de ChatGPT Search para identificar fuentes de citas de 20 publicaciones.

Los hallazgos clave incluyen:

• De 200 consultas, 153 respuestas fueron incorrectas.
• La IA rara vez reconoció sus errores.
• Frases como “posiblemente” se utilizaron sólo en siete respuestas.

ChatGPT a menudo priorizaba complacer a los usuarios sobre la precisión, lo que podía engañar a los lectores y dañar la reputación de los editores.

Además, los investigadores descubrieron que ChatGPT Search es inconsistente cuando se hace la misma pregunta varias veces, probablemente debido a la aleatoriedad incorporada en su modelo de lenguaje.

Citar contenido copiado y sindicado

Los investigadores encuentran que ChatGPT Search a veces cita artículos copiados o sindicados en lugar de fuentes originales.

Es probable que esto se deba a restricciones del editor o limitaciones del sistema.

Por ejemplo, cuando se le pidió una cita de un artículo del New York Times (actualmente involucrado en una demanda contra OpenAI y bloqueando sus rastreadores), ChatGPT se vinculó a una versión no autorizada en otro sitio.

Incluso con MIT Technology Review, que permite los rastreadores de OpenAI, el chatbot citó una copia sindicada en lugar del original.

El Tow Center descubrió que todos los editores corren el riesgo de tergiversación por parte de ChatGPT Search:

• Habilitar rastreadores no garantiza la visibilidad.
• Bloquear los rastreadores no impide que aparezca contenido.

Estos problemas plantean preocupaciones sobre el filtrado de contenidos de OpenAI y su enfoque del periodismo, que puede alejar a la gente de los editores originales.

La respuesta de OpenAI

OpenAI respondió a los hallazgos del Tow Center afirmando que apoya a los editores mediante una atribución clara y ayuda a los usuarios a descubrir contenido con resúmenes, citas y enlaces.

Un portavoz de OpenAI declaró:

“Apoyamos a los editores y creadores ayudando a 250 millones de usuarios semanales de ChatGPT a descubrir contenido de calidad a través de resúmenes, citas, enlaces claros y atribuciones. Hemos colaborado con socios para mejorar la precisión de las citas en línea y respetar las preferencias de los editores, incluida la habilitación de cómo aparecen en la búsqueda mediante la administración de OAI-SearchBot en su archivo robots.txt. Seguiremos mejorando los resultados de búsqueda”.

Si bien la compañía ha trabajado para mejorar la precisión de las citas, OpenAI dice que es difícil abordar problemas específicos de atribución errónea.

OpenAI sigue comprometido a mejorar su producto de búsqueda.

Mirando hacia el futuro

Si OpenAI quiere colaborar con la industria de las noticias, debe garantizar que el contenido del editor esté representado con precisión en ChatGPT Search.

Actualmente, los editores tienen poder limitado y están siguiendo de cerca los casos legales contra OpenAI. Los resultados podrían afectar los derechos de uso del contenido y dar a los editores más control.

A medida que los productos de búsqueda generativa como ChatGPT cambian la forma en que las personas interactúan con las noticias, OpenAI debe demostrar un compromiso con el periodismo responsable para ganarse la confianza de los usuarios.

Imagen de portada: Robert Way/Shutterstock