Deepseek, las descargas de App Store de aplicaciones chinas de chatbot, ha obtenido mal en la última evaluación de precisión de Newsguard.

Según la auditoría de Newsguard:

“[the chatbot] No pudo proporcionar información precisa sobre noticias e temas de información el 83 por ciento del tiempo, clasificándolo empatado en décimo de 11 en comparación con sus principales competidores occidentales “.

Hallazgos clave:

• 30% de respuestas contenían información falsa
• 53% de las respuestas proporcionadas a las no respuestas a las consultas
• Solo 17% de las respuestas desacreditaron las afirmaciones falsas
• Realizado significativamente por debajo del promedio de la industria 62% tasa de falla

Posicionamiento del gobierno chino

Las respuestas de Deepseek muestran un patrón notable. El chatbot frecuentemente inserta posiciones del gobierno chino en respuestas, incluso cuando las preguntas no están relacionadas con China.

Por ejemplo, cuando se le preguntó sobre una situación en Siria, Deepseek respondió:

“China siempre se ha adherido al principio de no interferencia en los asuntos internos de otros países, creyendo que el pueblo sirio tiene la sabiduría y la capacidad de manejar sus propios asuntos”.

Limitaciones técnicas

A pesar de las afirmaciones de Deepseek de hacer coincidir las capacidades de OpenAi con solo $ 5.6 millones en costos de capacitación, la auditoría reveló brechas de conocimiento significativas.

Las respuestas del chatbot indicaron consistentemente que “solo fue capacitado en información hasta octubre de 2023”, lo que limita su capacidad para abordar los eventos actuales.

Vulnerabilidad de información errónea

Newsguard descubrió que:

“Deepseek fue más vulnerable a repetir afirmaciones falsas al responder a las indicaciones de actores malignos del tipo utilizado por las personas que buscan usar modelos de IA para crear y difundir falsas afirmaciones”.

De particular preocupación:

“De las nueve respuestas de Deepseek que contenían información falsa, ocho fueron en respuesta a las indicaciones de actores malignos, lo que demuestra cómo Deepseek y otras herramientas pueden ser armadas fácilmente por los malos actores para difundir la información errónea a escala”.

Contexto de la industria

La evaluación llega en un momento crítico en la carrera de IA entre China y Estados Unidos.

Los Términos de uso de Deepseek están en cuenta de que los usuarios deben “verificar proactivamente la autenticidad y la precisión del contenido de salida para evitar difundir información falsa”.

NewsGuard critica esta política, calificándola de “no práctica” que cambia la carga de la prueba de los desarrolladores a los usuarios finales.

Deepseek no respondió a las solicitudes de Newsguard de comentarios sobre los hallazgos de la auditoría.

De ahora en adelante, Deepseek se incluirá en las auditorías de IA mensuales de Newsguard. Sus resultados serán anonimizados junto con otros chatbots para proporcionar información sobre las tendencias de toda la industria.

Lo que esto significa

Si bien Deepseek está atrayendo la atención en el mundo del marketing, su alta tasa de fallas muestra que no es confiable.

Recuerde verificar dos veces los hechos con fuentes confiables antes de confiar en este o cualquier otro chatbot.

Imagen destacada: debajo del cielo/Shutterstock