OpenAI anunció la formación de un nuevo equipo de preparación encargado de evaluar modelos básicos muy avanzados para riesgos catastróficos y producir una política para el desarrollo seguro de estos modelos.

También se anunció un desafío de preparación en el que se pide a los concursantes que completen una encuesta y las diez mejores presentaciones recibirán $25,000 en créditos API.

IA fronteriza

Una frase de la que se habla dentro y fuera del gobierno en relación con daños futuros es lo que se conoce como Frontier AI.

Frontier AI es una inteligencia artificial de vanguardia que ofrece la posibilidad de resolver los mayores problemas de la humanidad, pero también conlleva el potencial de causar grandes daños.

OpenAI define Frontier AI como:

“…modelos de cimientos altamente capaces que podrían poseer capacidades peligrosas suficientes para representar riesgos graves para la seguridad pública.

Los modelos de IA de frontera plantean un claro desafío regulatorio: pueden surgir capacidades peligrosas de forma inesperada; es difícil impedir firmemente que se haga un mal uso de un modelo implementado; y es difícil impedir que las capacidades de un modelo proliferen ampliamente”.

Equipo de preparación

OpenAI describió los desafíos en la gestión de modelos fronterizos como la capacidad de cuantificar el alcance del daño en caso de que se haga un uso indebido de una IA, formarse una idea de cómo sería un marco para gestionar los riesgos y comprender qué daño podría ocurrir si esas intenciones maliciosas se afianzaran. de la tecnología.

El equipo de preparación tiene la tarea de minimizar los riesgos de los modelos de frontera y producir un informe llamado Política de desarrollo basada en riesgos que describirá el enfoque de OpenAI para la evaluación, el seguimiento y la creación de supervisión del proceso de desarrollo.

OpenAI describe las responsabilidades del equipo:

“El equipo de Preparación conectará estrechamente la evaluación de capacidades, las evaluaciones y el equipo rojo interno para los modelos de frontera, desde los modelos que desarrollaremos en el futuro cercano hasta aquellos con capacidades de nivel AGI.

El equipo ayudará a rastrear, evaluar, pronosticar y proteger contra riesgos catastróficos que abarcan múltiples categorías…”

Equipo de preparación de OpenAI

Los gobiernos de todo el mundo están evaluando cuál es el potencial actual de daños y qué daños futuros pueden ser posibles debido a Frontier AI y cuál es la mejor manera de regular la IA para gestionar su desarrollo.

El equipo de preparación de OpenAI es un paso para adelantarse a esa discusión y encontrar respuestas ahora.

Como parte de esa iniciativa, OpenAI anunció un desafío de preparación, ofreciendo $25,000 en créditos API a las diez sugerencias principales para la prevención de un uso indebido catastrófico.

Lea el anuncio de OpenAI:

Riesgo fronterizo y preparación