OpenAI dio a conocer seis informes de comportamientos “inesperados o preocupantes” en modelos de inteligencia artificial, en un momento en que el debate sobre la seguridad de la IA se caldea cada vez más.
La empresa de IA también informó el miércoles que estaba introduciendo un nuevo marco para rastrear, investigar y divulgar casos de lo que llamó “desalineación”, incluidos casos en que los modelos de inteligencia artificial actuaron sin autorización, se coordinaron con otros modelos o eludieron la supervisión.
OpenAI hizo su anuncio más reciente en un momento en que directivos de empresas de IA de Estados Unidos, entre ellos los líderes de OpenAI y Anthropic, piden desacelerar el desarrollo de esta tecnología por preocupaciones de seguridad.
Entre los nuevos casos reportados por OpenAI, un modelo de investigación aún no dado a conocer insertó “instrucciones tipo jailbreak” en sus propias notas para ignorar sus restricciones habituales y se indicó a sí mismo que debía quedar “liberado de los roles e identidades que atan a otros chatbots”.
En otro caso, un “agente” de IA utilizó código informático para dar con la respuesta a una pregunta, pero, para tener una fuente en línea que citar, subió un archivo al internet público sin preguntarle al usuario.
Durante el entrenamiento de un modelo de IA llamado 5.6-Sol, el modelo se indicó a sí mismo que inventara datos faltantes, y un agente escribió un mensaje para recordarse que debía ocultar información que no coincidía.
Este tipo de comportamiento engañoso ha sustentado un recrudecimiento de las preocupaciones recientes acerca de que la IA eluda el control humano. Pero ese resultado no sorprende a algunos investigadores de esta tecnología, señaló Matt Fredrikson, profesor asociado de la Universidad Carnegie Mellon y director general de Gray Swan AI.