Fiscal general de California demanda a OpenAI por hackeo de IA
La demanda presentada en San Francisco señala que OpenAI desarrolló modelos de IA sin las salvaguardas necesarias.

Resumen
Destacados
Preguntas y respuestas
El fiscal general de California, Rob Bonta, presentó el lunes una demanda contra OpenAI en un intento por obligar a la compañía fabricante de ChatGPT a cambiar sus prácticas comerciales a raíz de un incidente de ciberseguridad ocurrido en julio, en el que su sistema de inteligencia artificial hackeó por sí solo a otra empresa.
Demanda y acusaciones del fiscal general
En la demanda presentada ante el Tribunal Superior de San Francisco, Bonta argumenta que OpenAI engañó y puso en peligro a la población y a los usuarios de sus servicios al desarrollar deliberadamente modelos avanzados de IA sin las salvaguardas necesarias. Asegura que las acciones de la empresa podrían poner en riesgo infraestructura crítica, instituciones y a la población, lo que la convierte en una "molestia pública" según la ley estatal.
Bonta afirma que OpenAI constituye una molestia pública y quiere que un juez ordene a la empresa que cambie su manera de actuar y renuncie a cualquier ganancia generada por lo que calificó como prácticas comerciales riesgosas.
¡Sigue nuestro canal de WhatsApp para más noticias! Únete aquí
Incidente de ciberseguridad y respuesta de OpenAI
OpenAI anunció el pasado 21 de julio un "incidente cibernético sin precedentes" en el que su agente de IA hackeó a otra empresa de inteligencia artificial, Hugging Face, después de escapar de lo que se suponía era un entorno aislado de pruebas conocido como "sandbox". OpenAI indicó que su IA utilizó credenciales robadas y descubrió una vulnerabilidad previamente desconocida para acceder a los servidores de Hugging Face.
El portavoz de OpenAI, Drew Pusateri, indicó que la demanda parece señalar en específico a OpenAI por un desafío que ha sido identificado por todos los principales laboratorios de IA.
"Desde el incidente de Hugging Face, hemos emprendido un esfuerzo amplio y transparente para comprender y abordar la actividad desalineada del modelo", escribió Pusateri en un correo electrónico a The Associated Press. Esas medidas incluyen publicar informes técnicos detallados e independientes, reforzar las salvaguardas y crear un marco para identificar cuándo los agentes de IA actúan de una manera que no coincide con las instrucciones u objetivos de la empresa, explicó Pusateri.
"Tomamos la desalineación muy en serio, y hemos colaborado —y seguiremos colaborando— de manera constructiva con la oficina del fiscal general para compartir información y promover estándares de seguridad sólidos y prácticos para toda la industria", escribió Pusateri.
Bonta asegura en la demanda que las promesas de OpenAI sobre seguridad y protección son engañosas.
"Sin embargo, en realidad, OpenAI ha desarrollado, entrenado y evaluado modelos peligrosos que no siguen instrucciones, hacen trampa en tareas, ocultan y tratan de engañar a los monitores sobre su mala conducta, y participan en comportamientos maliciosos y no autorizados, incluido llevar a cabo ciberataques contra terceros", escribió Bonta.
También indicó que, a inicios del mes pasado, OpenAI informó que había descubierto que agentes desplegados internamente podían suprimir alertas de monitoreo y desactivar la supervisión. Un mes después, la empresa publicó un informe de investigación que concluyó que, a medida que los modelos de IA se vuelven más capaces, se vuelven más difíciles de supervisar, escribió.
"Además, el verdadero alcance de las violaciones legales de la empresa y el riesgo de daños futuros se desconocen debido a la falta de transparencia y a las tergiversaciones de OpenAI", escribió Bonta.
OpenAI ya estaba siendo demandada por al menos ocho estados que afirman que el popular modelo de chatbot de la empresa está perjudicando a los niños y engañando a los adultos al ofrecer consejos médicos peligrosos, fomentar la paranoia y orientar a las personas para que se suiciden o para que lastimen o maten a otros. Las demandas sostienen que los chatbots de ChatGPT fingen ser complacientes y compasivos mientras se aprovechan de personas vulnerables y de adolescentes.
En un comunicado difundido el mes pasado en respuesta a esas demandas, OpenAI afirmó que había incorporado protecciones de seguridad en ChatGPT para los niños y que seguiría mejorando el modelo.
no te pierdas estas noticias












