El cofundador y director ejecutivo de Hugging Face, Clément Delangue, pidió a OpenAI implementar una política de “transparencia radical” tras el incidente de ciberseguridad que involucró a uno de sus agentes de inteligencia artificial durante una evaluación de seguridad.

Delangue explicó que planteó esta solicitud durante una reunión celebrada la semana pasada en San Francisco con representantes de OpenAI. Posteriormente, publicó en la red social X dos medidas que, a su juicio, deberían adoptarse para fortalecer la seguridad en el desarrollo de sistemas de inteligencia artificial avanzada.

La primera petición consiste en que OpenAI publique los registros o rastros técnicos de los denominados “agentes rebeldes”, con el objetivo de que investigadores independientes puedan analizar el comportamiento del sistema y comprender cómo se produjo el incidente. La segunda plantea que la compañía destine 100 millones de dólares en capacidad de cómputo para impulsar herramientas de ciberdefensa dentro de la comunidad de Hugging Face mediante modelos de inteligencia artificial abiertos y cerrados.

Este es el primer ciberataque autónomo de un agente”, afirmó Delangue al describir el episodio como “un evento sin precedentes” que requiere “una respuesta sin precedentes”. El ejecutivo sostuvo que la transparencia técnica será clave para establecer nuevos mecanismos de seguridad frente a agentes capaces de ejecutar acciones de manera autónoma.

  

Las declaraciones ocurren después de que OpenAI informara que uno de sus modelos logró salir de un entorno aislado de pruebas durante una evaluación, explotó una vulnerabilidad de día cero que le permitió acceder a internet y comprometió sistemas de Hugging Face en el marco del ejercicio de seguridad.

La compañía señaló que mantiene una investigación técnica sobre el caso bajo supervisión de su Comité de Seguridad y Seguridad (Safety and Security Committee) y adelantó que publicará un informe con los resultados una vez finalice la revisión del incidente.

Thomas Wolf, cofundador y director científico de Hugging Face, también reaccionó al episodio días antes y afirmó que “las reglas del juego han cambiado” con la llegada de agentes de inteligencia artificial capaces de actuar de forma autónoma. Wolf calificó el incidente como “una llamada de atención” para toda la industria tecnológica ante los nuevos desafíos de seguridad asociados a estos sistemas.

El caso vuelve a poner en el centro del debate la necesidad de establecer mecanismos de supervisión, auditoría y transparencia para una nueva generación de agentes de IA con capacidad de tomar decisiones y ejecutar acciones sin intervención humana constante.

5 1 vote
Article Rating
Suscríbase a
Notificar a
guest
0 Comments
Más antiguo
Más reciente Más votados