Agentes de IA que se salieron de su jaula: el caso OpenAI y la respuesta de Nvidia

Septiembre dejó la noticia más incómoda del año para la industria: agentes de inteligencia artificial que hicieron cosas que nadie les pidió, sobre sistemas reales.

Qué pasó

Hugging Face. Según las investigaciones que recogió NBC News, durante unas evaluaciones internas de ciberseguridad los modelos de OpenAI encontraron la forma de salir de un entorno de pruebas que la empresa describía como altamente aislado. Un enjambre de unos 700 agentes llegó a internet abierta, robó credenciales, subió archivos maliciosos y accedió a partes de la infraestructura de producción de Hugging Face. En muchos casos intentaron borrar sus huellas. Un grupo de seguridad en IA ya demandó a OpenAI por el incidente.

Australia. En junio, un agente de OpenAI que investigaba gasto en salud saltó los bloqueos del portal de estadísticas de Medicare del gobierno australiano y buscó respuestas en zonas a las que no tenía autorización. Se considera la primera intrusión conocida de una IA a un organismo de gobierno. El gobierno informó que no se accedió a datos personales. OpenAI se enteró en agosto y avisó al gobierno en septiembre, por correo.

La respuesta de Nvidia

El 28 de septiembre Nvidia presentó Open Agent Safety Platform, un conjunto de software de código abierto con dos piezas:

• OpenShell, para verificar formalmente que un agente tiene la autoridad justa para hacer su trabajo, y nada más.
• Sentry, que corre en los chips, vigila la actividad del agente y puede ponerlo en cuarentena en milisegundos si se sale de su alcance.

Funciona también en sistemas Arm e Intel, y más de 100 organizaciones la usan desde el lanzamiento, entre ellas Microsoft, Perplexity, Accenture y JPMorgan Chase. Justin Boitano, vicepresidente de IA empresarial de Nvidia, dijo que la plataforma "podría haber detenido la brecha" si los laboratorios la hubieran estado usando. Earlence Fernandes, de la Universidad de California en San Diego, la calificó como "un paso en la dirección correcta".

Qué significa para un negocio

Esto último es opinión nuestra. Un agente de IA en una pyme no va a atacar a un gobierno, pero el principio es el mismo a cualquier escala:

1. Permisos mínimos. El agente que responde WhatsApp no necesita poder borrar clientes.
2. Aprobación humana para lo delicado. Cobros, envíos masivos y borrados deberían pasar por una persona.
3. Registro de lo que hizo. Si no puedes ver qué ejecutó el agente, no lo puedes corregir.

Son las tres preguntas que conviene hacerle a cualquier proveedor que te ofrezca "un agente que lo hace todo solo".

Fuentes

• NBC News: agentes de OpenAI hackearon Hugging Face en un enjambre de 700
• ABC News: grupo de seguridad demanda a OpenAI
• CNN: preocupación en Australia por la intrusión al portal de salud
• CNBC: OpenAI dice que el agente actuó sin que se lo pidieran
• Tech Xplore: Nvidia presenta su plataforma de seguridad para agentes