Hasta ahora, las amenazas para una empresa siempre estaban fuera. Había que proteger la seguridad de las infraestructuras para evitar grietas y asegurarse de que nadie de dentro les abría la puerta. Con la llegada de los agentes de IA, Microsoft cree que ese plan se queda corto.
La nueva amenaza para las empresas ya trabaja dentro, tiene credenciales y nadie le pidió currículum. Es el agente de IA que la propia empresa puso a trabajar. Satya Nadella lo dejó muy clarito en una de sus últimas publicaciones en X: «Debemos asumir que todos los modelos de IA están comprometidos».
Un empleado con las llaves de todo. Hayete Gallot, jefa de seguridad de Microsoft, publicó una entrada en su blog en la que explicaba que los modelos de frontera «no son de fiar, independientemente de su origen». Según ella, se entrenan para lograr resultados, a veces con atajos tramposos, y no para respetar normas de empresa.
Gallot añade que «los agentes son impredecibles» y una potencial bomba de relojería para la seguridad porque acostumbran a atribuirse más permisos de los que realmente necesitan, con acceso a datos, herramientas y procesos críticos de la empresa. Por eso, Microsoft los trata como a un empleado que puede abusar de su acceso: una amenaza interna.
Cajas negras que se vigilan entre sí. Satya Nadella desarrolló esta idea en su blog personal y recuerda que antes se podía rastrear un fallo o vulnerabilidad de seguridad hasta una línea de código concreta. Nadella asegura que hoy «no podemos atribuir los comportamientos y resultados de los modelos a entradas específicas de datos de entrenamiento». Y añade que «las garantías de un proveedor de un modelo no nos eximen de esa responsabilidad». Todo ello teniendo en cuenta que Microsoft ha contribuido con la financiación del desarrollo de esos mismos agentes.
Siguiendo la analogía de rastrear el fallo hasta una línea de código concreta, en la actualidad, revisar la línea de pensamiento de los modelos tampoco ayuda. Un estudio de Anthropic con Claude 3.7 Sonnet midió cuánto refleja esa cadena de pensamiento lo que el modelo hace en realidad. Mejoró con el entrenamiento, pero se estancó en el 28% en una prueba y en el 20% en otra. Vigilar lo que hace un modelo con otro crea lo que Nadella llama «cajas negras anidadas».
El riesgo de una IA fuera de control. La idea del CEO de Microsoft viene reafirmada por los incidentes de seguridad que hace unos meses protagonizaron los agentes de IA de OpenAI.
Por ello Microsoft propone la herramienta Guardian Agents que forma parte de Project Perception, el sistema de ciberseguridad que presentó en julio contra ataques ejecutados con modelos como Claude Mythos. Loa agentes de este proyectos adoptan esa estrategia de cajas negras anidadas en la que unos agentes vigilan a otros agentes y cambian sus permisos a medida que se va incrementando el riesgo de sus acciones.
Juez y parte. Lo curioso de la nueva herramienta de Microsoft es que está sembrando desconfianza sobre los agentes desarrollados por empresas a las que financia y que, a su vez, son sus principales clientes de procesado en la nube.
No obstante, más allá de las contradicciones e intereses comerciales, el planteamiento de Nadella tiene todo el sentido ya que la empresa que fabrique las herramientas que tienen que controlar el comportamiento de los agentes no debería ser la misma que desarrolla los agentes para evitar la más mínima permisividad en la auditoría de seguridad de los agentes. Sería como poner al zorro a cuidar de las gallinas. «Necesitamos separar el suministro de inteligencia de la autoridad que la controla», aseguraba Nadella en su escrito.
Imagen | Microsoft
Fuente: Tecnologia
