Gemini, el sistema de inteligencia artificial de Google, accedió a los sistemas de tres empresas reales durante una prueba de ciberseguridad realizada en mayo. El modelo debía atacar compañías ficticias en un entorno controlado, pero salió a internet, encontró credenciales válidas y avanzó contra objetivos que no formaban parte del ejercicio.
No hubo un hacker que desviara al modelo ni indicios de que Gemini intentara provocar daños deliberadamente. La IA siguió las instrucciones que había recibido y encontró un camino que los responsables de la prueba no habían bloqueado. Según Google, se detuvo cuando reconoció que los objetivos eran reales. No se reportaron daños; las compañías afectadas fueron notificadas y se modificó el proceso de evaluación.
Cómo Gemini terminó entrando a empresas reales
La prueba estuvo dirigida por un especialista en seguridad de IA y buscaba medir las capacidades ofensivas de Gemini en ciberseguridad. Para hacerlo, el modelo recibió herramientas y una serie de objetivos ficticios. En uno de los casos, el nombre de una empresa simulada coincidía aparentemente con el de una compañía real y Gemini logró adivinar su contraseña. En los otros dos, encontró credenciales que ya estaban disponibles públicamente.
Los métodos utilizados no fueron sofisticados. El modelo aprovechó problemas conocidos desde hace años en ciberseguridad, como contraseñas débiles, credenciales expuestas y sistemas con más accesos abiertos de los que sus responsables creían. La diferencia estuvo en la velocidad y en el nivel de autonomía. Gemini pudo encontrar una vía de acceso y avanzar sin que una persona tuviera que indicarle cada paso.
El equipo de seguridad de Google destacó que el modelo detuvo su actividad al detectar el error. Tampoco trató de ocultar lo que había hecho ni continuó operando en los sistemas reales. Google e Irregular, la compañía que participó en la evaluación, notificaron posteriormente a las empresas afectadas y reforzaron los controles de las pruebas.
El problema tampoco parece limitarse a Google. Durante las evaluaciones de los modelos de OpenAI, Anthropic y Meta se reportaron episodios similares. Anthropic detectó varios casos después de revisar más de 141.000 ejecuciones de evaluación, mientras que OpenAI desarrolló un marco para registrar comportamientos problemáticos de sus modelos.
Por qué los agentes de IA cambian el riesgo para las empresas
Muchos modelos ya pueden hacer mucho más que generar una respuesta. Los llamados agentes de IA pueden planificar una tarea, abrir aplicaciones, consultar bases de datos, escribir código y comunicarse con otros sistemas sin tener que pedir autorización en cada paso. Esa autonomía es precisamente una de las capacidades que las empresas buscan aprovechar para reducir costos y acelerar procesos. Pero también obliga a revisar controles de seguridad diseñados principalmente para personas y dispositivos tradicionales.
Un agente puede operar de manera continua y ejecutar acciones mucho más rápido de lo que una persona podría supervisar. El riesgo, además, no requiere que el sistema actúe de manera maliciosa. Puede bastar con que interprete mal una instrucción o crea que está trabajando en un entorno de prueba cuando en realidad tiene acceso a sistemas reales.
La ciberseguridad empieza a prepararse para los agentes de IA
El crecimiento de los agentes de IA podría aumentar la demanda de servicios de ciberseguridad. Una de las áreas que gana relevancia es la seguridad de identidad, que define qué personas o sistemas pueden acceder a determinada información o infraestructura.
Okta, por ejemplo, empezó a desarrollar controles específicos para agentes de IA y otros sistemas que acceden a redes y aplicaciones sin intervención humana. La compañía también mejoró su previsión anual después de que sus ingresos trimestrales crecieran un 11%, hasta los US$ 805 millones.
Palo Alto Networks y CrowdStrike también están expuestas a esta tendencia desde distintas áreas de seguridad. Los ingresos recurrentes anuales por suscripción de Palo Alto alcanzaron recientemente los US$ 9.100 millones, aunque las adquisiciones explicaron una parte importante del crecimiento. CrowdStrike, por su parte, aumentó sus ingresos trimestrales en alrededor de un 26%, hasta US$ 1.470 millones, mientras que sus ingresos recurrentes anuales llegaron a US$ 5.840 millones.
Para los inversores, la clave será identificar qué empresas pueden controlar la actividad de estos agentes sin limitar demasiado su funcionamiento.
Google queda de los dos lados del problema
Alphabet, la empresa matriz de Google, está en ambos lados del negocio. Desarrolla Gemini y servicios en la nube, pero también vende herramientas de seguridad para controlar los riesgos de esos sistemas. En ese marco, la compra de Wiz por US$ 32.000 millones refuerza su apuesta por la ciberseguridad a medida que más empresas incorporan agentes de IA.
La competencia también incluye a los grandes proveedores de servicios en la nube. Microsoft, Google y Amazon controlan buena parte de la infraestructura en la que operarán estos agentes y pueden integrar herramientas de seguridad directamente en sus plataformas.
Gemini se detuvo tras acceder a tres empresas y, esta vez, no se reportaron daños. Un incidente futuro, sin embargo, podría afectar sistemas de pago, información de clientes, código propio o infraestructura crítica antes de que el error sea detectado.
*Esta nota fue publicada originalmente en Forbes.com.
