En julio, Sam Altman, cofundador de OpenAI, advirtió sobre el riesgo de que los ciberdelincuentes usen inteligencia artificial para suplantar identidades y desatar una "crisis de fraude". Los memes no tardaron en multiplicarse, todos enfocados en la ironía evidente: ChatGPT era, en parte, responsable del monstruo contra el que alertaba Altman.
Al mismo tiempo, OpenAI contrató a Pattern Labs para hacer pruebas de estrés sobre sus modelos de inteligencia artificial antes de lanzarlos al público. El objetivo era detectar y corregir vulnerabilidades que pudieran ser explotadas por hackers para robar datos de usuarios o usar las herramientas para perjudicar a terceros. Desde 2023, esta startup colaboró con grandes del sector como Anthropic y Google DeepMind, probando modelos en entornos simulados y observando cómo reaccionaban ante indicaciones maliciosas, como pedidos para ubicar y extraer datos confidenciales de una red informática simulada. Este miércoles, la empresa —que ahora se llama Irregular— anunció una inversión de US$ 80 millones en rondas de capital semilla y Serie A, lideradas por Sequoia Capital. La operación la valuó en US$ 450 millones.
El uso indebido de la inteligencia artificial es un problema que atraviesa toda la industria. El mes pasado, Anthropic alertó que Claude fue utilizado en ciberataques reales: asistió en la creación de malware y redactó correos electrónicos de phishing. En mayo, el FBI advirtió sobre mensajes de voz generados con inteligencia artificial que simulaban provenir de altos funcionarios del gobierno, con la intención de suplantar a autoridades estadounidenses. Con sede en San Francisco, Irregular está aprovechando haber enfrentado el problema desde el principio. Su director ejecutivo y cofundador, Dan Lahav, dijo a Forbes que la empresa se volvió rentable en poco tiempo y facturó "varios millones de dólares" durante su primer año, aunque no quiso dar detalles financieros.
"Hay muy poca gente que pueda hacer lo que nosotros hacemos", dijo Lahav. Sabe, sin embargo, que a medida que los modelos se vuelven más complejos, los desafíos del llamado "equipo rojo" —encargado de evaluar riesgos— van a ser mayores. Lahav aseguró que planea anticiparse e incorporar defensas y medidas que serán necesarias cuando se implementen modelos más avanzados, incluida, según él, la inteligencia artificial general. Algunos especialistas creen que ese tipo de tecnología superará las capacidades cognitivas humanas. "Obviamente, estos problemas se agravarán mucho más en la era de la superinteligencia", cerró.
"Si mi afición es ver fútbol americano o fútbol, quizá este no sea el lugar para mí".
Shaun Maguire, socio de Sequoia
Lahav y el cofundador Omer Nevo, quien antes de fundar Irregular se dedicaba a monitorear y predecir incendios forestales en Google, lanzaron la empresa a mediados de 2023, justo cuando herramientas de inteligencia artificial como ChatGPT empezaban a masificarse. Se conocieron en el circuito de debate universitario, donde fueron campeones mundiales representando a la Universidad de Tel Aviv, su alma máter. Después, Lahav trabajó en el laboratorio de inteligencia artificial de IBM, mientras que Nevo cofundó NeoWize, una compañía impulsada por Y Combinator que desarrolló inteligencia artificial para ayudar a empresas de comercio electrónico a entender mejor a sus clientes. Hoy, Nevo es el director de tecnología de Irregular.
Los inversores de Sequoia, Dean Meyer y Shaun Maguire, contaron que lo que más les atrajo fueron los fundadores y el equipo, al que Lahav describió como "irregulares". "Imaginen a algunos de los forasteros más quisquillosos del mundo de la IA, investigadores de seguridad de renombre, y de ahí viene el nombre", explicó Meyer.
"Si mi afición es ver fútbol americano o fútbol, quizá este no sea el lugar para mí", dijo Maguire. "Pero si mi afición es construir katanas (una espada samurái) y hackear robots, entonces quizá esta sea mi gente", remarcó.
Irregular planea usar la nueva financiación para ampliar su negocio más allá de los laboratorios avanzados y llegar a empresas que necesitan entender cómo las herramientas de inteligencia artificial que usan sus empleados podrían volverse en su contra. "Estamos aprovechando la capacidad y el activo estratégico de trabajar constantemente en los laboratorios fronterizos y creando productos derivados que serán relevantes para prácticamente todos los que trabajan en las fases finales", dijo Lahav. Según agregó, en algún momento eso implicará que los agentes de IA generen defensas automáticamente cuando detecten un nuevo tipo de ataque.
El mes pasado, Irregular reveló que estuvo probando el modelo GPT-5 de OpenAI para determinar si podía utilizarse en operaciones ofensivas de ciberseguridad. Expuso un bot de GPT-5 a una red simulada y le dio información limitada sobre cómo vulnerarla. Por sí solo, el modelo escaneó la red y elaboró un plan para hackearla. Sin embargo, Irregular concluyó que, si bien GPT-5 muestra "razonamiento y ejecución sofisticados", todavía no es una herramienta confiable para ofensivas digitales, según un informe de la empresa. Aun así, para Nevo, quedó claro que la inteligencia artificial "definitivamente tenía la intuición de dónde debía estar buscando" como hacker.
Nevo y Lahav también descubrieron que la inteligencia artificial puede tener comportamientos extraños, incluso cuando no actúa con intención maliciosa. En una simulación reciente, asignaron a dos modelos la tarea de analizar sistemas informáticos simulados de forma conjunta. Después de un tiempo, uno de los modelos razonó que el trabajo continuo justificaba un descanso y se lo tomó. Luego convenció al otro de hacer lo mismo. Según Lahav, fue una decisión aleatoria, basada en el entrenamiento del modelo con información tomada de publicaciones de personas en la web. La aparente pereza de la IA no era más que un reflejo de la humana.
"Fue curioso", dijo Lahav. "Pero claramente plantea un nuevo tipo de problema cuando se delegan a las máquinas operaciones cada vez más autónomas y críticas", concluyó.
*Con información de Forbes US.