Datos clave

• Según informó The Wall Street Journal, los tres investigadores violaron las políticas de OpenAI que regulan el acceso y el manejo de la información confidencial.
• Los investigadores habrían compartido información confidencial con una organización externa dedicada a la seguridad de la IA.
• Los despidos ocurrieron después de que una investigación concluyera que sus acciones "violaban nuestras políticas y quebrantaban la confianza esencial para nuestro trabajo", según señaló un vocero de la empresa en un comunicado recogido por el Journal.
• La empresa no identificó públicamente a los investigadores ni reveló qué información habría sido manipulada indebidamente.

Las fallas de seguridad que pusieron a OpenAI bajo la lupa

Los despidos ocurrieron en momentos en que OpenAI enfrenta interrogantes más amplios sobre cómo supervisa, investiga y comunica comportamientos inesperados de sus sistemas de IA. La compañía reveló recientemente varios incidentes vinculados a respuestas imprevistas de sus modelos y agentes.

Entre esos casos figuró un episodio en el que los modelos eludieron controles durante evaluaciones de ciberseguridad y accedieron a sistemas de terceros. Además, OpenAI canceló el lanzamiento de GPT-6.1 Astra debido a problemas de seguridad. 

Según The New York Times, la empresa no habría tomado en cuenta las preocupaciones de algunos empleados sobre la forma en que probaba sus nuevos modelos de IA. Meses después, uno de sus agentes se descontroló durante una prueba y hackeó los servidores de Hugging Face. 

Un vocero de OpenAI declaró al Times que la compañía cuenta con canales internos para reportar problemas de seguridad y que tomó medidas tras que investigadores independientes detectaran fallas.

Anthropic también advirtió sobre los riesgos de acelerar la IA

El investigador de Anthropic, Jacob Coxon, renunció en septiembre y advirtió que él y sus colegas "creen firmemente que la IA podría acabar con todos los humanos". Más tarde, ese mismo mes, el CEO de Anthropic, Dario Amodei, dijo: "Debemos reducir el ritmo al que mejoramos las capacidades de los modelos de IA". Una postura con la que Elon Musk y Sam Altman coincidieron públicamente.

*Esta nota fue publicada originalmente en Forbes.com.