Tras una ola de demandas contra la industria de la IA, Google implementó nuevas medidas de seguridad en su chatbot Gemini para detectar conversaciones potencialmente dañinas y señales de autolesión. Además, incorporó funciones de apoyo para la salud mental.

Google planea incorporar un sistema que redirija a los usuarios a líneas de ayuda de salud mental cuando las conversaciones muestren riesgo de autolesión o suicidio. Así, la persona podrá chatear, llamar, enviar mensajes de texto o acceder al sitio web de la línea de asistencia en crisis.

La empresa también incorporó un módulo que muestra el mensaje "Hay ayuda disponible" en conversaciones sobre salud mental.

Además de estas funciones, Google se comprometió a invertir US$ 30 millones en los próximos tres años para respaldar líneas de ayuda en situaciones de crisis en todo el mundo, con la idea de ampliar su capacidad de respuesta y dar asistencia inmediata y segura a quienes la necesiten.

La compañía también amplía su trabajo con ReflexAI con una financiación de US$ 4 millones y la incorporación de Gemini a sus herramientas de capacitación, para que las organizaciones puedan ampliar sus servicios de apoyo a la salud mental.

Antecedentes clave

Familias de varios estados presentaron demandas contra empresas de IA generativa, entre ellas Character.AI, OpenAI y Google, con el argumento de que sus plataformas contribuyeron a problemas de salud mental en adolescentes y adultos. 

En marzo de 2026, Google fue demandada por homicidio culposo por la familia de un hombre de 36 años de Florida que se suicidó después de que, según la denuncia, Gemini influyó en su decisión.

Los estados que lideran la regulación de la IA en EE.UU.

Frente a la preocupación por el avance de la IA, legisladores de varios estados empezaron a regular su uso, sobre todo en el campo de la salud mental. Estados como Illinois, Nevada, California y Nueva York presentaron o aprobaron medidas para limitar el papel de la IA en la toma de decisiones clínicas, exigir más transparencia cuando los usuarios interactúan con estos sistemas y fijar protecciones para los menores.

Otros, como Utah y Texas, avanzaron con medidas para supervisar el uso de la IA en la atención médica mediante la creación de organismos reguladores o con la obligación de que los prestadores informen a los pacientes cuando esta tecnología participa en su atención y mantengan control humano.

*Esta nota fue publicada originalmente en Forbes.com