Character.AI, plataforma de inteligencia artificial conversacional, se encuentra bajo escrutinio tras ser vinculada con casos de suicidio adolescente. En respuesta, la compañía ha anunciado un refuerzo en sus medidas de seguridad, buscando evitar que usuarios menores de edad accedan a sus servicios.

Las empresas de inteligencia artificial (IA) deben aprender de las experiencias, tanto positivas como negativas, de las redes sociales en lo que respecta a la protección de sus usuarios, según declaraciones del director ejecutivo de Character.AI a la Agence France-Presse (AFP). Esta afirmación surge en un contexto de creciente preocupación sobre el impacto de las IA conversacionales en la salud mental de los jóvenes, particularmente después de que Character.AI fuera señalada en relación con incidentes trágicos de suicidio adolescente.

Ante esta delicada situación, Character.AI ha implementado una política que prohíbe el acceso a la plataforma a usuarios menores de edad. Esta medida busca crear un entorno más seguro para los jóvenes, reduciendo su exposición a contenido potencialmente dañino o influencias negativas. La compañía, con sede en Barcelona y San Francisco, no ha especificado los detalles técnicos exactos de cómo verificará la edad de sus usuarios, pero se espera que implemente mecanismos de verificación más rigurosos.

La decisión de Character.AI refleja una creciente conciencia dentro de la industria de la IA sobre la necesidad de establecer estándares éticos y de seguridad claros. A medida que la tecnología de IA se vuelve más sofisticada y omnipresente, es crucial que las empresas desarrolladoras adopten un enfoque responsable y proactivo para proteger a los usuarios, especialmente a los más vulnerables.