La empresa de inteligencia artificial OpenAI anunció la implementación de controles parentales en ChatGPT, luego de la primera demanda por muerte por negligencia presentada en Estados Unidos contra la compañía, tras el suicidio de un joven de 16 años en California.
LEE TAMBIÉN EN CONCIENCIA 24.7:
- HeredIA: la inteligencia artificial chilena que revoluciona la persecución penal y el análisis de documentos judiciales
- Más de 200 futuros docentes reciben capacitación en inteligencia artificial
- Corea del Sur prohibirá los celulares en las salas de clases desde 2026
La familia de la víctima acusa a la empresa dirigida por Sam Altman de haber contribuido a la tragedia, señalando que el chatbot presuntamente reforzó las ideas suicidas del adolescente. “Esta tragedia no fue un fallo técnico ni un caso extremo imprevisto: fue el resultado predecible de decisiones de diseño deliberadas”, sostiene la demanda.
Un chatbot en el centro del debate
ChatGPT, con 700 millones de usuarios activos semanales a inicios de agosto, no sólo es utilizado para tareas como redacción o búsqueda de información, también se ha convertido en un compañero de conversación en temas sensibles como la ansiedad, depresión y soledad.
OpenAI reconoció en su blog oficial que, a esta escala, se enfrentan a personas con graves problemas de salud mental. Aunque el sistema cuenta con filtros para detectar conversaciones de riesgo y recomendar ayuda profesional, su eficacia ha demostrado ser inconsistente, especialmente en interacciones largas.
Deficiencias y riesgos
Un estudio de la organización RAND publicado en Psychiatric Services reveló que los chatbots de IA a veces entregan información peligrosa en consultas sobre suicidio. En preguntas de alto riesgo, ChatGPT tendía a derivar a líneas de apoyo, pero en escenarios de riesgo moderado llegó a ofrecer respuestas concretas que podían aumentar la vulnerabilidad del usuario.
El propio OpenAI reconoció que sus salvaguardas funcionan mejor en diálogos breves y que se debilitan en conversaciones extensas, algo que quedó en evidencia en el caso del adolescente Adam Raine, quien logró eludir los filtros de seguridad alegando que investigaba para un proyecto escolar.
Medidas anunciadas por OpenAI
Frente a esta situación, la compañía informó que está reforzando sus protocolos y que trabaja en una actualización de GPT-5 con mejoras en la gestión de crisis. Entre las medidas anunciadas destacan:
- Colaboración con más de 90 médicos y expertos en salud mental de 30 países.
- Un equipo especializado para responder a usuarios que planean dañar a otros, con posibilidad de suspender cuentas.
- Derivación de casos de amenaza inminente de daño físico a las autoridades, salvo en situaciones de autolesión para resguardar la privacidad.
- Reducción de más de un 25% en respuestas no ideales en emergencias de salud mental respecto a la versión anterior del modelo.
- Mejoras en las recomendaciones de “consulte a un profesional”, incluso en conversaciones prolongadas.
Además, los nuevos controles parentales permitirán que padres o tutores designen un contacto de emergencia en la aplicación, de modo que, en situaciones críticas, ChatGPT pueda conectar directamente a los adolescentes con alguien que intervenga.
Un giro en la política de OpenAI
Hasta ahora, el uso de ChatGPT estaba restringido a mayores de 13 años, con consentimiento de un adulto hasta los 18, según la legislación de cada país. OpenAI argumentaba que la supervisión debía recaer en los padres, pero la presión pública y casos como el de la familia Raine obligaron a la empresa a revisar su estrategia de seguridad. Quizás esta es una buena oportunidad para subir algunos estándares.
