En un giro inquietante que ha reactivado el debate sobre la privacidad digital y los límites de la moderación algorítmica, OpenAI ha revelado que está escaneando las conversaciones de sus usuarios en ChatGPT con miras a detectar contenido potencialmente peligroso, y que, bajo ciertas circunstancias, podría incluso derivar la información a la policía.
En una reciente entrada de blog, OpenAI reconoce su responsabilidad en casos de crisis de salud mental provocadas por su tecnología, al tiempo que anuncia que ahora monitorea mensajes en busca de indicadores de planificación de daño hacia terceros. Dichas conversaciones son activadas a “canales especializados” donde personal humano —capacitado según las políticas de uso— evalúa la situación y puede interrumpir el servicio o, en casos de amenaza física inminente, notificar a las fuerzas del orden.
Este cambio llega tras una serie de incidentes donde ChatGPT, con su tono persuasivo y humano, habría contribuido a estados psicóticos, delirios, hospitalizaciones, autolesiones e incluso suicidios. Algunos observadores hablaron incluso de una “psicosis de IA”. Estas situaciones han impulsado reclamos por una mayor protección frente a los daños que la inteligencia artificial puede causar en personas vulnerables.
Sin embargo, OpenAI también aclara que, por ahora, los casos relacionados con autolesiones o conductas suicidas no se derivan a la policía, citando el respeto a la privacidad del usuario en contextos particularmente sensibles. Eso sí, la compañía no define con precisión qué tipo de expresiones o señales son suficientes para activar esta revisión humana ni bajo qué criterios exactos se decide involucrar a la policía, algo que deja más preguntas que respuestas.
Este anuncio genera disonancia con el discurso usual de OpenAI sobre la privacidad. La empresa ha defendido con vehemencia el carácter confidencial de los chats, incluso enfrentándose a demandas —como las del New York Times— que buscaban acceder a los registros generados durante las conversaciones. Ahora parece que esa confidencialidad es más condicional de lo que se suponía.
El escenario es especialmente delicado: ¿cómo equilibrar la necesidad de proteger vidas —cuando se trata de planear daños graves— con la obligación de preservar la privacidad, especialmente en contextos donde una intervención como la policía podría empeorar la situación, tal como ocurre con intervenciones de bienestar de salud mental?.
El silencio sobre los criterios exactos y el alcance real de esta medida deja en manos del usuario una incertidumbre preocupante. ¿Dónde están los límites? ¿Qué condiciones disparan esta respuesta? OpenAI, que ha solicitado más transparencia en otros contextos —como su transición de organización sin fines de lucro a entidad lucrativa— parece ahora escurrirse de brindar claridad cuando se trata de sus propios protocolos interna.
Abre un paréntesis en tus rutinas. Suscríbete a nuestra newsletter y ponte al día en tecnología, IA y medios de comunicación.
