Los chatbots se están convirtiendo en herramientas de salud mental antes de estar preparados

Hola y bienvenidos a Eye on AI. Soy Beatrice Nolan, sustituyendo hoy a Jeremy Kahn. En esta edición: Los riesgos de usar chatbots de IA para la salud mental…Las métricas de uso de IA de Amazon están saliendo mal…Thinking Machines Lab está construyendo una IA que colabora…La IA está empezando a ayudar a los hackers a encontrar fallos de software.

Millones de personas recurren a los chatbots de IA en busca de apoyo emocional, pero ¿son realmente los modelos lo suficientemente seguros como para ayudar a usuarios que sufren ansiedad, soledad, trastornos alimentarios o pensamientos más oscuros que quizás no quieran decir en voz alta a otra persona?

Según una nueva investigación compartida con Fortune por mpathic, una empresa fundada por psicólogos clínicos, la respuesta es que aún no. Han descubierto que los modelos líderes todavía tienen dificultades con una de las partes más importantes de la terapia: saber cuándo un usuario necesita que le lleven la contraria en lugar de recibir consuelo. Aunque los modelos eran generalmente buenos detectando declaraciones de crisis claras, como amenazas directas de suicidio, eran menos fiables cuando el riesgo se manifestaba de forma indirecta, a través de comentarios sutiles sobre la comida, las dietas, el aislamiento, la desesperanza o creencias que se volvían más extremas a lo largo de una conversación.

Un modelo que calma a los usuarios a pesar de patrones de comportamiento preocupantes, o que valida delirios, podría retrasar a alguien a la hora de obtener ayuda real o empeorar las cosas silenciosamente.

Esto es preocupante si se tiene en cuenta que, según una encuesta reciente de KFF, una organización sin ánimo de lucro centrada en la política de salud nacional, el 16 % de los adultos estadounidenses había utilizado chatbots de IA para obtener información sobre salud mental en el último año. En los adultos menores de 30 años, esta cifra ascendió al 28 %. El uso de chatbots para la terapia también es prevalente entre adolescentes y adultos jóvenes. Por ejemplo, investigadores de RAND, Brown y Harvard descubrieron que aproximadamente una de cada ocho personas de entre 12 y 21 años había utilizado chatbots de IA para obtener consejos sobre salud mental, y más del 93 % de esos usuarios consideraba que los consejos eran útiles.

Es fácil entender por qué la gente, especialmente los adultos más jóvenes, recurre a los chatbots para este tipo de apoyo. La soledad y la ansiedad pueden estar aumentando, pero en gran parte del país, el apoyo a la salud mental sigue estando estigmatizado, es caro y de difícil acceso. Recurrir a un chatbot de IA para este apoyo no solo es gratuito, sino que también puede parecer una opción anónima y más sencilla.

Lo que los modelos pasan por alto

La investigación de la empresa descubrió que las respuestas perjudiciales suelen ser sutiles, con modelos que suenan calmados y de apoyo mientras debilitan el juicio del usuario. Esto es especialmente relevante porque la gente suele recurrir a los chatbots en momentos de vulnerabilidad o angustia.

La salud mental y la desinformación se superponen con frecuencia. Un usuario que está de duelo puede volverse más susceptible al pensamiento mágico, mientras que alguien que ya se inclina hacia una teoría de la conspiración puede verse empujado más profundamente hacia ella si un modelo trata cada sospecha como igualmente válida.

Alison Cerezo, directora científica de mpathic y psicóloga colegiada, declaró a Fortune que parte de esto se debe a que los modelos están diseñados para ser útiles, pero «a veces esos comportamientos útiles pueden no ser una respuesta adecuada a lo que el usuario está aportando en la conversación».

Ya ha habido ejemplos en el mundo real de usuarios empujados a espirales delirantes por chatbots de IA, con graves consecuencias para la salud mental. En un caso, Allan Brooks, de 47 años, pasó tres semanas y más de 300 horas hablando con ChatGPT después de convencerse de que había descubierto un nuevo principio matemático que podría interrumpir internet y permitir inventos como un rayo de levitación. Brooks contó a Fortune que le pidió repetidamente al chatbot que le contrastara la realidad, pero este le aseguró continuamente que sus creencias eran reales.

En el caso de Brooks, fue en parte víctima del notoriamente servil modelo 4o de OpenAI. Aunque todos los chatbots de IA tienen tendencia a halagar, validar o estar de acuerdo con los usuarios con demasiada facilidad, OpenAI tuvo que revertir finalmente una actualización de GPT-4o en abril de 2025 tras reconocer que el modelo se había vuelto «demasiado halagador o complaciente». La empresa retiró posteriormente el modelo GPT-4o por completo, lo que también provocó la reacción negativa de algunos usuarios que afirmaban haber formado un profundo apego a él.

Un nuevo punto de referencia

Como parte de la investigación, mpathic ha desarrollado un nuevo punto de referencia para evaluar cómo los modelos de IA manejan conversaciones sensibles sobre riesgo de suicidio, trastornos alimentarios y desinformación, probando si pueden detectar el riesgo, responder adecuadamente y evitar reforzar creencias perjudiciales.

En la parte de la investigación sobre desinformación, mpathic probó seis modelos principales de IA en conversaciones de múltiples turnos y descubrió que el comportamiento perjudicial más común era el refuerzo, con modelos que validaban o se basaban en la creencia de un usuario sin el suficiente escrutinio. Los modelos también tuvieron dificultades con señales más sutiles de trastornos alimentarios, signos indirectos de riesgo de suicidio y «migajas de pan» que indicaban que la creencia de un usuario se estaba volviendo más arriesgada o distorsionada.

Esto plantea preguntas preocupantes sobre el uso de chatbots de IA para la terapia, según los investigadores, ya que muchas conversaciones reales sobre salud mental no comienzan con una declaración de crisis clara. Por ejemplo, la gente puede hablar de dietas en el lenguaje del bienestar, describir las creencias conspiranoicas como curiosidad o mencionar el aislamiento y la desesperanza de pasada. Cerezo dijo a Fortune que las conversaciones sobre trastornos alimentarios eran especialmente difíciles porque el comportamiento perjudicial puede estar envuelto en un lenguaje familiar sobre la autosuperación, la comida o el fitness.

«A veces los modelos pueden tener verdaderas dificultades para entender más esos matices de una manera que un clínico puede captar», dijo.

Otros estudios han encontrado preocupaciones similares con el uso de la IA para fines terapéuticos. Investigadores de Stanford descubrieron que algunos chatbots de terapia con IA mostraban estigma hacia ciertas afecciones de salud mental y podían dar respuestas peligrosas en escenarios de crisis. Otro estudio de investigadores de Brown descubrió que los chatbots a los que se les pedía que actuaran como consejeros podían violar la ética básica de la salud mental al reforzar creencias falsas, crear una falsa sensación de empatía y manejar mal las situaciones de crisis.

Grin Lord, fundadora y directora ejecutiva de mpathic, dijo que la investigación mostraba por qué los laboratorios de IA necesitaban ir más allá de la amplia consulta con los clínicos e integrarlos directamente en las pruebas y la mejora de los modelos. «Estos modelos están aquí. Están en el mundo real. Se están utilizando», dijo. «Así que metan a los clínicos ahí para mejorarlos realmente en tiempo real mientras se despliegan».

A medida que más personas recurren a la IA para obtener apoyo en salud mental, los riesgos son cada vez más difíciles de bloquear con filtros de seguridad. El riesgo real puede no ser siempre un chatbot que dé consejos obviamente peligrosos, sino simplemente ser un poco demasiado complaciente, pasar por alto una pequeña señal de advertencia o no interrumpir un tren de pensamiento perjudicial antes de que se vuelva más grave. A medida que los chatbots se convierten en una primera parada más frecuente para las personas que buscan apoyo emocional, simplemente prestar un oído comprensivo puede que ya no sea suficiente.

Con esto, pasamos a las noticias de IA de esta semana.

Beatrice Nolan

bea.nolan@fortune.com
@beafreyanolan

Pero antes de pasar a las noticias: ¿Quieres saber más sobre cómo es probable que la IA transforme tu industria? ¿Quieres escuchar las perspectivas de algunos de los ejecutivos más astutos de la tecnología y codearte con algunos de los mejores inversores, pensadores y creadores de Silicon Valley y más allá? ¿Te gusta la pesca con mosca o el senderismo? Pues entonces ven y únete a mí y a mis copresidentes de Fortune Tech en Aspen, Colorado, para Fortune Brainstorm Tech, la mejor conferencia de tecnología del año. Y este año será aún más especial porque celebramos el 25º aniversario de la fundación de la conferencia. Escucharemos a directores ejecutivos como Carol Tomé de UPS, el CEO de Snowflake Sridhar Ramaswamy, el CEO de Anduril Brian Schimpf, el CEO de Yahoo! Jim Lanzone, y muchos más. Hay ases de la IA como Boris Cherny, que dirige Claude Code en Anthropic, y Sara Hooker, que es cofundadora y CEO de Adaption Labs. Y hay luminarias de la tecnología como Steve Case y Meg Whitman. ¡Y tú, por supuesto! Solicita tu asistencia aquí.

Esta historia se publicó originalmente en Fortune.com