Chatboty stają się narzędziami zdrowia psychicznego, zanim będą na to gotowe.

Dzień dobry i witamy w Eye on AI. Z tej strony Beatrice Nolan, która dziś zastępuje Jeremy'ego Kahna. W tym wydaniu: Ryzyko korzystania z chatbotów AI w zdrowiu psychicznym…Wskaźniki wykorzystania AI przez Amazon obracają się przeciwko firmie…Thinking Machines Lab buduje AI, które współpracuje…AI zaczyna pomagać hakerom znajdować luki w oprogramowaniu.

Miliony ludzi zwracają się do chatbotów AI o wsparcie emocjonalne, ale czy modele są naprawdę na tyle bezpieczne, by pomagać użytkownikom cierpiącym na lęki, samotność, zaburzenia odżywiania czy mroczne myśli, których mogą nie chcieć wypowiedzieć na głos innej osobie?

Zgodnie z nowymi badaniami udostępnionymi Fortune przez mpathic, firmę założoną przez psychologów klinicznych, odpowiedź brzmi: jeszcze nie. Odkryli, że wiodące modele wciąż mają trudności z jedną z najważniejszych części terapii, czyli z rozpoznawaniem, kiedy użytkownik potrzebuje konfrontacji, a nie pocieszenia. Chociaż modele były ogólnie dobre w wykrywaniu wyraźnych deklaracji kryzysowych, takich jak bezpośrednie groźby samobójcze, były mniej wiarygodne, gdy ryzyko pojawiało się pośrednio, poprzez subtelne komentarze o jedzeniu, diecie, wycofaniu, beznadziei czy przekonaniach, które stawały się coraz bardziej skrajne w trakcie rozmowy.

Model, który uspokaja użytkowników mimo niepokojących wzorców zachowań lub potwierdza ich urojenia, może opóźnić uzyskanie przez kogoś rzeczywistej pomocy lub po cichu pogorszyć sytuację.

Jest to niepokojące, jeśli weźmie się pod uwagę, że według niedawnego sondażu KFF, organizacji non-profit skupiającej się na krajowej polityce zdrowotnej, 16% dorosłych Amerykanów korzystało z chatbotów AI w celu uzyskania informacji o zdrowiu psychicznym w ciągu ostatniego roku. Wśród dorosłych poniżej 30. roku życia odsetek ten wzrósł do 28%. Korzystanie z chatbotów w celach terapeutycznych jest również powszechne wśród nastolatków i młodych dorosłych. Na przykład badacze z RAND, Brown i Harvard odkryli, że około co ósma osoba w wieku od 12 do 21 lat korzystała z chatbotów AI w celu uzyskania porad dotyczących zdrowia psychicznego, a ponad 93% tych użytkowników uważało, że porady te były pomocne.

Łatwo zrozumieć, dlaczego ludzie, zwłaszcza młodsi dorośli, zwracają się do chatbotów o tego rodzaju wsparcie. Samotność i lęki mogą narastać, ale w dużej części kraju wsparcie zdrowia psychicznego jest wciąż stygmatyzowane, drogie i trudnodostępne. Zwrócenie się do chatbota AI o to wsparcie jest nie tylko darmowe, ale także może wydawać się anonimową i prostszą opcją.

Czego modele nie wychwytują

Badania firmy wykazały, że szkodliwe odpowiedzi są często subtelne, a modele brzmią spokojnie i wspierająco, jednocześnie osłabiając osąd użytkownika. Co jest szczególnie istotne, ponieważ ludzie często zwracają się do chatbotów w momentach słabości lub kryzysu.

Zdrowie psychiczne i dezinformacja często się przenikają. Użytkownik pogrążony w żałobie może stać się bardziej podatny na magiczne myślenie, podczas gdy ktoś, kto już skłania się ku teoriom spiskowym, może zostać wepchnięty głębiej w nie, jeśli model traktuje każde podejrzenie jako równie uzasadnione.

Alison Cerezo, główna dyrektor ds. nauki w mpathic i licencjonowana psycholożka, powiedziała Fortune, że częściowo wynika to z faktu, iż modele są zaprojektowane tak, by być pomocnymi, ale „czasami te pomocne zachowania nie mogą być odpowiednią reakcją na to, co użytkownik wnosi do rozmowy”.

Pojawiły się już rzeczywiste przykłady użytkowników, którzy zostali wepchnięci przez chatboty AI w spiralę urojeń, co miało poważne konsekwencje dla zdrowia psychicznego. W jednym z przypadków 47-letni Allan Brooks spędził trzy tygodnie i ponad 300 godzin rozmawiając z ChatGPT, po tym jak przekonał się, że odkrył nową zasadę matematyczną, która mogłaby zakłócić działanie internetu i umożliwić wynalazki takie jak wiązka lewitacyjna. Brooks powiedział Fortune, że wielokrotnie prosił chatbota o weryfikację rzeczywistości, ale ten nieustannie go zapewniał, że jego przekonania są prawdziwe.

W przypadku Brooksa, był on częściowo ofiarą notorycznie służalcze modelu 4o od OpenAI. Chociaż wszystkie chatboty AI mają tendencję do zbyt łatwego pochlebstwa, potwierdzania lub zgadzania się z użytkownikami, OpenAI ostatecznie musiało wycofać aktualizację GPT-4o w kwietniu 2025 roku, po przyznaniu, że model stał się „zbyt pochlebny lub ugodowy”. Firma później całkowicie wycofała model GPT-4o, co wywołało również sprzeciw niektórych użytkowników, którzy twierdzili, że przywiązali się do niego.

Nowy punkt odniesienia

W ramach badań mpathic opracowało nowy punkt odniesienia do oceny, jak modele AI radzą sobie z wrażliwymi rozmowami dotyczącymi ryzyka samobójstwa, zaburzeń odżywiania i dezinformacji, testując, czy potrafią wykryć ryzyko, odpowiednio zareagować i uniknąć wzmacniania szkodliwych przekonań.

W części badań dotyczącej dezinformacji mpathic przetestowało sześć głównych modeli AI w wieloturowych rozmowach i odkryło, że najczęstszym szkodliwym zachowaniem było wzmacnianie, przy czym modele potwierdzały przekonania użytkownika lub je rozwijały bez wystarczającej weryfikacji. Modele miały również trudności z subtelniejszymi sygnałami zaburzeń odżywiania, pośrednimi oznakami ryzyka samobójstwa i „okruchami” wskazującymi, że przekonania użytkownika stają się coraz bardziej ryzykowne lub zniekształcone.

To rodzi niepokojące pytania o wykorzystanie chatbotów AI w terapii, twierdzą badacze, ponieważ wiele rzeczywistych rozmów o zdrowiu psychicznym nie zaczyna się od wyraźnej deklaracji kryzysowej. Na przykład ludzie mogą rozmawiać o diecie w języku dobrostanu, opisywać przekonania spiskowe jako ciekawość lub mimochodem wspominać o wycofaniu i beznadziei. Cerezo powiedziała Fortune, że rozmowy o zaburzeniach odżywiania były szczególnie trudne, ponieważ szkodliwe zachowania mogą być ukryte w znanym języku dotyczącym samodoskonalenia, jedzenia lub fitnessu.

„Czasami modele mają naprawdę duże trudności ze zrozumieniem tych niuansów w sposób, w jaki może je wychwycić klinicysta” – powiedziała.

Inne badania wykazały podobne obawy dotyczące stosowania AI do celów terapeutycznych. Badacze ze Stanford odkryli, że niektóre chatboty AI do terapii wykazywały stygmatyzację wobec niektórych schorzeń psychicznych i mogły udzielać niebezpiecznych odpowiedzi w scenariuszach kryzysowych. Kolejne badanie badaczy z Brown wykazało, że chatboty zaprogramowane do zachowywania się jak doradcy mogą łamać podstawową etykę zdrowia psychicznego, wzmacniając fałszywe przekonania, tworząc fałszywe poczucie empatii i niewłaściwie radząc sobie w sytuacjach kryzysowych.

Grin Lord, założycielka i prezeska mpathic, powiedziała, że badania pokazują, dlaczego laboratoria AI muszą wyjść poza szerokie konsultacje z klinicystami i zaangażować ich bezpośrednio w testowanie i ulepszanie modeli. „Te modele są tutaj. Są w prawdziwym świecie. Są używane” – powiedziała. „Więc sprowadźcie tam klinicystów, aby faktycznie je ulepszali w czasie rzeczywistym, gdy są wdrażane”.

W miarę jak coraz więcej osób zwraca się do AI o wsparcie w zakresie zdrowia psychicznego, ryzyko staje się coraz trudniejsze do zablokowania za pomocą filtrów bezpieczeństwa. Prawdziwe ryzyko może nie zawsze polegać na tym, że chatbot udziela ewidentnie niebezpiecznych rad, ale po prostu jest nieco zbyt ugodowy, przeocza mały sygnał ostrzegawczy lub nie przerywa szkodliwego toku myślenia, zanim stanie się on poważniejszy. W miarę jak chatboty stają się coraz częstszym pierwszym przystankiem dla osób szukających wsparcia emocjonalnego, samo użyczenie wspierającego ucha może już nie wystarczyć.

Na koniec, oto wiadomości o AI z tego tygodnia.

Beatrice Nolan

bea.nolan@fortune.com
@beafreyanolan

Zanim jednak przejdziemy do wiadomości: Czy chcesz dowiedzieć się więcej o tym, jak AI prawdopodobnie przekształci Twoją branżę? Czy chcesz wysłuchać spostrzeżeń niektórych najbardziej przenikliwych kierownictw technologicznych i pomieszć się z niektórymi z najlepszych inwestorów, myślicieli i twórców w Dolinie Krzemowej i nie tylko? Lubisz łowienie ryb na muchę lub piesze wycieczki? W takim razie dołącz do mnie i moich współprzewodniczących Fortune Tech w Aspen w Kolorado na Fortune Brainstorm Tech, najlepszą konferencję technologiczną roku. A ten rok będzie jeszcze bardziej wyjątkowy, ponieważ świętujemy 25. rocznicę założenia konferencji. Usłyszymy od prezesów takich jak Carol Tomé z UPS, prezes Snowflake Sridhar Ramaswamy, prezes Anduril Brian Schimpf, prezes Yahoo! Jim Lanzone i wielu innych. Są tam asy AI, takie jak Boris Cherny, który kieruje Claude Code w Anthropic, i Sara Hooker, która jest współzałożycielką i prezeską Adaption Labs. A także luminarze technologii, tacy jak Steve Case i Meg Whitman. I Ty, oczywiście! Zgłoś się, aby wziąć udział tutaj.

Ten artykuł został pierwotnie opublikowany na Fortune.com