ИИ-модели провалили помощь при психозах

Исследование, обсуждаемое на Reddit, показало: большие языковые модели распознают признаки кризиса психического здоровья, но не оказывают реальной помощи. То есть модель может понять, что пользователь в опасности, однако её ответы не приводят к нужному результату.

По данным авторов работы, проблема не в неспособности выявить угрозу, а в разрыве между распознаванием и действием. Модели фиксируют сигналы риска, но не переводят их в конкретные рекомендации или шаги по поддержке.

Это особенно критично, поскольку чат-боты всё чаще используются как первый канал обращения за психологической поддержкой. Пользователи могут воспринимать ответы ИИ как совет, даже если модель не предназначена для терапии.

Результаты указывают на необходимость доработки систем безопасности и протоколов реагирования на кризисные ситуации. Простого распознавания опасности недостаточно — нужны проверенные сценарии действий и перенаправление к специалистам.

Тема затрагивает и регулирование: в ряде юрисдикций обсуждают требования к ИИ в чувствительных сферах, включая психическое здоровье. Пока единых стандартов для таких случаев нет.