Пять КПТ-чатботов: устройство и результаты исследований
Пять КПТ-чатботов дают пять полезных примеров того, как можно устроить диалог. Но исследования у них разные. SuDoSys оценивали на симулированных клиентах и студентах в роли клиентов, CRBot обсуждали специалисты после реальных разговоров, Socrates 2.0 проверяли на протяжении четырёх недель. Чатбот поведенческой активации общался с искусственными пользователями, а GPT-4 для решения проблем сравнивали по впечатлению сразу после короткого разговора.
Свести всё это к пяти клиническим испытаниям эффективности было бы слишком удобно. Гораздо полезнее посмотреть, что проверяли, с кем и каким способом.
Результаты по симптомам из рандомизированных испытаний собраны в мета-анализе ИИ-чатботов и сравнении сценарных систем с LLM. Здесь разбираем отдельные системы. О том, как устроено упражнение с автоматической мыслью, можно прочитать на странице КПТ онлайн.
Что позволяет узнать каждая оценка
У КПТ есть задачи, которые можно описать по шагам: проверить мысль, спланировать занятие или разобрать текущую проблему. Поэтому устройство разговора проще задать и проверить. При этом соблюдение шагов и улучшение состояния остаются разными результатами.
| Система | Дизайн и участники | Что измерили | Чего этот дизайн не проверяет |
|---|---|---|---|
| SuDoSys, Chen et al. (2024) | 148 симулированных клиентов; отдельно 20 студентов в роли клиентов | Связность, профессионализм, эмпатия и естественность ответов; небольшое преимущество по связности перед системами сравнения | Улучшение симптомов у людей, получающих помощь |
| CRBot, Wang et al. (2025) | 19 пользователей; логи оценивали четыре специалиста | Сильные и слабые стороны когнитивной реструктуризации, включая наводящие вопросы и упрощённые советы | Эффект на симптомы в контролируемом сравнении |
| Socrates 2.0, Held et al. (2025) | 61 взрослый, четыре недели, исследование выполнимости без контрольной группы | Высокая приемлемость и выполнимость; небольшие изменения симптомов до и после; отзывы о повторениях и глубине разговора | Вызвала ли система наблюдаемые изменения симптомов |
| BA-чатбот, Kuhlmeier et al. (2025) | Искусственные пользователи с разными профилями; диалоги оценивали клинические эксперты | Структура сессии и выполнение техники; проблемы с реалистичностью планов и проработкой препятствий | Пользу для реальных людей с депрессией |
| PST-чатбот на GPT-4, Mo et al. (2025) | 100 взрослых, случайное распределение по 50 человек; 5–9 обменов репликами | Более высокие оценки понимания и решения проблемы, чем у GPT-4 с минимальным промптом, без значимого различия по качеству отношений | Устойчивое улучшение симптомов или длительное использование |
SuDoSys и CRBot решают разные задачи
SuDoSys использует рекомендации ВОЗ Problem Management Plus (PM+), чтобы разделить разговор на этапы. Генератор инструкций задаёт текущую задачу, а база тем сохраняет нужную информацию.
Механизм перехода заслуживает внимания. LLM выдаёт значение статуса c, затем контроллер обновляет этап по правилу s := s + c. Контроллер выполняет переход, но решение о нём зависит от ответа модели. Структура у диалога есть, влияние модели на ход разговора тоже остаётся.
В автоматической оценке GPT-4 выставлял баллы диалогам со 148 симулированными клиентами. Отдельно 20 студентов брали на себя заданные роли и оценивали общение. Авторы нашли небольшое преимущество по связности при сопоставимых остальных оценках. Доказательства эффективности PM+ при работе с человеком не переносятся автоматически на его чатбот-версию.
CRBot сосредоточен на когнитивной реструктуризации: помогает разобрать автоматическую мысль и рассмотреть альтернативы. С ним общались 19 пользователей, а четыре специалиста затем изучили логи.
Они увидели естественный разговор и полезные сократические вопросы. Но нашли и наводящие формулировки, оценочные суждения, слишком упрощённые советы. Вопрос может выглядеть открытым и при этом подталкивать к заранее выбранному ответу. Вот конкретная проблема, которую это исследование помогает заметить.
Socrates 2.0 проверяли четыре недели
Socrates 2.0 сочетает разговорного агента с агентами, которые следят за диалогом и изменением убеждений. Задача системы состоит в когнитивной переоценке через сократические вопросы.
61 участник мог пользоваться системой по желанию в течение четырёх недель, в среднем получилось 6,70 разговора на человека. Оценки выполнимости и приемлемости были высокими. Участники сообщили о небольших изменениях симптомов депрессии, социальной тревожности, ОКР и посттравматического стресса, но контрольной группы не было, поэтому отделить вклад системы от других причин нельзя.
Отзывы полезны и сами по себе. Одни участники ценили доступный в любой момент разговор без осуждения, другие жаловались на повторяющиеся вопросы и ограниченную глубину. Это материал для улучшения хода беседы. Приписывать Socrates 2.0 тот же набор проблем, который специалисты нашли у CRBot, по этим данным нельзя.
Планирование занятий и решение проблем
Чатбот поведенческой активации Kuhlmeier и коллег помогает выбирать занятия с учётом ценностей и доступных сил. В цитируемом препринте 2025 года ответы давали искусственные пользователи, а получившиеся диалоги оценивали клинические эксперты.
Они отметили полезное выполнение протокола и неоднородную работу с планами и препятствиями. Предложить занятие мало, если план не учитывает исходное состояние человека или оставляет практические сложности без обсуждения. Такой эксперимент проверяет ответы на заданные профили. Изменение состояния молодых людей с депрессией в нём не измеряли.
PST-чатбот Mo и коллег использует GPT-4 для терапии решения проблем: определить текущую задачу, рассмотреть варианты и спланировать следующий шаг. Сто взрослых от 18 до 35 лет, перенёсших COVID-19, случайно распределили между специализированным чатботом и GPT-4 с минимальным промптом.
После 5–9 обменов репликами участники заполняли анкету пользовательского опыта. Специализированная версия получила более высокие оценки понимания и решения проблемы, а значимого различия по качеству отношений не было. Случайное распределение усиливает это сравнение, но измеряли впечатление после короткого разговора. Людей с историей психических расстройств или выраженными симптомами по скринингу в исследование не включали.
Что взять из этих решений
Проверять нужно именно то поведение, которое обещает система. У стадийного чатбота это переходы. У помощника для разбора мыслей нужно смотреть, оставляют ли вопросы место собственной интерпретации пользователя. У планировщика занятий важны выполнимость плана и работа с препятствиями.
Это проектные рекомендации по прочитанным исследованиям. Все пять работ не проверяли одну общую спецификацию. Возможные способы организовать такую работу разбираем в материалах о промпт-инженерии и MIND-SAFE.
Назначение и возможности "Рядом" описаны на странице фактов. Сервис предлагает эмоциональную поддержку и самопомощь; результаты чужих исследовательских систем не устанавливают его лечебную эффективность.
Часто задаваемые вопросы
Все пять чатботов проверяли на клиническую эффективность?
Нет. Здесь есть симуляции и экспертный разбор, оценка выполнимости без контроля и рандомизированное сравнение впечатлений. Каждый дизайн даёт свой вид данных, они перечислены в таблице выше.
SuDoSys управляет переходами независимо от LLM?
Контроллер обновляет этап, но использует статус перехода, который выдаёт LLM. Модель по-прежнему влияет на ход разговора.
Почему наводящие вопросы мешают разбору мысли?
Они могут подталкивать человека к готовой интерпретации вместо проверки собственных аргументов. Специалисты, изучавшие CRBot, отмечали наводящие вопросы и оценочные формулировки как конкретные проблемы для исправления.
Как проверить пользу для симптомов?
Нужно исследование конкретной системы с подходящими шкалами, наблюдением во времени и группой сравнения. Качество диалога и удобство использования объясняют опыт пользователя, но отвечают на другой вопрос.