Therabot: что означает снижение симптомов депрессии на 51%
Снижение симптомов на 51% у Therabot стоит читать вместе со сроком и шкалой. К восьмой неделе средний балл депрессивных симптомов в группе приложения снизился примерно наполовину от исходного. Улучшение было больше, чем в контрольной группе. Но сами 51% описывают изменение внутри группы.
Heinz и коллеги опубликовали рандомизированное испытание в NEJM AI в 2025 году. В полном тексте, таблицах 1 и 2 можно проверить и расчёт, и то, какую помощь получали участники.
Испытание в цифрах
В исследование включили 210 взрослых из США с клинически значимыми симптомами депрессии или генерализованной тревоги либо с высоким риском расстройств пищевого поведения. Отбор шёл по скрининговым опросникам. Отдельная диагностическая оценка условием включения не была, а один человек мог соответствовать нескольким симптомным группам.
106 участников получили Therabot, 104 попали в лист ожидания. Первые четыре недели приложение ежедневно предлагало начать разговор, затем напоминания убрали, но доступ оставили до восьмой недели. Контрольная группа получила приложение после завершения исследования. При этом часть людей в обеих группах уже принимала лекарства или проходила психотерапию (таблица 2).
Ниже показано изменение от начала исследования до восьмой недели. В столбцах N сначала указано исходное число участников для соответствующей шкалы, затем число к восьмой неделе. Минус означает снижение балла.
| Шкала | Therabot N, начало / неделя 8 | Контроль N, начало / неделя 8 | Изменение с Therabot | Изменение в контроле |
|---|---|---|---|---|
| Депрессивные симптомы, PHQ-9 | 73 / 70 | 69 / 69 | −7,93 балла | −4,22 балла |
| Тревожные симптомы, GAD-Q-IV | 60 / 52 | 56 / 56 | −3,18 балла | −1,11 балла |
| Озабоченность весом, WCS | 42 / 42 | 47 / 47 | −10,23 балла | −3,70 балла |
Если разделить изменения в группе Therabot на исходные средние, получатся примерно 51% для PHQ-9 (7,93 / 15,63), 31% для GAD-Q-IV (3,18 / 10,43) и 19% для WCS (10,23 / 54,13). Это расчёт по таблице 1 с округлением до целого процента. Он не показывает долю выздоровевших участников.
К четвёртой неделе PHQ-9 снизился на 6,13 балла с Therabot и на 2,63 в контроле. Рассчитанные авторами межгрупповые размеры эффекта для депрессии составили d=0,845 на четвёртой неделе и 0,903 на восьмой. Для тревоги значения были 0,840 и 0,794, для озабоченности весом 0,819 и 0,627. Поэтому диапазоны в кратком описании относятся к двум срокам измерения, а не к доверительным интервалам.
Почему это испытание важно
Исследователи случайно распределяли людей по группам и сравнивали изменения симптомов. Такой дизайн даёт больше оснований для вывода об эффекте, чем наблюдение за теми, кто сам выбрал приложение и остался им доволен. Therabot показал большее улучшение по сравнению с листом ожидания на обоих сроках.
У системы была конкретная реализация. В методах описаны дообученные Falcon-7B и LLaMA-2-70B и подготовленные экспертами диалоги. В среднем участники общались с приложением больше шести часов. Оценка альянса около 3,6 по WAI-SR говорит о восприятии этого общения; равенство с психотерапией из неё не следует.
Надзор людей тоже был частью эксперимента. Клиницисты и исследователи проверяли ответы после отправки, а при необходимости связывались с участником и давали исправление или рекомендации. То есть участник сначала видел ответ модели, затем его проверял человек.
Что позволяет сказать контрольная группа
Помощь в контроле не исчезала: люди могли продолжать обычное лечение, но доступа к Therabot у них не было. Исследование оценивает дополнительный эффект приложения именно при таких условиях, и сравнения с психотерапевтом либо другим чатботом в нём нет.
Сопоставить d с цифрой из чужого испытания можно, объявлять победителя по такому сопоставлению уже нельзя. Различаются участники, шкалы и условия контроля. Для вывода о равной эффективности с очной терапией нужно прямое сравнение.
И ещё одна деталь, которую легко пропустить. К восьмой неделе люди всё ещё могли пользоваться Therabot. Долговременный результат после прекращения доступа здесь не измеряли.
Как это связано с мета-анализами
Один эксперимент отвечает на вопрос о конкретной системе. Обзор нескольких работ описывает более широкий набор вмешательств, часто с разными условиями. В нашем разборе мета-анализов чатботов собраны объединённые данные, а обзор КПТ-чатботов разделяет клинические исходы, выполнимость и технические оценки. При сравнении результатов стоит начать с выборки и контроля.
Часто задаваемые вопросы
Что означает снижение на 51%?
Средний PHQ-9 в группе Therabot снизился с 15,63 до 7,70 к восьмой неделе. Изменение на 7,93 балла составляет около 51% исходного среднего. В контроле снижение за тот же срок составило 4,22 балла.
Контрольная группа совсем не получала помощи?
У неё не было доступа к Therabot. Некоторые участники продолжали принимать лекарства или проходить психотерапию, поэтому описание "без какой-либо помощи" неверно.
Therabot оказался так же эффективен, как психотерапевт?
Прямого сравнения не было. Контролем служил лист ожидания; сходные размеры эффекта или оценки альянса из отдельных исследований равную эффективность не устанавливают.
"Рядом" предназначен для эмоциональной поддержки и саморефлексии. Испытание Therabot не оценивает его эффективность; возможности продукта описаны на странице фактов. Приложение не заменяет профессиональное лечение.