Скриптовые чатботы и LLM при депрессии: что показал мета-анализ 2025 года

Мета-анализ Du и коллег 2025 года не установил, что скриптовые чатботы лучше LLM при депрессии. У скриптовых систем нашли небольшой статистически значимый эффект, у LLM оценка оказалась неопределённой. А сравнение между самими типами чатботов значимого различия не показало.

Именно на этом месте легко ошибиться. Значимый результат в одной подгруппе и незначимый в другой ещё не означают, что подгруппы различаются между собой. В статье JMIR приведены оба анализа, а в полном PDF можно проверить межгрупповое сравнение.

Что измерял мета-анализ

Авторы включили 15 исследований 2020–2025 годов: 13 рандомизированных испытаний и два квазиэксперимента. Девять работ оценивали скриптовые системы, шесть изучали LLM. В анализ депрессивных симптомов вошли восемь скриптовых работ и три LLM-исследования, поэтому число работ для разных исходов различается.

Hedges' g показывает стандартизированный размер эффекта. Это не процент людей, которым стало лучше. Для депрессивных симптомов получили следующие оценки.

У скриптовых систем интервал не включает ноль. У LLM он гораздо шире и ноль включает, то есть оценка остаётся неточной. Делать из этого вывод "LLM не работают" оснований нет.

Межгрупповая модель авторов дала разницу −0,095 с 95% интервалом от −0,754 до 0,565. Этот интервал тоже включает ноль. Значение взято из опубликованного сравнения; простым вычитанием двух оценок из таблицы его не получить.

Почему победителя здесь нет

Три исследования LLM дают меньше определённости, чем большая воспроизведённая база данных. Но малое число работ не делает статистическую значимость невозможной и само по себе не занижает оценку эффекта. Здесь проблема видна прямо в широком интервале.

За названием типа чатбота стоят разные способы работы. Скриптовая система может идти по заранее заданной последовательности, LLM может следовать подробному протоколу или вести свободный разговор. Контроль тоже различался: отсутствие вмешательства, материалы самопомощи, поддержка человека. Из общей метки "LLM" нельзя понять, какая именно особенность повлияла на результат.

Структуру протокола имеет смысл изучать. Но этот обзор не установил, что именно она объясняет различия оценок. Формула "структура против хаоса" звучит уверенно, а отдельного теста такого объяснения здесь нет.

Контекст других исследований

В систематическом обзоре Li и коллег 2023 года было 35 исследований и 17 123 участника. Количественный мета-анализ использовал 15 рандомизированных испытаний с 1744 участниками. Объединённый эффект для депрессивных симптомов составил g=0,644 (95% интервал от 0,17 до 1,12).

Сравнение generative и retrieval-based систем с g=1,244 и 0,523 относилось к психологическому дистрессу. Это другой исход и другая классификация, а пять генеративных систем использовали разные технологии. Читать эти цифры как "современные LLM в 2,4 раза лучше при депрессии" было бы неверно.

Испытание Therabot, опубликованное Heinz и коллегами в 2025 году, отвечает на вопрос об одной конкретной системе. В методах описаны Falcon-7B и LLaMA-2-70B, а не GPT-4. Снижение на 51% относится к среднему PHQ-9 внутри группы приложения к восьмой неделе от исходного уровня. В первичной работе Therabot сравнивали с листом ожидания; скриптовые боты и психотерапевт контролем не были.

Эти результаты можно рассматривать вместе, не объявляя победителя. В обзоре мета-анализов собраны более широкие данные, а разбор КПТ-чатботов сравнивает конкретные исследовательские дизайны.

Ограничения обзора Du

Данных по LLM и депрессивным симптомам мало. Ширина интервала здесь полезнее ярлыка "значимо / незначимо". У работ различаются сроки наблюдения и контрольные условия, а общий результат относится к изученным вмешательствам и участникам, а не ко всем приложениям той же категории.

Обзор не выделяет причинный вклад промптов, памяти или мультиагентного устройства. Для этого нужно сравнение, в котором меняется нужный компонент, а остальные условия остаются сопоставимыми.

Что проверять в доказательствах приложения

Начать стоит с названия продукта, состава участников и измеренного исхода. Технический тест и клиническое испытание отвечают на разные вопросы. Это касается и сравнения небольших моделей: лучший результат на тестовом наборе ещё не устанавливает лучший результат помощи человеку.

"Рядом" предназначен для эмоциональной поддержки и саморефлексии, профессиональное лечение он не заменяет. Эти обзоры не испытывают "Рядом"; страница фактов описывает возможности самого продукта.

Часто задаваемые вопросы

Обычные чатботы помогают при депрессии лучше LLM?

Мета-анализ Du этого не установил. У скриптовой подгруппы был небольшой значимый эффект, оценка LLM осталась неопределённой, а сравнение типов значимого различия не показало.

Что показал обзор для тревоги?

Ни один подгрупповой результат не достиг значимости. Для скриптовых систем g=0,147 (95% интервал от −0,073 до 0,367), для LLM g=0,711 (от −0,334 до 1,760). Большая точечная оценка сама по себе превосходства не доказывает.

Структурированный протокол гарантирует лучший результат?

Такого вывода из обзора нет. Структуру можно описывать и проверять, но её вклад в клинические исходы требует подходящего сравнения.

Источники

• Du et al. (2025), The efficacy of rule-based versus large language model-based chatbots in alleviating symptoms of depression and anxiety.
• Li et al. (2023), Systematic review and meta-analysis of AI-based conversational agents.
• Heinz et al. (2025), Randomized trial of a generative AI chatbot for mental health treatment.