MoPHES: что маленькая модель показала в тесте диалогов

Модель с 500 миллионами параметров получила 41,32 по ROUGE-1 против 40,04 у GPT-4.1 в тесте диалогов психологического консультирования. Для компактной модели результат полезный. Только измеряет он совпадение с эталонными репликами, а насколько разговор помог человеку, этот тест не показывает.

Цифры взяты из препринта Wei, Zhou и Wang о MoPHES, версия 1, опубликованного в октябре 2025 года. Если посмотреть на другие показатели, картина меняется: по автоматическим оценкам качества ответов лидировала GPT-4.1, а PsyChat тоже оказалась выше MoPHES.

Как устроена MoPHES

MoPHES расшифровывается как Mobile Psychological Health Evaluation and Support. В системе две дообученные модели MiniCPM4-0.5B: одна оценивает метки психологического состояния, другая ведёт разговор. Авторы также показали запуск моделей на мобильных устройствах.

Обучающие данные собрали из китайскоязычных PsyQA и EmoLLM. После фильтрации и удаления дублей из 113 552 пар "вопрос-ответ" осталось 34 827 одноходовых пар. С помощью GPT-4o-mini их развернули в пятиходовые диалоги и снова отфильтровали, осталось 34 381. Получились сгенерированные разговоры на основе исходных вопросов и ответов, записей реальных терапевтических сессий в этом корпусе нет.

Для проверки диалоговой модели взяли 100 примеров по пяти тематическим категориям. Использовали два способа передавать историю. В стратегии label предыдущие ответы брали из эталонного диалога. В стратегии output модель получала собственные предыдущие ответы. Второй режим ближе к продолжающемуся разговору, где неудачная ранняя реплика влияет на следующие.

По разным метрикам лидеры разные

В таблице VII MoPHES получила 41,32 по ROUGE-1, а GPT-4.1 получила 40,04 в стратегии label. ROUGE-1 считает совпадение отдельных слов с эталонным ответом. Больший балл означает больше лексических совпадений, лечебный эффект по нему оценить нельзя.

В таблице VIII проверяли другое. GPT-4.1 автоматически выставляла оценки по критериям понимания, эмпатии, профессиональных знаний, полезности и безопасности. В статье эти измерения названы "manual", но оценщиком была языковая модель (это место легко прочитать неправильно).

По этой сумме MoPHES заняла второе место среди протестированных некоммерческих моделей, после PsyChat. Для своего размера она выступила хорошо. Вывод, что она обошла все крупные модели по качеству консультирования, из таблицы не получается.

У DeepSeek-R1-7B были особенно низкие BLEU и ROUGE. Авторы предполагают, что избыточные рассуждения приводили к слишком длинным ответам. Это объяснение результата конкретного теста. Объявлять на его основе все рассуждающие модели непригодными для психологической поддержки было бы лишним.

Чем полезен компактный вариант

Практический результат работы в том, что специализированная модель на 0,5B параметров может запускаться локально и конкурировать по отдельным метрикам диалога. Для обучения использовали один GPU A100. Поэтому работа интересна разработчикам, которые изучают небольшие модели и вычисления на устройстве.

Локальный запуск позволяет обрабатывать сообщения на телефоне. А фактическая работа приложения с данными зависит ещё от хранения, телеметрии и подключённых сервисов. Размер модели этот вопрос не закрывает.

Следующая задача исследования понятна: проверить, сохраняется ли польза за пределами тестового набора, когда системой пользуются люди на протяжении времени. В работе MoPHES есть китайскоязычные данные и автоматические оценки, клинического испытания исходов самой системы нет. Другой дизайн разобран в материале об испытании Therabot.

Назначение и возможности "Рядом" описаны на странице фактов. Это сервис эмоциональной поддержки и самопомощи; результаты MoPHES не устанавливают устройство или эффективность "Рядом".

Часто задаваемые вопросы

MoPHES действительно обошла GPT-4.1?

По ROUGE-1 при эталонной истории диалога да: 41,32 против 40,04. По автоматической суммарной оценке ответа в том же режиме выше GPT-4.1: 8,685 против 7,204.

Ответы оценивали эксперты?

Оценки таблицы VIII выставляла GPT-4.1 по рубрике авторов. Это не оценки группы специалистов и не результаты помощи пациентам.

MoPHES обучалась на реальных терапевтических диалогах?

Исходником были китайские пары вопросов и ответов. После фильтрации 34 827 одноходовых пар развернули с помощью GPT-4o-mini и снова проверили. Финальный корпус составил 34 381 пятиходовой диалог. Назвать их реальными терапевтическими сессиями было бы ошибкой.

Это вычислительная психиатрия?

Области могут пересекаться, но языковая модель для генерации ответов консультанта не становится автоматически моделью психического расстройства. Разницу объясняет обзор вычислительной психиатрии, а разговорную поддержку разбирает статья о ChatGPT.