DSM5AgentFlow: как ИИ разбирает диагнозы в синтетическом тесте
DSM5AgentFlow проверяет, может ли языковая модель сопоставить симулированное интервью с критериями DSM-5 и показать основания своего вывода. В работе Ozgun и коллег все 8 000 разговоров терапевта с клиентом сгенерированы ИИ. Результаты относятся к этому синтетическому тесту, точность диагностики на реальных пациентах здесь не измеряли.
Авторы сообщили для Qwen-QWQ общую accuracy 70% и F1 77%. F1 некоторых отдельных классов превысил 93%. Это разные показатели, поэтому обещание "точности 94%" в заголовке меняет смысл результата.
Как работают три агента
Агент-терапевт превращает вопросы DSM-5 Level-1 Cross-Cutting Symptom Measure в разговорные формулировки. Опросник содержит 23 вопроса по 13 областям симптомов. Агент-клиент отвечает по заранее заданному профилю, где для эксперимента указаны симптомы и демографические характеристики.
Агент-диагност обрабатывает полученный текст. Он извлекает подходящие фрагменты DSM-5, предсказывает метку расстройства и составляет отчёт с обоснованием и предложениями по лечению. Набор охватывает 10 основных категорий расстройств, для каждой из четырёх проверенных языковых моделей создали по 2 000 разговоров.
Так можно сравнивать ответы с известными метками профилей. Но обе стороны разговора генерирует ИИ. Авторы создавали диалог за один проход, то есть реальную адаптацию вопроса к меняющемуся ответу человека этот дизайн не проверяет.
Роли агентов разделены. Улучшает ли это конкретную работающую систему, нужно выяснять сравнением её результатов. Само назначение ролей такого доказательства не даёт.
RAG позволяет проверить использованные источники
RAG, генерация с поиском по документам, передаёт агенту-диагносту пять наиболее подходящих фрагментов DSM-5. Модель использует их вместе с текстом разговора при подготовке ответа.
В выводе можно помечать симптомы тегами <sym>, цитаты из диалога тегами <quote>, медицинскую информацию тегами <med>. Такие метки помогают посмотреть, на какие данные опирается ответ. При этом найденный критерий можно применить неправильно, аккуратно оформленное объяснение тоже может содержать ошибку.
Это различие видно в оценке объяснимости. Авторы выбрали по одному случайному диалогу для каждой модели и посчитали метки, ссылки на критерии и шаги рассуждения. В примере Qwen-QWQ было 11 тегов симптомов и четыре прямые цитаты, ссылки на DSM и нумерованное обоснование. GPT-4.1-Nano выдала больше тегов, но в выбранном примере не сослалась на пункты DSM и не дала списка шагов.
Получился небольшой разбор структуры объяснений. Он не устанавливает правильность или прозрачность каждого ответа модели.
Метрики нужно читать отдельно
Проверяли Llama-4-Scout-17B, Mistral-Saba-24B, Qwen-QWQ-32B и GPT-4.1-Nano. В разделе 5.2 приведены такие общие результаты:
| Модель | Показатель из статьи | Результат |
|---|---|---|
| Qwen-QWQ | Общая accuracy | 70% |
| Qwen-QWQ | Общий F1 | 77% |
| GPT-4.1-Nano | Precision | 83% |
| GPT-4.1-Nano | Общий F1 | 73% |
Precision показывает долю правильных положительных предсказаний, recall показывает, какую долю нужных случаев модель находит. F1 объединяет precision и recall. Accuracy описывает долю правильных классификаций по всему проверенному набору. Поэтому 83% precision нельзя переименовать в 83% accuracy (по-русски оба слова иногда переводят как "точность", отсюда путаница).
В таблице 3 дан уже F1 каждой категории. У Qwen-QWQ он составил 93,65% для панического расстройства, 94,36% для ПТСР и 93,89% для социальной тревожности. У GPT-4.1-Nano F1 для ПТСР был выше, 98,53%. Это результаты отдельных классов в тестовом наборе, общей вероятностью правильного диагноза они не являются.
Расстройство адаптации хорошо показывает, зачем такое разделение. F1 составил от 0,98% у GPT-4.1-Nano до 40,25% у Qwen-QWQ, у двух остальных моделей 2,78% и 2,75%. В матрицах ошибок видна частая путаница с депрессией. На одном классе модель может выступить сильно, на другом почти провалиться.
Чем полезно исследование
Полезный результат работы состоит в воспроизводимом способе связать предсказанную метку с текстом интервью и найденными критериями. Код и данные позволяют другим исследователям проверить этот процесс и предложить альтернативы. Для клинического применения потребуется оценка на реальных интервью и исходах.
Диагностическая метка отвечает на другой вопрос, чем модель психического процесса. Наш обзор вычислительной психиатрии разбирает исследования обучения и восприятия. Karvelis, Paulus и Diaconescu (2023) обсуждают надёжность таких вычислительных показателей. Это отдельная проблема измерения, проверкой DSM5AgentFlow тот обзор не был.
Ещё один источник наблюдений описан в статье о цифровом фенотипировании. Эти материалы не дают оснований переносить результаты DSM5AgentFlow на коммерческое приложение. Назначение "Рядом" описано на странице фактов: эмоциональная поддержка и самопомощь, без диагностики по DSM.
Часто задаваемые вопросы
DSM5AgentFlow достигла точности диагностики 94%?
Значения около 94% относятся к F1 выбранных категорий в синтетическом тесте. Общая accuracy Qwen-QWQ составила 70%, общий F1 составил 77%.
Что даёт DSM-5 этой системе?
Он предоставляет критерии для поиска по документу и опросник для построения симулированного интервью. Правильно связать ответы с критериями всё равно должна модель.
Насколько подробно проверяли объяснения?
Авторы разобрали по одному случайно выбранному диалогу для каждой модели. Считали теги, цитаты, ссылки на критерии и шаги рассуждения. Это иллюстрация структуры ответа на небольшой выборке.
Какая категория оказалась сложнее в этом тесте?
Для расстройства адаптации F1 четырёх моделей лежал от 0,98% до 40,25%, часто возникала путаница с депрессией. Результат указывает на слабое место для дальнейшей проверки.