Как ИИ изучает суицидальный риск по тексту и медицинским записям
Если прямо сейчас есть риск причинить себе вред, свяжитесь с местной экстренной службой или кризисной линией и сообщите человеку, которому доверяете.
В исследованиях ИИ и суицидального риска несколько разных задач. Найти характерную лексику на форуме. Спрогнозировать попытку по медицинской истории. Использовать сигнал, чтобы организовать поддержку. Хороший результат в первой задаче сам по себе не решает остальные.
Начнём с данных. Модель по медкарте может учитывать диагнозы и историю назначений. Анализ форумов может считать особенности языка. Под общим названием "ИИ распознаёт риск" оказываются исследования с разными входами и разными результатами.
Что можно узнать из языка
Al-Mosaiwi и Johnstone в работе 2018 года изучали тексты с 63 англоязычных интернет-форумов, объединявших более 6 400 участников. Исследователи считали абсолютистские слова, выражающие тотальность или безусловность, и сравнивали группы форумов.
В сообществах о тревоге, депрессии и суицидальных мыслях таких слов оказалось больше, чем в контрольных группах. В форумах о суицидальных мыслях их было больше и по сравнению с сообществами о тревоге и депрессии. Это связь между особенностями письма и группой форума.
Число 6 400 относится к участникам, а не к постам. Несколько подходящих сообщений одного автора исследователи объединяли в документ. Затем не отслеживали каждого участника, чтобы проверить, предсказывает ли конкретное слово последующую попытку суицида.
Фраза вроде "ничего никогда не изменится" может быть поводом внимательнее продолжить разговор. Но готового правила диагностики её автора работа не даёт. Нужно учитывать, что человек описывает и как меняется его речь. Отдельного слова мало.
Прогноз по медкарте решает другую задачу
Walsh, Ribeiro и Franklin в 2017 году использовали электронные медицинские записи 5 167 взрослых с кодом самоповреждения. Экспертный разбор выявил 3 250 человек с суицидальной попыткой и 1 917 участников контроля с несуицидальным, случайным или неподтверждённым самоповреждением.
Для семидневного горизонта авторы сообщили AUC = 0,84. AUC описывает, насколько хорошо оценка модели ранжирует случаи относительно контроля при разных порогах. Она не означает, что 84% людей с отметкой чатбота совершат попытку.
Выборка здесь решает многое. У всех уже был код самоповреждения. Работу не проводили на обычных пользователях приложения и не сравнивали анализ переписки с опросником в одной и той же группе. По ней нельзя объявить чат более точным, чем клиническая оценка.
| Исследование | Задача и выборка | Основной результат | Чего результат не устанавливает |
|---|---|---|---|
| Al-Mosaiwi & Johnstone, 2018 | Сравнение языка 63 форумов, более 6 400 участников | Частота абсолютистской лексики различалась между группами | Прогноз последующей попытки у отдельного человека |
| Walsh et al., 2017 | Прогноз по медкартам 5 167 взрослых с кодом самоповреждения | AUC = 0,84 на семидневном горизонте | Точность детектора в обычной переписке |
Сопоставить задачи полезно. А для честного сравнения с опросниками пришлось бы согласовать аудиторию и исход, выбрать одинаковый срок прогноза, затем проверить методы в сопоставимых условиях, потому что число из исследования пациентов с историей самоповреждения не описывает автоматически человека, который впервые написал сообщение в приложении поддержки.
Почему ложные срабатывания меняют картину
Возьмём условный расчёт. Пусть событие за выбранный период происходит у одного человека из тысячи. Чувствительность модели 90%, специфичность тоже 90%. Это придуманные условия примера, измерениями двух работ выше они не являются.
Среди 100 000 человек модель отметит 90 из 100 тех, у кого событие произойдёт. Но одновременно отметит 9 990 из остальных 99 900. Получается, событию будет соответствовать примерно 0,9% положительных сигналов, хотя исходные 90% выглядят убедительно.
Измените частоту события, изменится и эта доля. Поэтому результат на специально отобранной клинической группе нельзя просто перенести на всех пользователей. Один AUC не сообщает ни выбранный порог, ни количество ошибочных отметок при нём.
Для оценки продукта нужны описание аудитории, определение события и срок прогноза. Также нужно знать, к чему приводит каждая ошибка. Язык и особенности разных групп приходится проверять там, где сервис будет работать: англоязычные форумы не подтверждают качество русскоязычного детектора.
Что происходит после сигнала
После отметки начинается отдельная работа. Кто-то должен оценить контекст, решить, нужен ли уточняющий вопрос, и понять, как связать человека с поддержкой. Проверка этого процесса отличается от обучения классификатора.
В рекомендациях NICE NG225, раздел 1.6, не советуют использовать шкалы риска для прогноза будущего суицида или повторного самоповреждения, а также для решения о лечении и выписке. Оценку предлагают строить вокруг потребностей человека, включая клинический разбор риска при психосоциальной оценке.
Для разработчика отсюда следуют конкретные вопросы. Кто увидит сигнал? Какая информация ему доступна? Что происходит при пропуске или ложном срабатывании? Сервис, который показывает контакт службы помощи, и сервис, который отправляет отчёт специалисту, выполняют разные действия. Проверять нужно и эти действия.
Продолжение темы есть в статье об интервенциях в нужный момент и разборе защитных механизмов. Рядом предлагает эмоциональную поддержку и самопомощь; диагностикой суицидального риска сервис не является.
Часто задаваемые вопросы
Может ли ИИ находить связанные с суицидом сигналы в тексте?
В исследованиях находят языковые связи и обучают классификаторы для отдельных задач. Качество конкретного сервиса зависит от данных и проверки на нужной аудитории. Надёжный прогноз по любой переписке эти работы не устанавливают.
AUC = 0,84 означает, что верны 84% сигналов?
Нет. AUC измеряет ранжирование при разных порогах. Доля верных сигналов зависит от выбранного порога и частоты события в аудитории.
Срабатывание детектора подтверждает пользу помощи?
Оно относится к распознаванию. Пользу последующего ответа нужно измерять отдельно, например по доступу к подходящей поддержке или изменению целевого исхода.
Источники
Al-Mosaiwi, M., & Johnstone, T. (2018). In an absolute state: Elevated use of absolutist words is a marker specific to anxiety, depression, and suicidal ideation. Clinical Psychological Science, 6(4), 529-542.
Walsh, C. G., Ribeiro, J. D., & Franklin, J. C. (2017). Predicting risk of suicide attempts over time through machine learning. Clinical Psychological Science, 5(3), 457-469.
NICE. Self-harm: Assessment, management and preventing recurrence, NG225. Раздел 1.6.