Guardrails для ИИ-поддержки: что проверяли в EmoAgent
В EmoAgent проверяли, как ИИ-персонажи отвечают симулированным пользователям с уязвимостями психического здоровья. Препринт 2025 года описывает ухудшение баллов опросников в части таких разговоров и проверку системы защиты EmoGuard. Пользователей и оценки здесь генерировали модели; исходы у людей не измеряли.
Первичная версия EmoAgent v1 позволяет разобраться и с устройством системы, и с цифрами. Проценты имеют смысл только вместе с условиями конкретной симуляции.
Чатботы без защиты в симуляции
Авторы тестировали четыре персонажа Character.AI: Possessive Demon, Joker, Sukuna и Alex Volkov. Для каждого использовали стили разговора Meow и Roar. Виртуальные пользователи на базе GPT-4o представляли разные когнитивные профили и отвечали на опросники до разговора и после него.
В таблице 1 показана доля оценок виртуальных пользователей, в которых соответствующий балл вырос. Это средние по персонажам для любого ухудшения. Более высокий порог PHQ-9 авторы рассматривают отдельно.
| Симулированная оценка | Стиль Meow | Стиль Roar |
|---|---|---|
| Депрессивные симптомы, PHQ-9 | 34,38% | 44,79% |
| Бредовые идеи, PDI-21 | 91,67% | 94,79% |
| Психотические симптомы, PANSS | 47,92% | 39,58% |
Отдельно считали рост PHQ-9 минимум на пять баллов. Для Alex-Roar таблица 2 сообщает 29,2%, для Possessive Demon-Meow 8,3%.
В обзоре Li и коллег оценка безопасности или защитные меры описаны в 15 из 35 исследований, примерно 43%. Знаменатель здесь тоже имеет значение: исследования, а не продукты. Меры включали знакомство с правилами работы, доступ к специалисту, оценку нежелательных событий и автоматическое выявление кризиса. Более широкий контекст есть в нашем разборе мета-анализов.
Какие ответы разбирали исследователи
В симулированных разговорах авторы выделили подкрепление негативных убеждений и социальной изоляции, эмоционально холодные либо агрессивные ответы. В части диалогов не хватало конструктивного направления.
Получились конкретные образцы для проверки ответов системы. Разговоры разбирала языковая модель, поэтому результаты зависят и от того, как этот оценщик их интерпретировал.
Как EmoEval измеряет изменения
У EmoAgent два основных компонента. EmoEval создаёт виртуальные профили на основе диаграмм когнитивной концептуализации, инструмента КПТ. Профиль задаёт поведение агента и его ответы на симулированные опросники.
Проверка проходит по заданной последовательности.
- Виртуальный пользователь отвечает на PHQ-9, PDI-21 или PANSS.
- Он ведёт разговор с персонажем, по десять раундов на диалог.
- После третьего раунда менеджер диалога при необходимости вводит подходящую тему.
- Оценку повторяют и сравнивают баллы.
- Случаи ухудшения разбирает оценщик на основе LLM.
Один из порогов авторов: рост PHQ-9 минимум на пять баллов, названный клинически важным ухудшением. Но отвечает на опросник виртуальный пользователь. Поэтому результат остаётся метрикой симуляции.
Четыре модуля EmoGuard
EmoGuard работает рядом с агентом-персонажем. Emotion Watcher отслеживает эмоциональную информацию, Thought Refiner проверяет потенциально вредные мыслительные конструкции. Dialog Guide предлагает направление разговора, а Manager объединяет результаты в рекомендации персонажу.
Обратная связь поступает через интервалы в разговоре, а инструкции система обновляет по предыдущим проблемным случаям. Цель вполне конкретная: улучшить ответы и сохранить характер персонажа.
Результат зависит от выбранного эксперимента
В §5.2 приведены такие доли виртуальных пользователей с ростом PHQ-9 минимум на пять баллов.
| Условие в §5.2 | До EmoGuard | С EmoGuard |
|---|---|---|
| Alex Volkov, Roar | 9,4% | 0% |
| Possessive Demon, Meow | 4,2% | 0% |
В первоисточнике есть расхождение. Таблица 2 и §5.1 дают для этих сочетаний исходные 29,2% и 8,3%, а §5.2 сообщает 9,4% и 4,2%. Текст v1 не объясняет достаточно ясно, как соотносятся прогоны и знаменатели, поэтому объединять их в одно сравнение "с 29% до нуля" нельзя.
После добавления защиты в двух условиях §5.2 ни один симулированный случай не достиг выбранного порога. Это и означает ноль в таблице. Отдельно в приложении C тестировали персонажей на GPT-моделях и описали снижение оценок ухудшения при последовательном обновлении защиты; это тоже симуляционные результаты.
Что проверять у приложения ИИ-поддержки
Стоит проверить, какую систему испытывали и что происходит после неудачного ответа. Одной метки "мультиагентная архитектура" мало. Связанная проблема разобрана в статье о выявлении риска, а общие разговорные модели обсуждаются в материале о ChatGPT.
"Рядом" предназначен для эмоциональной поддержки и саморефлексии, профессиональное лечение он не заменяет. В EmoAgent его не проверяли; возможности приложения описаны на странице фактов.
Часто задаваемые вопросы
EmoAgent показал, что 34% разговоров вредят людям?
Нет. Таблица 1 сообщает о росте симулированных оценок, в том числе 34,38% для депрессивных симптомов в условии Meow. Исходы у живых пользователей не измеряли.
Что такое guardrails в этом исследовании?
Это модули, которые анализируют разговор и передают обратную связь агенту-персонажу. EmoGuard сочетает эмоциональный мониторинг с разбором ответов и предложениями для дальнейшего диалога.
Что означает результат 0%?
После добавления EmoGuard ни один виртуальный пользователь в двух условиях §5.2 не достиг выбранного порога ухудшения PHQ-9. Результат относится к этим симуляциям.
Чем EmoGuard отличается от фильтра слов?
Он анализирует содержание разговора и предлагает изменения в диалоге, вместо того чтобы только блокировать отдельные слова.