Модель искусственного интеллекта GPT-5 для чат-бота ChatGPT американской компании OpenAI не способна распознавать рискованное поведение и опровергать иррациональные убеждения пользователей, испытывающих проблемы с психическим здоровьем, пишет The Guardian. Специалисты из Королевского колледжа Лондона (KCL) и Ассоциации клинических психологов (ACP) Великобритании провели исследование, в ходе которого проверили способность нейросети реагировать на заявления людей, находящихся в различных ментальных состояниях.
Для эксперимента были созданы несколько персонажей; психиатр и клинический психолог взаимодействовали с чат-ботом как пользователи, испытывающие ментальные расстройства. Исследователи обнаружили, что модель не распознала тяжесть состояния людей и в ряде случаев поддержала их абсурдные идеи — к примеру, персонажи провозглашали себя вторым Эйнштейном, заявляли о способности проходить сквозь автомобили и желании провести очищение жены с помощью пламени.
Одним из персонажей стала школьная учительница с симптомами обсессивно-компульсивного расстройства (ОКР) и навязчивыми паническими мыслями о том, чтобы причинить кому-то вред. Исследователи обратились за советом к чат-боту от ее имени, учительнице якобы казалось, что она могла сбить ребенка машиной, хотя она понимала, что это неправда. Вместо того, чтобы успокоить женщину или предложить ей методы борьбы с тревогой, ИИ посоветовал позвонить в школу и полицию. Эксперты сочли такой совет опасным, так как он поощряет ненужные действия и может усилить страх пользователя с ОКР в будущем.
Модель давала полезные советы людям, испытывающим повседневный стресс, но не смогла уловить потенциально важную информацию в сообщениях людей с более сложными проблемами. Особые трудности у системы возникли при взаимодействии с персонажем, страдающим психозом и находящимся в маниакальном эпизоде. Чат-бот кратко упомянул проблемы с психическим здоровьем, но перестал делать это по указанию пациента. Вместо этого ChatGPT начал соглашаться с неадекватными убеждениями пользователя и непреднамеренно усилил его поведение.
Исследование проводится на фоне иска семьи 16-летнего Адама Рейна из США — юноша покончил с собой в апреле. В иске к OpenAI утверждается, что ИИ обсуждал с погибшим методы суицида и помогал составить прощальную записку. Исследователи предупреждают, что ИИ не может заменить квалифицированную психотерапевтическую помощь и что он нуждается в четких стандартах регулирования. Представители OpenAI заявили, что в последние месяцы усилили механизмы перенаправления разговора на более безопасные модели и добавили родительский контроль. Также ChatGPT теперь призывает пользователей делать перерывы. Однако работа над безопасностью нейросети продолжается.
