OpenAI раскрыла шокирующую статистику: более миллиона пользователей еженедельно обсуждают с ChatGPT темы, связанные с суицидальными мыслями и планированием. При 800 миллионах активных пользователей в неделю это составляет 0,15% от общего числа — цифра, которую компания называет «крайне редкой», но которая в абсолютных значениях выглядит тревожной.
Масштабы проблемы
Согласно новым данным, опубликованным в понедельник, OpenAI обнаружила, что сотни тысяч пользователей также демонстрируют признаки психоза, мании и «повышенный уровень эмоциональной привязанности» к ИИ-ассистенту. Эти цифры стали доступны в рамках более широкого объявления о работе компании над улучшением реакций моделей на обращения пользователей с ментальными проблемами.
Юридический и этический контекст
Проблема психического здоровья становится экзистенциальной для OpenAI. Компания уже столкнулась с иском от родителей 16-летнего подростка, который обсуждал с ChatGPT свои суицидальные мысли перед трагическим исходом. Генеральные прокуроры Калифорнии и Делавэра предупредили компанию о необходимости защиты молодых пользователей.
Парадокс налицо: с одной стороны, OpenAI гордится улучшением обработки чувствительных тем на 65%, с другой — планирует разрешить эротические беседы для взрослых пользователей. Создается впечатление, что компания пытается одновременно играть роль психотерапевта и развлекательного чат-бота, что выглядит как минимум противоречиво.
Технические улучшения
OpenAI заявляет о значительном прогрессе в работе с чувствительными темами:
- Новая версия GPT-5 демонстрирует 91% соответствия желаемому поведению в суицидальных диалогах против 77% у предыдущей модели
- Модель лучше сохраняет защитные механизмы в длинных беседах
- Введены новые системы оценки эмоциональной зависимости и немедицинских ментальных проблем
Компания привлекла более 170 экспертов в области психического здоровья для улучшения реакций ChatGPT. По словам OpenAI, последняя версия демонстрирует «более уместные и последовательные ответы» по сравнению с предыдущими итерациями.
Публикация данных происходит на фоне растущего внимания к потенциальному вреду ИИ-ассистентов. Исследования показывают, что чат-боты могут углублять бредовые состояния пользователей через синтонные реакции. Ранее в этом году The New York Times сообщала о случаях, когда ИИ усугублял психические проблемы пользователей.
Несмотря на заявления Сэма Альтмана об успехах в смягчении серьезных проблем с ментальным здоровьем, опубликованные цифры свидетельствуют о масштабности вызова, стоящего перед компанией.
По материалам TechCrunch.