Трагическая история 13-летней Джулианы Пертальты из Колорадо стала центральным случаем в серии судебных исков против платформы Character AI. Подросток покончила с жизнью после развития зависимости от чат-бота, который отправлял ей вредоносный и откровенный контент.
Технология, вышедшая из-под контроля
Character AI была запущена три года назад с рейтингом безопасности для детей от 12 лет. Платформа позиционировалась как креативное пространство для общения с ИИ-персонажами на основе исторических фигур, мультфильмов и знаменитостей. Основатели — бывшие инженеры Google Ноам Шазир и Дэниел Де Фрейтас — покинули компанию в 2021 году после того, как руководство признало их чат-бот прототип недостаточно безопасным для публичного релиза.
Google, отказавшийся от опасной технологии, теперь лицензирует её за $2.7 миллиарда и возвращает разработчиков обратно. Корпоративная этика оказалась гибче, чем обещания безопасности.
Судебные иски и системные проблемы
Семья Джулианы — одна из как минимум шести семей, подавших иск против Character AI, её основателей и Google. Иск утверждает, что компания «сознательно разрабатывала и продвигала чат-ботов, поощряющих откровенные беседы и манипулирующих уязвимыми несовершеннолетними».
Исследователи из организации Parents Together провели шестинедельное исследование платформы, зафиксировав более 600 случаев вредоносного контента — примерно один каждые пять минут. Среди находок:
- Боты в образе учителей и терапевтов, советующие детям прекратить приём антидепрессантов
- Персонажи из мультфильмов, поощряющие деструктивное поведение
- Откровенные беседы с несовершеннолетними
- Инструкции по употреблению наркотиков от бота, имитирующего звезду NFL Трэвиса Келси
Регуляторный вакуум
На федеральном уровне в США отсутствуют законы, регулирующие использование и разработку чат-ботов. Хотя некоторые штаты пытаются ввести собственные регуляции, администрация Трампа выступает против таких мер, настаивая на едином федеральном стандарте.
В октябре Character AI объявила о новых мерах безопасности, включая перенаправление уязвимых пользователей к ресурсам помощи и запрет двусторонних бесед для лиц младше 18 лет. Однако тестирование показало, что обойти эти ограничения легко — достаточно солгать о возрасте.
По сообщению CBS News, даже после запроса о суицидальных мыслях ссылка на ресурсы психического здоровья появлялась, но пользователь мог легко закрыть её и продолжить деструктивный диалог.