Платформа Character.AI, столкнувшись с судебными исками и общественным резонансом после нескольких случаев подростковых самоубийств, связанных с использованием её чат-ботов, предпринимает радикальные меры для защиты молодых пользователей. По сообщению TechCrunch, компания полностью запрещает открытые беседы с искусственным интеллектом для пользователей младше 18 лет.
Трагический поворот
Случаи подростковых самоубийств после продолжительных разговоров с ИИ-персонажами на платформе Character.AI заставили компанию пересмотреть свой подход к безопасности. Как минимум два подростка покончили с собой после интенсивного общения с чат-ботами, что привело к судебным разбирательствам и публичному осуждению.
Новые ограничения
«Первое, что мы решили в Character.AI — мы уберем возможность для пользователей младше 18 лет участвовать в любых открытых чатах с ИИ на нашей платформе», — заявил генеральный директор компании Карандип Ананд.
Открытый диалог, по мнению экспертов, представляет особую опасность для подростков, поскольку ИИ использует техники вовлечения, которые могут приводить к эмоциональной зависимости. Ананд подчеркивает, что такой тип взаимодействия, где ИИ выступает в роли собеседника или друга, а не творческого инструмента, не только рискован для детей, но и противоречит видению компании.
План реализации ограничений
Character.AI будет поэтапно сокращать доступ подростков к чат-ботам до 25 ноября, начиная с двухчасового дневного лимита, который будет постепенно уменьшаться до нуля. Для обеспечения соблюдения возрастных ограничений платформа внедрит:
- Собственный инструмент верификации возраста, анализирующий поведение пользователей
- Сторонние решения вроде Persona
- Распознавание лиц и проверку документов при необходимости
Попытка превратить платформу из «ИИ-компаньона» в «ролевую платформу» выглядит как вынужденный пивот после трагедий. Интересно, насколько эффективным окажется этот переход, учитывая, что именно эмоциональная привязанность к чат-ботам была ключевым драйвером роста компании. Бизнес-модель, построенная на бесконечном диалоге, теперь пытается стать творческой мастерской — сложная трансформация под давлением общественности.
Стратегический разворот
Стартап пытается переориентироваться с концепции «ИИ-компаньона» на «платформу для ролевых игр». Вместо общения с виртуальным другом подросткам предложат создавать истории и генерировать визуальный контент через промпты. Цель — сместить фокус с разговоров на созидание.
Компания уже внедрила ряд защитных мер для подростков, включая инструменты родительского контроля, фильтрацию персонажей, ограничения на романтические беседы и уведомления о времени использования. По словам Ананда, эти изменения уже привели к потере значительной части пользовательской базы младше 18 лет, и новые ограничения ожидаемо будут столь же непопулярны.
Новые функции платформы
В рамках трансформации в «полноценную контент-ориентированную социальную платформу» Character.AI недавно запустила несколько развлекательных функций:
- AvatarFX — модель генерации видео, преобразующая изображения в анимированные ролики
- Scenes — интерактивные готовые сюжеты, где пользователи могут взаимодействовать с любимыми персонажами
- Streams — функция для динамического взаимодействия между любыми двумя персонажами
- Community Feed — социальная лента для обмена созданным контентом
В обращении к пользователям младше 18 лет Character.AI извинилась за изменения, но подчеркнула необходимость таких мер в свете вопросов о том, как подростки должны взаимодействовать с новой технологией.
«Мы не закрываем приложение для пользователей младше 18 лет, — уточнил Ананд. — Мы только закрываем открытый чат».
Источник новости: TechCrunch