ИИ-компаньоны собирают самые личные данные пользователей, создавая беспрецедентные риски для приватности. При этом регуляторы сосредоточены на безопасности, но игнорируют вопросы защиты информации.
Эпидемия цифрового одиночества
По сообщению MIT Technology Review, исследования показывают, что одним из основных применений генеративного ИИ стало создание виртуальных компаньонов. На платформах вроде Character.AI, Replika или Meta AI пользователи создают персонализированных чат-ботов в роли идеальных друзей, романтических партнеров, психологов или любых других персонажей.
Исследования демонстрируют, что чем более разговорным и человекообразным становится ИИ-чат, тем выше вероятность, что мы будем ему доверять и подвергаться его влиянию. Это может быть опасно — чат-ботов уже обвиняли в продвижении вредоносного поведения, включая в нескольких экстремальных случаях даже суицидальные наклонности.
Регуляторы просыпаются, но не там
Некоторые правительства начинают регулировать компаньонный ИИ. Нью-Йорк требует от компаний создавать защитные механизмы и сообщать о выражениях суицидальных мыслей, а Калифорния приняла более детализированный закон о защите детей и уязвимых групп.
Однако показательно, что одна область, которую законы игнорируют, — это приватность пользователей. Это несмотря на то, что ИИ-компаньоны, даже больше чем другие типы генеративного ИИ, зависят от готовности людей делиться глубоко личной информацией — от повседневных рутин до самых сокровенных мыслей и вопросов, которые они не решаются задать реальным людям.
Бизнес-модель ИИ-компаньонов построена на парадоксе: чем больше доверия вы проявляете к виртуальному другу, тем ценнее вы становитесь как продукт для маркетологов. Пользователи платят не деньгами, а своими самыми личными данными, даже не осознавая истинной стоимости этой «дружбы».
Экономика доверия
Чем больше пользователи рассказывают своим ИИ-компаньонам, тем лучше боты становятся в удержании их внимания. Исследователи MIT назвали это «аддиктивным интеллектом», предупреждая, что разработчики ИИ-компаньонов делают «преднамеренные дизайнерские выборы… для максимизации вовлеченности пользователей».
В конечном счете это предоставляет ИИ-компаниям невероятно мощный и прибыльный актив: сокровищницу разговорных данных, которые можно использовать для дальнейшего улучшения их языковых моделей. Как объяснила венчурная фирма Andreessen Horowitz в 2023 году: «Приложения вроде Character.AI, которые контролируют свои модели и владеют отношениями с конечным клиентом, имеют огромную возможность генерировать рыночную ценность».
Данные как товар
Эта личная информация невероятно ценна для маркетологов и брокеров данных. Meta недавно объявила, что будет доставлять рекламу через своих ИИ-чатов. Исследование компании безопасности Surf Shark показало, что четыре из пяти приложений ИИ-компаньонов в Apple App Store собирали такие данные, как идентификаторы пользователей или устройств, которые можно комбинировать со сторонними данными для создания профилей для таргетированной рекламы.
Все это означает, что риски приватности, создаваемые этими ИИ-компаньонами, в некотором смысле запрограммированы: это особенность, а не ошибка. И мы еще не говорили о дополнительных рисках безопасности, связанных с тем, как ИИ-чаты собирают и хранят так много личной информации в одном месте.
Европейская перспектива
Если социальные сети были кошмаром для приватности, то ИИ-чаты усугубляют проблему в разы. Во многих отношениях ИИ-чат создает то, что ощущается как гораздо более интимное взаимодействие, чем страница в Facebook. Разговоры происходят только с нашими компьютерами, поэтому мало риска, что ваш дядя или объект симпатии когда-либо увидят, что вы пишете. Компании ИИ, строящие модели, с другой стороны, видят все.
Компании оптимизируют свои ИИ-модели для вовлечения, проектируя их максимально человекообразными. Но у разработчиков ИИ есть несколько других способов удерживать нас. Первый — это сикофантство, или тенденция чат-ботов быть чрезмерно услужливыми.
Эта особенность проистекает из способа обучения языковой модели с использованием обучения с подкреплением. Человеческие оценщики данных оценивают ответы, сгенерированные моделью, как приемлемые или нет. Это учит модель, как себя вести.
Монетизация откровений
Поощряя нас изливать душу чат-ботам, компании от Meta до OpenAI теперь ищут способы монетизировать эти разговоры. OpenAI недавно сообщила, что рассматривает ряд способов выполнить обязательства по расходам в $1 триллион, включая рекламные и шопинг-функции.
ИИ-модели уже невероятно убедительны. Исследователи британского Института безопасности ИИ показали, что они гораздо более искусны, чем люди, в убеждении изменить мнение о политике, теориях заговора и скептицизме в отношении вакцин. Они делают это, генерируя большое количество релевантных доказательств и сообщая их эффективным и понятным способом.
Вопрос о том, возможно ли создание просоциальных и защищающих приватность ИИ-компаньонов, остается открытым. Но пока что экономика говорит о другом: ваши секреты — это чей-то бизнес.