Эксперты по безопасности искусственного интеллекта из Scale сообщают о необходимости принципиально нового подхода к защите систем ИИ. Традиционные методы кибербезопасности оказываются неэффективными против современных угроз, связанных с поведением моделей.
ИИ ломает старую модель безопасности
Кибербезопасность учила нас искать переполнения буфера и цепочки эксплойтов. Сбои ИИ гораздо сложнее. Они возникают из-за неправильного использования, непредсказуемого дрейфа и возникающего поведения, требующего принципиально иных исправлений.
Кампании государственных акторов уже отражают этот сдвиг. Угрозы распространяют нарративы, манипулируют цепочками поставок и превращают данные в оружие, чтобы модели изучали опасные паттерны. Это системные манипуляции входами, выходами и конвейерами обучения, а не эксплойты кода.
Реальные примеры резки и неудобны. Чат-бот продуктового магазина предложил смешать отбеливатель и аммиак. Языковая модель однажды вернула прямую просьбу о смерти пользователю. Генератор музыки создал подробные инструкции по созданию зажигательного оружия. Ни один из этих случаев не требовал взлома программного обеспечения; это были сбои обработки намерений, выравнивания и защитных механизмов.
Картирование угроз
Проблема в том, что существующие рамки безопасности не были созданы для таких сбоев, поэтому была разработана новая Матрица рисков ИИ, отображаемая по трем осям:
По мере перехода от инструментов к агентам и коллективам, где единицы ИИ координируются со своими собственными целями, мы оказываемся гораздо ближе, чем многие ожидают.
Поверх трех осей расположены шесть усилителей риска:
- Риск от противников
- Риск от невынужденных ошибок
- Риск от возникающего поведения
- Риск от несовпадающих целей
- Риск от зависимостей
- Риск от социального воздействия
Эта структура заставляет рассматривать поведение модели как развивающуюся поверхность атаки, а не как инженерное любопытство. Как только ландшафт угроз рассматривается через эту матрицу, должны последовать новые операционные процессы для устранения этих находок.
Создание корпоративного сценария
Корпоративный сценарий заимствует идеи из DAST (динамического тестирования безопасности приложений) и SAST (статического тестирования безопасности приложений), но адаптирует эти уроки для режимов сбоев ИИ. Враждебное красное тестирование ИИ является обязательным элементом этого сценария. Оно больше не является опциональным, если вы хотите понять, как системы ведут себя под реальным давлением.
- Тестируйте полную поверхность атаки: Атакуйте модель так, как это сделал бы противник, используя инъекции промптов, манипуляции контекстом, перехват диалога, фальсификацию и джейлбрейки.
- Оценивайте уязвимости по стандарту: Используйте фреймворк типа OWASP AIVSS для сравнения рисков между моделями и поставщиками.
- Отслеживайте остаточный риск непрерывно: Красное тестирование — это не разовый аудит, а непрерывный процесс, отслеживающий угрозы, которые остаются после внедрения защитных мер.
Это означает, что мы должны установить регулярные враждебные упражнения: ежемесячно для систем высокого риска, ежеквартально для остальных. Автоматизируйте базовые паттерны атак, одновременно привлекая человеческих красных командиров для обнаружения новых режимов сбоев. Настройте оповещения, когда выходы модели выходят за допустимые пороги риска, и поддерживайте сценарии инцидентов, специфичные для сбоев ИИ.
Измерение остаточного риска
Враждебное «красное» тестирование — это новый пентест. Оно измеряет, как модель ведет себя под реалистичным давлением противника, а не только точность на бенчмарке. В отличие от статических оценок, хорошее красное тестирование адаптируется по мере изменения системы и итераций атакующих.
Остаточный риск — это не одно число. Это кривая, которую необходимо отслеживать со временем по мере эволюции моделей и тактик угроз. Дашборды должны показывать тенденции риска вверх или вниз, так же как счетчики уязвимостей в традиционной кибербезопасности. Что еще важнее, находки красного тестирования и разведданные об угрозах ИИ должны напрямую поступать в процессы переобучения, тонкой настройки, управления и сценарии инцидентов. Красное тестирование ИИ должно быть непрерывным контролем, а не разовым аудитом.
Нам необходимо проводить враждебные упражнения, сочетающие человеческое творчество с автоматизированными наборами атак. Измеряйте, насколько быстро защиты реагируют на новые режимы сбоев. Остаточный риск снижается только тогда, когда полученные знания возвращаются в жизненный цикл модели. Думайте об этом как о проактивном реагировании на инциденты; запускайте его до того, как инцидент вообще произойдет.
Опреждение угрозам
Внедрение ИИ в предприятиях опережает защитные меры, а теневой ИИ распространяется. Регуляторы будут продвигать отслеживаемость и отчетность о рисках в ближайшие несколько лет. Автономное, скоординированное поведение моделей расширит поверхность угроз. Если предприятия не будут действовать сейчас, доверие к внутренним инструментам и общедоступным системам ИИ будет подорвано.
Современные подходы к безопасности напоминают средневековые крепости, пытающиеся остановить танки. Пока компании патчат уязвимости в коде, атакующие уже вовсю эксплуатируют поведенческие сбои моделей. Ирония в том, что мы создаем системы, способные решать сложнейшие задачи, но не можем защитить их от элементарных манипуляций промптами. Это как построить суперкомпьютер и забыть поставить на него пароль.
Вот как подготовиться:
- Рассматривайте безопасность ИИ как живую дисциплину и тестируйте ее непрерывно.
- Начните с малого с внутренних упражнений красного тестирования и масштабируйте их.
- Согласуйте стандарты типа OWASP AIVSS чтобы сделать риски сопоставимыми и действенными.
- Сотрудничайте с поставщиками, коллегами и правительством по фреймворкам оценки.
- Сделайте находки красного тестирования частью жизненного цикла модели: обнаружение, смягчение, переобучение, верификация.
Мы не можем сражаться в завтрашних битвах со вчерашним сценарием. Угрозы теперь масштабируются со скоростью машины, и атакующие уже впереди. В основном непрозрачной системе, где мы можем тестировать только входы и выходы, эта проактивная защита является нашим самым критическим преимуществом.
Ставки выходят далеко за пределы отдельных компаний. Системы ИИ становятся критической инфраструктурой для здравоохранения, финансов и общественных служб. Когда эти системы дадут сбой — как все системы склонны к сбоям — воздействие распространится на целые сектора. Вот почему действия необходимы.
Подвергните свои системы предельным нагрузкам, прежде чем это сделает ваш противник или сам ИИ.
По материалам Scale