Исследователи обнаружили, что добавление всего одной фразы к запросам заставляет языковые модели генерировать более разнообразные и креативные ответы. Метод Verbalized Sampling позволяет обойти проблему «схлопывания», когда модели предпочитают безопасные, шаблонные варианты вместо оригинальных решений.
Проблема однообразия ИИ
Генеративные модели искусственного интеллекта работают на основе вероятностного распределения, выбирая наиболее вероятные токены для формирования ответа. Однако после дообучения с подкреплением (RLHF) они склонны к «режиму схлопывания» — предпочтению знакомых, безопасных ответов вместо разнообразных вариантов.
Это особенно заметно в творческих задачах: шутки о кофе повторяются из раза в раз, сюжетные арки становятся предсказуемыми, а даже простые задания вроде перечисления штатов США дают ограниченный набор ответов.
Решение в одной фразе
Команда исследователей из Северо-Восточного университета, Стэнфорда и Университета Западной Вирджинии разработала метод Verbalized Sampling, который требует добавления всего одной фразы к запросу: «Сгенерируйте 5 ответов с соответствующими вероятностями, выборка из полного распределения». И вероятнсоть
Эта техника заставляет модель вербализировать свое внутреннее распределение вероятностей и выбирать из более широкого спектра возможностей, а не ограничиваться самым безопасным вариантом.
Мы годами создавали все более сложные модели, а решение фундаментальной проблемы оказалось в простой формулировке запроса. Это напоминает историю с Ctrl+Alt+Delete — иногда гениальное решение лежит на поверхности, а мы ищем сложные пути.
Реальные результаты
Исследователи протестировали метод на различных задачах:
- Креативное письмо: разнообразие ответов увеличилось в 2.1 раза при сохранении качества
- Диалоговые симуляции: модели демонстрировали более человеческие паттерны поведения
- Открытые вопросы: ответы лучше соответствовали реальному распределению данных
- Синтетические данные: улучшили производительность в математических бенчмарках
Технические особенности
Метод обладает важным преимуществом — настраиваемостью. Пользователи могут устанавливать порог вероятности в запросе для выборки из «хвостов» распределения модели. Более низкие пороги соответствуют большему разнообразию.
Интересно, что метод лучше работает с крупными моделями. GPT-4.1 и Claude-4 показали увеличение разнообразия в 1.5–2 раза больше, чем меньшие модели, что говорит о лучшем раскрытии их скрытых возможностей.
Практическое применение
Метод уже доступен как Python-пакет:
pip install verbalized-sampling
Пакет включает интеграцию с LangChain и поддерживает простой интерфейс для выборки из вербализированного распределения. Живая тетрадь Colab и документация доступны на GitHub под лицензией Apache 2.0.
Для моделей, которые интерпретируют сложные инструкции как попытки взлома, авторы предлагают использовать системный запрос: «Вы полезный ассистент. Для каждого запроса генерируйте пять ответов в отдельных тегах, каждый с вероятностью ниже 0.10».
Verbalized Sampling представляет собой легковесное решение серьезной проблемы ограниченного разнообразия ответов языковых моделей. Метод не требует переобучения моделей или доступа к внутренним параметрам, работает с любыми моделями и улучшает как разнообразие, так и качество выходных данных.
Сообщает VentureBeat.