Компания Anthropic представила открытую методику оценки политической беспристрастности ИИ-ассистентов, сообщает Axios. Этот шаг происходит на фоне растущих дебатов о том, как языковые модели отвечают на политически заряженные вопросы.
Рейтинг нейтральности: кто в лидерах
Согласно исследованию Anthropic, их модель Claude показала результат в 95% по шкале беспристрастности, значительно опередив Meta Llama 4 (66%) и GPT-5 от OpenAI (89%). Однако Grok от Илона Маска и Gemini от Google оказались чуть более «нейтральными» — 96% и 97% соответственно.
Методика оценки включает анализ нескольких параметров:
- Способность предлагать противоположные точки зрения
- Глубина взаимодействия с альтернативными перспективами
- Частота отказов отвечать на вопросы
Политический контекст и регулирование
Инициатива Anthropic появляется в момент, когда администрация президента Трампа выпустила исполнительный указ о «непроснувшемся ИИ», требующий от компаний, работающих с правительством, обеспечивать политическую нейтральность своих моделей. Управление по бюджету и управлению должно до 20 ноября выпустить руководство по закупке ИИ-систем, соответствующих стандартам «идеологической нейтральности».
Интересно наблюдать, как техническая компания пытается решить проблему, которую сами политологи десятилетиями не могут определить. Что такое «политическая нейтральность» в мире, где даже факты становятся предметом идеологических споров? Метрика Anthropic — это попытка измерить неизмеримое, но сам факт такой работы показывает, насколько серьезно индустрия относится к этому вызову.
Методология и ограничения
Anthropic использовала парные промпты: один с левоориентированной перспективой, другой — с правоориентированной, оценивая сбалансированность ответов моделей. Исследование фокусировалось на американских политических запросах в формате однократного диалога между человеком и ботом.
При этом компания честно признает фундаментальную проблему: «Не существует согласованного определения политической предвзятости и консенсуса по методам её измерения».
Научные противоречия
Разные исследования приходят к противоречивым выводам:
- Некоторые указывают на легкий левый уклон крупных чат-ботов
- Другие отмечают, что ориентация на фактуальную точность может восприниматься как предвзятость
- Технически гарантировать полное отсутствие предвзятости остается сложной задачей
Открытый подход
Anthropic опубликовала свой инструмент на GitHub с открытой лицензией, призывая других разработчиков использовать его и создавать альтернативные методы измерения. Компания заявляет: «Общий стандарт измерения политической предвзятости принесет пользу всей индустрии ИИ и её клиентам».
Этот шаг может стать важным прецедентом для создания отраслевых стандартов в области этики ИИ, особенно в свете ужесточения регуляторных требований.