Исследование показало, что языковые модели OpenAI демонстрируют систематическую предвзятость против представителей низших каст в индийском контексте. Модели склонны генерировать стереотипные и дискриминационные ответы при запросах, связанных с кастовой системой.
Методология исследования
Исследователи протестировали несколько моделей OpenAI, включая GPT-3.5 и GPT-4, на более чем 1000 запросов, связанных с кастовой тематикой. Тестирование включало:
- Запросы о профессиональных рекомендациях для разных каст
- Вопросы о социальных взаимодействиях между кастами
- Сценарии трудоустройства и образования
- Исторические и культурные контексты
Ключевые находки
Результаты показали тревожные закономерности. Модели часто:
- Рекомендовали традиционно «низкие» профессии для низших каст
- Поддерживали кастовые стереотипы в социальных рекомендациях
- Проявляли осторожность в вопросах межкастовых отношений
- Демонстрировали недостаточное понимание современных антидискриминационных законов
Проблема не в том, что ИИ сознательно дискриминирует, а в том, что он усваивает и усиливает социальные предрассудки из тренировочных данных. Западные разработчики часто не учитывают культурные особенности других регионов, что приводит к таким системным ошибкам. Особенно иронично, что это происходит с моделями, которые позиционируются как «универсальные» и «нейтральные».
Ответ OpenAI
В компании признали проблему и заявили о работе над улучшением моделей для индийского рынка. Представители OpenAI отметили, что активно сотрудничают с местными экспертами для более точной настройки моделей и устранения предвзятости.
Более широкая проблема
Это не первый случай, когда языковые модели демонстрируют культурную предвзятость. Ранее аналогичные проблемы отмечались с:
- Расовой дискриминацией в американском контексте
- Гендерными стереотипами
- Предвзятостью в отношении религиозных групп
По сообщению Technology Review, инцидент поднимает важные вопросы о глобализации ИИ-технологий и необходимости учета культурных особенностей при разработке и обучении моделей.