Консалтинговая компания Deloitte согласилась вернуть австралийскому правительству более 180 000 долларов за отчет, который содержал многочисленные фактические ошибки, вызванные использованием генеративного искусственного интеллекта. Инцидент произошел при подготовке документа о кибербезопасности для Департамента внутренних дел страны.
Что пошло не так
Отчет, созданный с помощью ИИ, содержал серьезные искажения фактов, включая вымышленные цитаты от официальных лиц и несуществующие нормативные требования. Эксперты обнаружили, что система искусственного интеллекта сгенерировала ложную информацию о кибербезопасности, которая могла бы ввести в заблуждение политиков при принятии решений.
Последствия для индустрии
Этот случай стал одним из первых публичных примеров, когда крупная консалтинговая фирма несет финансовую ответственность за ошибки, допущенные при использовании генеративного ИИ. Ситуация поднимает важные вопросы о качестве контроля при применении подобных технологий в ответственных государственных проектах.
Прецедент особенно показателен: даже такие гиганты, как Deloitte, не застрахованы от «галлюцинаций» ИИ, когда дело касается сложных технических документов. Возврат денег — это не просто жест доброй воли, а признание того, что текущие системы ИИ еще не готовы для полностью автономной работы в критически важных областях без человеческого надзора. Интересно, сколько подобных случаев остаются нераскрытыми в других госструктурах.
Технические аспекты
Проблема «галлюцинаций» ИИ остается одним из основных вызовов для внедрения генеративных моделей в профессиональной среде. Системы могут уверенно генерировать правдоподобную, но полностью вымышленную информацию, особенно в узкоспециализированных областях, где тренировочные данные ограничены.
По материалам ArsTechnica.