Поиск в интернете переживает фундаментальную трансформацию: вместо привычных списков ссылок мы всё чаще получаем готовые ответы от генеративного ИИ. Но что именно мы приобретаем и теряем в этом переходе? Исследователи из Рурского Университета и Института Макса Планка провели масштабное сравнительное исследование, результаты которого ставят под вопрос простоту выбора между двумя подходами.
Методология сравнения
Учёные сравнили традиционный Google Search с четырьмя системами на основе генеративного ИИ: Google AI Overview (AIO), Gemini, GPT-4o-Search и GPT-4o с Search Tool. Эксперимент включал тысячи запросов по шести основным категориям: общие знания, политика, наука, покупки и другим областям.
Сравнение проводилось по трём ключевым метрикам:
- Разнообразие источников — какие сайты использует ИИ по сравнению с традиционным поиском
- Зависимость от знаний — насколько ИИ полагается на собственную внутреннюю память вместо поиска свежей информации
- Концептуальное покрытие — охватывают ли ответы ИИ более широкий спектр идей
Эксперимент повторяли через два месяца, чтобы оценить стабильность результатов во времени.
Результаты: компромисс вместо превосходства
Как следует из опубликованной работы, ИИ действительно использует более разнообразные источники информации, но эти сайты редко оказываются в топе традиционных поисковых результатов. При этом большее количество источников не гарантирует более полного ответа.
«Различия в выборе источников и использовании внутренних знаний могут незаметно смещать перспективы и факты, с которыми сталкиваются пользователи, даже когда общее покрытие темы кажется схожим», — отмечают авторы исследования.
Ответы ИИ также оказались менее стабильными во времени — через два месяца они значительно изменились. Между разными моделями тоже обнаружились различия: GPT-4o с Search Tool чаще полагался на внутреннюю память, тогда как Google AI Overview и Gemini постоянно обращались к более широкому и свежему набору внешних сайтов.
Переход к ИИ-поиску напоминает замену конструктора готовым изделием: удобно, но теряется понимание того, как всё устроено. Пользователь получает красивый ответ, но лишается возможности самостоятельно оценить источники и выбрать наиболее авторитетный. Особенно тревожит нестабильность результатов — сегодняшний ответ завтра может оказаться совершенно другим, что подрывает саму идею поиска как надежного источника информации.
Последствия для пользователей
Исследование не даёт однозначного ответа, какой подход лучше — традиционный поиск или ИИ. Вместо этого выявляется явный компромисс: пользователи получают разнообразные суммаризированные ответы, но теряют надежные источники и стабильность традиционного поиска.
Авторы подчеркивают необходимость разработки новых стандартов и методов оценки для ИИ-ответов. Текущие метрики, разработанные для традиционного поиска, могут быть недостаточно релевантными для генеративных систем.
По материалам TechXplore.