Сообщает The Decoder, что современные инструменты искусственного интеллекта радикально снижают стоимость производства «научных» материалов, создавая угрозу затопления рецензируемой литературы корпоративно ангажированными публикациями.
Исторический прецедент: фармацевтический скандал
В 2000-х годах американская фармацевтическая компания Wyeth столкнулась с тысячами судебных исков от женщин, у которых развился рак груди после приема гормональных препаратов компании. Судебные документы раскрыли роль «десятков статей, написанных призрачными авторами и опубликованных в медицинских журналах, которые использовались для продвижения неподтвержденных преимуществ и преуменьшения рисков».
Wyeth, которую в 2009 году поглотила Pfizer, платила медицинской коммуникационной фирме за производство этих статей, публиковавшихся под именами ведущих врачей в области (с их согласия). Медицинские специалисты, читавшие эти статьи и полагавшиеся на них при назначении лечения, не подозревали, что за ними стоит Wyeth.
Эра ИИ: демократизация производства псевдонауки
Сегодня ИИ-инструменты снижают стоимость производства такого рода «доказательств» практически до нуля. Если раньше на создание одной статьи уходили месяцы, то теперь один человек с помощью ИИ может производить несколько статей, выглядящих достоверно, за считанные часы.
Медицинская литература уже наблюдает лавину публикаций, использующих данные, оптимизированные для работы с ИИ, для отчетов об однофакторных результатах. Такие исследования связывают отдельный фактор с каким-либо исходом для здоровья — например, находят связь между употреблением яиц и развитием деменции.
Проблема в том, что инструменты, созданные для ускорения научного прогресса, могут стать самым эффективным оружием против него. Когда генерация «научных» статей становится дешевле их верификации, вся система исследований оказывается под угрозой коллапса.
Статистика тревожного роста
Поиск в ведущих академических базах данных Scopus и Pubmed показал, что в среднем публиковалось четыре однофакторных исследования в год между 2014 и 2021 годами. За первые десять месяцев 2024 года было опубликовано ошеломляющие 190 таких работ.
Эти исследования не обязательно мотивированы корпоративными интересами — некоторые могут быть результатом стремления академиков публиковать больше материалов для повышения карьерных перспектив. Однако с ИИ, облегчающим такие исследования, они становятся дополнительным соблазном для бизнеса, желающего продвигать продукты.
Регуляторные риски и непредвиденные последствия
Великобритания недавно дала бизнесу дополнительный стимул для производства такого материала. Новые правительственные рекомендации требуют от производителей детского питания подкреплять маркетинговые заявления о пользе для здоровья научными доказательствами.
Хотя это хорошо задумано, это будет стимулировать компании искать результаты, подтверждающие полезность их продуктов. Это может увеличить спрос на своего рода ИИ-помощь «научных доказательств», которые становятся все более доступными.
Решение проблемы: реформа научной публикации
Одна из проблем заключается в том, что исследования не всегда проходят рецензирование до влияния на политику. В 2021 году, например, судья Верховного суда США Сэмюэл Алито в мнении о праве на ношение оружия процитировал аналитическую записку академика из Джорджтауна, представившего данные опроса об использовании оружия.
Академик и опрос об оружии финансировались Фондом защиты Конституции, который The New York Times описывает как «прооружейную некоммерческую организацию».
Необходимо реформировать систему рецензирования. За последнее десятилетие несколько групп исследователей достигли значительного прогресса в выявлении процедур, снижающих риск ошибочных выводов в публикуемых статьях.
- Предварительная регистрация исследований до начала работы
- Прозрачная отчетность обо всех этапах исследования
- Использование анализа кривых спецификаций для однофакторных работ
Редакторы журналов во многих областях приняли эти предложения и обновляют свои правила. Они теперь часто требуют от авторов публиковать данные и код, обеспечивая возможность воспроизведения результатов.