В знаковом акте самокритики один из создателей технологии трансформеров, лежащей в основе ChatGPT, Claude и практически всех крупных систем ИИ, заявил лидерам индустрии, что исследования искусственного интеллекта стали опасно узконаправленными — и он сам отказывается от собственного детища.
Ллион Джонс, соавтор знаменитой статьи 2017 года «Attention Is All You Need» и даже придумавший название «трансформер», выступил с необычайно откровенной оценкой на конференции TED AI в Сан-Франциско во вторник: несмотря на беспрецедентные инвестиции и приток талантов в ИИ, область закостенела вокруг единственного архитектурного подхода, потенциально ослепляя исследователей перед следующим крупным прорывом.
Парадокс избыточного финансирования
Джонс описал парадоксальную ситуацию: больше ресурсов привели к меньшей креативности. «Несмотря на то, что никогда не было такого интереса, ресурсов, денег и талантов, это каким-то образом вызвало сужение исследований, которые мы проводим», — заявил он аудитории.
Виновником, по его мнению, стало «огромное давление» инвесторов, требующих возврата вложений, и исследователей, пытающихся выделиться в перенасыщенной области.
Предупреждение имеет особый вес, учитывая роль Джонса в истории ИИ. Разработанная им в Google архитектура трансформеров стала фундаментом бума генеративного ИИ, обеспечивая системы, способные писать эссе, генерировать изображения и вести диалог на человеческом уровне. Его статья была процитирована более 100 000 раз, став одной из самых влиятельных публикаций в компьютерных науках века.
Теперь, будучи техническим директором и сооснователем токийской компании Sakana AI, Джонс явно отказывается от собственного творения. «Я лично принял решение в начале этого года, что я собираюсь резко сократить время, которое я трачу на трансформеры», — сказал он. «Я теперь явно исследую и ищу следующую большую вещь».
Почему больше денег означает меньше креатива
Джонс описал исследовательское сообщество ИИ, страдающее от того, что он назвал парадоксом: больше ресурсов привело к меньшей креативности. Он рассказал о постоянной проверке, не были ли исследователи «опережены» конкурентами, работающими над идентичными идеями, и об ученых, выбирающих безопасные, публикуемые проекты вместо рискованных, потенциально преобразующих.
«Если вы занимаетесь стандартными исследованиями ИИ прямо сейчас, вы должны предполагать, что есть, возможно, три или четыре другие группы, делающие что-то очень похожее или, может быть, точно такое же», — сказал Джонс, описывая среду, где «к сожалению, это давление вредит науке, потому что люди торопятся с публикациями, и это снижает количество креативности».
Он провел аналогию с самим ИИ — компромиссом «исследование против эксплуатации», который управляет тем, как алгоритмы ищут решения. Когда система слишком много эксплуатирует и слишком мало исследует, она находит посредственные локальные решения, упуская превосходные альтернативы. «Мы почти наверняка находимся в этой ситуации прямо сейчас в индустрии ИИ», — утверждал Джонс.
Ирония ситуации в том, что трансформеры стали жертвами собственного успеха. Технология настолько хороша, что задушила альтернативные подходы в зародыше. Это классический случай локального максимума — мы нашли рабочее решение и теперь бесконечно его оптимизируем, вместо того чтобы искать принципиально новые пути. Парадоксально, но именно слабость предыдущих архитектур подтолкнула к созданию трансформеров.
Рождение прорыва в условиях свободы
Чтобы подчеркнуть свою точку зрения, Джонс описал условия, которые позволили трансформерам появиться в первую очередь — разительный контраст с сегодняшней средой. Проект, по его словам, был «очень органичным, снизу вверх», рожденным «из разговоров за обедом или случайных каракулей на офисной доске».
Критически важно, что «у нас не было действительно хорошей идеи, у нас была свобода потратить время и поработать над этим, и что еще важнее, у нас не было никакого давления со стороны руководства», — вспоминал Джонс. «Никакого давления работать над каким-либо конкретным проектом, публиковать определенное количество статей для улучшения метрик».
Эта свобода, предположил Джонс, в значительной степени отсутствует сегодня. Даже исследователи, нанятые за астрономические зарплаты — «буквально миллион долларов в год в некоторых случаях» — могут не чувствовать себя вправе рисковать. «Думаете ли вы, что когда они начинают свою новую позицию, они чувствуют себя уполномоченными пробовать свои дикие идеи и более спекулятивные идеи, или они чувствуют огромное давление, чтобы доказать свою ценность и снова пойти за низко висящими фруктами?» — спросил он.
Свобода исследований против миллионных зарплат
Предложенное Джонсом решение намеренно провокационно: увеличить «регулятор исследования» и открыто делиться находками, даже ценой конкуренции. Он признал иронию своей позиции. «Может показаться немного противоречивым услышать от одного из авторов трансформеров на сцене, что он абсолютно сыт ими по горло, но это вполне справедливо, верно? Я работал над ними дольше, чем кто-либо, за возможным исключением семи человек».
В Sakana AI Джонс сказал, что пытается воссоздать ту среду, что была до трансформеров, с исследованиями, вдохновленными природой, и минимальным давлением гнаться за публикациями или соревноваться напрямую с конкурентами. Он предложил исследователям мантру инженера Брайана Чанга: «Вы должны делать только то исследование, которое не случилось бы, если бы вы его не делали».
Один пример — «машина непрерывного мышления» Sakana, которая включает мозгоподобную синхронизацию в нейронные сети. Сотрудник, предложивший идею, сказал Джонсу, что столкнулся бы со скептицизмом и давлением не тратить время у предыдущих работодателей или в академических позициях. В Sakana Джонс дал ему неделю на исследование. Проект стал достаточно успешным, чтобы быть представленным на NeurIPS, крупной конференции по ИИ.
Джонс даже предположил, что свобода превосходит компенсацию в найме. «Это действительно, действительно хороший способ получения талантов», — сказал он об исследовательской среде. «Подумайте об этом, талантливые, умные люди, амбициозные люди, естественно, будут искать такую среду».
Успех как препятствие для прорыва
Возможно, наиболее провокационно Джонс предположил, что трансформеры могут быть жертвами собственного успеха. «Тот факт, что текущая технология настолько мощная и гибкая… остановила нас от поиска лучшего», — сказал он. «Логично, что если бы текущая технология была хуже, больше людей искали бы лучшее».
Он тщательно уточнил, что не отвергает текущие исследования трансформеров. «Есть еще много очень важной работы, которую нужно сделать над текущей технологией и принести много ценности в ближайшие годы», — сказал он. «Я просто говорю, что учитывая количество талантов и ресурсов, которые у нас есть в настоящее время, мы можем позволить себе делать гораздо больше».
Его конечное сообщение было о сотрудничестве, а не конкуренции. «Искренне, с моей точки зрения, это не соревнование», — заключил Джонс. «У нас всех одна цель. Мы все хотим видеть прогресс этой технологии, чтобы мы все могли извлечь из этого выгоду. Так что если мы все сможем сотрудничать…»
По материалам VentureBeat