Исследователи из MIT обнаружили поразительное совпадение в том, как люди и модели искусственного интеллекта решают сложные задачи. Новое поколение языковых моделей с функциями рассуждения демонстрирует удивительно похожие паттерны мышления на человеческие.
Эволюция языковых моделей
Большие языковые модели вроде ChatGPT могут мгновенно написать эссе или составить меню. Однако до недавнего времени их было легко поставить в тупик. Эти модели, полагающиеся на языковые паттерны для ответов на запросы пользователей, часто терпели неудачу в математических задачах и не справлялись со сложными рассуждениями. Но ситуация резко изменилась.
Новое поколение LLM, известное как модели рассуждения, обучается решению сложных проблем. Как и люди, им требуется время для обдумывания таких задач — и что удивительно, ученые из McGovern Institute for Brain Research обнаружили, что типы проблем, требующие наибольших вычислительных ресурсов от моделей рассуждения, в точности совпадают с теми, на решение которых люди тратят больше всего времени. Исследователи сообщают в журнале PNAS, что «стоимость мышления» для модели рассуждения аналогична человеческой.
Как работают модели рассуждения
Как и многие формы искусственного интеллекта, новые модели рассуждения представляют собой искусственные нейронные сети: вычислительные инструменты, которые обучаются обработке информации при получении данных и задачи для решения. Искусственные нейронные сети преуспели во многих задачах, с которыми хорошо справляются нейронные сети мозга — и в некоторых случаях нейробиологи обнаружили, что наиболее эффективные из них действительно разделяют определенные аспекты обработки информации с мозгом.
Андреа Грегор де Варда, научный сотрудник лаборатории Федоренко, объясняет, что модели рассуждения решают проблемы шаг за шагом. «В какой-то момент люди поняли, что моделям нужно больше пространства для выполнения фактических вычислений, необходимых для решения сложных проблем», — говорит он. «Производительность начала становиться значительно лучше, если позволить моделям разбивать проблемы на части».
Для поощрения моделей к пошаговому решению сложных проблем инженеры используют обучение с подкреплением. Во время тренировки модели получают награду за правильные ответы и штраф за неправильные. «Модели самостоятельно исследуют пространство проблем», — объясняет де Варда. «Действия, ведущие к положительным вознаграждениям, усиливаются, чтобы они чаще выдавали правильные решения».
Ирония ситуации в том, что создатели этих моделей изначально не ставили цель имитировать человеческое мышление — они просто хотели получить систему, которая надежно работает в любых условиях. Получилось почти как в эволюции: разные пути привели к схожим решениям. Похоже, что для сложных рассуждений существует некий универсальный оптимум, к которому сходятся и биологические, и искусственные системы.
Время против токенов
Исследователи разработали методику сравнения человеческого и искусственного мышления. Для людей измерялось время реакции на каждый вопрос с точностью до миллисекунды. Для моделей использовалась другая метрика — токены, которые являются частью внутренней цепочки рассуждений модели.
«Они производят токены, которые не предназначены для просмотра пользователем, а служат для отслеживания внутренних вычислений», — поясняет де Варда. «Это как если бы они разговаривали сами с собой».
И людям, и моделям рассуждений предлагалось решить семь различных типов задач, включая числовую арифметику и интуитивные рассуждения. Для каждого класса задач давалось множество конкретных проблем. Чем сложнее была задача, тем дольше требовалось людям для ее решения — и тем больше токенов генерировала модель рассуждений при поиске собственного решения.
Более того, классы проблем, решение которых занимало у людей больше всего времени, совпадали с классами проблем, требующими наибольшего количества токенов от моделей: арифметические задачи оказались наименее требовательными, тогда как задачи «ARC challenge», где пары цветных сеток представляют преобразование, которое необходимо вывести и затем применить к новому объекту, были наиболее затратными как для людей, так и для моделей.
Что это значит для будущего ИИ
Поразительное совпадение в стоимости мышления демонстрирует один из способов, каким модели рассуждений мыслят подобно людям. Это не означает, что модели воссоздают человеческий интеллект. Исследователи все еще хотят понять, используют ли модели похожие представления информации, что и человеческий мозг, и как эти представления преобразуются в решения проблем.
Ведущий исследователь проекта Эвелина Федоренко отмечает: «Люди, которые создают эти модели, не заботятся о том, делают ли они это как люди. Они просто хотят систему, которая будет надежно работать в любых условиях и выдавать правильные ответы. Тот факт, что есть некоторая конвергенция, действительно весьма поразителен».
Исследование открывает новые горизонты для понимания не только искусственного интеллекта, но и человеческого мышления. Сравнивая, как разные системы — биологические и искусственные — решают одни и те же задачи, ученые могут выявить фундаментальные принципы рассуждения и решения проблем.
По сообщению MIT News, работа продолжается, и следующим шагом будет изучение того, смогут ли модели справляться с проблемами, требующими знаний о мире, которые не прописаны в текстах, используемых для их обучения.