Андрей Карпати теперь работает в Anthropic, он будет заниматься предобучением LLM

Андрей Карпати, один из самых влиятельных исследователей ИИ, выбрал Anthropic для продолжения работы над передовыми языковыми моделями, сосредоточившись на этапе pretraining.

Cover Image for Андрей Карпати теперь работает в Anthropic, он будет заниматься предобучением LLM

Известный исследователь в области искусственного интеллекта Андрей Карпати принял решение присоединиться к команде Anthropic. Как сообщает издание The Decoder, один из основателей OpenAI и бывший глава отдела ИИ в Tesla возвращается к активной разработке передовых больших языковых моделей (LLM).

В своем заявлении Карпати отметил, что ближайшие несколько лет станут определяющими для индустрии, и он намерен сосредоточиться на создании наиболее мощных базовых моделей. Выбор в пользу Anthropic вместо возвращения в «родную гавань» OpenAI выглядит как весомый аргумент в пользу стратегии компании, создавшей Claude, и подчеркивает растущую конкуренцию за таланты в Кремниевой долине.

Роль в команде и новые горизонты

Карпати возглавит собственную группу в рамках подразделения по предварительному обучению (pretraining). Основная задача этой команды заключается в использовании возможностей моделей Claude для ускорения самих исследований в области обучения. Это отражает одну из ключевых гипотез современного ИИ: прогресс может расти экспоненциально, если модели научатся эффективно помогать в собственном совершенствовании.

Процесс предварительного обучения является критическим этапом, на котором закладывается «фундамент» интеллекта системы. Только после этого базовую модель подвергают дообучению (fine-tuning) с помощью таких методов, как обучение с подкреплением, чтобы наделить её способностями к программированию, сложным математическим вычислениям или логическому рассуждению.

Путь исследователя и образовательные проекты

Карьерный путь Карпати всегда был тесно связан с ключевыми вехами развития отрасли. После работы в Tesla над автопилотом и системой Full Self-Driving, он вернулся в OpenAI, однако окончательно покинул компанию в 2024 году. В последнее время он уделял много внимания своему стартапу Eureka Labs, нацеленному на трансформацию образования с помощью технологий.

Еще несколько месяцев назад он скептически относился к концепции автономных агентов, однако недавние успехи ИИ в написании кода заставили его пересмотреть позицию. Карпати признал, что возможности современных систем превзошли его ожидания, сделав процесс программирования практически неузнаваемым по сравнению с тем, что было раньше.

Несмотря на переход в коммерческую структуру, Андрей Карпати подчеркнул, что вопросы образования остаются для него приоритетными. Он планирует вернуться к развитию Eureka Labs, когда наступит подходящий момент, а пока его опыт будет направлен на расширение границ того, что мы называем искусственным интеллектом, на благо всего технологического сообщества.