Компания Google представила Coral NPU — полноценную открытую платформу для разработки энергоэффективных систем искусственного интеллекта на граничных устройствах. Новая архитектура призвана решить фундаментальные проблемы производительности, фрагментации и приватности в сфере носимой электроники и IoT-устройств.
От облака к карману: вызовы периферийного ИИ
Современные генеративные модели произвели революцию в наших ожиданиях от технологий, но следующий технологический скачок связан не с увеличением облачных моделей, а с переносом их интеллекта непосредственно в личное пространство пользователя. Для создания действительно полезных ассистентов — способных переводить разговоры в реальном времени или понимать физический контекст — ИИ должен работать на устройствах, которые мы носим с собой.
Переход от облачных вычислений к персональным устройствам требует решения трех ключевых проблем:
- Разрыв в производительности: Современные ML-модели требуют вычислительных мощностей, значительно превышающих энергетические и тепловые ограничения портативных устройств
- Налог фрагментации: Компиляция и оптимизация моделей для разнообразных процессоров затруднена и дорогостояща
- Дефицит доверия: Персональный ИИ должен гарантировать конфиденциальность пользовательских данных
Архитектура Coral NPU: приоритет ИИ с уровня кремния
Coral NPU представляет собой полную архитектуру нейронного процессора, спроектированную как открытую платформу для создания энергоэффективных систем-на-чипе. В отличие от традиционных подходов, где ML-ускорение добавляется постфактум, Coral NPU изначально оптимизирован для искусственного интеллекта.
Это весьма смелый ход от Google — выпустить полноценную RISC-V архитектуру в открытый доступ. В мире, где каждый производитель пытается запатентовать свои NPU-решения, такой шаг выглядит как стратегическая попытка стандартизировать рынок периферийного ИИ под своим влиянием.
Архитектура построена на базе совместимых с RISC-V ISA блоков и обеспечивает производительность порядка 512 гигаопераций в секунду при потреблении всего в несколько милливатт. Такой подход делает платформу идеальной для устройств с постоянным включением: умных часов, AR-очков и носимых датчиков.
Ключевые компоненты архитектуры
- Скалярное ядро: Легковесный программируемый на C фронтенд на базе RISC-V, управляющий потоком данных
- Векторное исполняющее устройство: Мощный сопроцессор SIMD, совместимый с RISC-V Vector instruction set
- Матричное исполняющее устройство: Высокоэффективный движок для операций умножения-накопления, специализированный для нейросетей (ожидается релиз на GitHub позже в этом году)
Унифицированная среда разработки
Coral NPU предлагает единую программную среду, совместимую с современными компиляторами IREE и TFLM, что позволяет легко интегрировать платформу с популярными ML-фреймворками: TensorFlow, JAX и PyTorch.
Компиляторная цепочка Coral NPU использует прогрессивное понижение уровня абстракции — методологию, при которой код последовательно трансформируется через серию диалектов, приближаясь к машинному языку. Это позволяет достичь максимальной оптимизации для целевого оборудования.
Особое внимание в разработке уделено двум направлениям: эффективное ускорение современных энкодерных архитектур для обработки видео и аудио, а также оптимизация для небольших трансформерных моделей в сотрудничестве с командой Gemma.
Интересно наблюдать, как Google пытается убить двух зайцев: с одной стороны, создает открытую экосистему для разработчиков, с другой — укрепляет собственную позицию в гонке периферийных вычислений. Успех этой стратегии будет зависеть от того, насколько широко архитектура будет принята независимыми производителями чипов.
По материалам Google Research.