Компания Nvidia представила компактный компьютер Jetson Orin Nano, который позволяет запускать крупные языковые модели прямо на рабочем столе без подключения к облачным сервисам. Устройство размером с кредитную карту оснащено процессором ARM и графическим ускорителем с 1024 ядрами CUDA.
Технические характеристики
Новый девайс построен на архитектуре Ampere и предлагает производительность до 40 TOPS (триллионов операций в секунду) для задач искусственного интеллекта. Это делает его способным локально обрабатывать модели размером до 7 миллиардов параметров.
Ключевые особенности Jetson Orin Nano:
- Процессор ARM Cortex-A78AE
- 1024 ядра CUDA
- 32 тензорных ядра
- 8 ГБ оперативной памяти LPDDR5
- Поддержка PCIe 4.0
- Несколько портов USB и Ethernet
Практическое применение
Устройство предназначено для разработчиков, исследователей и компаний, которые хотят создавать и тестировать AI-приложения без зависимости от облачных провайдеров. Это особенно актуально для проектов, требующих низкой задержки или работающих с конфиденциальными данными.
Интересно наблюдать, как Nvidia пытается демократизировать доступ к AI-вычислениям, одновременно создавая новый рынок для своих продуктов. С одной стороны, это шаг к децентрализации AI, с другой — очевидная попытка закрепиться на уровне edge-устройств. Цена в $499 выглядит разумной для профессионального использования, но для массового потребителя все еще высока. Любопытно, сколько разработчиков действительно перейдут с облачных решений на локальные вычисления, учитывая удобство масштабирования в облаке.
Рыночный контекст
Nvidia традиционно доминирует на рынке серверных GPU для AI, но теперь компания активно расширяет присутствие в сегменте edge-вычислений. Конкуренцию составляют решения от Intel, AMD и специализированные чипы от Google и Amazon.
По словам представителей Nvidia, устройство уже доступно для предзаказа и начнет поставляться в конце октября. Компания также предоставляет полный стек программного обеспечения, включая JetPack SDK с поддержкой популярных фреймворков машинного обучения.
Сообщает Ars Technica.