Amazon SageMaker HyperPod и Anyscale объединяются для распределенных вычислений нового поколения

Компании, занимающиеся разработкой и развертыванием крупномасштабных моделей искусственного интеллекта, сталкиваются с критическими проблемами инфраструктуры, которые напрямую влияют на их финансовые результаты: нестабильные обучающие кластеры, выходящие из строя в середине работы, неэффективное использование ресурсов, приводящее к росту затрат, и сложные фреймворки распределенных вычислений, требующие специальных знаний. Эти факторы могут приводить к простаиванию GPU-часов, задержкам проектов и разочарованию команд специалистов по данным.

Решение инфраструктурных проблем

Amazon SageMaker HyperPod представляет собой специализированную инфраструктуру для генеративного ИИ, оптимизированную для рабочих нагрузок машинного обучения. Она обеспечивает надежную инфраструктуру для крупномасштабных ML-задач с высокопроизводительным оборудованием, позволяя организациям создавать гетерогенные кластеры с использованием от десятков до тысяч GPU-ускорителей.

Ключевые преимущества SageMaker HyperPod включают:

• Снижение сетевых накладных расходов для распределенного обучения
• Операционную стабильность через непрерывный мониторинг состояния узлов
• Автоматическую замену неисправных узлов и возобновление обучения с последней контрольной точки
• Возможность экономии до 40% времени обучения
• SSH-доступ к узлам кластера для глубокого контроля инфраструктуры

Платформа Anyscale бесшовно интегрируется с SageMaker HyperPod при использовании Amazon Elastic Kubernetes Service в качестве оркестратора кластера. Ray является ведущим вычислительным движком для ИИ, предлагающим возможности распределенных вычислений на основе Python для решения задач от многомодального ИИ до обработки данных, обучения моделей и их обслуживания.

Интеграция SageMaker HyperPod с Anyscale представляет собой элегантное решение для организаций, уставших от постоянной борьбы с инфраструктурными проблемами при обучении больших моделей. Вместо того чтобы тратить недели на настройку и отладку распределенных систем, команды могут сосредоточиться на том, что действительно важно — на создании и улучшении моделей. Особенно впечатляет обещание экономии 40% времени обучения — это не просто маркетинговая цифра, а реальная экономия ресурсов, которая может ускорить выход продуктов на рынок.

Архитектура решения

Следующая архитектурная диаграмма иллюстрирует SageMaker HyperPod с оркестрацией Amazon EKS и Anyscale.

Последовательность событий в этой архитектуре следующая:

1. Пользователь отправляет задание в Anyscale Control Plane — основной интерфейс для пользователей
2. Anyscale Control Plane передает это задание Anyscale Operator внутри кластера SageMaker HyperPod
3. Anyscale Operator инициирует процесс создания необходимых подов, обращаясь к управляющей плоскости EKS
4. Управляющая плоскость EKS оркестрирует создание Ray head pod и worker pods
5. Anyscale Operator отправляет задание через head pod, который служит основным координатором распределенной рабочей нагрузки
6. Head pod распределяет рабочую нагрузку по нескольким worker pods
7. Worker pods выполняют назначенные задачи, потенциально получая доступ к данным из сервисов хранения
8. Метрики и логи публикуются в Amazon CloudWatch и Amazon Managed Service for Prometheus
9. После завершения задания артефакты сохраняются в назначенный сервис хранения
10. Результаты задания отправляются через Anyscale Operator обратно в Anyscale Control Plane

Мониторинг и управление

Комбинированное решение предоставляет расширенный мониторинг через дашборды SageMaker HyperPod в реальном времени, отслеживающие состояние узлов, использование GPU и сетевой трафик. Интеграция с Amazon CloudWatch Container Insights, Amazon Managed Service for Prometheus и Amazon Managed Grafana обеспечивает глубокую видимость производительности кластера.

Это дополняется фреймворком мониторинга Anyscale, который предоставляет встроенные метрики для наблюдения за Ray-кластерами и рабочими нагрузками, выполняемыми на них.

Бизнес-преимущества

Сочетание SageMaker HyperPod и Anyscale может обеспечить ощутимые бизнес-результаты:

• Сокращение времени выхода на рынок для инициатив в области ИИ
• Снижение общей стоимости владения через оптимизацию использования ресурсов
• Повышение продуктивности специалистов по данным за счет минимизации накладных расходов на управление инфраструктурой

Решение идеально подходит для организаций, ориентированных на Amazon EKS и Kubernetes, команд с потребностями в крупномасштабном распределенном обучении и тех, кто инвестирует в экосистему Ray или SageMaker.

По материалам AWS Machine Learning Blog.