Компания Lambda развернула первые в мире системы NVIDIA GB300 NVL72 в своих центрах обработки данных с жидкостным охлаждением, создавая гигаваттные AI-фабрики для обучения и обслуживания моделей с триллионами параметров. Как сообщает сама Lambda, эти системы станут основой для следующего поколения исследований в области искусственного интеллекта.
Архитектурные улучшения NVIDIA GB300 NVL72
По сравнению с предыдущим поколением GB200 NVL72, новая система демонстрирует существенные улучшения:
- +50% памяти HBM3e (20 ТБ на стойку): поддержка моделей с триллионами параметров, увеличенными контрольными точками и расширенным контекстом
- +1.5× производительность FP4 и 2× скорость операций внимания: повышение эффективности вывода для рабочих нагрузок с интенсивным логическим выводом
Каждая стойка объединяет 72 GPU NVIDIA Blackwell Ultra и 36 CPU NVIDIA Grace, обеспечивая 37 ТБ быстрой памяти и пропускную способность 130 ТБ/с через коммутатор NVLink Switch.
Оптимизация для логического вывода
NVIDIA GB300 NVL72 разработана специально для масштабного логического вывода. Рабочие нагрузки reasoning могут требовать до 100× больше вычислений на запрос по сравнению с обычным выводом. Расширенная память HBM3e и эффективность FP4 поддерживают такие нагрузки на полной скорости.
Сквозное соединение NVLink5 обеспечивает 1.8 ТБ/с пропускной способности на GPU, объединяя их в единую высокоскоростную сеть. Для многорэковых кластеров используются NVIDIA Quantum-X800 InfiniBand и ConnectX-8 SuperNICs с пропускной способностью 800 Гб/с на GPU.
Гигаваттные масштабы впечатляют, но реальный вопрос — кто сможет себе это позволить. При таком энергопотреблении ИИ становится привилегией горстки корпораций и государств. Пока Lambda строит фабрики будущего, остальным приходится довольствоваться облачными API с ограниченным контролем.
Инфраструктурные преимущества Lambda
Lambda Private Cloud предлагает выделенные bare-metal кластеры с GPU NVIDIA в физически изолированных дата-центрах с низкоуровневой сетью и высокопроизводительными соединениями.
- Дата-центры, оптимизированные для AI: жидкостное охлаждение для масштабируемой и эффективной работы
- Одноклиентские кластеры с мониторингом: безопасные выделенные системы с опциональным мониторингом в реальном времени
- Совместная инженерия и поддержка: прямое взаимодействие с инженерами Lambda для ускорения результатов
Каждая стойка обеспечивает 3.84 ТБ кэша NVMe на GPU (276 ТБ на NVL72), настраиваемое параллельное файловое хранилище для высокоскоростного доступа к данным и опциональное управление оркестрацией через Kubernetes или Slurm.
Перспективы развития
Системы NVIDIA GB300 NVL72 с технологиями второго поколения Transformer Engine и методами динамического управления диапазоном оптимизируют эффективность логического вывода. С увеличением памяти на 50% и производительностью FP4 на 50% выше по сравнению с GB200 NVL72, эти системы предназначены для следующего скачка в развитии моделей с триллионами параметров.
Lambda позиционирует себя как облако для суперинтеллекта, предлагая решения для самых амбициозных лабораторий и предприятий, стремящихся обучать и обслуживать модели следующего поколения быстрее и эффективнее в гигаваттном масштабе.