Исследователи из Университета науки и технологий Китая продемонстрировали революционный метод сжатия больших языковых моделей, уменьшив размер DeepSeek-R1 в десять раз без существенной потери качества. Техника, основанная на квантовых принципах, открывает путь к запуску сложных ИИ-моделей на устройствах с ограниченными ресурсами.
Квантовый подход к сжатию моделей
Метод использует концепцию квантовой томографии для анализа внутренних представлений модели. Вместо традиционного обрезания весов или квантования, исследователи применили технику «квантового сжатия представлений», которая сохраняет наиболее информативные компоненты нейронной сети.
«Мы обнаружили, что многие активации в больших моделях избыточны с точки зрения информации, которую они несут», — объясняет ведущий исследователь проекта. «Наш подход позволяет идентифицировать и сохранить только наиболее значимые паттерны».
Технические детали метода
Алгоритм работает в три этапа:
- Анализ энтропии: вычисление информационной плотности каждого нейрона
- Квантовая фильтрация: удаление компонентов с наименьшей информационной ценностью
- Реконструкция: восстановление функциональности модели на основе сохраненных компонентов
Сжатая модель сохранила 97% оригинальной производительности на стандартных бенчмарках, включая тесты на понимание естественного языка и логическое рассуждение. При этом требования к памяти сократились с 16GB до 1.6GB.
Практические применения
Технология открывает возможности для:
- Запуска сложных ИИ-моделей на мобильных устройствах
- Снижения затрат на инференс в облачных средах
- Развертывания локальных ИИ-решений без необходимости в мощном оборудовании
- Ускорения распространения ИИ в регионах с ограниченной инфраструктурой
Это тот редкий случай, когда академическое исследование немедленно находит практическое применение. Метод особенно ценен для рынков, где стоимость облачных вычислений остается барьером для внедрения ИИ. Интересно, что китайские исследователи обошли американские лаборатории в этой конкретной области — возможно, из-за большего фокуса на эффективности в условиях ограниченного доступа к передовому оборудованию.
Ограничения и перспективы
Несмотря на впечатляющие результаты, метод требует значительных вычислительных ресурсов на этапе сжатия. Процесс оптимизации одной модели занимает несколько дней на кластере из 64 GPU.
«Сейчас мы работаем над ускорением процесса сжатия, чтобы сделать технологию более доступной», — отмечают исследователи. «В перспективе мы надеемся автоматизировать процесс для произвольных архитектур нейронных сетей».
Техника уже привлекла внимание крупных технологических компаний, рассматривающих возможность лицензирования метода для оптимизации собственных моделей. Особый интерес представляет возможность применения подхода к мультимодальным системам, которые обычно требуют еще больше ресурсов.
По материалам MIT Technology Review.