Исследовательская группа из Китая разработала принципиально новый способ взаимодействия больших языковых моделей — вместо обмена текстовыми сообщениями модели теперь могут напрямую делиться своими внутренними представлениями через механизм кэширования. Метод cache-to-cache (C2C) позволяет передавать информацию быстрее и с большей точностью.
Проблемы текстового обмена
Современные языковые модели вынуждены общаться через текстовые сообщения, что создает три фундаментальные проблемы: текст становится узким местом, естественный язык содержит неоднозначности, а генерация каждого токена требует времени.
Классический пример: когда LLM-программист дает инструкцию LLM-писателю «записать контент в обертку секции», писатель может не понять, что означает «<p>» и разместить текст не в том месте.
При передаче инструкций обычным текстом писатель часто ошибается из-за структурных неясностей. С C2C модели делятся смыслом напрямую через KV-кэш, поэтому получатель точно понимает, куда что должно попасть.
Техническая реализация C2C
KV-кэш работает как внутренняя черновая доска модели. В процессе обработки текста он сохраняет математические снимки каждого слова и фразы — гораздо более богатые информацией, чем конечный текстовый вывод.
- Текст дает только конечный результат
- KV-кэш захватывает все промежуточные шаги и контекст
- Модели могут передавать структурное понимание напрямую
Система C2C проецирует KV-кэш исходной модели в целевую и объединяет их память через нейросеть Cache Fuser, которая состоит из трех компонентов:
- Модуль проекции для согласования разных форматов кэша
- Динамическая система взвешивания для определения важности информации
- Адаптивный гейт для выбора слоев модели, получающих преимущество
Разные модели хранят внутренние данные уникальными способами, поэтому исследователям пришлось синхронизировать представления поэтапно: сначала выравнивание разбивки слов, затем соединение различных слоев моделей.
Практические результаты
В тестах C2C превзошел обычное текстовое общение на 3-5% и увеличил точность на 8,5-10,5% по сравнению с одиночными моделями. Скорость взаимодействия примерно удвоилась.
Команда тестировала различные комбинации моделей, включая Qwen2.5, Qwen3, Llama 3.2 и Gemma 3 с размерами от 0,6 до 14 миллиардов параметров. Более крупные исходные модели с большими знаниями давали еще лучшие результаты.
Технически это выглядит как прорыв, но практическая реализация потребует серьезной доработки. Пока неясно, как такая система будет масштабироваться в реальных приложениях и насколько устойчива к разным типам моделей. Интересно, что китайские команды все чаще предлагают альтернативные архитектурные решения, бросая вызов доминирующим западным подходам — возможно, мы наблюдаем начало новой волны инноваций из Азии.
Эффективность и перспективы
Ключевое преимущество — эффективность. Обучать нужно только модуль соединения C2C, тогда как исходные и целевые модели остаются неизменными. Это позволяет избежать колоссальных затрат на переобучение полных моделей.
Исследователи видят применение C2C в:
- Приватном сотрудничестве между облачными и периферийными устройствами
- Комбинации с существующими методами ускорения
- Мультимодальных системах, смешивающих язык, изображения и действия
Команда уже открыла исходный код на GitHub и рассматривает cache-to-cache как практическую альтернативу тексту для построения более быстрых и масштабируемых ИИ-систем.
По материалам The Decoder.