Запущен проект LLM Open Finance — разработка открытых финансовых языковых моделей

Компании AGEFI и Dragon LLM запустили инициативу LLM Open Finance — открытый проект по созданию языковых моделей, специально адаптированных для финансовой отрасли. Первый релиз включает две модели с 8 миллиардами параметров, обученные на финансовых данных с поддержкой английского и французского языков.

Ключевые преимущества

Модели демонстрируют значительное превосходство в финансовых задачах по сравнению с базовыми версиями:

• Улучшенное понимание финансовой терминологии и французских аббревиатур
• Одни из лучших открытых моделей для финансового перевода
• Оптимизация для работы с RAG-системами (Retrieval-Augmented Generation)

Технические детали

Обе модели основаны на архитектурах Llama 3.1 и Qwen 3 с сохранением всех возможностей базовых версий. Модель на основе Qwen 3 поддерживает режим рассуждений через токены /think и /no_think.

Обучение проводилось на сбалансированном датасете:

• 54% — финансовые данные
• 20% — данные для перевода
• 16% — общие данные
• 8% — RAG-данные
• 2% — математика, логика и программирование

Появление специализированных финансовых моделей — закономерный этап эволюции ИИ. В отличие от универсальных решений, они предлагают реальную практическую ценность для финансовых институтов, где точность терминологии и понимание контекста критически важны. Особенно впечатляет поддержка нескольких языков — это редкость для узкоспециализированных моделей.

Результаты тестирования

Модели показали превосходные результаты:

1. Опережают базовые модели в финансовых задачах
2. Превышают показатели специализированных финансовых моделей, включая Salesforce/Llama-Fin-8b
3. Сохраняют широкие общедоменные знания

Коммерческие версии

Для корпоративных клиентов доступна расширенная линейка LLM Pro Finance:

• Gemma Pro Finance 12B — лучший выбор для перевода и классификации
• Qwen Pro Finance R 32B — финансовая математика и генерация кода
• Llama Pro Finance 70B — чат-боты и RAG-приложения

Открытые модели доступны на Hugging Face, примеры использования и скрипты для оценки — в GitHub репозитории. Демо-версии коммерческих моделей можно протестировать в браузере. Подробности проекта описаны в научной статье.

Сообщает Hugging Face.