Databricks объявила о переходе на модель ценообразования для оценки ИИ-агентов в MLflow с учетом токенов, что обещает сокращение затрат на тестирование до 95%. По сообщению Databricks, это изменение позволит компаниям масштабировать тестирование генеративных ИИ-приложений без бюджетных ограничений.
Новая модель ценообразования
Вместо фиксированной платы за каждый запрос к оценщику MLflow теперь использует покомпонентную оплату: $0,15 за миллион входных токенов и $0,60 за миллион выходных токенов. Это обеспечивает как резкое снижение стоимости, так и полную прозрачность расчетов.
Пример для 10 000 трасс:
- До: 10 000 трасс × 5 судей = $875 в день
- Теперь: 10 000 трасс × 5 судей = $45 в день
Открытые промпты для оценки
Компания также открыла исходный код промптов для оценки ИИ-агентов, которые прошли тестирование в реальных условиях. Эти промпты охватывают специализированные области:
- Финансы и банковское дело
- Здравоохранение и медицина
- Техническая документация
- Безопасность и соответствие
Промпты были проверены на таких бенчмарках как FinanceBench, HotPotQA, DocsQA, RAGTruth и HarmBench. Исходный код доступен в репозитории MLflow.
Гибкость выбора моделей
Платформа теперь поддерживает использование собственных моделей для оценки без дополнительной платы. Это позволяет:
- Соответствовать требованиям комплаенса
- Использовать существующие корпоративные соглашения с провайдерами LLM
- Применять специализированные модели, обученные на собственных данных
- Контролировать весь процесс оценки
Интеграция с экосистемой Databricks
Решение обеспечивает готовность к промышленной эксплуатации с первого дня:
- Интеграция с Unity Catalog для управления безопасностью
- Хранение данных в Delta Lake для создания пользовательских дашбордов
- Полная интеграция с MLflow для просмотра результатов
- Бессерверные вычисления без управления инфраструктурой
Снижение стоимости оценки на 95% — это не просто маркетинговая уловка, а реальное изменение парадигмы в разработке ИИ-агентов. До этого многие компании сталкивались с тем, что стоимость тестирования превышала стоимость разработки. Теперь можно будет проводить более частые и тщательные проверки качества, что критически важно для промышленного внедрения. Интересно, как конкуренты отреагируют на этот ход — вероятно, нам стоит ожидать аналогичных шагов от других платформ в ближайшие месяцы.
Начало работы
Новая модель ценообразования и открытые промпты уже доступны всем пользователям Databricks:
- Существующие пользователи автоматически перейдут на новую модель
- Новые пользователи могут начать с краткого руководства
- Пользователи MLflow с открытым исходным кодом могут обновиться до версии 3.4.0+
Это изменение делает непрерывную оценку качества ИИ-агентов доступной для компаний любого масштаба, особенно в таких требовательных отраслях как финансы, здравоохранение и техническая документация.