Сообщество машинного обучения получило новый инструмент для объективной оценки качества векторных представлений текста. Hugging Face представила вторую версию Massive Text Embedding Benchmark (MTEB), которая стала более масштабной и репрезентативной.
Что изменилось в новой версии
MTEB-v2 существенно расширил охват задач и языков по сравнению с первой версией. Теперь бенчмарк включает 113 датасетов, охватывающих 8 различных категорий задач, включая классификацию, кластеризацию, поиск и ретриваль информации.
Ключевые улучшения
- Увеличение количества датасетов со 58 до 113
- Расширение языкового покрытия до 112 языков
- Добавление новых категорий задач, включая ретриваль пар текст-текст и текст-код
- Улучшенная метрика оценки с акцентом на практическую применимость
Практическая значимость
Новый бенчмарк позволяет разработчикам более точно сравнивать производительность различных моделей эмбеддингов на реальных задачах. Особое внимание уделено задачам поиска информации и ретриваля, которые критически важны для построения эффективных поисковых систем и чат-ботов.
Интересно наблюдать, как индустрия постепенно отходит от синтетических метрик вроде точности на тестовых наборах данных к более практико-ориентированным оценкам. MTEB-v2 — это шаг в правильном направлении, хотя и здесь есть свои подводные камни. Бенчмарк становится стандартом де-факто, но рискует превратиться в очередную гонку за лидербордами, где реальная применимость моделей отходит на второй план.
Технические особенности
Бенчмарк поддерживает оценку как общих моделей эмбеддингов, так и специализированных решений для конкретных задач. Включены датасеты для оценки качества на таких задачах, как семантическое сходство, поиск похожих вопросов и поиск релевантных документов.
По материалам Hugging Face.