Komaru Embeddings

Компактная модель русскоязычных текстовых эмбеддингов: 768 измерений, до 512 токенов. Использует усреднение по токенам с маской и L2-нормализацию. Подходит для семантического поиска, классификации и кластеризации.

Использование

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("IIIaHTu/komaru_embeddings")
query = model.encode_query(["Как настроить резервное копирование?"])
docs = model.encode_document([
    "Инструкция по настройке резервного копирования.",
    "Прогноз погоды на выходные.",
])
print(model.similarity(query, docs))

Для других задач доступны именованные промпты. Например, model.encode(texts, prompt_name="categorize_sentiment") для анализа тональности. Не добавляйте префикс вручную, если используете именованный промпт.

Лицензия

Вклад Komaru распространяется под MIT. Для унаследованных материалов сохраняются применимые условия и уведомления исходных моделей. См. NOTICE и Apache 2.0.

Обучение

Инициализация: LaBSE-ru-turbo. Учитель эмбеддингов: FRIDA. После дистилляции на веб-текстах, Википедии, новостях, отзывах и текстовых парах модель дообучалась на размеченных данных, включая обучающие сплиты задач ruMTEB. Для части классификационных задач также использовалась валидация, когда оценка проводится на test. Применялась фильтрация совпадений с доступными оценочными текстами.

Источники данных

Ниже указаны исходные репозитории. Использовались отобранные и отфильтрованные примеры, а не полные копии всех наборов.

Оценочные тексты, загруженные только для фильтрации пересечений, в список обучения не включены.

Оценка

Локальное сравнение на 23 задачах MTEB(rus, v1.1), MTEB 2.10.0. Модели использовали свои промпты. FRIDA показала более высокий результат по поиску; разница по общему среднему составляет около 0.10 пункта.

Metric Komaru Embeddings sergeyzh/LaBSE-ru-turbo sergeyzh/BERTA ai-forever/FRIDA
Mean (Task) 70.92 59.10 69.02 71.03
Mean (TaskType) 69.08 58.06 67.31 68.95
Classification 74.29 59.17 71.22 73.71
Clustering 66.88 53.51 64.84 67.30
MultilabelClassification 54.65 36.23 53.05 52.26
PairClassification 70.16 57.81 65.74 66.37
Reranking 70.27 63.06 68.90 71.53
Retrieval 73.26 64.06 73.73 77.12
STS 74.07 72.54 73.72 74.34

Per-task results

Task Metric Komaru Embeddings sergeyzh/LaBSE-ru-turbo sergeyzh/BERTA ai-forever/FRIDA
GeoreviewClassification accuracy 61.79 46.04 54.84 57.71
HeadlineClassification accuracy 90.58 69.98 89.02 89.02
InappropriatenessClassification accuracy 84.17 61.39 74.78 78.33
KinopoiskClassification accuracy 69.11 53.59 67.79 70.45
MassiveIntentClassification accuracy 71.77 65.74 73.96 79.51
MassiveScenarioClassification accuracy 79.17 70.92 84.55 88.75
RuReviewsClassification accuracy 77.70 64.58 72.29 75.07
RuSciBenchGRNTIClassification accuracy 74.19 56.67 68.96 69.91
RuSciBenchOECDClassification accuracy 60.12 43.58 54.77 54.63
GeoreviewClusteringP2P v_measure 72.54 63.94 74.27 78.24
RuSciBenchGRNTIClusteringP2P v_measure 69.84 52.08 64.85 67.05
RuSciBenchOECDClusteringP2P v_measure 58.28 44.50 55.39 56.61
CEDRClassification accuracy 64.45 44.38 66.03 63.78
SensitiveTopicsClassification accuracy 44.85 28.09 40.07 40.74
TERRa max_ap 70.16 57.81 65.74 66.37
MIRACLReranking ndcg_at_10 65.13 57.45 63.19 65.98
RuBQReranking map_at_1000 75.41 68.68 74.61 77.08
MIRACLRetrievalHardNegatives.v2 ndcg_at_10 69.05 57.26 65.90 72.39
RiaNewsRetrievalHardNegatives.v2 ndcg_at_10 80.65 69.22 84.47 86.56
RuBQRetrieval ndcg_at_10 70.08 65.71 70.84 72.41
RUParaPhraserSTS cosine_spearman 76.64 72.97 77.84 78.09
STS22 cosine_spearman 62.42 62.89 61.08 63.52
RuSTSBenchmarkSTS cosine_spearman 83.15 81.77 82.25 81.39
Downloads last month
-
Safetensors
Model size
0.1B params
Tensor type
F32
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for IIIaHTu/komaru_embeddings

Finetuned
(3)
this model

Datasets used to train IIIaHTu/komaru_embeddings