yklymchuk-rztk/multilingual-e5-base-matryoshka2d-mnr-negatives-multiple-datasets-large-6-2-old-code

RZTKSentenceTransformer based on yklymchuk-rztk/multilingual-e5-base-matryoshka2d-mnr-multiple-datasets-large-4-1

This is a sentence-transformers model finetuned from yklymchuk-rztk/multilingual-e5-base-matryoshka2d-mnr-multiple-datasets-large-4-1 on the core_uk dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: yklymchuk-rztk/multilingual-e5-base-matryoshka2d-mnr-multiple-datasets-large-4-1
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Dot Product
• Training Dataset:
  • core_uk

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

RZTKSentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("yklymchuk-rztk/multilingual-e5-base-matryoshka2d-mnr-negatives-multiple-datasets-large-6-3-1")
# Run inference
sentences = [
    'query: кабель питания для моника',
    "passage: Кабель живлення для комп'ютера, монітора (С13-CEE 7/7), 5 метрів Кабелі та адаптери Gembird Країна-виробник товару Китай",
    "passage: Клавіатура бездротова Logitech K270 (920-003757) Клавіатури Logitech Гарантія 36 місяців Тип упаковки BOX Інтерфейс Радіо адаптер (Wi-Fi) Колір Чорний Тип клавіатури Мембранні Сумісність з ОС Microsoft Windows Кількість вантажних місць 1 Країна реєстрації бренда Швейцарія Країна-виробник товару Китай Під'єднання Бездротове Колір літер кирилиці Білий Мовна розмітка Російська Мовна розмітка Англійська Форма Повнорозмірна Кнопки Класичні Тип гарантійного талона Гарантійний талон магазина Можливість доставки Почтомати Вид клавіатури Стандартна Доставка Premium Доставка Доставка в магазини ROZETKA",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

• Datasets: test-core-uk--matryoshka_dim-768--, test-core-ru--matryoshka_dim-768--, typos-uk--matryoshka_dim-768--, typos-ru--matryoshka_dim-768--, transliterations-uk--matryoshka_dim-768--, transliterations-ru--matryoshka_dim-768--, options-uk--matryoshka_dim-768--, options-ru--matryoshka_dim-768--, rusisms-uk--matryoshka_dim-768--, rusisms-ru--matryoshka_dim-768--, jargonisms-uk--matryoshka_dim-768--, jargonisms-ru--matryoshka_dim-768--, vespa-uk--matryoshka_dim-768-- and vespa-ru--matryoshka_dim-768--
• Evaluated with InformationRetrievalEvaluator with these parameters:

  {
      "truncate_dim": 768,
      "query_prompt_name": "query",
      "corpus_prompt_name": "text"
  }
  

Metric	test-core-uk--matryoshka_dim-768--	test-core-ru--matryoshka_dim-768--	typos-uk--matryoshka_dim-768--	typos-ru--matryoshka_dim-768--	transliterations-uk--matryoshka_dim-768--	transliterations-ru--matryoshka_dim-768--	options-uk--matryoshka_dim-768--	options-ru--matryoshka_dim-768--	rusisms-uk--matryoshka_dim-768--	rusisms-ru--matryoshka_dim-768--	jargonisms-uk--matryoshka_dim-768--	jargonisms-ru--matryoshka_dim-768--	vespa-uk--matryoshka_dim-768--	vespa-ru--matryoshka_dim-768--
dot_accuracy@10	0.9789	0.9763	0.9499	0.9369	0.7681	0.7441	0.9927	0.9927	0.989	0.978	0.9487	0.9487	0.8652	0.8764
dot_precision@10	0.3887	0.3837	0.3648	0.3555	0.1639	0.1566	0.3286	0.3235	0.6978	0.7	0.6103	0.6051	0.6404	0.627
dot_recall@10	0.457	0.4519	0.4247	0.4147	0.3338	0.3217	0.4693	0.463	0.3528	0.3546	0.3967	0.3914	0.1873	0.1814
dot_ndcg@10	0.567	0.5568	0.5229	0.5069	0.3988	0.3795	0.5606	0.551	0.7981	0.7953	0.7395	0.7295	0.7121	0.6937
dot_mrr@10	0.8624	0.8443	0.8051	0.7838	0.6658	0.6318	0.8853	0.8756	0.9579	0.9389	0.8833	0.8811	0.8286	0.8228
dot_map@60	0.4006	0.3937	0.3655	0.3536	0.2977	0.2826	0.4039	0.3955	0.4455	0.4446	0.4349	0.4215	0.4867	0.4686

Training Details

Training Dataset

core_uk

• Dataset: core_uk
• Size: 1,858,697 training samples
• Columns: query, text, text_negative_1, text_negative_2, and text_negative_3
• Approximate statistics based on the first 1000 samples:

  	query	text	text_negative_1	text_negative_2	text_negative_3
  type	string	string	string	string	string
  details	min: 6 tokens mean: 10.97 tokens max: 29 tokens	min: 23 tokens mean: 149.0 tokens max: 512 tokens	min: 16 tokens mean: 67.64 tokens max: 512 tokens	min: 19 tokens mean: 68.6 tokens max: 512 tokens	min: 16 tokens mean: 68.83 tokens max: 512 tokens

• Samples:

  query	text	text_negative_1	text_negative_2	text_negative_3
  query: плюшевые постельное белье	passage: Плюшеве постільна білизна мікрофібра Homytex Євро розмір З котиком Постільна білизна HomyTex Спальний розмір Євро Матеріал Мікрофібра Розмір простирадла 230 x 250 см Країна реєстрації бренда Китай Країна-виробник товару Китай Декорування З тваринним принтом Особливості З пледом Особливості З покривалом Застібка На змійці	passage: Постільна білизна з плюш-велюру 2988 13520 215×150 см Дитяча постільна білизна Fashion Матеріал Бавовна Колір Різнобарвний	passage: Постільна білизна з плюш-велюру Пухнасті обійми 2985 13508 215×150 см Дитяча постільна білизна Flex	passage: Постільна білизна з плюш-велюру Пухнасті обійми 2985 13508 215×150 см Дитяча постільна білизна Fashion Матеріал Бавовна Колір Різнобарвний
  query: мужская электробритва philips	passage: Електробритва PHILIPS S1231/41 серії 1000 Електробритви Philips Гарантія 24 місяці офіційної гарантії від виробника Система для гоління Роторна (обертальна) Тип гоління сухе Живлення Мережа/акумулятор Кількість головок для гоління 3 Кількість вантажних місць 1 Вид тримера Висувний Додаткові можливості Очищення під струменем води Додаткові можливості Плавуча система гоління Країна реєстрації бренда Нідерланди Країна-виробник товару Нідерланди Колір виробу Сірий / Чорний Призначення Для чоловіків Тип гарантійного талона Гарантійний талон магазина Доставка Premium Оснащення Тример Час автономної роботи, хв 40 Час зарядки акумулятора, год 8 Доставка Доставка в магазини ROZETKA	passage: Головка гоління PHILIPS SH30/50 Аксесуари до електробритв Без бренда Країна реєстрації бренда Нідерланди Тип Різальний блок Колір Сріблястий Країна-виробник товару Нідерланди	passage: Тример з насадкою для електробритв PHILIPS серії RQ10, RQ11, RQ12, S9000 755700803 Аксесуари до електробритв Без бренда Гарантія 14 днів Країна реєстрації бренда Китай Колір Чорний Країна-виробник товару Китай	passage: Електробритва Philips S1332/41 [64139] Освіжувачі повітря Philips
  query: сверло для шуруповерта	passage: Набір з 13 свердел HSS 1.5-6.5мм для шуруповерта 6-гранні Свердла CNV Гарантія 1 місяць Робочий матеріал Дерево Робочий матеріал Метал Робочий матеріал Пластик Країна реєстрації бренда Китай	passage: Біти та свердла для дриля та шуруповерту, набір 35 предметів Біти для шуруповерта	passage: Акумуляторний Шурупокрут 12 V з набором біт свердел насадок гнучкий вал Шурупокрути Без бренда	passage: Прилад для насадки для свердла викрутки для скручування та очищення проводів Столи, стійки, насадки Комплектація У комплекті 2 болта виконують роль ручки для ручного використання інструменту. Призначення Для шурупокрута Країна реєстрації бренда Китай Тип Комплектуючі

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "RZTKMultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256,
          128
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Evaluation Datasets

core_uk

core_uk

• Dataset: core_uk
• Size: 3,180 evaluation samples
• Columns: query and text
• Approximate statistics based on the first 1000 samples:

  	query	text
  type	string	string
  details	min: 8 tokens mean: 10.66 tokens max: 16 tokens	min: 18 tokens mean: 115.86 tokens max: 512 tokens

• Samples:

  query	text
  query: лампочка е27	passage: Світлодіодна лампа Osram LED Star+ DIM A60 9W (806Lm) Е27 (4058075430754) Світлодіодні лампи (LED) OSRAM Гарантія 36 місяців Виробник світлодіодів Osram Тип світлодіодів SMD Тип цоколя E27 Колір світіння / Температура кольорів Теплий білий Колір світіння / Температура кольорів RGB (різнокольоровий) Світловий потік 806 Лм Еквівалент потужності лампи розжарювання 60 Вт Робоча напруга, в 230 Форма колби Стандартна (груша) Колір колби Матовий Кількість вантажних місць 1 Країна реєстрації бренда Німеччина Кількість предметів, шт 1 Країна-виробник товару Китай Особливості З регулюванням яскравості (димер) Особливості З дистанційним управлінням Строк служби лампи, год 25000 Тип гарантійного талона Гарантія по чеку Потужність, Вт 9 Можливість доставки Почтомати Доставка Premium Доставка Готовий до відправлення Доставка Доставка в магазини ROZETKA
  query: лампочка е27	passage: Світлодіодна лампа Philips Ecohome LED Bulb 11 W E27 3000 K 1PF/20RCA (929002299567R) 2 шт. Світлодіодні лампи (LED) Philips Гарантія 24 місяці Тип цоколя E27 Колір світіння / Температура кольорів 3000К Колір світіння / Температура кольорів Теплий Світловий потік 1150 Лм Еквівалент потужності лампи розжарювання 95 Вт Робоча напруга, в 170-240 Форма колби Стандартна (груша) Колір колби Білий Кількість вантажних місць 1 Країна реєстрації бренда Нідерланди Кількість предметів, шт 2 Країна-виробник товару Китай Строк служби лампи, год 6000 Тип гарантійного талона Гарантійний талон магазина Потужність, Вт 11 Застосування Побутові Призначення Для настільної лампи Призначення Для люстри Призначення Для стельових світильників Матеріал колби Пластик Доставка Premium Доставка Доставка в магазини ROZETKA
  query: лампочка е27	passage: Набір світлодіодних ламп Євросвітло 12 W 4200 K Е27 (56702) 4 шт Світлодіодні лампи (LED) Євросвітло Гарантія 12 місяців Тип світлодіодів SMD Тип цоколя E27 Колір світіння / Температура кольорів Нейтральний-білий Колір світіння / Температура кольорів 4200К Світловий потік 1200 Лм Еквівалент потужності лампи розжарювання 120 Вт Робоча напруга, в 220-240 Форма колби Стандартна (груша) Кількість вантажних місць 1 Країна реєстрації бренда Україна Кількість предметів, шт 4 Країна-виробник товару Китай Строк служби лампи, год 15000 Тип гарантійного талона Гарантія по чеку Потужність, Вт 12 Застосування Побутові Призначення Для стельових світильників Призначення Для настільної лампи Призначення Для люстри Матеріал колби Пластик Доставка Доставка в магазини ROZETKA

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "RZTKMultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256,
          128
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

core_ru

core_ru

• Dataset: core_ru
• Size: 3,214 evaluation samples
• Columns: query and text
• Approximate statistics based on the first 1000 samples:

  	query	text
  type	string	string
  details	min: 8 tokens mean: 10.67 tokens max: 16 tokens	min: 16 tokens mean: 109.19 tokens max: 512 tokens

• Samples:

  query	text
  query: лампочка е27	passage: Светодиодная лампа Osram LED Star+ DIM A60 9W (806Lm) Е27 (4058075430754) Светодиодные лампы (LED) OSRAM Гарантия 36 месяцев Производитель светодиодов Osram Тип светодиодов SMD Тип цоколя E27 Цвет свечения / Цветовая температура Теплый белый Цвет свечения / Цветовая температура RGB (разноцветный) Световой поток 806 Лм Эквивалент мощности лампы накаливания 60 Вт Рабочее напряжение, В 230 Форма колбы Стандартная (груша) Цвет колбы Матовый Количество грузовых мест 1 Страна регистрации бренда Германия Количество предметов, шт 1 Страна-производитель товара Китай Особенности С регулировкой яркости (диммер) Особенности С дистанционным управлением Срок службы лампы, ч 25000 Тип гарантийного талона Гарантия по чеку Мощность, Вт 9 Возможность доставки Почтоматы Доставка Premium Доставка Готов к отправке Доставка Доставка в магазины ROZETKA
  query: лампочка е27	passage: Светодиодная лампа Philips Ecohome LED Bulb 11W E27 3000К 1PF/20RCA (929002299567R) 2 шт. Светодиодные лампы (LED) Philips Гарантия 24 месяца Тип цоколя E27 Цвет свечения / Цветовая температура 3000К Цвет свечения / Цветовая температура Теплый Световой поток 1150 Лм Эквивалент мощности лампы накаливания 95 Вт Рабочее напряжение, В 170-240 Форма колбы Стандартная (груша) Цвет колбы Белый Количество грузовых мест 1 Страна регистрации бренда Нидерланды Количество предметов, шт 2 Страна-производитель товара Китай Срок службы лампы, ч 6000 Тип гарантийного талона Гарантийный талон магазина Мощность, Вт 11 Применение Бытовые Назначение Для настольной лампы Назначение Для люстры Назначение Для потолочных светильников Материал колбы Пластик Доставка Premium Доставка Доставка в магазины ROZETKA
  query: лампочка е27	passage: Набор светодиодных ламп Євросвітло 12W 4200к Е27 (56702) 4 шт Светодиодные лампы (LED) Євросвітло Гарантия 12 месяцев Тип светодиодов SMD Тип цоколя E27 Цвет свечения / Цветовая температура Нейтральный-белый Цвет свечения / Цветовая температура 4200К Световой поток 1200 Лм Эквивалент мощности лампы накаливания 120 Вт Рабочее напряжение, В 220-240 Форма колбы Стандартная (груша) Количество грузовых мест 1 Страна регистрации бренда Украина Количество предметов, шт 4 Страна-производитель товара Китай Срок службы лампы, ч 15000 Тип гарантийного талона Гарантия по чеку Мощность, Вт 12 Применение Бытовые Назначение Для потолочных светильников Назначение Для настольной лампы Назначение Для люстры Материал колбы Пластик Доставка Доставка в магазины ROZETKA

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "RZTKMultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256,
          128
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

typos_uk

typos_uk

• Dataset: typos_uk
• Size: 3,180 evaluation samples
• Columns: query and text
• Approximate statistics based on the first 1000 samples:

  	query	text
  type	string	string
  details	min: 8 tokens mean: 11.58 tokens max: 17 tokens	min: 18 tokens mean: 115.86 tokens max: 512 tokens

• Samples:

  query	text
  query: лампочка е7	passage: Світлодіодна лампа Osram LED Star+ DIM A60 9W (806Lm) Е27 (4058075430754) Світлодіодні лампи (LED) OSRAM Гарантія 36 місяців Виробник світлодіодів Osram Тип світлодіодів SMD Тип цоколя E27 Колір світіння / Температура кольорів Теплий білий Колір світіння / Температура кольорів RGB (різнокольоровий) Світловий потік 806 Лм Еквівалент потужності лампи розжарювання 60 Вт Робоча напруга, в 230 Форма колби Стандартна (груша) Колір колби Матовий Кількість вантажних місць 1 Країна реєстрації бренда Німеччина Кількість предметів, шт 1 Країна-виробник товару Китай Особливості З регулюванням яскравості (димер) Особливості З дистанційним управлінням Строк служби лампи, год 25000 Тип гарантійного талона Гарантія по чеку Потужність, Вт 9 Можливість доставки Почтомати Доставка Premium Доставка Готовий до відправлення Доставка Доставка в магазини ROZETKA
  query: лампочка е7	passage: Світлодіодна лампа Philips Ecohome LED Bulb 11 W E27 3000 K 1PF/20RCA (929002299567R) 2 шт. Світлодіодні лампи (LED) Philips Гарантія 24 місяці Тип цоколя E27 Колір світіння / Температура кольорів 3000К Колір світіння / Температура кольорів Теплий Світловий потік 1150 Лм Еквівалент потужності лампи розжарювання 95 Вт Робоча напруга, в 170-240 Форма колби Стандартна (груша) Колір колби Білий Кількість вантажних місць 1 Країна реєстрації бренда Нідерланди Кількість предметів, шт 2 Країна-виробник товару Китай Строк служби лампи, год 6000 Тип гарантійного талона Гарантійний талон магазина Потужність, Вт 11 Застосування Побутові Призначення Для настільної лампи Призначення Для люстри Призначення Для стельових світильників Матеріал колби Пластик Доставка Premium Доставка Доставка в магазини ROZETKA
  query: лампочка е7	passage: Набір світлодіодних ламп Євросвітло 12 W 4200 K Е27 (56702) 4 шт Світлодіодні лампи (LED) Євросвітло Гарантія 12 місяців Тип світлодіодів SMD Тип цоколя E27 Колір світіння / Температура кольорів Нейтральний-білий Колір світіння / Температура кольорів 4200К Світловий потік 1200 Лм Еквівалент потужності лампи розжарювання 120 Вт Робоча напруга, в 220-240 Форма колби Стандартна (груша) Кількість вантажних місць 1 Країна реєстрації бренда Україна Кількість предметів, шт 4 Країна-виробник товару Китай Строк служби лампи, год 15000 Тип гарантійного талона Гарантія по чеку Потужність, Вт 12 Застосування Побутові Призначення Для стельових світильників Призначення Для настільної лампи Призначення Для люстри Матеріал колби Пластик Доставка Доставка в магазини ROZETKA

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "RZTKMultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256,
          128
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

typos_ru

typos_ru

• Dataset: typos_ru
• Size: 3,214 evaluation samples
• Columns: query and text
• Approximate statistics based on the first 1000 samples:

  	query	text
  type	string	string
  details	min: 8 tokens mean: 11.58 tokens max: 17 tokens	min: 16 tokens mean: 109.19 tokens max: 512 tokens

• Samples:

  query	text
  query: лампочка е7	passage: Светодиодная лампа Osram LED Star+ DIM A60 9W (806Lm) Е27 (4058075430754) Светодиодные лампы (LED) OSRAM Гарантия 36 месяцев Производитель светодиодов Osram Тип светодиодов SMD Тип цоколя E27 Цвет свечения / Цветовая температура Теплый белый Цвет свечения / Цветовая температура RGB (разноцветный) Световой поток 806 Лм Эквивалент мощности лампы накаливания 60 Вт Рабочее напряжение, В 230 Форма колбы Стандартная (груша) Цвет колбы Матовый Количество грузовых мест 1 Страна регистрации бренда Германия Количество предметов, шт 1 Страна-производитель товара Китай Особенности С регулировкой яркости (диммер) Особенности С дистанционным управлением Срок службы лампы, ч 25000 Тип гарантийного талона Гарантия по чеку Мощность, Вт 9 Возможность доставки Почтоматы Доставка Premium Доставка Готов к отправке Доставка Доставка в магазины ROZETKA
  query: лампочка е7	passage: Светодиодная лампа Philips Ecohome LED Bulb 11W E27 3000К 1PF/20RCA (929002299567R) 2 шт. Светодиодные лампы (LED) Philips Гарантия 24 месяца Тип цоколя E27 Цвет свечения / Цветовая температура 3000К Цвет свечения / Цветовая температура Теплый Световой поток 1150 Лм Эквивалент мощности лампы накаливания 95 Вт Рабочее напряжение, В 170-240 Форма колбы Стандартная (груша) Цвет колбы Белый Количество грузовых мест 1 Страна регистрации бренда Нидерланды Количество предметов, шт 2 Страна-производитель товара Китай Срок службы лампы, ч 6000 Тип гарантийного талона Гарантийный талон магазина Мощность, Вт 11 Применение Бытовые Назначение Для настольной лампы Назначение Для люстры Назначение Для потолочных светильников Материал колбы Пластик Доставка Premium Доставка Доставка в магазины ROZETKA
  query: лампочка е7	passage: Набор светодиодных ламп Євросвітло 12W 4200к Е27 (56702) 4 шт Светодиодные лампы (LED) Євросвітло Гарантия 12 месяцев Тип светодиодов SMD Тип цоколя E27 Цвет свечения / Цветовая температура Нейтральный-белый Цвет свечения / Цветовая температура 4200К Световой поток 1200 Лм Эквивалент мощности лампы накаливания 120 Вт Рабочее напряжение, В 220-240 Форма колбы Стандартная (груша) Количество грузовых мест 1 Страна регистрации бренда Украина Количество предметов, шт 4 Страна-производитель товара Китай Срок службы лампы, ч 15000 Тип гарантийного талона Гарантия по чеку Мощность, Вт 12 Применение Бытовые Назначение Для потолочных светильников Назначение Для настольной лампы Назначение Для люстры Материал колбы Пластик Доставка Доставка в магазины ROZETKA

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "RZTKMultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256,
          128
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

transliterations_uk

transliterations_uk

• Dataset: transliterations_uk
• Size: 12,831 evaluation samples
• Columns: query and text
• Approximate statistics based on the first 1000 samples:

  	query	text
  type	string	string
  details	min: 7 tokens mean: 10.36 tokens max: 56 tokens	min: 26 tokens mean: 105.64 tokens max: 512 tokens

• Samples:

  query	text
  query: апиэу	passage: Зволожувальний лактокрем для обличчя A'pieu Lactobacillus 50 мл (8809643517201) Крем для обличчя A'pieu Клас косметики Мідл-маркет Час застосування Ніч Вік Від 18 Стать Для жінок Кількість вантажних місць 1 Країна реєстрації бренда Республіка Корея (Південна Корея) Кількість предметів, шт 1 Країна-виробник товару Республіка Корея (Південна Корея) Об'єм 50 мл Вид Крем Сфера застосування Обличчя Тип шкіри Суха Тип шкіри Нормальна Призначення Зволожувальне Призначення Відновлююче Доставка Доставка в магазини ROZETKA
  query: апиэу	passage: Емульсія мінеральна A'pieu Aqua Marine 180 мл (8809530043608) Засіб для вмивання A'pieu Клас косметики Натуральна Вік Від 20 Стать Для жінок Кількість вантажних місць 1 Країна реєстрації бренда Республіка Корея (Південна Корея) Кількість предметів, шт 1 Серія Aqua Marine Країна-виробник товару Республіка Корея (Південна Корея) Об'єм 180 мл Вид Емульсія Дія Очищає Дія Зволожує Дія Тонізує Тип шкіри Для всіх типів Призначення Зволожувальне Тип гарантійного талона Без гарантійного талона Можливість доставки Почтомати Доставка Premium
  query: апиэу	passage: Крем A'pieu Cicative Кальцій 55 мл (8809581482050) Крем для обличчя A'pieu Клас косметики Натуральна Час застосування Універсально Вік Від 18 Стать Для жінок Кількість вантажних місць 1 Країна реєстрації бренда Республіка Корея (Південна Корея) Кількість предметів, шт 1 Країна-виробник товару Республіка Корея (Південна Корея) Об'єм 55 мл Тип шкіри Для всіх типів Призначення Зволожувальне Тип гарантійного талона Без гарантійного талона Доставка Premium Доставка Доставка в магазини ROZETKA

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "RZTKMultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256,
          128
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

transliterations_ru

transliterations_ru

• Dataset: transliterations_ru
• Size: 13,144 evaluation samples
• Columns: query and text
• Approximate statistics based on the first 1000 samples:

  	query	text
  type	string	string
  details	min: 7 tokens mean: 10.38 tokens max: 56 tokens	min: 26 tokens mean: 101.59 tokens max: 512 tokens

• Samples:

  query	text
  query: апиэу	passage: Увлажняющий лакто-крем для лица A'pieu Lactobacillus 50 мл (8809643517201) Крем для лица A'pieu Класс косметики Миддл-маркет Время применения Ночь Возраст От 18 Пол Для женщин Количество грузовых мест 1 Страна регистрации бренда Республика Корея (Южная Корея) Количество предметов, шт 1 Страна-производитель товара Республика Корея (Южная Корея) Объем 50 мл Вид Крем Область применения Лицо Тип кожи Сухая Тип кожи Нормальная Назначение Увлажняющее Назначение Восстанавливающее Доставка Доставка в магазины ROZETKA
  query: апиэу	passage: Воздушный хлопковый кушон с матовым финишем. Air-Fit A'pieu Cushion PPOSONG SPF50+/PA+++ 13,5g A'pieu Тональное средство A'pieu Класс косметики Миддл-маркет
  query: апиэу	passage: Эмульсия минеральная A'pieu Aqua Marine 180 мл (8809530043608) Средство для умывания A'pieu Класс косметики Натуральная Возраст От 20 Пол Для женщин Количество грузовых мест 1 Страна регистрации бренда Республика Корея (Южная Корея) Количество предметов, шт 1 Серия Aqua Marine Страна-производитель товара Республика Корея (Южная Корея) Объем 180 мл Вид Эмульсия Действие Очищает Действие Увлажняет Действие Тонизирует Тип кожи Для всех типов Назначение Увлажняющее Тип гарантийного талона Без гарантийного талона Возможность доставки Почтоматы Доставка Premium

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "RZTKMultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256,
          128
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

options_uk

options_uk

• Dataset: options_uk
• Size: 1,442 evaluation samples
• Columns: query and text
• Approximate statistics based on the first 1000 samples:

  	query	text
  type	string	string
  details	min: 8 tokens mean: 10.71 tokens max: 22 tokens	min: 18 tokens mean: 165.12 tokens max: 512 tokens

• Samples:

  query	text
  query: спортивные шорты женские	passage: Спортивні шорти жіночі Traum 2410-17 M (44-46) Чорні (4820024101721) Жіночі спортивні шорти Traum Сезон Осінній Сезон Літній Сезон Весняний Сезон Демісезонний Кількість вантажних місць 1 Довжина Коротка Країна реєстрації бренда Україна Країна-виробник товару Україна Декор З лампасами Розмір 46 Розмір 44 Стиль Спортивний Колір Чорний Матеріал Трикотаж Тип гарантійного талона Гарантія по чеку Можливість доставки Почтомати Доставка Premium Принт Однотонний Тип шортів Прості шорти Доставка Доставка в магазини ROZETKA
  query: спортивные шорты женские	passage: Спортивні шорти жіночі ISSA PLUS 11377 S Чорні (issa2000239538884) Жіночі спортивні шорти ISSA PLUS Кількість вантажних місць 1 Країна реєстрації бренда Україна Країна-виробник товару Україна Розмір S Стиль Спортивний Колір Чорний Матеріал Поліестер Матеріал Поліамід Тип гарантійного талона Гарантія по чеку Можливість доставки Почтомати Доставка Premium Принт Однотонний Доставка Доставка в магазини ROZETKA
  query: спортивные шорты женские	passage: Спортивні шорти жіночі ISSA PLUS 7770 L Чорні (issa2000260293349) Жіночі спортивні шорти ISSA PLUS Кількість вантажних місць 1 Довжина Подовжена Країна реєстрації бренда Україна Країна-виробник товару Україна Розмір L Стиль Спортивний Колір Чорний Матеріал Поліестер Тип гарантійного талона Гарантія по чеку Доставка Premium Принт Напис Тип шортів Прості шорти Доставка Доставка в магазини ROZETKA

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "RZTKMultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256,
          128
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

options_ru

options_ru

• Dataset: options_ru
• Size: 1,442 evaluation samples
• Columns: query and text
• Approximate statistics based on the first 1000 samples:

  	query	text
  type	string	string
  details	min: 8 tokens mean: 10.71 tokens max: 22 tokens	min: 23 tokens mean: 159.8 tokens max: 512 tokens

• Samples:

  query	text
  query: спортивные шорты женские	passage: Спортивные шорты женские Traum 2410-17 M (44-46) Черные (4820024101721) Женские спортивные шорты Traum Сезон Осенний Сезон Летний Сезон Весенний Сезон Демисезонный Количество грузовых мест 1 Длина Короткая Страна регистрации бренда Украина Страна-производитель товара Украина Декор С лампасами Размер 46 Размер 44 Стиль Спортивный Цвет Черный Материал Трикотаж Тип гарантийного талона Гарантия по чеку Возможность доставки Почтоматы Доставка Premium Принт Однотонный Тип шорт Простые шорты Доставка Доставка в магазины ROZETKA
  query: спортивные шорты женские	passage: Спортивные шорты женские ISSA PLUS 11377 S Черные (issa2000239538884) Женские спортивные шорты ISSA PLUS Количество грузовых мест 1 Страна регистрации бренда Украина Страна-производитель товара Украина Размер S Стиль Спортивный Цвет Черный Материал Полиэстер Материал Полиамид Тип гарантийного талона Гарантия по чеку Возможность доставки Почтоматы Доставка Premium Принт Однотонный Доставка Доставка в магазины ROZETKA
  query: спортивные шорты женские	passage: Спортивные шорты женские ISSA PLUS 7770 L Черные (issa2000260293349) Женские спортивные шорты ISSA PLUS Количество грузовых мест 1 Длина Удлинённая Страна регистрации бренда Украина Страна-производитель товара Украина Размер L Стиль Спортивный Цвет Черный Материал Полиэстер Тип гарантийного талона Гарантия по чеку Доставка Premium Принт Надпись Тип шорт Простые шорты Доставка Доставка в магазины ROZETKA

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "RZTKMultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256,
          128
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

rusisms_uk

rusisms_uk

• Dataset: rusisms_uk
• Size: 1,051 evaluation samples
• Columns: query and text
• Approximate statistics based on the first 1000 samples:

  	query	text
  type	string	string
  details	min: 9 tokens mean: 11.14 tokens max: 15 tokens	min: 18 tokens mean: 106.49 tokens max: 352 tokens

• Samples:

  query	text
  query: блок безперебійного пітанія	passage: Блок безперебійного живлення LogicPower LPM-525VA-P (лінійно-інтерактивний, plastik case) Джерела безперебійного живлення LogicPower Гарантія 12 місяців Тип архітектури Лінійно-інтерактивні (line-interactive) Форма вихідної напруги Апроксимована (ступінчаста) синусоїда Акумуляторна батарея Вбудована Номінальна потужність 367 Вт Час роботи за повного навантаження, хв 10
  query: блок безперебійного пітанія	passage: Блок безперебійного живлення EnerGenie EG-UPS-B650 650VA Джерела безперебійного живлення EnerGenie Гарантія 12 місяців Акумуляторна батарея Вбудована Номінальна потужність 390 Вт Час роботи за повного навантаження, хв 20
  query: блок безперебійного пітанія	passage: Блок безперебійного живлення EnerGenie EG-UPS-031 (LCD дисплей, 650VA, Black) Джерела безперебійного живлення EnerGenie Гарантія 12 місяців Тип архітектури Лінійно-інтерактивні (line-interactive) Форма вихідної напруги Апроксимована (ступінчаста) синусоїда Акумуляторна батарея Вбудована Номінальна потужність 390 Вт Особливості З дисплеєм Час роботи за повного навантаження, хв 8 Доставка Доставка в магазини ROZETKA

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "RZTKMultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256,
          128
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

rusisms_ru

rusisms_ru

• Dataset: rusisms_ru
• Size: 1,058 evaluation samples
• Columns: query and text
• Approximate statistics based on the first 1000 samples:

  	query	text
  type	string	string
  details	min: 9 tokens mean: 11.14 tokens max: 15 tokens	min: 20 tokens mean: 103.67 tokens max: 327 tokens

• Samples:

  query	text
  query: блок безперебійного пітанія	passage: Блок безперебійного живлення LogicPower LPM-525VA-P (лінійно-інтерактивний, plastik case) Источники бесперебойного питания LogicPower Гарантия 12 месяцев Тип архитектуры Линейно-интерактивные (line-interactive) Форма выходного напряжения Аппроксимированная (ступенчатая) синусоида Аккумуляторная батарея Встроенная Номинальная мощность 367 Вт Время работы при полной нагрузке, мин 10
  query: блок безперебійного пітанія	passage: Блок безперебійного живлення EnerGenie EG-UPS-B650 650VA Источники бесперебойного питания EnerGenie Гарантия 12 месяцев Аккумуляторная батарея Встроенная Номинальная мощность 390 Вт Время работы при полной нагрузке, мин 20
  query: блок безперебійного пітанія	passage: Блок безперебійного живлення EnerGenie EG-UPS-031 (LCD дисплей, 650VA, Black) Источники бесперебойного питания EnerGenie Гарантия 12 месяцев Тип архитектуры Линейно-интерактивные (line-interactive) Форма выходного напряжения Аппроксимированная (ступенчатая) синусоида Аккумуляторная батарея Встроенная Номинальная мощность 390 Вт Особенности С дисплеем Время работы при полной нагрузке, мин 8 Доставка Доставка в магазины ROZETKA

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "RZTKMultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256,
          128
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

jargonisms_uk

jargonisms_uk

• Dataset: jargonisms_uk
• Size: 337 evaluation samples
• Columns: query and text
• Approximate statistics based on the first 337 samples:

  	query	text
  type	string	string
  details	min: 7 tokens mean: 11.41 tokens max: 18 tokens	min: 26 tokens mean: 134.2 tokens max: 503 tokens

• Samples:

  query	text
  query: сумка для лептопа	passage: Сумка для ноутбука 2E 16" Grey (2E-CBN116GR) Сумки, рюкзаки та чохли для ноутбуків 2E Гарантія 14 днів Діагональ ноутбука 15.6"-16" Матеріал Нейлон Колір Grey Тип Сумка Спосіб закриття Змійка Кількість вантажних місць 1 Країна реєстрації бренда Україна Країна-виробник товару Китай Діагональ сумки/рюкзака 15.6" Тип гарантійного талона Гарантія по чеку Можливість доставки Почтомати Особливості Відділення для аксесуарів Доставка Premium
  query: аккумуляторка	passage: Акумуляторна ланцюгова пила Greenworks G24CS25 (2000007) Акумуляторні пилки Greenworks Гарантія 36 місяців Кількість вантажних місць 1 Країна реєстрації бренда США Країна-виробник товару Китай Для прив'язки тегів Неймовірно тихий Для прив'язки тегів Швидкий запуск Для прив'язки тегів Потужний двигун Довжина шини, мм 250 Особливості Автоматичне змащування ланцюга Особливості Блокування кнопки увімкнення Вага, кг 2.7 Розташування двигуна в пилі Поперечний (бічний) Швидкість обертання ланцюга, м/сек 4.2 Тип гарантійного талона Гарантійний талон магазина Доставка Premium Напруга акумулятора, В 24 Акумулятор у комплекті Ні Доставка Доставка в магазини ROZETKA
  query: аккумуляторка	passage: Акумуляторна ланцюгова пила Stark BCS-3610 (310100101) Акумуляторні пилки Stark Гарантія 12 місяців Кількість вантажних місць 1 Країна реєстрації бренда Німеччина Країна-виробник товару Китай Довжина шини, мм 250 Особливості Легкий запуск Особливості SDS система Особливості Блокування кнопки увімкнення Особливості Гальмо ланцюга Особливості Автоматичне змащування ланцюга Вага, кг 3.2 Розташування двигуна в пилі Поперечний (бічний) Тип гарантійного талона Гарантійний талон магазина Тип двигуна Безщітковий Акумулятор у комплекті Ні Доставка Доставка в магазини ROZETKA

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "RZTKMultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256,
          128
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

jargonisms_ru

jargonisms_ru

• Dataset: jargonisms_ru
• Size: 338 evaluation samples
• Columns: query and text
• Approximate statistics based on the first 338 samples:

  	query	text
  type	string	string
  details	min: 7 tokens mean: 11.42 tokens max: 18 tokens	min: 27 tokens mean: 128.95 tokens max: 468 tokens

• Samples:

  query	text
  query: сумка для лептопа	passage: Сумка для ноутбука 2E 16" Grey (2E-CBN116GR) Сумки, рюкзаки и чехлы для ноутбуков 2E Гарантия 14 дней Диагональ ноутбука 15.6"-16" Материал Нейлон Цвет Grey Тип Сумка Способ закрытия Молния Количество грузовых мест 1 Страна регистрации бренда Украина Страна-производитель товара Китай Диагональ сумки/рюкзака 15.6" Тип гарантийного талона Гарантия по чеку Возможность доставки Почтоматы Особенности Отделение для аксессуаров Доставка Premium
  query: аккумуляторка	passage: Аккумуляторная цепная пила Greenworks G24CS25 (2000007) Аккумуляторные пилы Greenworks Гарантия 36 месяцев Количество грузовых мест 1 Страна регистрации бренда США Страна-производитель товара Китай Для привязки тегов Невероятно тихий Для привязки тегов Быстрый запуск Для привязки тегов Мощный двигатель Длина шины, мм 250 Особенности Автоматическая смазка цепи Особенности Блокировка кнопки включения Вес, кг 2.7 Расположение двигателя в пиле Поперечное (боковое) Скорость вращения цепи, м/сек 4.2 Тип гарантийного талона Гарантийный талон магазина Доставка Premium Напряжение аккумулятора, В 24 Аккумулятор в комплекте Нет Доставка Доставка в магазины ROZETKA
  query: аккумуляторка	passage: Аккумуляторная цепная пила Stark BCS-3610 (310100101) Аккумуляторные пилы Stark Гарантия 12 месяцев Количество грузовых мест 1 Страна регистрации бренда Германия Страна-производитель товара Китай Длина шины, мм 250 Особенности Легкий запуск Особенности SDS система Особенности Блокировка кнопки включения Особенности Тормоз цепи Особенности Автоматическая смазка цепи Вес, кг 3.2 Расположение двигателя в пиле Поперечное (боковое) Тип гарантийного талона Гарантийный талон магазина Тип двигателя Бесщеточный Аккумулятор в комплекте Нет Доставка Доставка в магазины ROZETKA

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "RZTKMultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256,
          128
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

vespa_uk

vespa_uk

• Dataset: vespa_uk
• Size: 3,902 evaluation samples
• Columns: query and text
• Approximate statistics based on the first 1000 samples:

  	query	text
  type	string	string
  details	min: 7 tokens mean: 10.11 tokens max: 22 tokens	min: 15 tokens mean: 138.17 tokens max: 512 tokens

• Samples:

  query	text
  query: шланга диаметром 32 мм для викачки брудної води з басейну	passage: Перехідники для шлангу басейну Intex з 32 мм на 38 мм (IP-175136) Обладнання для басейнів Intex Країна реєстрації бренда США Країна-виробник товару Китай Вид Комплектувальні
  query: шланга диаметром 32 мм для викачки брудної води з басейну	passage: З'єднання для шланга Peraqua діаметр 32 мм Аксесуари для басейнів Гарантія 12 місяців Вид Інструменти для прибирання басейнів
  query: шланга диаметром 32 мм для викачки брудної води з басейну	passage: З'єднання для шлангу Peraqua діаметр 32/38 мм Аксесуари для басейнів Гарантія 12 місяців Вид Інструменти для прибирання басейнів

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "RZTKMultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256,
          128
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

vespa_ru

vespa_ru

• Dataset: vespa_ru
• Size: 3,932 evaluation samples
• Columns: query and text
• Approximate statistics based on the first 1000 samples:

  	query	text
  type	string	string
  details	min: 7 tokens mean: 10.09 tokens max: 22 tokens	min: 15 tokens mean: 133.25 tokens max: 512 tokens

• Samples:

  query	text
  query: шланга диаметром 32 мм для викачки брудної води з басейну	passage: Переходники для шланга бассейна Intex с 32 мм на 38 мм (IP-175136) Оборудование для бассейнов Intex Страна регистрации бренда США Страна-производитель товара Китай Вид Комплектующие
  query: шланга диаметром 32 мм для викачки брудної води з басейну	passage: Соединение для шланга Peraqua диаметр 32 мм Аксессуары для бассейнов Гарантия 12 месяцев Вид Инструменты для уборки бассейнов
  query: шланга диаметром 32 мм для викачки брудної води з басейну	passage: Соединение для шланга Peraqua диаметр 32/38 мм Аксессуары для бассейнов Гарантия 12 месяцев Вид Инструменты для уборки бассейнов

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "RZTKMultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256,
          128
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 40
• per_device_eval_batch_size: 16
• warmup_ratio: 0.1
• bf16: True
• bf16_full_eval: True
• tf32: True
• dataloader_num_workers: 4
• load_best_model_at_end: True
• optim: adamw_apex_fused
• push_to_hub: True
• hub_model_id: yklymchuk-rztk/multilingual-e5-base-matryoshka2d-mnr-negatives-multiple-datasets-large-6-3-1
• hub_private_repo: True
• prompts: {'query': 'query: ', 'text': 'passage: ', 'text_negative_1': 'passage: ', 'text_negative_2': 'passage: ', 'text_negative_3': 'passage: '}
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 40
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: True
• fp16_full_eval: False
• tf32: True
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: True
• dataloader_num_workers: 4
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• tp_size: 0
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_apex_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: True
• resume_from_checkpoint: None
• hub_model_id: yklymchuk-rztk/multilingual-e5-base-matryoshka2d-mnr-negatives-multiple-datasets-large-6-3-1
• hub_strategy: every_save
• hub_private_repo: True
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: {'query': 'query: ', 'text': 'passage: ', 'text_negative_1': 'passage: ', 'text_negative_2': 'passage: ', 'text_negative_3': 'passage: '}
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• ddp_static_graph: False
• ddp_comm_hook: bf16
• gradient_as_bucket_view: False
• num_proc: 20

Training Logs

Click to expand

Epoch	Step	Training Loss	core uk loss	core ru loss	typos uk loss	typos ru loss	transliterations uk loss	transliterations ru loss	options uk loss	options ru loss	rusisms uk loss	rusisms ru loss	jargonisms uk loss	jargonisms ru loss	vespa uk loss	vespa ru loss	test-core-uk--matryoshka_dim-768--_dot_ndcg@10	test-core-ru--matryoshka_dim-768--_dot_ndcg@10	typos-uk--matryoshka_dim-768--_dot_ndcg@10	typos-ru--matryoshka_dim-768--_dot_ndcg@10	transliterations-uk--matryoshka_dim-768--_dot_ndcg@10	transliterations-ru--matryoshka_dim-768--_dot_ndcg@10	options-uk--matryoshka_dim-768--_dot_ndcg@10	options-ru--matryoshka_dim-768--_dot_ndcg@10	rusisms-uk--matryoshka_dim-768--_dot_ndcg@10	rusisms-ru--matryoshka_dim-768--_dot_ndcg@10	jargonisms-uk--matryoshka_dim-768--_dot_ndcg@10	jargonisms-ru--matryoshka_dim-768--_dot_ndcg@10	vespa-uk--matryoshka_dim-768--_dot_ndcg@10	vespa-ru--matryoshka_dim-768--_dot_ndcg@10
0.0151	175	7.5956	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.0301	350	7.1634	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.0452	525	5.2721	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.0603	700	3.1649	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.0753	875	2.8484	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.0904	1050	2.6508	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.1055	1225	2.5304	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.1205	1400	2.3922	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.1356	1575	2.3087	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.1501	1743	-	0.1271	0.1245	0.3008	0.3135	2.1741	2.0913	0.4247	0.3991	0.3228	0.4776	0.6813	0.6816	0.6220	0.6201	0.5376	0.5421	0.4895	0.4953	0.3586	0.3672	0.5132	0.5183	0.7721	0.7653	0.7220	0.7224	0.7144	0.7048
0.1507	1750	2.2318	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.1657	1925	2.1913	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.1808	2100	2.0936	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.1959	2275	2.0352	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.2109	2450	1.9678	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.2260	2625	1.8822	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.2410	2800	1.8777	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.2561	2975	1.7978	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.2712	3150	1.7868	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.2862	3325	1.7557	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.3001	3486	-	0.1257	0.1336	0.3227	0.3544	2.3209	2.2844	0.3436	0.4042	0.3364	0.4876	0.5529	0.6899	0.8893	0.8731	0.5515	0.5405	0.4988	0.4903	0.3732	0.3625	0.5328	0.5254	0.7856	0.7736	0.7374	0.7299	0.7021	0.7005
0.3013	3500	1.7034	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.3164	3675	1.6887	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.3314	3850	1.6375	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.3465	4025	1.5984	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.3616	4200	1.6023	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.3766	4375	1.5484	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.3917	4550	1.5113	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.4068	4725	1.5283	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.4218	4900	1.4828	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.4369	5075	1.4531	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.4502	5229	-	0.1111	0.1199	0.3120	0.3580	2.2578	2.3460	0.2702	0.3187	0.2655	0.4290	0.5082	0.6307	0.8107	0.8397	0.5618	0.5477	0.5087	0.4927	0.3847	0.3676	0.5451	0.5369	0.7976	0.7853	0.7562	0.7395	0.7045	0.6806
0.4520	5250	1.4427	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.4670	5425	1.434	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.4821	5600	1.419	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.4972	5775	1.4261	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.5122	5950	1.414	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.5273	6125	1.3955	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.5424	6300	1.3935	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.5574	6475	1.3369	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.5725	6650	1.3671	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.5876	6825	1.3618	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.6002	6972	-	0.1178	0.1226	0.3364	0.3864	2.4379	2.4995	0.2934	0.3454	0.3039	0.4670	0.5582	0.7228	0.9651	0.9282	0.5593	0.5483	0.5074	0.4903	0.3758	0.3574	0.5443	0.5340	0.7933	0.7905	0.7465	0.7220	0.7007	0.6827
0.6026	7000	1.3693	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.6177	7175	1.3321	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.6327	7350	1.3339	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.6478	7525	1.2985	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.6629	7700	1.2925	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.6779	7875	1.3128	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.6930	8050	1.328	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.7081	8225	1.3056	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.7231	8400	1.2874	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.7382	8575	1.2885	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.7503	8715	-	0.1021	0.1156	0.2905	0.3566	2.1801	2.2940	0.2710	0.3335	0.2680	0.4456	0.6201	0.7410	0.8113	0.8497	0.5633	0.5520	0.5183	0.4989	0.3895	0.3683	0.5539	0.5409	0.8005	0.7904	0.7378	0.7251	0.7074	0.6911
0.7533	8750	1.2664	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.7683	8925	1.2655	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.7834	9100	1.2743	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.7985	9275	1.2934	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.8135	9450	1.2574	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.8286	9625	1.2638	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.8437	9800	1.2534	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.8587	9975	1.239	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.8738	10150	1.2333	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.8889	10325	1.2407	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.9003	10458	-	0.1027	0.1136	0.3002	0.3749	2.1185	2.2628	0.2637	0.3235	0.2632	0.4345	0.5974	0.7105	0.8085	0.8655	0.5616	0.5527	0.5150	0.4934	0.3930	0.3713	0.5514	0.5411	0.7981	0.7935	0.7462	0.7282	0.7129	0.6957
0.9039	10500	1.2336	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.9190	10675	1.2653	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.9341	10850	1.2201	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.9491	11025	1.1982	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.9642	11200	1.2212	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.9793	11375	1.238	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.9943	11550	1.2103	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.0094	11725	1.2034	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.0244	11900	1.187	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.0395	12075	1.2205	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.0504	12201	-	0.0982	0.1169	0.2918	0.3764	2.3395	2.5130	0.2657	0.3227	0.2812	0.4726	0.5891	0.7118	0.8773	0.9563	0.5639	0.5530	0.5203	0.4988	0.3871	0.3642	0.5545	0.5426	0.7966	0.7906	0.7435	0.7370	0.7100	0.6875
1.0546	12250	1.1987	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.0696	12425	1.1807	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.0847	12600	1.1669	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.0998	12775	1.2082	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.1148	12950	1.1801	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.1299	13125	1.1992	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.1450	13300	1.1658	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.1600	13475	1.2249	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.1751	13650	1.1959	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.1902	13825	1.1631	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.2004	13944	-	0.0968	0.1109	0.2903	0.3717	2.1843	2.3565	0.2428	0.2909	0.2666	0.4587	0.5445	0.6348	0.8439	0.9134	0.5671	0.5556	0.5220	0.5052	0.3976	0.3777	0.5615	0.5533	0.8022	0.7927	0.7412	0.7287	0.7112	0.6948
1.2052	14000	1.1598	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.2203	14175	1.1613	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.2354	14350	1.1473	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.2504	14525	1.1563	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.2655	14700	1.1526	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.2806	14875	1.128	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.2956	15050	1.116	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.3107	15225	1.1098	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.3258	15400	1.1131	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.3408	15575	1.1267	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.3505	15687	-	0.1025	0.1142	0.2974	0.3730	2.2112	2.3279	0.2541	0.2960	0.2823	0.4624	0.5478	0.6343	0.8339	0.8844	0.5642	0.5550	0.5183	0.5041	0.3929	0.3739	0.5528	0.5485	0.7980	0.7933	0.7386	0.7312	0.7098	0.6964
1.3559	15750	1.1151	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.3710	15925	1.1012	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.3860	16100	1.1075	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.4011	16275	1.1281	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.4162	16450	1.0904	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.4312	16625	1.0922	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.4463	16800	1.1172	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.4613	16975	1.0661	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.4764	17150	1.1011	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.4915	17325	1.0886	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.5005	17430	-	0.0958	0.1105	0.2806	0.3561	2.1517	2.2721	0.2487	0.2863	0.2604	0.4397	0.5583	0.6306	0.8174	0.9133	0.5663	0.5567	0.5198	0.5058	0.3964	0.3782	0.5562	0.5512	0.7997	0.7978	0.7431	0.7347	0.7140	0.6938
1.5065	17500	1.1206	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.5216	17675	1.0884	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.5367	17850	1.1113	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.5517	18025	1.0931	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.5668	18200	1.0961	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.5819	18375	1.1298	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.5969	18550	1.1043	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.6120	18725	1.0883	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.6271	18900	1.0721	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.6421	19075	1.0973	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.6506	19173	-	0.1114	0.1271	0.3228	0.4085	2.2576	2.3974	0.2588	0.3149	0.3128	0.5188	0.6485	0.7444	0.9372	1.0126	0.5612	0.5496	0.5135	0.4955	0.3936	0.3746	0.5543	0.5450	0.7985	0.7938	0.7380	0.7237	0.7044	0.6853
1.6572	19250	1.0572	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.6723	19425	1.0984	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.6873	19600	1.1047	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.7024	19775	1.1075	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.7175	19950	1.1004	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.7325	20125	1.1006	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.7476	20300	1.086	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.7627	20475	1.086	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.7777	20650	1.1304	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.7928	20825	1.104	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.8006	20916	-	0.0905	0.1036	0.2725	0.3465	2.0531	2.1663	0.2314	0.2782	0.2575	0.4382	0.5562	0.6323	0.7885	0.8684	0.5684	0.5585	0.5259	0.5115	0.404	0.3859	0.5608	0.5518	0.8012	0.7973	0.7446	0.7332	0.7173	0.6994
1.8079	21000	1.0979	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.8229	21175	1.0832	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.8380	21350	1.09	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.8530	21525	1.0838	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.8681	21700	1.0997	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.8832	21875	1.0842	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.8982	22050	1.1004	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.9133	22225	1.0988	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.9284	22400	1.1034	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.9434	22575	1.0851	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.9507	22659	-	0.1000	0.1165	0.3011	0.3886	2.2429	2.3835	0.2476	0.2928	0.2850	0.4757	0.6066	0.6984	0.8567	0.9412	0.5646	0.5547	0.5195	0.5027	0.3947	0.3748	0.5587	0.5498	0.7987	0.7961	0.7426	0.7310	0.7083	0.6911
1.9585	22750	1.0596	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.9736	22925	1.1105	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.9886	23100	1.0828	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.0037	23275	1.084	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.0188	23450	1.0801	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.0338	23625	1.0826	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.0489	23800	1.1036	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.0640	23975	1.0706	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.0790	24150	1.0591	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.0941	24325	1.0998	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.1007	24402	-	0.0930	0.1082	0.2882	0.3701	2.1052	2.2397	0.2392	0.2803	0.2691	0.4568	0.5624	0.6335	0.8091	0.9040	0.5667	0.5571	0.5229	0.5067	0.4017	0.3828	0.5598	0.5509	0.8000	0.7967	0.7432	0.7358	0.7136	0.6955
2.1092	24500	1.0902	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.1242	24675	1.0874	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.1393	24850	1.1114	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.1544	25025	1.0932	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.1694	25200	1.118	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.1845	25375	1.1063	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.1996	25550	1.068	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.2146	25725	1.0847	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.2297	25900	1.0495	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.2447	26075	1.0725	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.2508	26145	-	0.0991	0.1113	0.2952	0.3742	2.1717	2.3019	0.2461	0.2895	0.2719	0.4613	0.5716	0.6347	0.8354	0.9170	0.5658	0.5576	0.5211	0.5052	0.3975	0.3786	0.5581	0.5492	0.8003	0.7966	0.7422	0.7297	0.7116	0.6935
2.2598	26250	1.0788	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.2749	26425	1.0616	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.2899	26600	1.0507	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.3050	26775	1.0366	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.3201	26950	1.0442	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.3351	27125	1.0521	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.3502	27300	1.0477	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.3653	27475	1.0543	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.3803	27650	1.0283	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.3954	27825	1.0478	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.4008	27888	-	0.0969	0.1102	0.2927	0.3709	2.1809	2.3030	0.2448	0.2854	0.2677	0.4492	0.5792	0.6452	0.8309	0.9093	0.5664	0.5571	0.5224	0.5054	0.3974	0.3787	0.5597	0.5501	0.8002	0.7970	0.7398	0.7295	0.7096	0.6936
2.4105	28000	1.0413	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.4255	28175	1.0471	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.4406	28350	1.0476	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.4557	28525	1.0107	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.4707	28700	1.0419	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.4858	28875	1.0404	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.5009	29050	1.0484	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.5159	29225	1.0561	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.5310	29400	1.0434	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.5461	29575	1.0529	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.5509	29631	-	0.0965	0.1116	0.2913	0.3747	2.1811	2.3231	0.2485	0.2913	0.2672	0.4546	0.5781	0.6460	0.8374	0.9293	0.5666	0.5559	0.5223	0.5053	0.3983	0.3786	0.5576	0.5504	0.8008	0.7951	0.7393	0.7295	0.7119	0.6920
2.5611	29750	1.0302	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.5762	29925	1.0549	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.5913	30100	1.0634	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.6063	30275	1.0638	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.6214	30450	1.0487	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.6364	30625	1.0321	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.6515	30800	1.0276	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.6666	30975	1.06	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.6816	31150	1.0481	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.6967	31325	1.0839	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.7009	31374	-	0.0961	0.1107	0.2899	0.3721	2.1529	2.2885	0.2470	0.2903	0.2691	0.4535	0.5767	0.6483	0.8344	0.9223	0.5663	0.5564	0.5218	0.5056	0.3987	0.3790	0.5581	0.5504	0.7970	0.7949	0.7415	0.7293	0.7118	0.6933
2.7118	31500	1.0605	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.7268	31675	1.0828	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.7419	31850	1.0491	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.7570	32025	1.0415	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.7720	32200	1.0777	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.7871	32375	1.071	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.8022	32550	1.0891	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.8172	32725	1.0512	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.8323	32900	1.0684	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.8474	33075	1.0791	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.8510	33117	-	0.0941	0.1084	0.2837	0.3644	2.1493	2.2854	0.2440	0.2860	0.2623	0.4461	0.5681	0.6296	0.8283	0.9175	0.5670	0.5568	0.5229	0.5069	0.3988	0.3795	0.5606	0.5510	0.7981	0.7953	0.7395	0.7295	0.7121	0.6937
2.8624	33250	1.0624	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.8775	33425	1.0603	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.8926	33600	1.0757	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.9076	33775	1.0584	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.9227	33950	1.0834	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.9378	34125	1.0705	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.9528	34300	1.0399	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.9679	34475	1.0855	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.9830	34650	1.0759	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
2.9980	34825	1.0757	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.12.3
• Sentence Transformers: 4.0.1
• Transformers: 4.50.3
• PyTorch: 2.6.0a0+ecf3bae40a.nv25.01
• Accelerate: 1.5.2
• Datasets: 3.5.0
• Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

RZTKMultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}