sp-embraceable/reranker-ModernBERT-base-german-rag-pair-hard-negativemine

ModernBERT-large trained on German RAG Pairs (GPU)

This is a Cross Encoder model finetuned from answerdotai/ModernBERT-large using the sentence-transformers library. It computes scores for pairs of texts, which can be used for text reranking and semantic search.

Model Details

Model Description

• Model Type: Cross Encoder
• Base model: answerdotai/ModernBERT-large
• Maximum Sequence Length: 8192 tokens
• Number of Output Labels: 1 label
• Language: en
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Documentation: Cross Encoder Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Cross Encoders on Hugging Face

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import CrossEncoder

# Download from the 🤗 Hub
model = CrossEncoder("sp-embraceable/reranker-ModernBERT-base-german-rag-triples")
# Get scores for pairs of texts
pairs = [
    ['Das nationale Statistikbüro in England und Wales führt seit 1982 regelmäßige Viktimisierungsstudien durch. Die Ergebnisse zeigen einen Anstieg bis 1995 und seither einen Kriminalitätsrückgang.', 'England und Wales ist eine Region mit gemeinsamer Rechtsprechung innerhalb des Vereinigten Königreichs. Das nationale Statistikbüro führt hier seit 1982 in regelmäßigen Abständen Viktimisierungsstudien durch. Zufällig ausgewählte Personen werden dabei befragt, ob und gegebenenfalls in welcher Form sie im vergangenen Jahr Kriminalitätsopfer geworden sind. Es zeigt sich ein Anstieg bis 1995 und seither ein Kriminalitätsrückgang. Das entspricht dem typischen Verlauf in einem Land der westlichen Welt.'],
    ['Das nationale Statistikbüro in England und Wales führt seit 1982 regelmäßige Viktimisierungsstudien durch. Die Ergebnisse zeigen einen Anstieg bis 1995 und seither einen Kriminalitätsrückgang.', 'Auf subnationaler Ebene verfügt das Vereinigte Königreich über drei Rechtssysteme, die jeweils aus einem bestimmten geografischen Gebiet mit verschiedenen historischen Hintergründen stammen: englisches Recht, schottisches Recht und nordirisches Recht. Seit 2007 besteht infolge der Verabschiedung des Government of Wales Act 2006 durch das Parlament des Vereinigten Königreichs auch rein walisisches Recht, das aber im Gegensatz zu den drei anderen kein eigenständiges Rechtssystem an sich ist. Es handelt sich lediglich um das Primär- und Sekundärrecht, das von der Nationalversammlung für Wales erstellt und gemäß den Lehren des englischen Rechts ausgelegt wurde. Es hat keinen Einfluss auf das englische Common Law (es sei denn, ein solches Gesetz ersetzt eine Common-Law-Regel, weil es eine übergeordnete Rechtsform ist). Es besteht eine erhebliche Überschneidung zwischen diesen drei Rechtssystemen und den drei Gerichtsbarkeiten des Vereinigten Königreichs, nämlich England und Wales, Schottland und Nordirland. Jedes Rechtssystem ist standardmäßig jeder Gerichtsbarkeit unterworfen, und die Rechtssysteme der jeweiligen Rechtsordnungen unterstützen das einschlägige Rechtssystem durch Rechtsprechung. Es sei jedoch darauf hingewiesen, dass im Privatrecht eine Person in bestimmten Rechtsordnungen das Recht anderer Rechtsordnungen in Anspruch nehmen kann, z. B. eine Gesellschaft in Edinburgh (Schottland) und eine Gesellschaft in Belfast (Nordirland), die nach englischem Recht Verträge schließen können. Dies ist im öffentlichen Recht (z. B. im Strafrecht) nicht anwendbar, wenn in jeder Rechtsordnung eine Verfahrensordnung festgelegt ist. Übergeordnete sind Gesetze des Vereinigten Königreichs, die auch (seltener) als britisches Recht bezeichnet werden. Britisches Recht entsteht, wenn Gesetze für das Vereinigte Königreich und / oder seine Bürger insgesamt gelten, am offensichtlichsten das Verfassungsrecht, aber auch andere Bereiche, beispielsweise das Steuerrecht.'],
    ['Das nationale Statistikbüro in England und Wales führt seit 1982 regelmäßige Viktimisierungsstudien durch. Die Ergebnisse zeigen einen Anstieg bis 1995 und seither einen Kriminalitätsrückgang.', 'Eine Volkszählung wird gleichzeitig in allen Teilen Großbritanniens alle zehn Jahre durchgeführt. Das Office for National Statistics sammelt die Daten in England und Wales. Für Schottland ist die dortige Regierungsbehörde "National Records of Scotland" zuständig, für Nordirland die "Northern Ireland Statistics and Research Agency".'],
    ['Das nationale Statistikbüro in England und Wales führt seit 1982 regelmäßige Viktimisierungsstudien durch. Die Ergebnisse zeigen einen Anstieg bis 1995 und seither einen Kriminalitätsrückgang.', 'Eine Volkszählung wird gleichzeitig in allen Teilen Großbritanniens alle zehn Jahre durchgeführt. Das Office for National Statistics sammelt die Daten in England und Wales. Für Schottland ist die dortige Regierungsbehörde "National Records of Scotland" zuständig, für Nordirland die "Northern Ireland Statistics and Research Agency".'],
    ['Das nationale Statistikbüro in England und Wales führt seit 1982 regelmäßige Viktimisierungsstudien durch. Die Ergebnisse zeigen einen Anstieg bis 1995 und seither einen Kriminalitätsrückgang.', 'Ein Vorteil von Viktimisierungsstudien gegenüber Polizeistatistiken ist, dass auch das Dunkelfeld betrachtet wird. Bei der Analyse langjähriger Trends kann sich jedoch der sich verändernde, gesellschaftliche Toleranzlevel verfälschend auswirken. Vor allem Fälle von Körperverletzung und sexuelle Übergriffe werden heute eher als kriminell eingestuft als noch vor Jahrzehnten.'],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)

# Or rank different texts based on similarity to a single text
ranks = model.rank(
    'Das nationale Statistikbüro in England und Wales führt seit 1982 regelmäßige Viktimisierungsstudien durch. Die Ergebnisse zeigen einen Anstieg bis 1995 und seither einen Kriminalitätsrückgang.',
    [
        'England und Wales ist eine Region mit gemeinsamer Rechtsprechung innerhalb des Vereinigten Königreichs. Das nationale Statistikbüro führt hier seit 1982 in regelmäßigen Abständen Viktimisierungsstudien durch. Zufällig ausgewählte Personen werden dabei befragt, ob und gegebenenfalls in welcher Form sie im vergangenen Jahr Kriminalitätsopfer geworden sind. Es zeigt sich ein Anstieg bis 1995 und seither ein Kriminalitätsrückgang. Das entspricht dem typischen Verlauf in einem Land der westlichen Welt.',
        'Auf subnationaler Ebene verfügt das Vereinigte Königreich über drei Rechtssysteme, die jeweils aus einem bestimmten geografischen Gebiet mit verschiedenen historischen Hintergründen stammen: englisches Recht, schottisches Recht und nordirisches Recht. Seit 2007 besteht infolge der Verabschiedung des Government of Wales Act 2006 durch das Parlament des Vereinigten Königreichs auch rein walisisches Recht, das aber im Gegensatz zu den drei anderen kein eigenständiges Rechtssystem an sich ist. Es handelt sich lediglich um das Primär- und Sekundärrecht, das von der Nationalversammlung für Wales erstellt und gemäß den Lehren des englischen Rechts ausgelegt wurde. Es hat keinen Einfluss auf das englische Common Law (es sei denn, ein solches Gesetz ersetzt eine Common-Law-Regel, weil es eine übergeordnete Rechtsform ist). Es besteht eine erhebliche Überschneidung zwischen diesen drei Rechtssystemen und den drei Gerichtsbarkeiten des Vereinigten Königreichs, nämlich England und Wales, Schottland und Nordirland. Jedes Rechtssystem ist standardmäßig jeder Gerichtsbarkeit unterworfen, und die Rechtssysteme der jeweiligen Rechtsordnungen unterstützen das einschlägige Rechtssystem durch Rechtsprechung. Es sei jedoch darauf hingewiesen, dass im Privatrecht eine Person in bestimmten Rechtsordnungen das Recht anderer Rechtsordnungen in Anspruch nehmen kann, z. B. eine Gesellschaft in Edinburgh (Schottland) und eine Gesellschaft in Belfast (Nordirland), die nach englischem Recht Verträge schließen können. Dies ist im öffentlichen Recht (z. B. im Strafrecht) nicht anwendbar, wenn in jeder Rechtsordnung eine Verfahrensordnung festgelegt ist. Übergeordnete sind Gesetze des Vereinigten Königreichs, die auch (seltener) als britisches Recht bezeichnet werden. Britisches Recht entsteht, wenn Gesetze für das Vereinigte Königreich und / oder seine Bürger insgesamt gelten, am offensichtlichsten das Verfassungsrecht, aber auch andere Bereiche, beispielsweise das Steuerrecht.',
        'Eine Volkszählung wird gleichzeitig in allen Teilen Großbritanniens alle zehn Jahre durchgeführt. Das Office for National Statistics sammelt die Daten in England und Wales. Für Schottland ist die dortige Regierungsbehörde "National Records of Scotland" zuständig, für Nordirland die "Northern Ireland Statistics and Research Agency".',
        'Eine Volkszählung wird gleichzeitig in allen Teilen Großbritanniens alle zehn Jahre durchgeführt. Das Office for National Statistics sammelt die Daten in England und Wales. Für Schottland ist die dortige Regierungsbehörde "National Records of Scotland" zuständig, für Nordirland die "Northern Ireland Statistics and Research Agency".',
        'Ein Vorteil von Viktimisierungsstudien gegenüber Polizeistatistiken ist, dass auch das Dunkelfeld betrachtet wird. Bei der Analyse langjähriger Trends kann sich jedoch der sich verändernde, gesellschaftliche Toleranzlevel verfälschend auswirken. Vor allem Fälle von Körperverletzung und sexuelle Übergriffe werden heute eher als kriminell eingestuft als noch vor Jahrzehnten.',
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

Evaluation

Metrics

Cross Encoder Reranking

• Dataset: german-rag-pairs-dev
• Evaluated with CrossEncoderRerankingEvaluator with these parameters:

  {
      "at_k": 10,
      "always_rerank_positives": false
  }
  

Metric	Value
map	1.0000 (+0.0000)
mrr@10	1.0000 (+0.0000)
ndcg@10	1.0000 (+0.0000)

Cross Encoder Reranking

• Datasets: NanoMSMARCO_R100, NanoNFCorpus_R100 and NanoNQ_R100
• Evaluated with CrossEncoderRerankingEvaluator with these parameters:

  {
      "at_k": 10,
      "always_rerank_positives": true
  }
  

Metric	NanoMSMARCO_R100	NanoNFCorpus_R100	NanoNQ_R100
map	0.0981 (-0.3914)	0.3122 (+0.0512)	0.3568 (-0.0628)
mrr@10	0.0746 (-0.4029)	0.4604 (-0.0394)	0.3510 (-0.0757)
ndcg@10	0.1689 (-0.3715)	0.3286 (+0.0035)	0.4064 (-0.0943)

Cross Encoder Nano BEIR

• Dataset: NanoBEIR_R100_mean
• Evaluated with CrossEncoderNanoBEIREvaluator with these parameters:

  {
      "dataset_names": [
          "msmarco",
          "nfcorpus",
          "nq"
      ],
      "rerank_k": 100,
      "at_k": 10,
      "always_rerank_positives": true
  }
  

Metric	Value
map	0.2557 (-0.1343)
mrr@10	0.2953 (-0.1727)
ndcg@10	0.3013 (-0.1541)

Training Details

Training Dataset

Unnamed Dataset

• Size: 54,000 training samples
• Columns: question, answer, and label
• Approximate statistics based on the first 1000 samples:

  	question	answer	label
  type	string	string	int
  details	min: 100 characters mean: 173.53 characters max: 544 characters	min: 107 characters mean: 715.26 characters max: 3589 characters	0: ~83.30% 1: ~16.70%

• Samples:

  question	answer	label
  Das nationale Statistikbüro in England und Wales führt seit 1982 regelmäßige Viktimisierungsstudien durch. Die Ergebnisse zeigen einen Anstieg bis 1995 und seither einen Kriminalitätsrückgang.	England und Wales ist eine Region mit gemeinsamer Rechtsprechung innerhalb des Vereinigten Königreichs. Das nationale Statistikbüro führt hier seit 1982 in regelmäßigen Abständen Viktimisierungsstudien durch. Zufällig ausgewählte Personen werden dabei befragt, ob und gegebenenfalls in welcher Form sie im vergangenen Jahr Kriminalitätsopfer geworden sind. Es zeigt sich ein Anstieg bis 1995 und seither ein Kriminalitätsrückgang. Das entspricht dem typischen Verlauf in einem Land der westlichen Welt.	1
  Das nationale Statistikbüro in England und Wales führt seit 1982 regelmäßige Viktimisierungsstudien durch. Die Ergebnisse zeigen einen Anstieg bis 1995 und seither einen Kriminalitätsrückgang.	Auf subnationaler Ebene verfügt das Vereinigte Königreich über drei Rechtssysteme, die jeweils aus einem bestimmten geografischen Gebiet mit verschiedenen historischen Hintergründen stammen: englisches Recht, schottisches Recht und nordirisches Recht. Seit 2007 besteht infolge der Verabschiedung des Government of Wales Act 2006 durch das Parlament des Vereinigten Königreichs auch rein walisisches Recht, das aber im Gegensatz zu den drei anderen kein eigenständiges Rechtssystem an sich ist. Es handelt sich lediglich um das Primär- und Sekundärrecht, das von der Nationalversammlung für Wales erstellt und gemäß den Lehren des englischen Rechts ausgelegt wurde. Es hat keinen Einfluss auf das englische Common Law (es sei denn, ein solches Gesetz ersetzt eine Common-Law-Regel, weil es eine übergeordnete Rechtsform ist). Es besteht eine erhebliche Überschneidung zwischen diesen drei Rechtssystemen und den drei Gerichtsbarkeiten des Vereinigten Königreichs, nämlich England und Wales, Schottlan...	0
  Das nationale Statistikbüro in England und Wales führt seit 1982 regelmäßige Viktimisierungsstudien durch. Die Ergebnisse zeigen einen Anstieg bis 1995 und seither einen Kriminalitätsrückgang.	Eine Volkszählung wird gleichzeitig in allen Teilen Großbritanniens alle zehn Jahre durchgeführt. Das Office for National Statistics sammelt die Daten in England und Wales. Für Schottland ist die dortige Regierungsbehörde "National Records of Scotland" zuständig, für Nordirland die "Northern Ireland Statistics and Research Agency".	0

• Loss: BinaryCrossEntropyLoss with these parameters:

  {
      "activation_fn": "torch.nn.modules.linear.Identity",
      "pos_weight": 5.0
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 1
• per_device_eval_batch_size: 1
• learning_rate: 2e-05
• num_train_epochs: 1
• warmup_ratio: 0.1
• bf16: True
• dataloader_num_workers: 8
• dataloader_prefetch_factor: 2
• remove_unused_columns: False
• load_best_model_at_end: True

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 1
• per_device_eval_batch_size: 1
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 8
• dataloader_prefetch_factor: 2
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: False
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Click to expand

Epoch	Step	Training Loss	german-rag-pairs-dev_ndcg@10	NanoMSMARCO_R100_ndcg@10	NanoNFCorpus_R100_ndcg@10	NanoNQ_R100_ndcg@10	NanoBEIR_R100_mean_ndcg@10
-1	-1	-	0.5623 (-0.4377)	0.0316 (-0.5088)	0.2276 (-0.0975)	0.0220 (-0.4786)	0.0937 (-0.3616)
0.0000	1	4.3021	-	-	-	-	-
0.0019	100	1.1885	-	-	-	-	-
0.0037	200	5.2748	-	-	-	-	-
0.0056	300	5.1335	-	-	-	-	-
0.0074	400	5.2304	-	-	-	-	-
0.0093	500	6.2023	-	-	-	-	-
0.0111	600	5.8409	-	-	-	-	-
0.0130	700	6.0427	-	-	-	-	-
0.0148	800	4.8947	-	-	-	-	-
0.0167	900	3.074	-	-	-	-	-
0.0185	1000	2.7722	1.0000 (+0.0000)	0.0503 (-0.4902)	0.2383 (-0.0867)	0.0885 (-0.4121)	0.1257 (-0.3297)
0.0204	1100	1.8631	-	-	-	-	-
0.0222	1200	1.6925	-	-	-	-	-
0.0241	1300	3.6154	-	-	-	-	-
0.0259	1400	1.1883	-	-	-	-	-
0.0278	1500	1.4043	-	-	-	-	-
0.0296	1600	2.0894	-	-	-	-	-
0.0315	1700	1.3738	-	-	-	-	-
0.0333	1800	0.5864	-	-	-	-	-
0.0352	1900	1.7528	-	-	-	-	-
0.0370	2000	1.1739	0.9963 (-0.0037)	0.0439 (-0.4965)	0.2848 (-0.0402)	0.0891 (-0.4115)	0.1393 (-0.3161)
0.0389	2100	1.7272	-	-	-	-	-
0.0407	2200	1.4319	-	-	-	-	-
0.0426	2300	1.9913	-	-	-	-	-
0.0444	2400	1.1184	-	-	-	-	-
0.0463	2500	0.3488	-	-	-	-	-
0.0481	2600	0.6489	-	-	-	-	-
0.05	2700	0.4085	-	-	-	-	-
0.0519	2800	0.0606	-	-	-	-	-
0.0537	2900	1.6928	-	-	-	-	-
0.0556	3000	0.8008	1.0000 (+0.0000)	0.0563 (-0.4841)	0.3030 (-0.0221)	0.0675 (-0.4331)	0.1423 (-0.3131)
0.0574	3100	0.6568	-	-	-	-	-
0.0593	3200	0.6588	-	-	-	-	-
0.0611	3300	1.4152	-	-	-	-	-
0.0630	3400	0.0529	-	-	-	-	-
0.0648	3500	2.5332	-	-	-	-	-
0.0667	3600	1.4062	-	-	-	-	-
0.0685	3700	0.6283	-	-	-	-	-
0.0704	3800	1.1986	-	-	-	-	-
0.0722	3900	0.7668	-	-	-	-	-
0.0741	4000	0.0403	0.9950 (-0.0050)	0.0331 (-0.5073)	0.3004 (-0.0247)	0.0394 (-0.4612)	0.1243 (-0.3311)
0.0759	4100	0.7771	-	-	-	-	-
0.0778	4200	0.9136	-	-	-	-	-
0.0796	4300	0.9788	-	-	-	-	-
0.0815	4400	2.4502	-	-	-	-	-
0.0833	4500	1.2502	-	-	-	-	-
0.0852	4600	0.452	-	-	-	-	-
0.0870	4700	0.9595	-	-	-	-	-
0.0889	4800	0.6621	-	-	-	-	-
0.0907	4900	1.178	-	-	-	-	-
0.0926	5000	0.038	1.0000 (+0.0000)	0.0628 (-0.4776)	0.3105 (-0.0146)	0.1265 (-0.3742)	0.1666 (-0.2888)
0.0944	5100	0.8502	-	-	-	-	-
0.0963	5200	1.1598	-	-	-	-	-
0.0981	5300	1.2122	-	-	-	-	-
0.1	5400	0.9846	-	-	-	-	-
0.1019	5500	1.2905	-	-	-	-	-
0.1037	5600	2.0998	-	-	-	-	-
0.1056	5700	3.9234	-	-	-	-	-
0.1074	5800	4.8346	-	-	-	-	-
0.1093	5900	1.7315	-	-	-	-	-
0.1111	6000	1.0496	1.0000 (+0.0000)	0.1427 (-0.3977)	0.3484 (+0.0233)	0.2902 (-0.2104)	0.2604 (-0.1949)
0.1130	6100	0.7321	-	-	-	-	-
0.1148	6200	0.6902	-	-	-	-	-
0.1167	6300	0.5469	-	-	-	-	-
0.1185	6400	0.9661	-	-	-	-	-
0.1204	6500	0.1213	-	-	-	-	-
0.1222	6600	1.0769	-	-	-	-	-
0.1241	6700	0.0001	-	-	-	-	-
0.1259	6800	0.1057	-	-	-	-	-
0.1278	6900	1.289	-	-	-	-	-
0.1296	7000	0.0016	1.0000 (+0.0000)	0.1348 (-0.4056)	0.3300 (+0.0049)	0.3300 (-0.1706)	0.2649 (-0.1904)
0.1315	7100	0.0643	-	-	-	-	-
0.1333	7200	1.6014	-	-	-	-	-
0.1352	7300	1.0498	-	-	-	-	-
0.1370	7400	0.4898	-	-	-	-	-
0.1389	7500	1.1628	-	-	-	-	-
0.1407	7600	0.6333	-	-	-	-	-
0.1426	7700	0.146	-	-	-	-	-
0.1444	7800	0.9649	-	-	-	-	-
0.1463	7900	1.1158	-	-	-	-	-
0.1481	8000	1.1825	1.0000 (+0.0000)	0.1039 (-0.4365)	0.3441 (+0.0191)	0.3031 (-0.1976)	0.2504 (-0.2050)
0.15	8100	2.15	-	-	-	-	-
0.1519	8200	0.8249	-	-	-	-	-
0.1537	8300	0.8459	-	-	-	-	-
0.1556	8400	0.9752	-	-	-	-	-
0.1574	8500	0.7666	-	-	-	-	-
0.1593	8600	0.0923	-	-	-	-	-
0.1611	8700	0.7894	-	-	-	-	-
0.1630	8800	0.896	-	-	-	-	-
0.1648	8900	1.1078	-	-	-	-	-
0.1667	9000	0.0889	1.0000 (+0.0000)	0.1149 (-0.4255)	0.3179 (-0.0072)	0.3777 (-0.1230)	0.2702 (-0.1852)
0.1685	9100	1.0394	-	-	-	-	-
0.1704	9200	0.1387	-	-	-	-	-
0.1722	9300	0.6101	-	-	-	-	-
0.1741	9400	1.2641	-	-	-	-	-
0.1759	9500	2.3179	-	-	-	-	-
0.1778	9600	0.8498	-	-	-	-	-
0.1796	9700	0.3892	-	-	-	-	-
0.1815	9800	1.136	-	-	-	-	-
0.1833	9900	0.1143	-	-	-	-	-
0.1852	10000	0.6984	1.0000 (+0.0000)	0.0889 (-0.4515)	0.3157 (-0.0093)	0.2872 (-0.2135)	0.2306 (-0.2248)
0.1870	10100	0.148	-	-	-	-	-
0.1889	10200	0.4943	-	-	-	-	-
0.1907	10300	0.4379	-	-	-	-	-
0.1926	10400	0.9736	-	-	-	-	-
0.1944	10500	0.5588	-	-	-	-	-
0.1963	10600	1.2462	-	-	-	-	-
0.1981	10700	0.7766	-	-	-	-	-
0.2	10800	0.0881	-	-	-	-	-
0.2019	10900	0.8127	-	-	-	-	-
0.2037	11000	0.4568	1.0000 (+0.0000)	0.0933 (-0.4471)	0.3189 (-0.0062)	0.3052 (-0.1954)	0.2392 (-0.2162)
0.2056	11100	0.0117	-	-	-	-	-
0.2074	11200	1.2554	-	-	-	-	-
0.2093	11300	0.0967	-	-	-	-	-
0.2111	11400	0.5637	-	-	-	-	-
0.2130	11500	0.5817	-	-	-	-	-
0.2148	11600	0.3986	-	-	-	-	-
0.2167	11700	0.0	-	-	-	-	-
0.2185	11800	0.9376	-	-	-	-	-
0.2204	11900	0.0002	-	-	-	-	-
0.2222	12000	0.1746	1.0000 (+0.0000)	0.1211 (-0.4194)	0.3570 (+0.0319)	0.3785 (-0.1221)	0.2855 (-0.1699)
0.2241	12100	1.245	-	-	-	-	-
0.2259	12200	0.9463	-	-	-	-	-
0.2278	12300	0.4784	-	-	-	-	-
0.2296	12400	0.221	-	-	-	-	-
0.2315	12500	0.7711	-	-	-	-	-
0.2333	12600	0.8941	-	-	-	-	-
0.2352	12700	0.4619	-	-	-	-	-
0.2370	12800	0.9785	-	-	-	-	-
0.2389	12900	0.4781	-	-	-	-	-
0.2407	13000	0.8747	0.9963 (-0.0037)	0.0739 (-0.4665)	0.3125 (-0.0125)	0.3546 (-0.1460)	0.2470 (-0.2083)
0.2426	13100	1.3053	-	-	-	-	-
0.2444	13200	0.5297	-	-	-	-	-
0.2463	13300	0.6859	-	-	-	-	-
0.2481	13400	0.0735	-	-	-	-	-
0.25	13500	0.4249	-	-	-	-	-
0.2519	13600	0.097	-	-	-	-	-
0.2537	13700	0.7214	-	-	-	-	-
0.2556	13800	1.8015	-	-	-	-	-
0.2574	13900	0.5684	-	-	-	-	-
0.2593	14000	0.1073	1.0000 (+0.0000)	0.1074 (-0.4330)	0.3212 (-0.0038)	0.3781 (-0.1225)	0.2689 (-0.1864)
0.2611	14100	0.7453	-	-	-	-	-
0.2630	14200	0.0001	-	-	-	-	-
0.2648	14300	1.1899	-	-	-	-	-
0.2667	14400	0.0001	-	-	-	-	-
0.2685	14500	0.0	-	-	-	-	-
0.2704	14600	0.9591	-	-	-	-	-
0.2722	14700	0.206	-	-	-	-	-
0.2741	14800	0.93	-	-	-	-	-
0.2759	14900	0.7623	-	-	-	-	-
0.2778	15000	0.8664	1.0000 (+0.0000)	0.1070 (-0.4334)	0.3039 (-0.0211)	0.2953 (-0.2053)	0.2354 (-0.2200)
0.2796	15100	0.8114	-	-	-	-	-
0.2815	15200	0.6528	-	-	-	-	-
0.2833	15300	0.001	-	-	-	-	-
0.2852	15400	0.092	-	-	-	-	-
0.2870	15500	0.0766	-	-	-	-	-
0.2889	15600	0.5345	-	-	-	-	-
0.2907	15700	0.0843	-	-	-	-	-
0.2926	15800	0.5779	-	-	-	-	-
0.2944	15900	1.0723	-	-	-	-	-
0.2963	16000	0.062	1.0000 (+0.0000)	0.1133 (-0.4272)	0.3236 (-0.0014)	0.3471 (-0.1536)	0.2613 (-0.1940)
0.2981	16100	0.0982	-	-	-	-	-
0.3	16200	0.6336	-	-	-	-	-
0.3019	16300	0.1888	-	-	-	-	-
0.3037	16400	1.0696	-	-	-	-	-
0.3056	16500	0.4392	-	-	-	-	-
0.3074	16600	0.0145	-	-	-	-	-
0.3093	16700	0.1596	-	-	-	-	-
0.3111	16800	0.6917	-	-	-	-	-
0.3130	16900	0.0604	-	-	-	-	-
0.3148	17000	0.4453	1.0000 (+0.0000)	0.0585 (-0.4819)	0.2916 (-0.0335)	0.3118 (-0.1889)	0.2206 (-0.2348)
0.3167	17100	0.721	-	-	-	-	-
0.3185	17200	0.0001	-	-	-	-	-
0.3204	17300	0.1209	-	-	-	-	-
0.3222	17400	0.1524	-	-	-	-	-
0.3241	17500	0.0001	-	-	-	-	-
0.3259	17600	0.3735	-	-	-	-	-
0.3278	17700	0.0495	-	-	-	-	-
0.3296	17800	0.3397	-	-	-	-	-
0.3315	17900	0.6157	-	-	-	-	-
0.3333	18000	1.0012	1.0000 (+0.0000)	0.1115 (-0.4290)	0.2986 (-0.0265)	0.4091 (-0.0916)	0.2730 (-0.1823)
0.3352	18100	0.1045	-	-	-	-	-
0.3370	18200	1.4868	-	-	-	-	-
0.3389	18300	0.388	-	-	-	-	-
0.3407	18400	1.0158	-	-	-	-	-
0.3426	18500	0.0001	-	-	-	-	-
0.3444	18600	0.4691	-	-	-	-	-
0.3463	18700	0.3376	-	-	-	-	-
0.3481	18800	1.0094	-	-	-	-	-
0.35	18900	0.231	-	-	-	-	-
0.3519	19000	0.702	1.0000 (+0.0000)	0.1041 (-0.4364)	0.2948 (-0.0302)	0.3324 (-0.1683)	0.2437 (-0.2116)
0.3537	19100	0.0648	-	-	-	-	-
0.3556	19200	0.1101	-	-	-	-	-
0.3574	19300	0.1124	-	-	-	-	-
0.3593	19400	0.0003	-	-	-	-	-
0.3611	19500	0.0001	-	-	-	-	-
0.3630	19600	0.4251	-	-	-	-	-
0.3648	19700	0.5487	-	-	-	-	-
0.3667	19800	0.481	-	-	-	-	-
0.3685	19900	0.0001	-	-	-	-	-
0.3704	20000	0.6102	1.0000 (+0.0000)	0.0252 (-0.5152)	0.3387 (+0.0136)	0.1679 (-0.3328)	0.1773 (-0.2781)
0.3722	20100	0.1851	-	-	-	-	-
0.3741	20200	0.4466	-	-	-	-	-
0.3759	20300	0.0083	-	-	-	-	-
0.3778	20400	0.0007	-	-	-	-	-
0.3796	20500	0.5438	-	-	-	-	-
0.3815	20600	0.2863	-	-	-	-	-
0.3833	20700	0.3204	-	-	-	-	-
0.3852	20800	0.8213	-	-	-	-	-
0.3870	20900	0.0001	-	-	-	-	-
0.3889	21000	0.4626	1.0000 (+0.0000)	0.1689 (-0.3715)	0.3286 (+0.0035)	0.4064 (-0.0943)	0.3013 (-0.1541)

Framework Versions

• Python: 3.11.13
• Sentence Transformers: 5.0.0
• Transformers: 4.54.0
• PyTorch: 2.6.0+cu124
• Accelerate: 1.9.0
• Datasets: 4.0.0
• Tokenizers: 0.21.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}