Hugging Face's logo

SirMappel
/
DA-SBERT_Old_News_V1

Sentence Similarity
sentence-transformers
Safetensors
Danish
bert
feature-extraction
dense
Generated from Trainer
dataset_size:237500
loss:DenoisingAutoEncoderLoss
text-embeddings-inference
Model card Files
xet
 Community

SentenceTransformer based on CALDISS-AAU/DA-BERT_Old_News_V3

This is a sentence-transformers model finetuned from CALDISS-AAU/DA-BERT_Old_News_V3 on the eno dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: CALDISS-AAU/DA-BERT_Old_News_V3
  • Maximum Sequence Length: 512 tokens
  • Output Dimensionality: 768 dimensions
  • Similarity Function: Cosine Similarity
  • Training Dataset:
  • Language: da

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'BertModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Reisende. med Færgefartøiet fra Kallundborg til Aarhuus, den 11te Dr. Gaardmændene S. Thomsen og P. Rasmussen; Træsko handler Rosenberg; Frøken Bay, Proprietair la Cour Handelsbogholder Gjede og Kjøbmand Bendix.',
    'med Kallundborg den 11te Dr. Gaardmændene P. Rasmussen; la og',
    'en Person Stand, som har unddraget fra "',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.6971, 0.1727],
#         [0.6971, 1.0000, 0.1848],
#         [0.1727, 0.1848, 1.0000]])

Training Details

Training Dataset

eno

  • Dataset: eno at d719223
  • Size: 237,500 training samples
  • Columns: text and noisy
  • Approximate statistics based on the first 1000 samples:
    text noisy
    type string string
    details
    • min: 10 tokens
    • mean: 127.79 tokens
    • max: 512 tokens
    • min: 3 tokens
    • mean: 55.84 tokens
    • max: 512 tokens
  • Samples:
    text noisy
    Fredagen den 14de Marts førstkommende, om Eftermiddagen Kl. imellem 2 og 4 Slet, bliver ved Auction første Gang opbuden, for til den Høistbydende at bortsælges: Lyststedet Nr. 8 i Smallegaden paa Friderike berg, med Hauge og 2de Jordlodder der udgjøre omtrent 3 Tdr. Land, hvoraf Heftelsen til Rigsbanken er betal, og hvis Bygninger i Brandcassen ere forsikrede for 8800, Rbd. S. V. tilhørende afg. Cobaksfabriqveur Niels Bechs og efter vende Enke Kirstine Bech, fød Nielsens, alleds Bo. Luctionen holdes paa Stedet selv, og ere AuctionsconAtionerne, Vurderingsforretningerne, samt og ge Huus documenter til Eftersyn forinden hos Boets Curator, Coplift Langhorn, boende paa Halmtorvet Nr. 74 landen Sal, om Eftermiddagen fra Kl. 2 til 5. Eiendommen, hvis øvrige Beskaffenhed erfares af de trykte Placater, kan af Liebhaberne selv tages i Ølesyn, da samme anvises af den Mand som boer paa Stedet. Fredagen den 14de Marts førstkommende, om Eftermiddagen Kl. imellem 2 og 4, bliver ved Auction 4de og si... 14de førstkommende, om Eftermiddagen imellem Slet, bliver første opbuden, for den Høistbydende bortsælges: Nr. Friderike berg, 2de Jordlodder der Tdr. til er og i Brandcassen ere forsikrede Rbd. afg. Niels Bechs Enke Bech, selv, og AuctionsconAtionerne, samt Huus Eftersyn forinden hos Boets Coplift Halmtorvet Nr. Sal, om Eftermiddagen Kl. Eiendommen, øvrige Beskaffenhed af selv i anvises Mand paa Stedet. den 14de Marts om og 4, bliver ved sidste til Pakhuset beliggende i lille paa Christianshavn, S. V. tilhørende Grosserer Schambak Sælboes Bo. selv, ere Auctions øvrige Documenter, forinden hos Koford, paa Kongens Nytorv Nr.
    Domme, afsagte i den Kongelige Lands-Overret i Viborg, Mandagen den 25de Mai 1835. Domme, afsagte den Kongelige Lands-Overret Viborg,
    Den 7de September er Underrets=Advocat Johann Christoph Wiese i Utersen allernaadigst beskikket til Regierings Over- og Landrets=Advocat i Hertugdømmene. Den 28de Henrich Wille til Stadsmusicant i Staden og Fæstningen, samt ved Slots- og Garnisons Meenigheden, i Glückstadt. Den 19de October Borgeren Jacob Paulsen i Husum confirmeret at Rvære aadmand sammesteds. Den 26de f. M. Kiøbmand Jens Georg Eggert von Schoon til surnumerair Raadmand i Altona. Den 23de November Mag. An gust Niemann i Kiel til Archivarius ved det der endnu værende forrige Geheime-Conseils Archiv. Den 30te f. M. Raadmand Claus Friderich Jebens til anden Borgemester i Frederichstadt; og Stads=Casserer, Hinrich Ehmke, til Raadmand i Neustadt. Den 7de December: Magistri philosophiæ og Adjuncti Facultatis philosophicæ, Frederich PhilosoValentiner og August Niemann, til Professores phiæ extraordinarii i Kiel; og Cancellieraad Johann Christian von Jessen til Herredsfoged i Hvidding, og Nordrerangstrup Herred, samt Kirkeskr... Den Underrets=Advocat Christoph Wiese beskikket til Over- i Wille og Meenigheden, i October Jacob Paulsen Husum at Den 26de von Schoon til surnumerair Den 23de Niemann i til endnu værende forrige Geheime-Conseils 30te Raadmand Claus Frederichstadt; til Neustadt. 7de Magistri Frederich og extraordinarii Kiel; til Herredsfoged i Hvidding, Herred, og i Gram-Herred Amt.
  • Loss: DenoisingAutoEncoderLoss

Evaluation Dataset

eno

  • Dataset: eno at d719223
  • Size: 12,500 evaluation samples
  • Columns: text and noisy
  • Approximate statistics based on the first 1000 samples:
    text noisy
    type string string
    details
    • min: 12 tokens
    • mean: 130.06 tokens
    • max: 512 tokens
    • min: 3 tokens
    • mean: 57.68 tokens
    • max: 512 tokens
  • Samples:
    text noisy
    Hvor et lidet Fag Skuevinduer med alt Tilbehør er tilkiøbs, samt hvor der er Logi for honette Folkes Børn, fra Landet, anviser Adressecontoiret. Skuevinduer med hvor for honette fra Adressecontoiret.
    Da det academiske Senat i Jena ifølge Storhertugen af Weimars, i sidste Avis omtalte, Rescript, endskiønt det ikke kunde fornægte den Overbeviisnu som i dets underdanigste Beretning var lagt for Dagen, havde forelagt Professor Oken de bestemte Alternativer, forlangte denne tre Dages Frist til Overveielse. I dette Tidsruindløb hans Erklæring, at han, paa det giorte Andragende aldeles Jntet havde at svare" Jfølge heraf blev, ved et Storhertugeligt Rescript til Universitetet, Professor Oken afsat fra sit Embede. Da academiske Jena ifølge Weimars, i sidste Avis ikke Overbeviisnu som i Beretning Dagen, bestemte denne tre Dages til dette Tidsruindløb det aldeles havde Jfølge ved et Oken Embede.
    Ledigt Embede. Et Copiist-Embede i Kjøbenhavns Raadstues 2det Secretariat (opslaaet vacant 21 Novbr.) Embede. i Raadstues Secretariat (opslaaet
  • Loss: DenoisingAutoEncoderLoss

Training Hyperparameters

Non-Default Hyperparameters

  • learning_rate: 2e-05
  • num_train_epochs: 5
  • warmup_ratio: 0.1
  • fp16: True
  • dataloader_num_workers: 4

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: no
  • prediction_loss_only: True
  • per_device_train_batch_size: 8
  • per_device_eval_batch_size: 8
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 2e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 5
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.1
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • bf16: False
  • fp16: True
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: True
  • dataloader_num_workers: 4
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • parallelism_config: None
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch_fused
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • project: huggingface
  • trackio_space_id: trackio
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: None
  • hub_always_push: False
  • hub_revision: None
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • include_for_metrics: []
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: no
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • liger_kernel_config: None
  • eval_use_gather_object: False
  • average_tokens_across_devices: True
  • prompts: None
  • batch_sampler: batch_sampler
  • multi_dataset_batch_sampler: proportional
  • router_mapping: {}
  • learning_rate_mapping: {}

Training Logs

Click to expand
Epoch Step Training Loss
0.0101 100 10.7663
0.0202 200 10.0016
0.0303 300 9.6157
0.0404 400 9.3923
0.0505 500 9.2222
0.0606 600 9.0751
0.0707 700 8.9262
0.0808 800 8.7449
0.0910 900 8.5679
0.1011 1000 8.4039
0.1112 1100 8.2317
0.1213 1200 8.0784
0.1314 1300 7.8921
0.1415 1400 7.7611
0.1516 1500 7.6057
0.1617 1600 7.4727
0.1718 1700 7.3838
0.1819 1800 7.301
0.1920 1900 7.2474
0.2021 2000 7.1731
0.2122 2100 7.1594
0.2223 2200 7.1139
0.2324 2300 7.0826
0.2425 2400 7.052
0.2527 2500 7.0412
0.2628 2600 7.0431
0.2729 2700 7.0261
0.2830 2800 7.0167
0.2931 2900 6.9727
0.3032 3000 6.9331
0.3133 3100 6.9536
0.3234 3200 6.9036
0.3335 3300 6.8892
0.3436 3400 6.9265
0.3537 3500 6.8864
0.3638 3600 6.8774
0.3739 3700 6.8524
0.3840 3800 6.864
0.3941 3900 6.8418
0.4042 4000 6.8211
0.4144 4100 6.7919
0.4245 4200 6.8375
0.4346 4300 6.7883
0.4447 4400 6.7738
0.4548 4500 6.769
0.4649 4600 6.747
0.4750 4700 6.7279
0.4851 4800 6.7263
0.4952 4900 6.7338
0.5053 5000 6.7164
0.5154 5100 6.6975
0.5255 5200 6.6649
0.5356 5300 6.6706
0.5457 5400 6.6808
0.5558 5500 6.6601
0.5659 5600 6.6272
0.5760 5700 6.6057
0.5862 5800 6.6404
0.5963 5900 6.5859
0.6064 6000 6.5775
0.6165 6100 6.5428
0.6266 6200 6.5682
0.6367 6300 6.5454
0.6468 6400 6.5772
0.6569 6500 6.5211
0.6670 6600 6.5066
0.6771 6700 6.5257
0.6872 6800 6.5104
0.6973 6900 6.5219
0.7074 7000 6.5179
0.7175 7100 6.4511
0.7276 7200 6.4785
0.7377 7300 6.4454
0.7479 7400 6.4394
0.7580 7500 6.4417
0.7681 7600 6.3915
0.7782 7700 6.3974
0.7883 7800 6.3945
0.7984 7900 6.3859
0.8085 8000 6.4206
0.8186 8100 6.4179
0.8287 8200 6.3604
0.8388 8300 6.3712
0.8489 8400 6.4149
0.8590 8500 6.388
0.8691 8600 6.3423
0.8792 8700 6.3258
0.8893 8800 6.3188
0.8994 8900 6.3425
0.9096 9000 6.3568
0.9197 9100 6.3431
0.9298 9200 6.3244
0.9399 9300 6.3222
0.9500 9400 6.2772
0.9601 9500 6.3006
0.9702 9600 6.2948
0.9803 9700 6.2613
0.9904 9800 6.2594
1.0005 9900 6.2692
1.0106 10000 6.2635
1.0207 10100 6.2157
1.0308 10200 6.2231
1.0409 10300 6.2468
1.0510 10400 6.192
1.0611 10500 6.2186
1.0712 10600 6.2135
1.0814 10700 6.2152
1.0915 10800 6.1946
1.1016 10900 6.1928
1.1117 11000 6.1871
1.1218 11100 6.1807
1.1319 11200 6.161
1.1420 11300 6.1458
1.1521 11400 6.1702
1.1622 11500 6.1914
1.1723 11600 6.1518
1.1824 11700 6.1733
1.1925 11800 6.1946
1.2026 11900 6.1636
1.2127 12000 6.095
1.2228 12100 6.1534
1.2329 12200 6.1782
1.2431 12300 6.1014
1.2532 12400 6.1104
1.2633 12500 6.1469
1.2734 12600 6.095
1.2835 12700 6.1178
1.2936 12800 6.0959
1.3037 12900 6.1073
1.3138 13000 6.1416
1.3239 13100 6.0799
1.3340 13200 6.091
1.3441 13300 6.1015
1.3542 13400 6.0791
1.3643 13500 6.1047
1.3744 13600 6.072
1.3845 13700 6.0635
1.3946 13800 6.0976
1.4047 13900 6.0484
1.4149 14000 6.1022
1.4250 14100 6.059
1.4351 14200 6.0306
1.4452 14300 6.0396
1.4553 14400 6.0273
1.4654 14500 6.0314
1.4755 14600 6.0041
1.4856 14700 6.0415
1.4957 14800 6.0377
1.5058 14900 6.038
1.5159 15000 6.0341
1.5260 15100 6.0013
1.5361 15200 6.0258
1.5462 15300 5.9853
1.5563 15400 6.0181
1.5664 15500 6.0037
1.5766 15600 5.986
1.5867 15700 5.9797
1.5968 15800 5.973
1.6069 15900 6.0162
1.6170 16000 5.9566
1.6271 16100 5.9523
1.6372 16200 5.9988
1.6473 16300 5.9379
1.6574 16400 5.9725
1.6675 16500 5.9771
1.6776 16600 5.9659
1.6877 16700 5.9587
1.6978 16800 5.916
1.7079 16900 5.9657
1.7180 17000 5.9293
1.7281 17100 5.9578
1.7383 17200 5.9154
1.7484 17300 5.9544
1.7585 17400 5.9545
1.7686 17500 5.9282
1.7787 17600 5.9195
1.7888 17700 5.8954
1.7989 17800 5.8816
1.8090 17900 5.942
1.8191 18000 5.9346
1.8292 18100 5.9269
1.8393 18200 5.8984
1.8494 18300 5.9197
1.8595 18400 5.912
1.8696 18500 5.9267
1.8797 18600 5.9186
1.8898 18700 5.9459
1.8999 18800 5.8958
1.9101 18900 5.9093
1.9202 19000 5.8969
1.9303 19100 5.8987
1.9404 19200 5.9096
1.9505 19300 5.8909
1.9606 19400 5.8868
1.9707 19500 5.8981
1.9808 19600 5.8855
1.9909 19700 5.8532
2.0010 19800 5.8607
2.0111 19900 5.8614
2.0212 20000 5.8388
2.0313 20100 5.8339
2.0414 20200 5.8499
2.0515 20300 5.8386
2.0616 20400 5.8297
2.0718 20500 5.8057
2.0819 20600 5.8492
2.0920 20700 5.7772
2.1021 20800 5.8583
2.1122 20900 5.8375
2.1223 21000 5.8492
2.1324 21100 5.8251
2.1425 21200 5.81
2.1526 21300 5.8407
2.1627 21400 5.797
2.1728 21500 5.8003
2.1829 21600 5.8229
2.1930 21700 5.7986
2.2031 21800 5.7859
2.2132 21900 5.7834
2.2233 22000 5.8143
2.2335 22100 5.7862
2.2436 22200 5.775
2.2537 22300 5.7893
2.2638 22400 5.7701
2.2739 22500 5.7921
2.2840 22600 5.8122
2.2941 22700 5.7432
2.3042 22800 5.8146
2.3143 22900 5.7855
2.3244 23000 5.8389
2.3345 23100 5.8107
2.3446 23200 5.7904
2.3547 23300 5.7299
2.3648 23400 5.7774
2.3749 23500 5.7573
2.3850 23600 5.7365
2.3951 23700 5.752
2.4053 23800 5.7573
2.4154 23900 5.7392
2.4255 24000 5.7898
2.4356 24100 5.721
2.4457 24200 5.7092
2.4558 24300 5.7555
2.4659 24400 5.7322
2.4760 24500 5.7546
2.4861 24600 5.7379
2.4962 24700 5.7804
2.5063 24800 5.7181
2.5164 24900 5.7578
2.5265 25000 5.7508
2.5366 25100 5.7239
2.5467 25200 5.7148
2.5568 25300 5.732
2.5670 25400 5.7299
2.5771 25500 5.7046
2.5872 25600 5.7213
2.5973 25700 5.6808
2.6074 25800 5.7547
2.6175 25900 5.7049
2.6276 26000 5.6959
2.6377 26100 5.7072
2.6478 26200 5.6902
2.6579 26300 5.7419
2.6680 26400 5.659
2.6781 26500 5.7155
2.6882 26600 5.6758
2.6983 26700 5.7317
2.7084 26800 5.6893
2.7185 26900 5.6677
2.7287 27000 5.6801
2.7388 27100 5.6797
2.7489 27200 5.7374
2.7590 27300 5.747
2.7691 27400 5.6715
2.7792 27500 5.6798
2.7893 27600 5.6908
2.7994 27700 5.7223
2.8095 27800 5.7209
2.8196 27900 5.6605
2.8297 28000 5.6763
2.8398 28100 5.6888
2.8499 28200 5.6612
2.8600 28300 5.6627
2.8701 28400 5.7022
2.8802 28500 5.6896
2.8903 28600 5.6841
2.9005 28700 5.6628
2.9106 28800 5.7149
2.9207 28900 5.64
2.9308 29000 5.6957
2.9409 29100 5.6021
2.9510 29200 5.7032
2.9611 29300 5.6546
2.9712 29400 5.6484
2.9813 29500 5.6413
2.9914 29600 5.6426
3.0015 29700 5.6621
3.0116 29800 5.6523
3.0217 29900 5.6545
3.0318 30000 5.5707
3.0419 30100 5.6029
3.0520 30200 5.6358
3.0622 30300 5.6024
3.0723 30400 5.6075
3.0824 30500 5.6426
3.0925 30600 5.6317
3.1026 30700 5.5968
3.1127 30800 5.6085
3.1228 30900 5.6217
3.1329 31000 5.6416
3.1430 31100 5.5991
3.1531 31200 5.601
3.1632 31300 5.5933
3.1733 31400 5.6149
3.1834 31500 5.607
3.1935 31600 5.594
3.2036 31700 5.5876
3.2137 31800 5.5796
3.2239 31900 5.6394
3.2340 32000 5.6072
3.2441 32100 5.6158
3.2542 32200 5.5808
3.2643 32300 5.6197
3.2744 32400 5.5459
3.2845 32500 5.6047
3.2946 32600 5.5927
3.3047 32700 5.5815
3.3148 32800 5.5826
3.3249 32900 5.6051
3.3350 33000 5.5976
3.3451 33100 5.6
3.3552 33200 5.5504
3.3653 33300 5.5746
3.3754 33400 5.5913
3.3855 33500 5.5989
3.3957 33600 5.5619
3.4058 33700 5.5703
3.4159 33800 5.5771
3.4260 33900 5.5988
3.4361 34000 5.5421
3.4462 34100 5.5982
3.4563 34200 5.5592
3.4664 34300 5.6047
3.4765 34400 5.5625
3.4866 34500 5.602
3.4967 34600 5.5794
3.5068 34700 5.5488
3.5169 34800 5.531
3.5270 34900 5.6023
3.5371 35000 5.5714
3.5472 35100 5.5644
3.5574 35200 5.594
3.5675 35300 5.5574
3.5776 35400 5.5606
3.5877 35500 5.541
3.5978 35600 5.5729
3.6079 35700 5.5338
3.6180 35800 5.5534
3.6281 35900 5.5548
3.6382 36000 5.5536
3.6483 36100 5.5687
3.6584 36200 5.5891
3.6685 36300 5.5543
3.6786 36400 5.5048
3.6887 36500 5.5797
3.6988 36600 5.5346
3.7089 36700 5.5605
3.7191 36800 5.5494
3.7292 36900 5.5809
3.7393 37000 5.5416
3.7494 37100 5.5362
3.7595 37200 5.5042
3.7696 37300 5.5718
3.7797 37400 5.5423
3.7898 37500 5.5897
3.7999 37600 5.5329
3.8100 37700 5.572
3.8201 37800 5.5403
3.8302 37900 5.5346
3.8403 38000 5.5198
3.8504 38100 5.5115
3.8605 38200 5.5084
3.8706 38300 5.5868
3.8807 38400 5.5664
3.8909 38500 5.545
3.9010 38600 5.6096
3.9111 38700 5.4951
3.9212 38800 5.5595
3.9313 38900 5.527
3.9414 39000 5.531
3.9515 39100 5.5218
3.9616 39200 5.547
3.9717 39300 5.5113
3.9818 39400 5.5198
3.9919 39500 5.4915
4.0020 39600 5.516
4.0121 39700 5.5176
4.0222 39800 5.4812
4.0323 39900 5.5379
4.0424 40000 5.4856
4.0526 40100 5.4238
4.0627 40200 5.4907
4.0728 40300 5.5193
4.0829 40400 5.4969
4.0930 40500 5.488
4.1031 40600 5.4978
4.1132 40700 5.4924
4.1233 40800 5.4484
4.1334 40900 5.4697
4.1435 41000 5.4585
4.1536 41100 5.4909
4.1637 41200 5.4824
4.1738 41300 5.5038
4.1839 41400 5.4909
4.1940 41500 5.4614
4.2041 41600 5.4767
4.2142 41700 5.5117
4.2244 41800 5.4978
4.2345 41900 5.5063
4.2446 42000 5.4889
4.2547 42100 5.4582
4.2648 42200 5.4694
4.2749 42300 5.4907
4.2850 42400 5.4816
4.2951 42500 5.5075
4.3052 42600 5.523
4.3153 42700 5.4441
4.3254 42800 5.4836
4.3355 42900 5.4801
4.3456 43000 5.5064
4.3557 43100 5.4828
4.3658 43200 5.4333
4.3759 43300 5.4578
4.3861 43400 5.4646
4.3962 43500 5.4624
4.4063 43600 5.5265
4.4164 43700 5.4531
4.4265 43800 5.4598
4.4366 43900 5.4903
4.4467 44000 5.4707
4.4568 44100 5.4885
4.4669 44200 5.4663
4.4770 44300 5.4736
4.4871 44400 5.4612
4.4972 44500 5.5008
4.5073 44600 5.4609
4.5174 44700 5.4972
4.5275 44800 5.5175
4.5376 44900 5.4712
4.5478 45000 5.4843
4.5579 45100 5.4588
4.5680 45200 5.4864
4.5781 45300 5.4714
4.5882 45400 5.4401
4.5983 45500 5.4431
4.6084 45600 5.4691
4.6185 45700 5.483
4.6286 45800 5.4574
4.6387 45900 5.4545
4.6488 46000 5.4473
4.6589 46100 5.4727
4.6690 46200 5.4423
4.6791 46300 5.4707
4.6892 46400 5.4406
4.6993 46500 5.4551
4.7094 46600 5.4874
4.7196 46700 5.4917
4.7297 46800 5.4586
4.7398 46900 5.4559
4.7499 47000 5.4546
4.7600 47100 5.47
4.7701 47200 5.468
4.7802 47300 5.4511
4.7903 47400 5.4719
4.8004 47500 5.4384
4.8105 47600 5.4467
4.8206 47700 5.4741
4.8307 47800 5.4425
4.8408 47900 5.4471
4.8509 48000 5.4659
4.8610 48100 5.5154
4.8711 48200 5.4669
4.8813 48300 5.4623
4.8914 48400 5.4509
4.9015 48500 5.4433
4.9116 48600 5.4856
4.9217 48700 5.4756
4.9318 48800 5.4523
4.9419 48900 5.476
4.9520 49000 5.4848
4.9621 49100 5.479
4.9722 49200 5.458
4.9823 49300 5.4497
4.9924 49400 5.4378

Framework Versions

  • Python: 3.12.3
  • Sentence Transformers: 5.3.0
  • Transformers: 4.57.1
  • PyTorch: 2.9.0+cu128
  • Accelerate: 1.11.0
  • Datasets: 4.4.0
  • Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

DenoisingAutoEncoderLoss 

@inproceedings{wang-2021-TSDAE,
    title = "TSDAE: Using Transformer-based Sequential Denoising Auto-Encoderfor Unsupervised Sentence Embedding Learning",
    author = "Wang, Kexin and Reimers, Nils and Gurevych, Iryna",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2021",
    month = nov,
    year = "2021",
    address = "Punta Cana, Dominican Republic",
    publisher = "Association for Computational Linguistics",
    pages = "671--688",
    url = "https://arxiv.org/abs/2104.06979",
}
Downloads last month
13
Safetensors
Model size
0.1B params
Tensor type
F32
·
Inference Providers NEW
Sentence Similarity
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for SirMappel/DA-SBERT_Old_News_V1

Base model

vesteinn/DanskBERT
Finetuned
CALDISS-AAU/DA-BERT_Old_News_V3
Finetuned
(3)
this model

Dataset used to train SirMappel/DA-SBERT_Old_News_V1

Papers for SirMappel/DA-SBERT_Old_News_V1