cuadron11/jaunbert_bopv-ft

SentenceTransformer

This is a sentence-transformers model trained. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False, 'architecture': 'ModernBertModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("cuadron11/jaunbert_bopv-ft")
# Run inference
sentences = [
    'Zein lur-eremu mota dago Valdegovía/Gaubean 18. sarrerari dagokionez?',
    'Valdegovía/Gaubea\n11 M.ª Teresa Zárate Ruiz de Arcaute\nPza. Simón Bolivar, 13 8.º D\n01003 - Vitoria-Gasteiz (Araba) 15,00 11,5 172,50 20429 0,28 9 121 Labor secano / Lehorreko lurra\nValdegovía/Gaubea\n12 Victorino Pinedo Larrea\nTablón de edictos del Ayuntamiento de Valdegovía/Gaubea 116,00 11,5 1334,00 20430 1,77 9 118 Labor secano / Lehorreko lurra\nValdegovía/Gaubea\n13 Andrés Urrutia Bea\nc/ Santa Marina, 5\n01426 - Osma (Araba/Álava) 53,00 11,5 609.50 20430 1,77 9 117 Labor secano / Lehorreko lurra\nValdegovía/Gaubea\n14 Antonio Zárate Ibáñez\nc/ Santa Marina, 7\n01426 - Osma (Araba/Álava) 46,00 11,5 529,00 9 116 Labor secano / Lehorreko lurra\nValdegovía/Gaubea\n15 Juan José Zárate Ibáñez\nc/ Polvorín Viejo, 1 - 2 º Dcha\n01003 - Vitoria-Gasteiz (Araba/Álava) 42,00 11,5 483,00 20431 3,28 9 115 Labor secano / Lehorreko lurra\nValdegovía/Gaubea\n18 Ezezaguna / Desconocido\nTablón de edictos del Ayuntamiento de Valdegovía 12,00 11,5 138,00 9 106 Pastos / Larrea\nValdegovía/Gaubea\n19 Junta Administrativa de Osma\n01426 - Osma (Araba/Álava) 9,00 11,5 103,50 7 190 Pastos / Larrea\nValdegovía/Gaubea\n20 M.ª Teresa Pinedo Conde\nC/ Santa Marina, 7\n01426 - Osma (Araba/Álava) 16,00 11,5 184,00 7 191 Labor secano / Lehorreko lurra\nValdegovía/Gaubea\n21 J. Antonio Vigalondo Salaberri\nC/ Independencia, 6 2.º C\n01005 - Vitoria-Gasteiz (Araba/Álava) 103,00 11,5 1184,50 20432 1,54 7 185 Labor secano / Lehorreko lurra\nValdegovía/Gaubea\n22 Julia Salazar Matínez y\nJ. Miguel y Teresa Ortiz de Villacian',
    'Lurralde eremu batean eskainitako plazak baldin eta bete gabe gelditzen badira ez zaizkie gehituko beste lurralde eremu batekoei.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0078, 0.7734, 0.9258],
#         [0.7734, 1.0078, 0.6875],
#         [0.9258, 0.6875, 1.0078]], dtype=torch.bfloat16)

Evaluation

Metrics

Triplet

• Dataset: jaunbert-bopv-ft
• Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	0.3153

Training Details

Training Dataset

Unnamed Dataset

• Size: 5,973 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 9 tokens mean: 23.06 tokens max: 66 tokens	min: 93 tokens mean: 392.37 tokens max: 980 tokens

• Samples:

  anchor	positive
  Zein dira Bilboko Metropoli Trenbidearen 5. Linea eraikitzeko proiektuak ukitutako ondasun eta eskubideen jabeek okupazioaren aurreko aktak egiteko jarraitu beharreko pausoak?	Ondorioz, egindakoa ikusita, eta Nahitaezko Desjabetzeari buruzko 1954ko abenduaren 16ko Legearen 20., 21. eta 52. artikuluetan eta Nahitaezko Desjabetzeari buruzko Legearen Erregelamendua onartzen duen 1957ko apirilaren 26ko Dekretuaren 56. artikuluan eta horrekin bat datozen eta oro har aplikatu beharreko gainerako xedapenetan xedatutakoarekin bat etorriz, honako hau EBAZTEN DUT : Lehenengoa. «Bilboko Metropoli Trenbidearen 5. Linea eraikitzeko proiektua. Aperribai-Galdakao tartea»k ukitutako ondasun eta eskubideen zerrenda onartzea, eta hura okupatu beharra deklaratzea, Trenbide Sektoreari buruzko irailaren 29ko 38/2015 Legearen 6.2 artikuluan adierazitako ondorioekin. Bigarrena. Zerrenda horretan agertzen diren jabeei dei egitea, Galdakaoko Udalera joan ondoren, ukitutako ondasun eta eskubideak okupatu aurreko aktak egiteko, zerrenda horretan adierazitako egun eta orduetan, eta, hala badagokio, horiek formalki okupatzeko; hala ere, beharrezkoa izanez gero, aukera egongo da lursaile...
  Zein da epea Osasuneko sailburuordeari gora jotzeko errekurtsoa aurkezteko ebazpen honen aurka?	Hori guztia kontuan izanik, deialdira bildutako eskabideak aztertuta, Balorazio Batzordeak proposatutakoa hartu da aintzakotzat, eta, horrenbestez, honako hau EBAZTEN DUT : Lehenengoa. Osasun-arloko profesionalak prestatzeko bekak eta laguntzak ematea I. eranskinean adierazten diren pertsonei; bertan zehazten da diru-kopurua ere. Bigarrena. II. eranskinean zerrendatutako pertsonen eskabideak ezestea, bertan zehaztutako arrazoiengatik. Hirugarrena. Ebazpenak ez dio amaiera ematen administrazio-bideari, eta, haren aurka, gora jotzeko errekurtsoa aurkeztu ahal izango diote interesdunek Osasuneko sailburuordeari, hilabeteko epean, ebazpena Euskal Herriko Agintaritzaren Aldizkarian argitaratu eta biharamunetik aurrera, betiere Administrazio Publikoen Administrazio Prozedura Erkidearen urriaren 1eko 39/2015 Legearen 121. artikuluan eta hurrengoetan ezarritakoari jarraituz. Vitoria-Gasteiz, 2020ko abenduaren 18a. Osasuneko sailburuordea, IGNACIO JESÚS BERRAONDO ZABALEGUI. (Ikus .PDF)
  Zenbat diru gehiago jasoko dute Bigarren Hezkuntzako Institutuetan lanpostua betetzen duten maisu-maistrek?	LAUGARREN XEDAPEN GEHIGARRIA Zuzendaritzako funtzioak egiteak berekin dakar honako honetan ezarritako ordainsariak jasotzeko eskubidea: Unibertsitatez kanpoko irakasle funtzionarioentzako ordainsariei buruzko ekainaren 26ko 177/1990 Dekretua. Unibertsitatez kanpoko irakasle publikoen lan-baldintzak arautzeko Akordioaren barruan eguneratuko dira ordainsari horiek, hain justu ere beherago zehaztutako urteko zenbatekoetan, betiere xedapen gehigarrietarik lehenengoan adierazi bezala banaturik, hilabeteka. Bigarren Hezkuntzako Katedradunen Kidegoa. Hizkuntza Eskola Ofizialeko Katedradunen Kidegoa. Musikako eta Arte Eszenikoetako Katedradunen Kidegoa. Arte Plastikoetako eta Diseinuko Katedradunen Kidegoa. (Ikus .PDF) Bigarren Hezkuntzako Irakasleen Kidegoa (Ikus .PDF) Lanbide Heziketako Irakasle Teknikoen Kidegoa. Irakaskuntza Ertainen Institutu Teknikoetako Irakasleen Kidegoa. (Ikus .PDF) Hizkuntza Eskola Ofizialeko Irakasleen Kidegoa. (Ikus .PDF) Musikako eta Arte Eszenikoetako Irakasleen ...

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 6,000 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 9 tokens mean: 23.01 tokens max: 76 tokens	min: 103 tokens mean: 393.45 tokens max: 945 tokens	min: 6 tokens mean: 186.19 tokens max: 949 tokens

• Samples:

  anchor	positive	negative
  Zenbat diru jasoko du Iker Fernández Respaldizak 2009an doktoretza aurreko beka berritzeagatik?	EBATZI DUT : Laguntzak ematea ebazpen honen eranskinean aipatzen diren eskatzaileei. Ukapenak adieraztea. Ebazpen honen aurka gora jotzeko errekurtsoa aurkez dakioke Industria, Merkataritza eta Turismo Saileko Teknologiako eta Industria Garapeneko sailburuordeari, hilabeteko epean, ebazpena Euskal Herriko Agintaritzaren Aldizkarian argitaratu eta hurrengo egunetik hasita. Vitoria-Gasteiz, 2008ko abenduaren 29a. Teknologia zuzendaria, ALBERTO FERNÁNDEZ GONZÁLEZ. ERANSKINA/ANEXO ONURADUNEN ZERRENDA RELACION DE BENEFICIARIOS Doktoretza aurreko bekak berritzea (IV. eranskina-1. fasea). Renovación de Becas Predoctorales (Anexo IV- 1.ª Fase). Lurralde historikoa Territorio Histórico NAN DNI Onuradunak Beneficiario Enpresa Empresa 2008 2009 Bizkaiko LH TH Bizkaia 30691678H Iker Fernández Respaldiza Bostlan, S.A. 3.685,67 11.165 16063465N Fermín Aspichueta Vivanco Dominion Pharmakine, S.L. 3.685,67 11.165 16072199Y Ibone Alonso Martín Idoki SCF Technologies, S.L. 3.685,67 11.165 30689803Y Ike...	Beka-aldiak ikasturte bat iraungo du. Zortzigarrena.
  Zein dekretuk onartzen du Ertzaintzaren betearazpen-eskalako komisariondokoaren kategoriarako gordetako lanpostuak behin betiko betetzeko merezimendu-lehiaketetan aplikatzekoa den merezimendu-baremoa?	Dekretu hori, geroago, aldatu egin zuten martxoaren 6ko 42/2001 Dekretuak, otsailaren 3ko 20/2004 Dekretuak, 231/2009 Dekretuak eta maiatzaren 17ko 94/2011 Dekretuak. Azken hori da agindu honen oinarria, eta Ertzaintzaren betearazpen-eskalako komisariondokoaren kategoriarako gordetako lanpostuak behin betiko betetzeko merezimendu-lehiaketetan aplikatzekoa den merezimendu-baremoa onartzen du, lanpostuak betetzeko sistema hori aplikatzekoa denean, kategoriak berak beheragoko kategoriekiko duen berezitasuna kontuan hartuta, eta berdinketa hausteko Funtzio Publikoaren Legean ezarritako arauak ere aintzat hartuta, Segurtasuneko sailburuaren 2019ko martxoaren 15eko Aginduaren bidez onartutako merezimenduen baremoan aplikatzen direnak, hain zuzen ere (martxoaren 25eko EHAA, 58. zk.). Ondorioz, merezimendu-lehiaketa bidez komisariondoko-kategoriako lanpostu hutsak betetzeko etorkizunean egingo den deialdiaren aurreko fase modura, Ertzaintzaren Negoziazio Mahaiaren batzarrean eginiko nahitaezko...	Euskadiko toki-erakundeen erantzukizun eta titulartasun handia duten alor horien errealitatea kontuan izanik, nabarmentzekoa da Euskadiko Toki Erakundeei buruzko apirilaren 7ko 2/2016 Legeak ezarritako esparrua kontuan hartu behar dela, zehazki, programa honen hartzaileak diren jarduera ekonomikoko guneen hirigintzan eragina duten neurriei gagozkiela. Horrenbestez, industria-politikaren, enpresa-lehiakortasunaren eta energiaren esparruan sailburuak esleituta dituen koordinazio- eta zuzendaritza-eginkizunen barnean dago jarduketa hori; Euskal Autonomia Erkidegoko industrialde, enpresa-parke eta jarduera ekonomikoko guneei zuzendutako laguntza-programa bakar baten konfigurazio integraturako jarraibideak emateko helburua du, laguntza horiek 2018ko ekitaldian gara daitezen; halaber, egokitzat jotzen da haien publizitate orokorra egitea, diru-laguntzen programa honi dagozkion deialdiei heltzeko dagozkien eginkizunak esleituta dituzten erakunde instrumentalek garatu beharreko neurrien ezinbe...
  Zein da epea Hezkuntzako sailburuari gora jotzeko errekurtsoa aurkezteko ebazpenaren aurka?	Hirugarren urtean lehen ordainketa bat egingo da, aurrerapen gisa, urte horretarako emandako zenbatekoaren % 50ekoa; bigarren ordainketa, behin 19. artikuluko 1. eta 2. ataletan zehaztutako txosten ekonomikoak eta zientifikoak aurkeztu izana egiaztatutakoan egingo da, eta lehen hirurteko (2019-2021) likidazioaren emaitzei egokituta egongo da.. Dirulaguntzaren zenbatekoa abenduaren 17ko 698/1991 Dekretuan ezarritako berme-erregimenaren arabera bermatuko da; dekretu horren bidez arautzen da Euskal Autonomia Erkidegoaren aurrekontu orokorren kargura emango diren dirulaguntzen berme eta itzulketei buruzko erregimen orokorra, eta dirulaguntzen kudeaketan parte hartuko duten erakunde laguntzaileek bete beharreko baldintzak, horien erregimena eta obligazioak ere aipatzen dira. Zazpigarrena. Baldin eta deialdi honetan zehaztutako baldintzaren bat betetzen ez badute onuradunek, ezin izango dute laguntza eskuratu, eta, eskuratu badute ere, jaso dutena itzuli beharko dute, legezko interes eta guz...	AZKEN XEDAPENETAKO BIGARRENA Ebazpen honen aurka, gora jotzeko errekurtsoa aurkez dakioke Hezkuntzako sailburuari, hilabeteko epean, ebazpen hau erakunde onuradunei jakinarazi eta hurrengo egunetik aurrera

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• num_train_epochs: 5
• learning_rate: 2e-05
• warmup_steps: 0.1
• eval_strategy: epoch
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• per_device_train_batch_size: 8
• num_train_epochs: 5
• max_steps: -1
• learning_rate: 2e-05
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_steps: 0.1
• optim: adamw_torch_fused
• optim_args: None
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• optim_target_modules: None
• gradient_accumulation_steps: 1
• average_tokens_across_devices: True
• max_grad_norm: 1.0
• label_smoothing_factor: 0.0
• bf16: False
• fp16: False
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• use_liger_kernel: False
• liger_kernel_config: None
• use_cache: False
• neftune_noise_alpha: None
• torch_empty_cache_steps: None
• auto_find_batch_size: False
• log_on_each_node: True
• logging_nan_inf_filter: True
• include_num_input_tokens_seen: no
• log_level: passive
• log_level_replica: warning
• disable_tqdm: False
• project: huggingface
• trackio_space_id: trackio
• eval_strategy: epoch
• per_device_eval_batch_size: 8
• prediction_loss_only: True
• eval_on_start: False
• eval_do_concat_batches: True
• eval_use_gather_object: False
• eval_accumulation_steps: None
• include_for_metrics: []
• batch_eval_metrics: False
• save_only_model: False
• save_on_each_node: False
• enable_jit_checkpoint: False
• push_to_hub: False
• hub_private_repo: None
• hub_model_id: None
• hub_strategy: every_save
• hub_always_push: False
• hub_revision: None
• load_best_model_at_end: False
• ignore_data_skip: False
• restore_callback_states_from_checkpoint: False
• full_determinism: False
• seed: 42
• data_seed: None
• use_cpu: False
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• dataloader_prefetch_factor: None
• remove_unused_columns: True
• label_names: None
• train_sampling_strategy: random
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• ddp_backend: None
• ddp_timeout: 1800
• fsdp: []
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• deepspeed: None
• debug: []
• skip_memory_metrics: True
• do_predict: False
• resume_from_checkpoint: None
• warmup_ratio: None
• local_rank: -1
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	Validation Loss	jaunbert-bopv-ft_cosine_accuracy
0.1339	100	3.0708	-	-
0.2677	200	3.0953	-	-
0.4016	300	2.7158	-	-
0.5355	400	2.4052	-	-
0.6693	500	2.1664	-	-
0.8032	600	2.1157	-	-
0.9371	700	2.0803	-	-
1.0	747	-	5.8591	0.2515
1.0710	800	2.0432	-	-
1.2048	900	2.0027	-	-
1.3387	1000	1.9782	-	-
1.4726	1100	1.9767	-	-
1.6064	1200	1.9412	-	-
1.7403	1300	1.9259	-	-
1.8742	1400	1.8935	-	-
2.0	1494	-	5.2483	0.3055
2.0080	1500	1.8605	-	-
2.1419	1600	1.8591	-	-
2.2758	1700	1.8317	-	-
2.4096	1800	1.8341	-	-
2.5435	1900	1.8303	-	-
2.6774	2000	1.8220	-	-
2.8112	2100	1.8218	-	-
2.9451	2200	1.8003	-	-
3.0	2241	-	5.1735	0.3138
3.0790	2300	1.8118	-	-
3.2129	2400	1.7937	-	-
3.3467	2500	1.7895	-	-
3.4806	2600	1.7967	-	-
3.6145	2700	1.7937	-	-
3.7483	2800	1.7897	-	-
3.8822	2900	1.8062	-	-
4.0	2988	-	5.1629	0.3160
4.0161	3000	1.7730	-	-
4.1499	3100	1.7766	-	-
4.2838	3200	1.81	-	-
4.4177	3300	1.8273	-	-
4.5515	3400	1.7780	-	-
4.6854	3500	1.7516	-	-
4.8193	3600	1.7776	-	-
4.9531	3700	1.8062	-	-
5.0	3735	-	5.1608	0.3153

Framework Versions

• Python: 3.11.8
• Sentence Transformers: 5.3.0
• Transformers: 5.2.0
• PyTorch: 2.11.0+cu130
• Accelerate: 1.13.0
• Datasets: 4.8.4
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{oord2019representationlearningcontrastivepredictive,
      title={Representation Learning with Contrastive Predictive Coding},
      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
      year={2019},
      eprint={1807.03748},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/1807.03748},
}