cuadron11/BERnaT_base-contrastive-parl-4-1ep-mle5

CrossEncoder based on HiTZ/BERnaT_base

This is a Cross Encoder model finetuned from HiTZ/BERnaT_base using the sentence-transformers library. It computes scores for pairs of texts, which can be used for text reranking and semantic search.

Model Details

Model Description

• Model Type: Cross Encoder
• Base model: HiTZ/BERnaT_base
• Maximum Sequence Length: 512 tokens
• Number of Output Labels: 1 label

Model Sources

• Documentation: Sentence Transformers Documentation
• Documentation: Cross Encoder Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Cross Encoders on Hugging Face

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import CrossEncoder

# Download from the 🤗 Hub
model = CrossEncoder("cuadron11/BERnaT_base-contrastive-parl-4-1ep-mle5")
# Get scores for pairs of texts
pairs = [
    ['Zein da Eusko Legebiltzarrak onartu beharreko legeen garrantzia Lanbideren oinarriak ezartzeko?', '[TOPIC: Galdera, Jon Hernández Hidalgo Elkarrekin Podemos-IU taldeko legebiltzarkideak bigarren lehendakariorde eta Lan eta Enpleguko sailburuari egina, Lanbideri buruz]\n[BIGARREN LEHENDAKARIORDE ETA LAN ETA ENPLEGUKO SAILBURUAK (MENDIA CUEVA), (SV-ES)]:\naplikatutako adimen artifizialak dakartzaten aurrerapen teknologiko guztiez baliatuko gara. Datorren urtean, ildo horretatik egingo dugu lan, eta uste dut, neurri guztiekin, eta Legebiltzarraren lankidetzarekin –hain garrantzitsuak diren lege horiek onartzeko–, lortuko dugula oinarriak ezartzea euskal enplegu-zerbitzu on bat izateko, guztiok partekatzen dugun helburu hori erdiesten saiatuko den zerbitzu bat, hau da, lan-aktibazioaren indizea igotzea. Eskerrik asko. La (Date: 11.12.2020)'],
    ['Zein da emakumeen grebak zaintza-lanetan duen eragina?', '[TOPIC: Mozioa, Eukene Arana Varas Elkarrekin Podemos taldeko legebiltzarkideak aurkeztua, zaintza-lanei, gizarte berdintzaileagoari eta bizitzak erdigunean jartzeko tresnei buruz. Eztabaida eta behin betiko ebazpena]\n[ETXEBARRIETA LEGRAND, (EH Bildu)]:\nez dakigulako. Merkatuak, finantzak, mozkinak eta galerak, horiekin oso erraz moldatzen gara. Baina bizitzak sostengatzen dituzten eguneroko lanekin, horretarako behar den denborarekin, pertsonen aberastasun edo pobrezia emozionalarekin ez dakigu nola jokatu. Larria da gurea. Biharko greba hori ikustaraztera dator. Grebak demostratu du emakumeok planto egiten dugunean mundua gelditu egiten dela, edo, behintzat, deseroso dagoela. Nork egingo ditu zaintza-lan horiek? Nork zainduko ditu seme-alabak? Nork mendekotasuna duten (Date: 07.03.2019)'],
    ['Noiz egin zuen Euskal Talde Parlamentario Popularrak hezkuntza-itunak benetako kostuari egokitzeko igotzeari buruzko legez besteko proposamena?', '[TOPIC: Euskal Talde Parlamentario Popularrak egindako legez besteko proposamena, hezkuntza-itunak benetako kostuari egokitzeko igotzeari buruz. Eztabaida, eta behin betiko ebazpena]\n[ÁLVAREZ MARTÍNEZ, (EA-NV)]:\nbirpasatuz eta lege berri baten bidez hori guztia egiteko. Bat nator Ubera andrearekin, nire ustez ere legea ez baita panazea; hau da, ez ditu korapilo guztiak askatuko, baina lege horri buruzko elkarrizketan eta eztabaidan jar daiteke mahai gainean gai multzo zabal bat, eta gai horiek, azken finean, legean bertan erantzuna izango dute, jaso egingo dira eta agertu egingo dira. Beraz, gure proposamena berretsi nahi dut. Bat nator Pastor jaunarekin, esaten duenean Ganbera (Date: 18.05.2017)'],
    ['Zein da Gizarte Elkarrizketarako Organo Iraunkorraren egungo egoera Eusko Legebiltzarrean?', '[TOPIC: Mozioa, Jon Hernández Hidalgo Elkarrekin Podemos taldeko legebiltzarkideak aurkeztua, Gizarte Elkarrizketarako Organo Iraunkorraren egungo egoerari buruz. Eztabaida eta behin betiko ebazpena]\n[AIARTZA ZALLO, (EA-NV)]:\nelkarrekin arraun egiteak irudikatzen duenagatik, baizik eta zuk lema hartzeko gerra modura planteatzen duzulako, eta lanharremanak ez dira hori izan behar; ez, behintzat, nire ikuspuntutik. Gizarte-elkarrizketa ez da hori izan behar, eta ez da hori. Horrenbestez, nik zera esango nizuke: "Tira, egizu nahi duzuna; segi traineruaren kontuarekin". Batzen dutenak eta kentzen dutenak aipatu dituzu. Nik nahiago dut batu, eraiki, akatsen bat egin arren, zeren jarduten duenak akatsen bat (Date: 10.05.2018)'],
    ['Zeintzuk dira Euskadiko Fiskaltzak ustelkeriari aurre egiteko dituen bitarteko falta nagusiak?', '[TOPIC: Galdera, Gorka Maneiro Labayen, Mistoa-UPyD taldeko legebiltzarkideak Segurtasuneko sailburuari egina, ustelkeriaren aurka borrokatzeko bitarteko faltari buruz]\n[MANEIRO LABAYEN, (Mixto-UPyD)]:\ndiren ustelkeriaren aurka borrokatzeko, gehiago egin dezaketen, eta zer gehiago egin dezaketen. Segurtasuneko sailburu andrea, zure saila ahal duen guztia, eskatzen zaion guztia egiten ari al da ustelkeriaren aurka borrokatzeko? Gure ustez, inondik ere ez. Euskadiko Fiskaltzaren azken Memorian salatzen denez, Justizian bitartekoak falta dira ustelkeriari aurre egiteko. Fiskalek adierazitakoaren arabera, bitartekoen urritasunak ikertutako pertsonen inpunitatea eragin dezake, eta hori oso larria da. Esaten denez, probintzietako fiskaltzen (Date: 04.10.2013)'],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)

# Or rank different texts based on similarity to a single text
ranks = model.rank(
    'Zein da Eusko Legebiltzarrak onartu beharreko legeen garrantzia Lanbideren oinarriak ezartzeko?',
    [
        '[TOPIC: Galdera, Jon Hernández Hidalgo Elkarrekin Podemos-IU taldeko legebiltzarkideak bigarren lehendakariorde eta Lan eta Enpleguko sailburuari egina, Lanbideri buruz]\n[BIGARREN LEHENDAKARIORDE ETA LAN ETA ENPLEGUKO SAILBURUAK (MENDIA CUEVA), (SV-ES)]:\naplikatutako adimen artifizialak dakartzaten aurrerapen teknologiko guztiez baliatuko gara. Datorren urtean, ildo horretatik egingo dugu lan, eta uste dut, neurri guztiekin, eta Legebiltzarraren lankidetzarekin –hain garrantzitsuak diren lege horiek onartzeko–, lortuko dugula oinarriak ezartzea euskal enplegu-zerbitzu on bat izateko, guztiok partekatzen dugun helburu hori erdiesten saiatuko den zerbitzu bat, hau da, lan-aktibazioaren indizea igotzea. Eskerrik asko. La (Date: 11.12.2020)',
        '[TOPIC: Mozioa, Eukene Arana Varas Elkarrekin Podemos taldeko legebiltzarkideak aurkeztua, zaintza-lanei, gizarte berdintzaileagoari eta bizitzak erdigunean jartzeko tresnei buruz. Eztabaida eta behin betiko ebazpena]\n[ETXEBARRIETA LEGRAND, (EH Bildu)]:\nez dakigulako. Merkatuak, finantzak, mozkinak eta galerak, horiekin oso erraz moldatzen gara. Baina bizitzak sostengatzen dituzten eguneroko lanekin, horretarako behar den denborarekin, pertsonen aberastasun edo pobrezia emozionalarekin ez dakigu nola jokatu. Larria da gurea. Biharko greba hori ikustaraztera dator. Grebak demostratu du emakumeok planto egiten dugunean mundua gelditu egiten dela, edo, behintzat, deseroso dagoela. Nork egingo ditu zaintza-lan horiek? Nork zainduko ditu seme-alabak? Nork mendekotasuna duten (Date: 07.03.2019)',
        '[TOPIC: Euskal Talde Parlamentario Popularrak egindako legez besteko proposamena, hezkuntza-itunak benetako kostuari egokitzeko igotzeari buruz. Eztabaida, eta behin betiko ebazpena]\n[ÁLVAREZ MARTÍNEZ, (EA-NV)]:\nbirpasatuz eta lege berri baten bidez hori guztia egiteko. Bat nator Ubera andrearekin, nire ustez ere legea ez baita panazea; hau da, ez ditu korapilo guztiak askatuko, baina lege horri buruzko elkarrizketan eta eztabaidan jar daiteke mahai gainean gai multzo zabal bat, eta gai horiek, azken finean, legean bertan erantzuna izango dute, jaso egingo dira eta agertu egingo dira. Beraz, gure proposamena berretsi nahi dut. Bat nator Pastor jaunarekin, esaten duenean Ganbera (Date: 18.05.2017)',
        '[TOPIC: Mozioa, Jon Hernández Hidalgo Elkarrekin Podemos taldeko legebiltzarkideak aurkeztua, Gizarte Elkarrizketarako Organo Iraunkorraren egungo egoerari buruz. Eztabaida eta behin betiko ebazpena]\n[AIARTZA ZALLO, (EA-NV)]:\nelkarrekin arraun egiteak irudikatzen duenagatik, baizik eta zuk lema hartzeko gerra modura planteatzen duzulako, eta lanharremanak ez dira hori izan behar; ez, behintzat, nire ikuspuntutik. Gizarte-elkarrizketa ez da hori izan behar, eta ez da hori. Horrenbestez, nik zera esango nizuke: "Tira, egizu nahi duzuna; segi traineruaren kontuarekin". Batzen dutenak eta kentzen dutenak aipatu dituzu. Nik nahiago dut batu, eraiki, akatsen bat egin arren, zeren jarduten duenak akatsen bat (Date: 10.05.2018)',
        '[TOPIC: Galdera, Gorka Maneiro Labayen, Mistoa-UPyD taldeko legebiltzarkideak Segurtasuneko sailburuari egina, ustelkeriaren aurka borrokatzeko bitarteko faltari buruz]\n[MANEIRO LABAYEN, (Mixto-UPyD)]:\ndiren ustelkeriaren aurka borrokatzeko, gehiago egin dezaketen, eta zer gehiago egin dezaketen. Segurtasuneko sailburu andrea, zure saila ahal duen guztia, eskatzen zaion guztia egiten ari al da ustelkeriaren aurka borrokatzeko? Gure ustez, inondik ere ez. Euskadiko Fiskaltzaren azken Memorian salatzen denez, Justizian bitartekoak falta dira ustelkeriari aurre egiteko. Fiskalek adierazitakoaren arabera, bitartekoen urritasunak ikertutako pertsonen inpunitatea eragin dezake, eta hori oso larria da. Esaten denez, probintzietako fiskaltzen (Date: 04.10.2013)',
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

Evaluation

Metrics

Cross Encoder Reranking

• Dataset: BERnaT_base-contrastive-parl-4-1ep-mle5
• Evaluated with CrossEncoderRerankingEvaluator with these parameters:

  {
      "at_k": 10,
      "always_rerank_positives": false
  }
  

Metric	Value
map	0.0103 (+0.0095)
mrr@10	0.0103 (+0.0097)
ndcg@10	0.0104 (+0.0095)

Training Details

Training Dataset

Unnamed Dataset

• Size: 6,400 training samples
• Columns: query and positive
• Approximate statistics based on the first 1000 samples:

  	query	positive
  type	string	string
  details	min: 30 characters mean: 100.11 characters max: 232 characters	min: 532 characters mean: 771.03 characters max: 1174 characters

• Samples:

  query	positive
  Zein diru kopuru jaso beharko lukete diru-sarrerak bermatzeko errentaren eta etxebizitzako prestazio osagarriaren jasotzaileek 2013ko urtarriletik aurrera murrizketarik gabe?	[TOPIC: Galdera, Belén Arrondo Aldasoro EH Bildu taldeko legebiltzarkideak Enplegu eta Gizarte Politiketako sailburuari egina, diru-sarrerak bermatzeko errentaren eta etxebizitzako prestazio osagarriaren jasotzaileek 2013ko urtarriletik aurrera jaso beharreko murrizketarik gabeko diru kopuruari buruz] [ARRONDO ALDASORO, (EH Bildu)]: daudela eta diru kopuru gutxiagorekin zabiltzatela edo gabiltzala, gutxien duten pertsonen egoeraz hitz egiten ari garela. Eta hitz egiten ari garela, hain justu, 616 euro jasotzen duten pertsonez. Beraz, pentsatzen dugu, edo iruditzen zaigu, bidezkoa izango litzatekeela hauek aukera izatea berreskuratzeko beraiei dagokiena, eta eskatzea % 7 hori berriro ere beraien dirusarreretan ipintzea. Aurrekoan esan nuen eta errepikatuko dut. Gu behintzat ez gaude prest galtzen dena betirako uzteko galdutzat. Iruditzen (Date: 01.03.2013)
  Zein da enplegu-zentro berezien kalifikazio eta erregistrorako marko administratiboaren helburua?	[TOPIC: Mozioa, Bixen Itxaso González Euskal Sozialistak taldeko legebiltzarkideak aurkeztua, enplegu-zentro berezien kalifikazio eta erregistrorako marko administratiboa sortzeari buruz. Eztabaida eta behin betiko ebazpena] [ITXASO GONZÁLEZ, (SV-ES)]: izan jadanik dauden zentroentzat bakarrik, baizik eta leialki eta baldintza horiek betez parte hartu nahi dutenentzat. Hori da arrazoia. Eta nik ez dut proposatzen, ezta gutxiagorik ere, besteen dekretuak kopiatu eta itsatsiz egitea dekretua. Badugu entitatea, badugu nortasuna, eta baita, nabarmendu den moduan –nik ez dut nabarmendu, berez ageri baita–, adierazlerik onenak ditugu, gizarteratzea eta pertsona horien enplegagarritasuna zer den erakusteko adierazlerik onenak. Baina hain zuzen horregatik, pedigri (Date: 13.02.2014)
  Zein enpresatako aholkulari edo administrazio kontseiluko kide dira José María Aznar eta Felipe González?	[TOPIC: Arabako Biltzar Nagusiek egindako lege proposamena, aldatzeko 16/1994 Legea, ekainaren 30ekoa, Euskal Herriko Natura Babestekoa. Aintzat hartzeari buruzko eztabaida eta behin betiko ebazpena] [MAEZTU PEREZ, (EH Bildu)]: estos temas. Pero además me dice que diga con nombres y apellidos. Y le voy a decir: José María Aznar, asesor externo, 200.000 euros anuales de Endesa, de una empresa energética. Sé cuáles son los intereses que ustedes van a defender aquí y en otros lugares, sé cuáles van a defender. Aunque no tendría ningún problema en decir también que Felipe González es del Consejo de Administración de Gas Natural, o el señor Josu Jon (Date: 07.02.2013)

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 10.0,
      "num_negatives": null,
      "activation_fn": "torch.nn.modules.activation.Sigmoid",
      "mini_batch_size": 16
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 1,600 evaluation samples
• Columns: query and positive
• Approximate statistics based on the first 1000 samples:

  	query	positive
  type	string	string
  details	min: 32 characters mean: 100.72 characters max: 247 characters	min: 500 characters mean: 771.91 characters max: 1060 characters

• Samples:

  query	positive
  Zein da Eusko Legebiltzarrak onartu beharreko legeen garrantzia Lanbideren oinarriak ezartzeko?	[TOPIC: Galdera, Jon Hernández Hidalgo Elkarrekin Podemos-IU taldeko legebiltzarkideak bigarren lehendakariorde eta Lan eta Enpleguko sailburuari egina, Lanbideri buruz] [BIGARREN LEHENDAKARIORDE ETA LAN ETA ENPLEGUKO SAILBURUAK (MENDIA CUEVA), (SV-ES)]: aplikatutako adimen artifizialak dakartzaten aurrerapen teknologiko guztiez baliatuko gara. Datorren urtean, ildo horretatik egingo dugu lan, eta uste dut, neurri guztiekin, eta Legebiltzarraren lankidetzarekin –hain garrantzitsuak diren lege horiek onartzeko–, lortuko dugula oinarriak ezartzea euskal enplegu-zerbitzu on bat izateko, guztiok partekatzen dugun helburu hori erdiesten saiatuko den zerbitzu bat, hau da, lan-aktibazioaren indizea igotzea. Eskerrik asko. La (Date: 11.12.2020)
  Zein da emakumeen grebak zaintza-lanetan duen eragina?	[TOPIC: Mozioa, Eukene Arana Varas Elkarrekin Podemos taldeko legebiltzarkideak aurkeztua, zaintza-lanei, gizarte berdintzaileagoari eta bizitzak erdigunean jartzeko tresnei buruz. Eztabaida eta behin betiko ebazpena] [ETXEBARRIETA LEGRAND, (EH Bildu)]: ez dakigulako. Merkatuak, finantzak, mozkinak eta galerak, horiekin oso erraz moldatzen gara. Baina bizitzak sostengatzen dituzten eguneroko lanekin, horretarako behar den denborarekin, pertsonen aberastasun edo pobrezia emozionalarekin ez dakigu nola jokatu. Larria da gurea. Biharko greba hori ikustaraztera dator. Grebak demostratu du emakumeok planto egiten dugunean mundua gelditu egiten dela, edo, behintzat, deseroso dagoela. Nork egingo ditu zaintza-lan horiek? Nork zainduko ditu seme-alabak? Nork mendekotasuna duten (Date: 07.03.2019)
  Noiz egin zuen Euskal Talde Parlamentario Popularrak hezkuntza-itunak benetako kostuari egokitzeko igotzeari buruzko legez besteko proposamena?	[TOPIC: Euskal Talde Parlamentario Popularrak egindako legez besteko proposamena, hezkuntza-itunak benetako kostuari egokitzeko igotzeari buruz. Eztabaida, eta behin betiko ebazpena] [ÁLVAREZ MARTÍNEZ, (EA-NV)]: birpasatuz eta lege berri baten bidez hori guztia egiteko. Bat nator Ubera andrearekin, nire ustez ere legea ez baita panazea; hau da, ez ditu korapilo guztiak askatuko, baina lege horri buruzko elkarrizketan eta eztabaidan jar daiteke mahai gainean gai multzo zabal bat, eta gai horiek, azken finean, legean bertan erantzuna izango dute, jaso egingo dira eta agertu egingo dira. Beraz, gure proposamena berretsi nahi dut. Bat nator Pastor jaunarekin, esaten duenean Ganbera (Date: 18.05.2017)

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 10.0,
      "num_negatives": null,
      "activation_fn": "torch.nn.modules.activation.Sigmoid",
      "mini_batch_size": 16
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• num_train_epochs: 1
• warmup_ratio: 0.1
• load_best_model_at_end: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	Validation Loss	BERnaT_base-contrastive-parl-4-1ep-mle5_ndcg@10
0.5	200	0.5384	0.0561	0.0102 (+0.0093)
1.0	400	0.0877	0.0443	0.0104 (+0.0095)

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.9.7
• Sentence Transformers: 5.0.0
• Transformers: 4.56.0
• PyTorch: 2.7.1+cu126
• Accelerate: 1.5.2
• Datasets: 4.0.0
• Tokenizers: 0.22.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}