Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
Paper • 1908.10084 • Published • 13
How to use cuadron11/jina-reranker-v2-base-multilingual-finetuned with sentence-transformers:
from sentence_transformers import CrossEncoder
model = CrossEncoder("cuadron11/jina-reranker-v2-base-multilingual-finetuned", trust_remote_code=True)
query = "Which planet is known as the Red Planet?"
passages = [
"Venus is often called Earth's twin because of its similar size and proximity.",
"Mars, known for its reddish appearance, is often referred to as the Red Planet.",
"Jupiter, the largest planet in our solar system, has a prominent red spot.",
"Saturn, famous for its rings, is sometimes mistaken for the Red Planet."
]
scores = model.predict([(query, passage) for passage in passages])
print(scores)This is a Cross Encoder model finetuned from jinaai/jina-reranker-v2-base-multilingual using the sentence-transformers library. It computes scores for pairs of texts, which can be used for text reranking and semantic search.
First install the Sentence Transformers library:
pip install -U sentence-transformers
Then you can load this model and run inference.
from sentence_transformers import CrossEncoder
# Download from the 🤗 Hub
model = CrossEncoder("cuadron11/jina-reranker-v2-base-multilingual-finetuned")
# Get scores for pairs of texts
pairs = [
['Noiz egin zuen EH Bildu talde parlamentarioak legez besteko proposamena Espainiako Estatuak jarritako errekurtsoei buruz?', '[TOPIC: EH Bildu talde parlamentarioak egindako legez besteko proposamena, Espainiako Estatuak jarritako errekurtsoei buruz. Eztabaida eta behin betiko ebazpena]\n[GOIRIZELAIA ORDORIKA, (EH Bildu)]:\naskotan entzuten dizuedan ongi etorriak klubera, honen alde gaudenon klubera eta hori, bai baitakit zuetako gehienak hori pentsatzen ari zinetela". Bada, begira, hau ez da klub bat, eta klub bat balitz, barruan gaudenez, orduan, begira, bi gauza esango dizkizut klubari buruz. Bat, asko irabazten duela; gure talde parlamentarioa ikusi besterik ez dago. Eta bi, sarrera bi gauzarekin izan beharko duela, baldin eta zuk uste baduzu zuek duzuela giltza gu nonbaitera (Date: 15.02.2018)'],
['Zein da Ekonomiaren Garapen, Jasangarritasun eta Ingurumeneko sailburuaren jarrera Armentia-2 putzuaren baimenen inguruan?', '[TOPIC: Galdera, Mikel Otero Gabirondo EH Bildu taldeko legebiltzarkideak Ekonomiaren Garapen, Jasangarritasun eta Ingurumeneko sailburuari egina, Armentia-2 putzuaren baimenen inguruan]\n[JASANGARRITASUN ETA INGURUMENEKO SAILBURUAK (TAPIA OTAEGI), (EA-NV)]:\nEskerrik asko, presidente andrea. Otero jauna, pozten nau Forumeko nire hitzaldia zuk horren arreta handiz jarraitu izanak; asko pozten nau, espero dut hitzaldi osoa entzungo zenuela, eta ez gasari zegokiona bakarrik. Esaten ari nintzaizun, eskubideen ikuspegitik, zer eskubide, erakunde publiko garen heinean kudeatzen dugun sozietate baten barruan esploratzeko eskubidea, hain zuzen ere esplorazio-eskubide horren kudeaketa publikoa bermatzeko. Hori alde batetik. Eta bat etorriko zara nirekin, gustatzen ez bazaizu (Date: 05.03.2021)'],
['Donostiako Udalak eskatu al du kable bidezko garraioaren lege-proiektua?', '[TOPIC: Lurralde Plangintza, Etxebizitza eta Garraio Batzordearen irizpena, kable bidezko garraioaren lege-proiektuaren gainean egindakoa. Eztabaida eta behin betiko ebazpena]\n[CORCUERA LEUNDA, (SV-ES)]:\ninoiz halakorik azaldu. Udalak eskatu ez badu, zeuk eskatzen duzula esateko gaitasuna duzula uste duzu. Bada, ez, Donostiako Udalak izan ditu bere eztabaida-foroak, gai hori exijitzeko foroak, eta ez du halakorik egin. Baina, hala eta guztiz ere, lege-proiektu honek ez du eragozten, inoiz ere ez du eragozten!, ez du oztopatzen Eusko Jaurlaritzak Donostiako Udalarekin hitzarmena lortu ahal izatea, ziurrenik halaxe egingo du eta. Baina zuk, legez besteko proposamenaren kontura (Date: 15.12.2022)'],
['Zein dira Mistoa-UPyD legebiltzar-taldearen helburuak hizkuntza aukeratzeko askatasunari eta gaztelania irakas-hizkuntza izaten jarraitzeari dagokionez?', '[TOPIC: MistoaUPyD legebiltzar-taldeak egindako legez besteko proposamena, hizkuntza aukeratzeko askatasuna eta gaztelania irakas-hizkuntza izaten jarraitzea bermatzeari buruz. Eztabaida eta behin betiko ebazpena]\n[MANEIRO LABAYEN, (Mixto-UPyD)]:\nprintzipio horiekin, A eredua desagerrarazi nahi baitu eta irakaskuntzan euskara inposatu nahi baitie familia guztiei eta ikasle guztiei, salbuespenik gabe, eta, horren aurrean, talde gisa dugun betebeharra Jaurlaritzari presioa egitea da guretzat funtsezkoak diren printzipio horiek aplika daitezen. Azkenik, berriro diot, eskerrak eman nahi dizkiet taldeei erdibideko hau sinatzeagatik. Eskerrik asko. La (Date: 20.06.2013)'],
['Zein da Auzitegi Gorenaren erabakiaren data, Osakidetzako osasun-txartel indibidualen formatu bakarrari buruzkoa?', '[TOPIC: Galdera, Laura Garrido Knörr Euskal Talde Popularreko legebiltzarkideak Osasuneko sailburuari egina, Osakidetzako osasun-txartel indibidualei buruz]\n[GARRIDO KNÖRR, (PV-ETP)]:\nEskerrik asko, presidente andrea. Lehendakaria, sailburuok, legebiltzarkideak, egun on. Irailaren 30eko 702/2013 Errege Dekretuak osasun-txartel indibiduala arautzen duen 183/2004 Dekretua aldatu zuen. Dekretu horrek ezartzen du osasun-txartel indibidualen edukia, hau da, formatu bakarra ezartzen da, eta otsailaren 2ko Auzitegi Gorenaren erabakiak berretsi egin du hori. Erabaki hori hor egonagatik eta Eusko Jaurlaritzak ezagutuagatik ere, Eusko Jaurlaritzaren Osasun Sailak aurrera jarraitu zuen 250.000 osasun-txartel egiteko lehiaketa (Date: 26.06.2015)'],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)
# Or rank different texts based on similarity to a single text
ranks = model.rank(
'Noiz egin zuen EH Bildu talde parlamentarioak legez besteko proposamena Espainiako Estatuak jarritako errekurtsoei buruz?',
[
'[TOPIC: EH Bildu talde parlamentarioak egindako legez besteko proposamena, Espainiako Estatuak jarritako errekurtsoei buruz. Eztabaida eta behin betiko ebazpena]\n[GOIRIZELAIA ORDORIKA, (EH Bildu)]:\naskotan entzuten dizuedan ongi etorriak klubera, honen alde gaudenon klubera eta hori, bai baitakit zuetako gehienak hori pentsatzen ari zinetela". Bada, begira, hau ez da klub bat, eta klub bat balitz, barruan gaudenez, orduan, begira, bi gauza esango dizkizut klubari buruz. Bat, asko irabazten duela; gure talde parlamentarioa ikusi besterik ez dago. Eta bi, sarrera bi gauzarekin izan beharko duela, baldin eta zuk uste baduzu zuek duzuela giltza gu nonbaitera (Date: 15.02.2018)',
'[TOPIC: Galdera, Mikel Otero Gabirondo EH Bildu taldeko legebiltzarkideak Ekonomiaren Garapen, Jasangarritasun eta Ingurumeneko sailburuari egina, Armentia-2 putzuaren baimenen inguruan]\n[JASANGARRITASUN ETA INGURUMENEKO SAILBURUAK (TAPIA OTAEGI), (EA-NV)]:\nEskerrik asko, presidente andrea. Otero jauna, pozten nau Forumeko nire hitzaldia zuk horren arreta handiz jarraitu izanak; asko pozten nau, espero dut hitzaldi osoa entzungo zenuela, eta ez gasari zegokiona bakarrik. Esaten ari nintzaizun, eskubideen ikuspegitik, zer eskubide, erakunde publiko garen heinean kudeatzen dugun sozietate baten barruan esploratzeko eskubidea, hain zuzen ere esplorazio-eskubide horren kudeaketa publikoa bermatzeko. Hori alde batetik. Eta bat etorriko zara nirekin, gustatzen ez bazaizu (Date: 05.03.2021)',
'[TOPIC: Lurralde Plangintza, Etxebizitza eta Garraio Batzordearen irizpena, kable bidezko garraioaren lege-proiektuaren gainean egindakoa. Eztabaida eta behin betiko ebazpena]\n[CORCUERA LEUNDA, (SV-ES)]:\ninoiz halakorik azaldu. Udalak eskatu ez badu, zeuk eskatzen duzula esateko gaitasuna duzula uste duzu. Bada, ez, Donostiako Udalak izan ditu bere eztabaida-foroak, gai hori exijitzeko foroak, eta ez du halakorik egin. Baina, hala eta guztiz ere, lege-proiektu honek ez du eragozten, inoiz ere ez du eragozten!, ez du oztopatzen Eusko Jaurlaritzak Donostiako Udalarekin hitzarmena lortu ahal izatea, ziurrenik halaxe egingo du eta. Baina zuk, legez besteko proposamenaren kontura (Date: 15.12.2022)',
'[TOPIC: MistoaUPyD legebiltzar-taldeak egindako legez besteko proposamena, hizkuntza aukeratzeko askatasuna eta gaztelania irakas-hizkuntza izaten jarraitzea bermatzeari buruz. Eztabaida eta behin betiko ebazpena]\n[MANEIRO LABAYEN, (Mixto-UPyD)]:\nprintzipio horiekin, A eredua desagerrarazi nahi baitu eta irakaskuntzan euskara inposatu nahi baitie familia guztiei eta ikasle guztiei, salbuespenik gabe, eta, horren aurrean, talde gisa dugun betebeharra Jaurlaritzari presioa egitea da guretzat funtsezkoak diren printzipio horiek aplika daitezen. Azkenik, berriro diot, eskerrak eman nahi dizkiet taldeei erdibideko hau sinatzeagatik. Eskerrik asko. La (Date: 20.06.2013)',
'[TOPIC: Galdera, Laura Garrido Knörr Euskal Talde Popularreko legebiltzarkideak Osasuneko sailburuari egina, Osakidetzako osasun-txartel indibidualei buruz]\n[GARRIDO KNÖRR, (PV-ETP)]:\nEskerrik asko, presidente andrea. Lehendakaria, sailburuok, legebiltzarkideak, egun on. Irailaren 30eko 702/2013 Errege Dekretuak osasun-txartel indibiduala arautzen duen 183/2004 Dekretua aldatu zuen. Dekretu horrek ezartzen du osasun-txartel indibidualen edukia, hau da, formatu bakarra ezartzen da, eta otsailaren 2ko Auzitegi Gorenaren erabakiak berretsi egin du hori. Erabaki hori hor egonagatik eta Eusko Jaurlaritzak ezagutuagatik ere, Eusko Jaurlaritzaren Osasun Sailak aurrera jarraitu zuen 250.000 osasun-txartel egiteko lehiaketa (Date: 26.06.2015)',
]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]
jina-reranker-v2-base-multilingual-finetunedCrossEncoderRerankingEvaluator with these parameters:{
"at_k": 10
}
| Metric | Value |
|---|---|
| map | 1.0 |
| mrr@10 | 1.0 |
| ndcg@10 | 1.0 |
query, positive, n_1, n_2, n_3, n_4, and n_5| query | positive | n_1 | n_2 | n_3 | n_4 | n_5 | |
|---|---|---|---|---|---|---|---|
| type | string | string | string | string | string | string | string |
| details |
|
|
|
|
|
|
|
| query | positive | n_1 | n_2 | n_3 | n_4 | n_5 |
|---|---|---|---|---|---|---|
Zein sailbururen dimisioa eskatu zuen Idoia Mendia Cueva legebiltzarkideak 2013ko azaroaren 15ean? |
[TOPIC: Galdera, Idoia Mendia Cueva Euskal Sozialistak taldeko legebiltzarkideak Herri Administrazio eta Justiziako sailburuari egina, enplegu publikorako plan bati buruz] |
[TOPIC: Mozioa, Iñaki Oyarzabal de Miguel Euskal Talde Popularreko legebiltzarkideak aurkeztua, Euskal Autonomia Erkidegoan Erlijioa ikasgaiak duen tratamenduari buruzko Hezkuntza Sailaren politikaren gainean. Eztabaida eta behin betiko ebazpena] |
[TOPIC: Elkarrekin Podemos talde parlamentarioak egindako legez besteko proposamena, Euskadiko hizkuntzaaniztasunaren mapa egiteari buruz. Eztabaida eta behin betiko ebazpena] |
; zer urrats eska daitezke aurrera egiten jarraitzeko? Eta beste hainbat galdera. |
Bai, legebiltzarburu andrea. |
Egun on, lehendakari, sailburuok, sailburu. Joan den azaroaren 6an Ganbaran emandako elkarrizketak Euskadin bizikidetza eraikitzeko gelditzen zaigun guztia islatu zuen. |
Zein da Elkarrekin Podemos talde parlamentarioaren estrategia pobrezia desagerrarazteko? |
[TOPIC: Elkarrekin Podemos talde parlamentarioak egindako legez besteko proposamena, pobrezia desagerrarazteko estrategia bat abian jartzeari buruz. Eztabaida eta behin betiko ebazpena] |
[TOPIC: Galdera, Daniel Maeztu Perez EH Bildu taldeko legebiltzarkideak Ingurumen eta Lurralde Politikako sailburuari egina, Gasteizko Mendiak parke natural izendatzearen inguruan] |
[TOPIC: Galdera, Gorka Maneiro Labayen Mistoa-UPyD taldeko legebiltzarkideak lehendakariari egina, Uribe ESIko zuzendari kudeatzailearen izendapenari buruz] |
Gaur, puntu honetan, Elkarrekin Podemos taldearen legez besteko proposamen bat eztabaidatzen ari gara, pobrezia desagerrarazteko estrategia bat abian jartzeari buruzkoa. |
Eszenatoki honetan ez dago pobrezia eta bazterketa gainditzeko estrategia oso bat burutzeko irizpide argirik. |
Elkarrekin Podemosen garbi ikusten dugu badela aukerarik, eta adituen taldeen iritzian ere posible da Euskadin pobrezia desagerraraztea. Zuzenean galdetzen dizuet: borondaterik ba al da? |
Zein da EH Bildu legebiltzar-taldearen jarrera torturaren biktimei dagokienez? |
[TOPIC: EH Bildu legebiltzar-taldeak egindako legez besteko proposamena, Espainiar Erresumak torturaren aurkako nazioarteko gomendioak aintzat hartu beharrari buruz. Eztabaida eta behin betiko ebazpena] |
[TOPIC: Mozioa, Iker Casanova Alonso EH Bildu taldeko legebiltzarkideak aurkeztua, Euskaltel enpresaren salmentaren aurrean Jaurlaritzak duen jarrerari buruz. Eztabaida eta behin betiko ebazpena] |
[TOPIC: Euskal Talde Popularra-Ciudadanos talde parlamentarioak egindako legez besteko proposamena, DSBEaren eta Lanbide-Euskal Enplegu Zerbitzuaren erreformari buruz. Eztabaida eta behin betiko ebazpena] |
Gaur pentsatzen dut amaitzen dela ofizialki negazionismoaren jarrera hori, bisibilizazioa ematen zaielako –instituzionalki ere– torturaren biktimei. |
EH Bildu prest dago, determinazio osoz, biktima guztiek –eta baita ere torturaren biktimek– merezi duten aitortza, merezi duten erreparazioa eta merezi duten berriro ez gertatzeko neurriak eta babesa eduki |
Torturaren aurkako adierazpen hau eta jarrera hau gure uste politikoen, gure uste juridikoen, gure uste demokratikoen, gure uste etiko guztien parte dira, tortura mota ororen aurkako jarrera baitaukagu |
CachedMultipleNegativesRankingLoss with these parameters:{
"scale": 10.0,
"num_negatives": 5,
"activation_fn": "torch.nn.modules.activation.Sigmoid",
"mini_batch_size": 32
}
query, positive, n_1, n_2, n_3, n_4, and n_5| query | positive | n_1 | n_2 | n_3 | n_4 | n_5 | |
|---|---|---|---|---|---|---|---|
| type | string | string | string | string | string | string | string |
| details |
|
|
|
|
|
|
|
| query | positive | n_1 | n_2 | n_3 | n_4 | n_5 |
|---|---|---|---|---|---|---|
Noiz egin zuen EH Bildu talde parlamentarioak legez besteko proposamena Espainiako Estatuak jarritako errekurtsoei buruz? |
[TOPIC: EH Bildu talde parlamentarioak egindako legez besteko proposamena, Espainiako Estatuak jarritako errekurtsoei buruz. Eztabaida eta behin betiko ebazpena] |
[TOPIC: Galdera, Jon Hernández Hidalgo Elkarrekin Podemos-Izquierda Unida taldeko legebiltzarkideak lehendakariari egina, Tubacexeko plantillaren egoerari buruz] |
[TOPIC: Galdera, José Manuel Gil Vegas Euskal Talde PopularraCiudadanos taldeko legebiltzarkideak Ekonomiaren Garapen, Jasangarritasun eta Ingurumeneko sailburuari egina, Amazonek Oiartzunen logistikazentro bat jartzeari uko egitearen inguruan] |
Esan duzu, Ekonomia Itunari buruz eta Kupoari buruz ari zinela, hitz eginez desblokeatu direla gauzak. |
Barkatu, Erregeak izendatzen ditu, ustez, ez nago ziur; baina lau Diputatuen Kongresuak proposatzen ditu, lau Senatuak proposatzen ditu, bi Espainiako Gobernuak proposatzen ditu eta beste bi Botere Judizialaren |
Orduan, gure proposamena sartu eta gero ikusi genuen Tribunal Gorenaren erabakia, 35 orduei buruzkoa eta fracking-aren legeari buruzko epaia baita ere. |
Zein da Ekonomiaren Garapen, Jasangarritasun eta Ingurumeneko sailburuaren jarrera Armentia-2 putzuaren baimenen inguruan? |
[TOPIC: Galdera, Mikel Otero Gabirondo EH Bildu taldeko legebiltzarkideak Ekonomiaren Garapen, Jasangarritasun eta Ingurumeneko sailburuari egina, Armentia-2 putzuaren baimenen inguruan] |
[TOPIC: Interpelazioa, Gorka Maneiro Labayen Mistoa-UPyD taldeko legebiltzarkideak Hezkuntza, Hizkuntza Politika eta Kulturako sailburuari egina, telebista publikoan Legebiltzarreko bozeramaileen arteko eztabaidak kentzeari buruz] |
[TOPIC: Galdera, Juan Luis Uria Serrano Elkarrekin Podemos taldeko legebiltzarkideak Osasuneko sailburuari egina, gutxienez hemeretzi espezialitatetan egin berri den EPEn mediku espezialistentzako azterketen galderak filtratzen zuzenean eta ebidentziaz parte hartutako zerbitzuburuak, bitarteko edo aldi bateko kontratudunak, prebentzioz beren zerbitzuetako karguetatik kentzeari buruz] |
Nik galdera egin nahi nizun jakiteko ea helegitea sartu behar zenioten Armentia-2 gas-putzuaren lizentzia-ukazioari. Astean zehar erantzun duzu, baietz, sartu duzuela jada. |
Beraz, dirua galtzen ari gara orokorrean SHESArekin, dirua galtzen ari gara zuzenean Enara proiekturako baimenarekin, eta, hain zuzen ere, Armentia-2 putzu horrekin. |
Gu gara arduradunak hori aurrera eramateko eta bermatzeko, eta ez badugu bermatzen hori bizirik mantentzen dugula, ba halako erantzukizuna izango dugu, ondare-erantzukizuna, eta diru askoz gehiago kostatuko |
Donostiako Udalak eskatu al du kable bidezko garraioaren lege-proiektua? |
[TOPIC: Lurralde Plangintza, Etxebizitza eta Garraio Batzordearen irizpena, kable bidezko garraioaren lege-proiektuaren gainean egindakoa. Eztabaida eta behin betiko ebazpena] |
[TOPIC: Mozioa, Carmelo Barrio Baroja Euskal Talde PopularraCiudadanos taldeko legebiltzarkideak aurkeztua, geriatrek eta gerontologoek euskal asistentzia-sisteman parte hartzearen eta asistentzia-behar berriei egokitzearen gainean. Eztabaida eta behin betiko ebazpena] |
[TOPIC: Mozioa, Mikel Otero Gabirondo EH Bildu taldeko legebiltzarkideak aurkeztua, Europar Batasunaren Next Generation funtsak kudeatzeko urgentziaz bulego estrategiko bat osatzearen inguruan. Eztabaida eta behin betiko ebazpena] |
Atsegin handiz agertzen naiz Legebiltzarreko osoko bilkura honetan, Jaurlaritzaren Kontseiluak 2022ko otsailaren 8an onartutako kable bidezko garraioaren lege-proiektua aurkezteko. |
Izan ere, gakoa, lege honen gakoa −aurretik ere esan da− da jabegoa, azpiegitura horien jabegoa, eskuz aldatzea Jaurlaritzatik Bilboko eta Donostiako udaletara. |
Kable bidezko garraioaren legea! Bueno, ba, hemendik aurrera, mahai gainean dauzkagun teleferikoak egiteko proiektu guztiei bide eman ahal izango diegu, ez? |
CachedMultipleNegativesRankingLoss with these parameters:{
"scale": 10.0,
"num_negatives": 5,
"activation_fn": "torch.nn.modules.activation.Sigmoid",
"mini_batch_size": 32
}
eval_strategy: stepsper_device_train_batch_size: 32per_device_eval_batch_size: 32learning_rate: 2e-05warmup_ratio: 0.1load_best_model_at_end: Truebatch_sampler: no_duplicatesoverwrite_output_dir: Falsedo_predict: Falseeval_strategy: stepsprediction_loss_only: Trueper_device_train_batch_size: 32per_device_eval_batch_size: 32per_gpu_train_batch_size: Noneper_gpu_eval_batch_size: Nonegradient_accumulation_steps: 1eval_accumulation_steps: Nonetorch_empty_cache_steps: Nonelearning_rate: 2e-05weight_decay: 0.0adam_beta1: 0.9adam_beta2: 0.999adam_epsilon: 1e-08max_grad_norm: 1.0num_train_epochs: 3max_steps: -1lr_scheduler_type: linearlr_scheduler_kwargs: {}warmup_ratio: 0.1warmup_steps: 0log_level: passivelog_level_replica: warninglog_on_each_node: Truelogging_nan_inf_filter: Truesave_safetensors: Truesave_on_each_node: Falsesave_only_model: Falserestore_callback_states_from_checkpoint: Falseno_cuda: Falseuse_cpu: Falseuse_mps_device: Falseseed: 42data_seed: Nonejit_mode_eval: Falseuse_ipex: Falsebf16: Falsefp16: Falsefp16_opt_level: O1half_precision_backend: autobf16_full_eval: Falsefp16_full_eval: Falsetf32: Nonelocal_rank: 0ddp_backend: Nonetpu_num_cores: Nonetpu_metrics_debug: Falsedebug: []dataloader_drop_last: Falsedataloader_num_workers: 0dataloader_prefetch_factor: Nonepast_index: -1disable_tqdm: Falseremove_unused_columns: Truelabel_names: Noneload_best_model_at_end: Trueignore_data_skip: Falsefsdp: []fsdp_min_num_params: 0fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}fsdp_transformer_layer_cls_to_wrap: Noneaccelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}deepspeed: Nonelabel_smoothing_factor: 0.0optim: adamw_torchoptim_args: Noneadafactor: Falsegroup_by_length: Falselength_column_name: lengthddp_find_unused_parameters: Noneddp_bucket_cap_mb: Noneddp_broadcast_buffers: Falsedataloader_pin_memory: Truedataloader_persistent_workers: Falseskip_memory_metrics: Trueuse_legacy_prediction_loop: Falsepush_to_hub: Falseresume_from_checkpoint: Nonehub_model_id: Nonehub_strategy: every_savehub_private_repo: Nonehub_always_push: Falsegradient_checkpointing: Falsegradient_checkpointing_kwargs: Noneinclude_inputs_for_metrics: Falseinclude_for_metrics: []eval_do_concat_batches: Truefp16_backend: autopush_to_hub_model_id: Nonepush_to_hub_organization: Nonemp_parameters: auto_find_batch_size: Falsefull_determinism: Falsetorchdynamo: Noneray_scope: lastddp_timeout: 1800torch_compile: Falsetorch_compile_backend: Nonetorch_compile_mode: Noneinclude_tokens_per_second: Falseinclude_num_input_tokens_seen: Falseneftune_noise_alpha: Noneoptim_target_modules: Nonebatch_eval_metrics: Falseeval_on_start: Falseuse_liger_kernel: Falseeval_use_gather_object: Falseaverage_tokens_across_devices: Falseprompts: Nonebatch_sampler: no_duplicatesmulti_dataset_batch_sampler: proportionalrouter_mapping: {}learning_rate_mapping: {}| Epoch | Step | Training Loss | Validation Loss | jina-reranker-v2-base-multilingual-finetuned_ndcg@10 |
|---|---|---|---|---|
| 2.2936 | 500 | 0.0426 | 0.0125 | 1.0 |
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
Base model
jinaai/jina-reranker-v2-base-multilingual