CrossEncoder based on cross-encoder/mmarco-mMiniLMv2-L12-H384-v1

This is a Cross Encoder model finetuned from cross-encoder/mmarco-mMiniLMv2-L12-H384-v1 using the sentence-transformers library. It computes scores for pairs of texts, which can be used for text reranking and semantic search.

Model Details

Model Description

Model Type: Cross Encoder
Base model: cross-encoder/mmarco-mMiniLMv2-L12-H384-v1
Maximum Sequence Length: 384 tokens
Number of Output Labels: 1 label
Supported Modality: Text

Model Sources

Documentation: Sentence Transformers Documentation
Documentation: Cross Encoder Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Cross Encoders on Hugging Face

Full Model Architecture

CrossEncoder(
  (0): Transformer({'transformer_task': 'sequence-classification', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'logits'}}, 'module_output_name': 'scores', 'architecture': 'XLMRobertaForSequenceClassification'})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import CrossEncoder

# Download from the 🤗 Hub
model = CrossEncoder("tomaarsen/mmarco-mMiniLMv2-L12-norquad")
# Get scores for pairs of inputs
pairs = [
    ['Hvordan konstaterer SVT at svingene ikke tilfredsstiller dagens veikrav?', 'Nesten 16.000 feilbygde svinger på svenske veier\nMange svinger på svenske veier er feilkonstruert. Bildet viser veien inn til Strømstad. (Foto: Geir Olsen/NTB Scanpix)\nEn stor undersøkelse som er gjennomført av SVT og tv-programmet Uppdrag Granskning viser at det er mange farlige svinger på svenske landsvägar, det vil si veier utenfor byområdene som ikke er motorveier.\nKartleggingen viser at totalt 15.844 svingkurver er bygget slik at det er vanskelig for sjåførene å klare dem i veienes tillatte hastighet, skriver SVT. Undersøkelsen er gjort på veier med toppfart over 70 km/t der det har skjedd minst fem ulykker de fem siste årene, og omfatter 26 prosent av det statlige veinettet.\nVed å regne på tillatt hastighet, svingens radius og veiens helning sideveis konstaterer SVT at svingene ikke tilfredsstiller de anbefalingene som stilles på veier som bygges i dag.\nAt det skjer ulykker kan skyldes alt fra den menneskelig faktor til dårlige veiforhold, men en feilutformet sving gjør at man som bilist har mindre spillerom, ifølge SVT.\n- Vil kjennes ubehagelig\n– Når det er glatt føre så øker risikoen for at man sklir av veien veldig kraftig. Når det er tørr asfalt så øker risikoen for at lastebiler eller en toetasjes buss eller kjøretøy med høyt tyngdepunkt velter og ruller rundt i disse svingene, sier sivilingeniør og veiekspert Johan Granlund til Uppdrag Granskning.\nIfølge Granlund er det i mange tilfeller mulig å kjøre disse svingene i den farten veien er skiltet med, men at det vil kjennes ubehagelig.\nOnsdagens program av Uppdrag Granskning handlet blant annet om en tragisk ulykke i januar i år der en minibuss med sju sveitsiske ungdommer på Sverige-ferie kom over i motgående kjørefelt og frontkolliderte med et 90 tonn tungt vogntog. Alle unntatt én omkom.\nEn granskning etter ulykken konkluderte ifølge SVT med at svingen der ulykken skjedde er feilutformet. Kombinasjonen av hvor skarp svingen er og hvor mye den heller sideveis gjør det vanskelig å holde bilen på veien i den tillatte farten. Rapporten konkluderte med at en fornuftig hastighet for ulykkes-svingen er 60 km/t og ikke 90 som veien var skiltet med.'],
    ['Hvordan konstaterer SVT at svingene ikke tilfredsstiller dagens veikrav?', '– Svingninger er det alltid\nDirektør Sindre Guldvog, Norsk filminstitutt.\nLES HOVEDSAKEN: Filmvåren: – Et krisetegn\n– Det vil alltid være er svingninger fra halvår til halvår. Vi må ha is i magen. Det kommer flere norske filmer til høsten. I fjor var det 27 norske filmpremierer. I år vil det bli noen færre norske filmer enn i 2016 og 2017, uten at det er noe dramatikk i det. Samlet har vi all grunn til å tro at 2019 blir et tilnærmet vanlig norsk filmår.\nDette svarer Sindre Guldvog, direktør i Norsk filminstitutt, til kritikken i bladet Rushprint, etter det lave antallet norske filmpremierer første halvår 2019.\n– Jeg skulle gjerne ønske at filmene var jevnere fordelt i år. Men mange produsenter ønsker å lansere sine filmer om høsten for å maksimere sine sjanser i kinomarkedet. Produsentene velger tidspunkt for lansering. Staten skal ikke bestemme når filmer skal lanseres. Det er et viktig prinsipp. Men produsentene bør være oppmerksomme på dette, så det ikke oppstår kannibalisering, sier Guldvog.\nFølg Dagsavisen på Facebook og Twitter!\nHøy markedsandel\n– Kommentaren i Rushprint påpeker flere relevante problemstillinger som vi er oppmerksomme på og som vi følger nøye. Blant annet innretningen på etterhåndsstøtten. Vi vil se på våre tilskuddsordninger og sørge for at de er relevante for tida vi lever i, sier Sindre Guldvog.\n– Men vi må kunne diskutere dette uten å krisemaksimere. Vi har nettopp kommet ut av et svært godt besøksår med tidenes høyeste beste markedsandel for norsk film. Å begynne å rope om krise da, blir rart, synes Guldvog.\nTil kritikken mot lanseringen av mangfoldsplan samtidig med en filmvår med bare seks norske filmer og en kvinnelig regissør, sier Guldvog:\n– Disse seks filmene utgjør et lite antall av de norske filmene som blir lansert i 2019. Det samlede bildet vil se annerledes ut. Vi ser en positiv utvikling på kjønnsbalanse.'],
    ['Hvordan konstaterer SVT at svingene ikke tilfredsstiller dagens veikrav?', 'TV 2: Advokatfirma varsler massesøksmål på 90 millioner etter Viking Sky-hendelsen\nCruiseskipet Viking Sky fikk store problemer over Hustadvika i Møre og Romsdal lørdag 23. mars. Foto: Svein Ove Ekornesvåg / NTB scanpix\nAdvokatfirmaet Lipcon, Margulies, Alinsa & Winkleman mener cruiseskipet tok for stor risiko da det seilte inn i det som var et varslet uvær på vestlandskysten lørdag 23. mars, skriver TV 2.\nFirmaet krever erstatning for økonomiske tap, samt erstatning for tort og svie. De har bedt om ti millioner dollar, rundt 90 millioner norske kroner, fordelt til alle som var om bord på skipet. Det uttaler advokat Michael Winkleman til Fox Business onsdag.\n– Det er absolutt deres (Viking Sky) sin feil. Jeg håper inderlig ikke de gjorde det med vilje, men de lekte med passasjerenes liv, hevder Winkelman.\n– Alt gikk som det skulle\nHan representerer passasjerene som var om bord på cruiseskipet. Hadde skipet fulgt Hurtigrutens vurdering samme dag, kunne krisen vært unngått, mener Winkleman. På grunn av uværet denne lørdagen hadde Hurtigruten allerede innstilt sine avganger forbi Hustadvika, både sørgående og nordgående avganger.\nEn av de to losene som var om bord i Viking Sky, Inge Lockert, har reagert på spekulasjonene som kommer rundt motorhavariet.\n– Noen har sagt at skipet ikke skulle gått over. Men dette er et fartøy som er over to hundre meter langt og ti meter bredere enn hurtigruten. Vi gikk gjennom seilasen med besetningen på forhånd og alt gikk helt som det skulle – inntil vi var fri for motor. Det er da problemene oppstår, sa statslosen til Vesterålen Online i slutten av mars.\n27 til sykehus\nDet var i 14-tiden lørdag 23. mars at cruiseskipet sendte ut en mayday-melding på Hustadvika i Fræna kommune i Møre og Romsdal om motorstans.\nÅrsaken var høye bølger rundt skipet og vind opp mot liten storm i området. Ifølge driftsansvarlig i Møre og Trøndelag Losoldermannskap var Viking Sky 100 meter fra å grunnstøte på Hustadvika.\nTotalt ble 27 personer behandlet på sykehus etter hendelsen.'],
    ['Hvordan konstaterer SVT at svingene ikke tilfredsstiller dagens veikrav?', 'Anniken Hauglie sier hun har tillit til Nav-direktøren\nAnniken Hauglie gjør det i dag klart at hun har tillit til Nav-direktør Sigrun Vågeng.\nTirsdag forrige uke hevdet Anniken Hauglie (H) at Nav kjente til pågående straffesaker allerede i februar.\nTil VG uttalte hun:\n– Det er veldig alvorlig at Nav allerede i februar 2019 satt på kunnskap om at det fantes pågående straffesaker, som følge av feil rettspraksis. Det er informasjon som departementet først fikk 30. august.\nHauglie viste til en intern e-post datert 25. februar 2019, som ble sendt fra Nav Klageinstans til blant andre ledelsen i Nav arbeid- og ytelser.\nE-posten ble avsluttet med:\n«Når departementets brev foreligger må det foretas avklaring på flere områder bla hvordan pågående straffesaker skal håndteres. Det må muligens lages en kommunikasjonsstrategi i forhold til endring av praksis.»\nDa hun kommenterte denne e-posten til VG sist uke, ville ikke Hauglie svare direkte på om hun hadde tillit til Nav-direktøren.\nVågeng slo tilbake dagen etter og gjorde det klart at det ikke stemte at Nav kjente til pågående straffesaker som følge av feil praksis i februar og hevdet at det bare var snakk om en «klønete formulering i en intern e-post».\n– Offentlig oppvask\nBåde Arbeiderpartiet og SV har bedt Hauglie avklare hvilken versjon som er riktig.\nKontroll- og konstitusjonskomiteen på Stortinget har også innkalt Nav-direktør Vågeng til den åpne høringen i Stortinget 9. januar. Til Dagbladet uttalte Freddy André Øvstegård, som sitter i komiteen for SV, at Vågeng vil få spørsmål om sitt forhold til Hauglie.\n– Vi kommer til å spørre Vågeng om konflikten hun er i med sin egen minister. Hun står i en offentlig oppvask med Hauglie midt i den største rettsskandalen i nyere norsk historie.\nDagbladet har nå konfrontert Nav-direktøren med påstandene fra Øvstegård om at det er en konflikt med Hauglie.\n– Dette er påstander som jeg ikke kjenner meg igjen i. Det er ingen konflikt mellom statsråden og meg, svarte Vågeng.\nHar tillit til Vågeng\nDagsavisen har i dag spurt Hauglie om hun har tillit til Nav-direktøren. Departementets kommunikasjonsavdeling svarer «ja» på spørsmålet.\nDe skriver også at «statsråden deler virkelighetsbeskrivelsen til Vågeng» om at det ikke er noen konflikt mellom dem.'],
    ['Hvordan konstaterer SVT at svingene ikke tilfredsstiller dagens veikrav?', 'For tidlig å ha bastante meninger om miljøgata\nBussene må raskere fram i Olav Tryggvasons gate. En evalueringsrapport vil snart gi grunnlag for å vurtdere hvordan trafikken bør organiseres. Foto: Morten Antonsen\nHan har fått hele fylkesutvalget bortsett fra Miljøpartiet De Grønne med seg på et slikt vedtak. Vi mener det er forhastet.\nSandvik begrunner vedtaket med at situasjonen i Olav Tryggvasons gate er trafikkfarlig for syklister og viser til en rapport fra AtB. Men rapporten ber om at trafikksikkerheten blir vurdert av eksperter og inneholder ingen konklusjoner. I den siste uttalelsen om prøveprosjektet som AtB skrev i januar, står det riktignok at mange konflikter oppstår når syklister blir blandet med andre grupper trafikanter. AtB vil at sykkelfeltene skal fjernes, men begrunner det ikke med trafikkfare.\nPrøveprosjektet har pågått siden juli i fjor. Hvis den nye måten å organisere trafikken på virkelig hadde vært trafikkfarlig, tar vi det for gitt at politiet og de som har ansvar for trafikksikkerheten, hadde grepet inn for lenge siden.\nVi har tidligere støttet prøveprosjektet med miljøgate i Olav Tryggvasons gate. Trondheim må legge til rette for at bussene får god framkommelighet i sentrum og at det blir enklere å gå og sykle. Det er fornuftig å gjennomføre prøveprosjekter for å finne ut hvordan byen kan nå dette målet.\nMye tyder likevel på at prøveprosjektet i Olav Tryggvasons gate ikke er helt vellykket. Blant annet bruker bussene mer tid gjennom gata enn før, mens det motsatte var intensjonen. Blinkende trafikklys og dårlig skilting i gata har også vært et problem. Vi utelukker heller ikke at det kan være like fornuftig å lage sykkelfelt i gater som går parallelt med Olav Tryggvasons gate. Trondheim mangler for øvrig sammenhengende sykkelfelt gjennom byen.\nEn grundig evaluering av hvordan prøveprosjektet har fungert, blir lagt fram for trondheimspolitikerne om et par uker. Da kan politikerne gjøre seg opp en mening om hvordan trafikken i gata skal organiseres. I motsetning til fylkespolitikerne, som kun har ansvar for kollektivtrafikken, må Trondheims-politikerne tenke mer helhetlig på byens utvikling. Evalueringen som kommer, må tillegges mye større vekt enn et forhastet vedtak i fylkesutvalget.'],
]
scores = model.predict(pairs)
print(scores)
# [ 9.75    0.5508 -4.9688 -5.375  -5.0938]

# Or rank different texts based on similarity to a single text
ranks = model.rank(
    'Hvordan konstaterer SVT at svingene ikke tilfredsstiller dagens veikrav?',
    [
        'Nesten 16.000 feilbygde svinger på svenske veier\nMange svinger på svenske veier er feilkonstruert. Bildet viser veien inn til Strømstad. (Foto: Geir Olsen/NTB Scanpix)\nEn stor undersøkelse som er gjennomført av SVT og tv-programmet Uppdrag Granskning viser at det er mange farlige svinger på svenske landsvägar, det vil si veier utenfor byområdene som ikke er motorveier.\nKartleggingen viser at totalt 15.844 svingkurver er bygget slik at det er vanskelig for sjåførene å klare dem i veienes tillatte hastighet, skriver SVT. Undersøkelsen er gjort på veier med toppfart over 70 km/t der det har skjedd minst fem ulykker de fem siste årene, og omfatter 26 prosent av det statlige veinettet.\nVed å regne på tillatt hastighet, svingens radius og veiens helning sideveis konstaterer SVT at svingene ikke tilfredsstiller de anbefalingene som stilles på veier som bygges i dag.\nAt det skjer ulykker kan skyldes alt fra den menneskelig faktor til dårlige veiforhold, men en feilutformet sving gjør at man som bilist har mindre spillerom, ifølge SVT.\n- Vil kjennes ubehagelig\n– Når det er glatt føre så øker risikoen for at man sklir av veien veldig kraftig. Når det er tørr asfalt så øker risikoen for at lastebiler eller en toetasjes buss eller kjøretøy med høyt tyngdepunkt velter og ruller rundt i disse svingene, sier sivilingeniør og veiekspert Johan Granlund til Uppdrag Granskning.\nIfølge Granlund er det i mange tilfeller mulig å kjøre disse svingene i den farten veien er skiltet med, men at det vil kjennes ubehagelig.\nOnsdagens program av Uppdrag Granskning handlet blant annet om en tragisk ulykke i januar i år der en minibuss med sju sveitsiske ungdommer på Sverige-ferie kom over i motgående kjørefelt og frontkolliderte med et 90 tonn tungt vogntog. Alle unntatt én omkom.\nEn granskning etter ulykken konkluderte ifølge SVT med at svingen der ulykken skjedde er feilutformet. Kombinasjonen av hvor skarp svingen er og hvor mye den heller sideveis gjør det vanskelig å holde bilen på veien i den tillatte farten. Rapporten konkluderte med at en fornuftig hastighet for ulykkes-svingen er 60 km/t og ikke 90 som veien var skiltet med.',
        '– Svingninger er det alltid\nDirektør Sindre Guldvog, Norsk filminstitutt.\nLES HOVEDSAKEN: Filmvåren: – Et krisetegn\n– Det vil alltid være er svingninger fra halvår til halvår. Vi må ha is i magen. Det kommer flere norske filmer til høsten. I fjor var det 27 norske filmpremierer. I år vil det bli noen færre norske filmer enn i 2016 og 2017, uten at det er noe dramatikk i det. Samlet har vi all grunn til å tro at 2019 blir et tilnærmet vanlig norsk filmår.\nDette svarer Sindre Guldvog, direktør i Norsk filminstitutt, til kritikken i bladet Rushprint, etter det lave antallet norske filmpremierer første halvår 2019.\n– Jeg skulle gjerne ønske at filmene var jevnere fordelt i år. Men mange produsenter ønsker å lansere sine filmer om høsten for å maksimere sine sjanser i kinomarkedet. Produsentene velger tidspunkt for lansering. Staten skal ikke bestemme når filmer skal lanseres. Det er et viktig prinsipp. Men produsentene bør være oppmerksomme på dette, så det ikke oppstår kannibalisering, sier Guldvog.\nFølg Dagsavisen på Facebook og Twitter!\nHøy markedsandel\n– Kommentaren i Rushprint påpeker flere relevante problemstillinger som vi er oppmerksomme på og som vi følger nøye. Blant annet innretningen på etterhåndsstøtten. Vi vil se på våre tilskuddsordninger og sørge for at de er relevante for tida vi lever i, sier Sindre Guldvog.\n– Men vi må kunne diskutere dette uten å krisemaksimere. Vi har nettopp kommet ut av et svært godt besøksår med tidenes høyeste beste markedsandel for norsk film. Å begynne å rope om krise da, blir rart, synes Guldvog.\nTil kritikken mot lanseringen av mangfoldsplan samtidig med en filmvår med bare seks norske filmer og en kvinnelig regissør, sier Guldvog:\n– Disse seks filmene utgjør et lite antall av de norske filmene som blir lansert i 2019. Det samlede bildet vil se annerledes ut. Vi ser en positiv utvikling på kjønnsbalanse.',
        'TV 2: Advokatfirma varsler massesøksmål på 90 millioner etter Viking Sky-hendelsen\nCruiseskipet Viking Sky fikk store problemer over Hustadvika i Møre og Romsdal lørdag 23. mars. Foto: Svein Ove Ekornesvåg / NTB scanpix\nAdvokatfirmaet Lipcon, Margulies, Alinsa & Winkleman mener cruiseskipet tok for stor risiko da det seilte inn i det som var et varslet uvær på vestlandskysten lørdag 23. mars, skriver TV 2.\nFirmaet krever erstatning for økonomiske tap, samt erstatning for tort og svie. De har bedt om ti millioner dollar, rundt 90 millioner norske kroner, fordelt til alle som var om bord på skipet. Det uttaler advokat Michael Winkleman til Fox Business onsdag.\n– Det er absolutt deres (Viking Sky) sin feil. Jeg håper inderlig ikke de gjorde det med vilje, men de lekte med passasjerenes liv, hevder Winkelman.\n– Alt gikk som det skulle\nHan representerer passasjerene som var om bord på cruiseskipet. Hadde skipet fulgt Hurtigrutens vurdering samme dag, kunne krisen vært unngått, mener Winkleman. På grunn av uværet denne lørdagen hadde Hurtigruten allerede innstilt sine avganger forbi Hustadvika, både sørgående og nordgående avganger.\nEn av de to losene som var om bord i Viking Sky, Inge Lockert, har reagert på spekulasjonene som kommer rundt motorhavariet.\n– Noen har sagt at skipet ikke skulle gått over. Men dette er et fartøy som er over to hundre meter langt og ti meter bredere enn hurtigruten. Vi gikk gjennom seilasen med besetningen på forhånd og alt gikk helt som det skulle – inntil vi var fri for motor. Det er da problemene oppstår, sa statslosen til Vesterålen Online i slutten av mars.\n27 til sykehus\nDet var i 14-tiden lørdag 23. mars at cruiseskipet sendte ut en mayday-melding på Hustadvika i Fræna kommune i Møre og Romsdal om motorstans.\nÅrsaken var høye bølger rundt skipet og vind opp mot liten storm i området. Ifølge driftsansvarlig i Møre og Trøndelag Losoldermannskap var Viking Sky 100 meter fra å grunnstøte på Hustadvika.\nTotalt ble 27 personer behandlet på sykehus etter hendelsen.',
        'Anniken Hauglie sier hun har tillit til Nav-direktøren\nAnniken Hauglie gjør det i dag klart at hun har tillit til Nav-direktør Sigrun Vågeng.\nTirsdag forrige uke hevdet Anniken Hauglie (H) at Nav kjente til pågående straffesaker allerede i februar.\nTil VG uttalte hun:\n– Det er veldig alvorlig at Nav allerede i februar 2019 satt på kunnskap om at det fantes pågående straffesaker, som følge av feil rettspraksis. Det er informasjon som departementet først fikk 30. august.\nHauglie viste til en intern e-post datert 25. februar 2019, som ble sendt fra Nav Klageinstans til blant andre ledelsen i Nav arbeid- og ytelser.\nE-posten ble avsluttet med:\n«Når departementets brev foreligger må det foretas avklaring på flere områder bla hvordan pågående straffesaker skal håndteres. Det må muligens lages en kommunikasjonsstrategi i forhold til endring av praksis.»\nDa hun kommenterte denne e-posten til VG sist uke, ville ikke Hauglie svare direkte på om hun hadde tillit til Nav-direktøren.\nVågeng slo tilbake dagen etter og gjorde det klart at det ikke stemte at Nav kjente til pågående straffesaker som følge av feil praksis i februar og hevdet at det bare var snakk om en «klønete formulering i en intern e-post».\n– Offentlig oppvask\nBåde Arbeiderpartiet og SV har bedt Hauglie avklare hvilken versjon som er riktig.\nKontroll- og konstitusjonskomiteen på Stortinget har også innkalt Nav-direktør Vågeng til den åpne høringen i Stortinget 9. januar. Til Dagbladet uttalte Freddy André Øvstegård, som sitter i komiteen for SV, at Vågeng vil få spørsmål om sitt forhold til Hauglie.\n– Vi kommer til å spørre Vågeng om konflikten hun er i med sin egen minister. Hun står i en offentlig oppvask med Hauglie midt i den største rettsskandalen i nyere norsk historie.\nDagbladet har nå konfrontert Nav-direktøren med påstandene fra Øvstegård om at det er en konflikt med Hauglie.\n– Dette er påstander som jeg ikke kjenner meg igjen i. Det er ingen konflikt mellom statsråden og meg, svarte Vågeng.\nHar tillit til Vågeng\nDagsavisen har i dag spurt Hauglie om hun har tillit til Nav-direktøren. Departementets kommunikasjonsavdeling svarer «ja» på spørsmålet.\nDe skriver også at «statsråden deler virkelighetsbeskrivelsen til Vågeng» om at det ikke er noen konflikt mellom dem.',
        'For tidlig å ha bastante meninger om miljøgata\nBussene må raskere fram i Olav Tryggvasons gate. En evalueringsrapport vil snart gi grunnlag for å vurtdere hvordan trafikken bør organiseres. Foto: Morten Antonsen\nHan har fått hele fylkesutvalget bortsett fra Miljøpartiet De Grønne med seg på et slikt vedtak. Vi mener det er forhastet.\nSandvik begrunner vedtaket med at situasjonen i Olav Tryggvasons gate er trafikkfarlig for syklister og viser til en rapport fra AtB. Men rapporten ber om at trafikksikkerheten blir vurdert av eksperter og inneholder ingen konklusjoner. I den siste uttalelsen om prøveprosjektet som AtB skrev i januar, står det riktignok at mange konflikter oppstår når syklister blir blandet med andre grupper trafikanter. AtB vil at sykkelfeltene skal fjernes, men begrunner det ikke med trafikkfare.\nPrøveprosjektet har pågått siden juli i fjor. Hvis den nye måten å organisere trafikken på virkelig hadde vært trafikkfarlig, tar vi det for gitt at politiet og de som har ansvar for trafikksikkerheten, hadde grepet inn for lenge siden.\nVi har tidligere støttet prøveprosjektet med miljøgate i Olav Tryggvasons gate. Trondheim må legge til rette for at bussene får god framkommelighet i sentrum og at det blir enklere å gå og sykle. Det er fornuftig å gjennomføre prøveprosjekter for å finne ut hvordan byen kan nå dette målet.\nMye tyder likevel på at prøveprosjektet i Olav Tryggvasons gate ikke er helt vellykket. Blant annet bruker bussene mer tid gjennom gata enn før, mens det motsatte var intensjonen. Blinkende trafikklys og dårlig skilting i gata har også vært et problem. Vi utelukker heller ikke at det kan være like fornuftig å lage sykkelfelt i gater som går parallelt med Olav Tryggvasons gate. Trondheim mangler for øvrig sammenhengende sykkelfelt gjennom byen.\nEn grundig evaluering av hvordan prøveprosjektet har fungert, blir lagt fram for trondheimspolitikerne om et par uker. Da kan politikerne gjøre seg opp en mening om hvordan trafikken i gata skal organiseres. I motsetning til fylkespolitikerne, som kun har ansvar for kollektivtrafikken, må Trondheims-politikerne tenke mer helhetlig på byens utvikling. Evalueringen som kommer, må tillegges mye større vekt enn et forhastet vedtak i fylkesutvalget.',
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

Evaluation

Metrics

Cross Encoder Reranking

Dataset: norquad-valid
Evaluated with CrossEncoderRerankingEvaluator with these parameters:
```
{
    "at_k": 10
}
```

Metric	Value
map	0.9619
mrr@10	0.962
ndcg@10	0.971

Training Details

Training Dataset

Unnamed Dataset

Size: 22,833 training samples
Columns: query, answer, and label

Approximate statistics based on the first 100 samples:

	query	answer	label
type	string	string	int
modality	text	text
details	min: 8 tokens mean: 12.92 tokens max: 19 tokens	min: 384 tokens mean: 384.0 tokens max: 384 tokens	0: ~82.69% 1: ~17.31%

Samples:

query	answer	label
`Når døde Shackleton?`	`Shackleton–Rowett-ekspedisjonen`
Shackleton–Rowett-ekspedisjonen (1921–22) var den siste antarktisekspedisjonen til den britiske polarforskeren Ernest Shackleton og markerte slutten på den heroiske tidsalder for antarktisutforskning. Ekspedisjonen ble finansiert av forretningsmannen John Quiller Rowett, og benevnes tidvis som Quest-ekspedisjonen etter ekspedisjonsskipet «Quest», ei ombygd norsk selfangstskute. Shackletons opprinnelige plan var å utforske Beauforthavet i Arktis, men denne planen ble forkastet etter at kanadiske myndigheter holdt tilbake økonomisk støtte. «Quest» var mindre enn fartøyene som hadde blitt benyttet på de foregående ekspedisjonene, og hun viste seg raskt lite egnet for oppgaven. Framdriften sørover ble forsinket av skipets dårlige sjøegenskaper og hyppige motorproblemer. Før ekspedisjonen hadde kommet skikkelig i gang, døde Shackleton om bord i skipet rett etter ankomsten til Sør-Georgia.
Hovedaktiviteten i den påfølgende svekkede ekspedisjonen var en tremåne...	`1`
`Når døde Shackleton?`	`Mann hentet opp av sjøen i Oslo`
Nødetatene ved Tjuvholmen i Oslo der de plukket opp en person som lå i sjøen. Vedkommende ble erklært død.
En mann er kritisk skadd etter å ha blitt hentet opp av sjøen ved Tjuvholmen i Oslo. Politiet vet foreløpig ikke hva som har skjedd.
Politiet fikk melding om at en person lå i sjøen rett utenfor Astrup Fearnley Museet på Tjuvholmen klokken 18.31 fredag kveld.
– Vi varslet umiddelbart alle nødetatene. Han ble tatt opp av vannet av en politibåt, og det ble iverksatt livreddende førstehjelp, sier operasjonsleder Tor Grøttum i Oslo politidistrikt til NTB.
Politiet meldte på Twitter klokken 19.06 at mannen var død, men klokken 20.10 melder de at mannen er kritisk skadd og at han er under behandling på sykehus.
– Politiet beklager feilinformasjonen, men den var basert på informasjon fra politi og helse som jobbet med den tilskadekomne, skriver politiet.
Mannens pårørende er ikke varslet, og politiet vil derfor ikke gi noen opplysninger om mannen.
Det skal...	`0`
`Når døde Shackleton?`	`Southern Cross-ekspedisjonen`
Southern Cross-ekspedisjonens leirhytter ved Kapp Adare, midt i en pingvinkoloni.
Kart over Antarktis som viser området der Southern Cross-ekspedisjonen drev utforskning (rødt rektangel). Kapp Adare ligger i nedre høyre hjørne av rektangelet, Rossbarrieren ligger midt i rektangelet.
Southern Cross-ekspedisjonen (offisielt British Antarctic Expedition 1898–1900) var den første britiske oppdagelsesreisen i den heroiske tidsalder for antarktiskutforskning og en forløper for de mer berømte ekspedisjonene til Robert Falcon Scott, Ernest Shackleton og Roald Amundsen. Det var den norskfødte, halvt engelske utforskeren og skolemesteren Carsten Borchgrevink som hadde ideen til ekspedisjonen, som var den første som gjennomførte en overvintring på det antarktiske fastlandet. Ekspedisjonen var også den første som seilte til Rossbarrieren siden James Clark Ross oppdaget den i 1839–43, og den første som foretok ilandstigning på barrieren. Ekspedisjonen var dessuten baneb...	`0`

Loss: BinaryCrossEntropyLoss with these parameters:

{
    "activation_fn": "torch.nn.modules.linear.Identity",
    "pos_weight": 5.0
}

Evaluation Dataset

Unnamed Dataset

Size: 5,192 evaluation samples
Columns: query, answer, and label

Approximate statistics based on the first 100 samples:

	query	answer	label
type	string	string	int
modality	text	text
details	min: 7 tokens mean: 13.06 tokens max: 25 tokens	min: 384 tokens mean: 384.0 tokens max: 384 tokens	0: ~90.38% 1: ~9.62%

Samples:

query	answer	label
`Hvordan konstaterer SVT at svingene ikke tilfredsstiller dagens veikrav?`	`Nesten 16.000 feilbygde svinger på svenske veier`
Mange svinger på svenske veier er feilkonstruert. Bildet viser veien inn til Strømstad. (Foto: Geir Olsen/NTB Scanpix)
En stor undersøkelse som er gjennomført av SVT og tv-programmet Uppdrag Granskning viser at det er mange farlige svinger på svenske landsvägar, det vil si veier utenfor byområdene som ikke er motorveier.
Kartleggingen viser at totalt 15.844 svingkurver er bygget slik at det er vanskelig for sjåførene å klare dem i veienes tillatte hastighet, skriver SVT. Undersøkelsen er gjort på veier med toppfart over 70 km/t der det har skjedd minst fem ulykker de fem siste årene, og omfatter 26 prosent av det statlige veinettet.
Ved å regne på tillatt hastighet, svingens radius og veiens helning sideveis konstaterer SVT at svingene ikke tilfredsstiller de anbefalingene som stilles på veier som bygges i dag.
At det skjer ulykker kan skyldes alt fra den menneskelig faktor til dårlige veiforhold, men en feilutformet sving gjør at man so...	`1`
`Hvordan konstaterer SVT at svingene ikke tilfredsstiller dagens veikrav?`	`– Svingninger er det alltid`
Direktør Sindre Guldvog, Norsk filminstitutt.
LES HOVEDSAKEN: Filmvåren: – Et krisetegn
– Det vil alltid være er svingninger fra halvår til halvår. Vi må ha is i magen. Det kommer flere norske filmer til høsten. I fjor var det 27 norske filmpremierer. I år vil det bli noen færre norske filmer enn i 2016 og 2017, uten at det er noe dramatikk i det. Samlet har vi all grunn til å tro at 2019 blir et tilnærmet vanlig norsk filmår.
Dette svarer Sindre Guldvog, direktør i Norsk filminstitutt, til kritikken i bladet Rushprint, etter det lave antallet norske filmpremierer første halvår 2019.
– Jeg skulle gjerne ønske at filmene var jevnere fordelt i år. Men mange produsenter ønsker å lansere sine filmer om høsten for å maksimere sine sjanser i kinomarkedet. Produsentene velger tidspunkt for lansering. Staten skal ikke bestemme når filmer skal lanseres. Det er et viktig prinsipp. Men produsentene bør være oppmerksomme på dette, så det ikke oppstår kannibalisering, si...	`0`
`Hvordan konstaterer SVT at svingene ikke tilfredsstiller dagens veikrav?`	`TV 2: Advokatfirma varsler massesøksmål på 90 millioner etter Viking Sky-hendelsen`
Cruiseskipet Viking Sky fikk store problemer over Hustadvika i Møre og Romsdal lørdag 23. mars. Foto: Svein Ove Ekornesvåg / NTB scanpix
Advokatfirmaet Lipcon, Margulies, Alinsa & Winkleman mener cruiseskipet tok for stor risiko da det seilte inn i det som var et varslet uvær på vestlandskysten lørdag 23. mars, skriver TV 2.
Firmaet krever erstatning for økonomiske tap, samt erstatning for tort og svie. De har bedt om ti millioner dollar, rundt 90 millioner norske kroner, fordelt til alle som var om bord på skipet. Det uttaler advokat Michael Winkleman til Fox Business onsdag.
– Det er absolutt deres (Viking Sky) sin feil. Jeg håper inderlig ikke de gjorde det med vilje, men de lekte med passasjerenes liv, hevder Winkelman.
– Alt gikk som det skulle
Han representerer passasjerene som var om bord på cruiseskipet. Hadde skipet fulgt Hurtigrutens vurdering samme dag, kunne krisen vært unngått, mener Winklem...	`0`

Loss: BinaryCrossEntropyLoss with these parameters:

{
    "activation_fn": "torch.nn.modules.linear.Identity",
    "pos_weight": 5.0
}

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 32
learning_rate: 1e-05
warmup_steps: 0.1
weight_decay: 0.01
bf16: True
per_device_eval_batch_size: 64
load_best_model_at_end: True

All Hyperparameters

Click to expand

per_device_train_batch_size: 32
num_train_epochs: 3
max_steps: -1
learning_rate: 1e-05
lr_scheduler_type: linear
lr_scheduler_kwargs: None
warmup_steps: 0.1
optim: adamw_torch_fused
optim_args: None
weight_decay: 0.01
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
optim_target_modules: None
gradient_accumulation_steps: 1
average_tokens_across_devices: True
max_grad_norm: 1.0
label_smoothing_factor: 0.0
bf16: True
fp16: False
bf16_full_eval: False
fp16_full_eval: False
tf32: None
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
use_liger_kernel: False
liger_kernel_config: None
use_cache: False
neftune_noise_alpha: None
torch_empty_cache_steps: None
auto_find_batch_size: False
log_on_each_node: True
logging_nan_inf_filter: True
include_num_input_tokens_seen: no
log_level: passive
log_level_replica: warning
disable_tqdm: False
project: huggingface
trackio_space_id: None
trackio_bucket_id: None
trackio_static_space_id: None
per_device_eval_batch_size: 64
prediction_loss_only: True
eval_on_start: False
eval_do_concat_batches: True
eval_use_gather_object: False
eval_accumulation_steps: None
include_for_metrics: []
batch_eval_metrics: False
save_only_model: False
save_on_each_node: False
enable_jit_checkpoint: False
push_to_hub: False
hub_private_repo: None
hub_model_id: None
hub_strategy: every_save
hub_always_push: False
hub_revision: None
load_best_model_at_end: True
ignore_data_skip: False
restore_callback_states_from_checkpoint: False
full_determinism: False
seed: 42
data_seed: None
use_cpu: False
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
parallelism_config: None
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_pin_memory: True
dataloader_persistent_workers: False
dataloader_prefetch_factor: None
remove_unused_columns: True
label_names: None
train_sampling_strategy: random
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
ddp_static_graph: None
ddp_backend: None
ddp_timeout: 1800
fsdp: []
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
deepspeed: None
debug: []
skip_memory_metrics: True
do_predict: False
resume_from_checkpoint: None
warmup_ratio: None
local_rank: -1
prompts: None
batch_sampler: batch_sampler
multi_dataset_batch_sampler: proportional
router_mapping: {}
learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	Validation Loss	norquad-valid_ndcg@10
-1	-1	-	-	0.9440
0.0280	20	1.0227	-	-
0.0560	40	0.6618	-	-
0.0840	60	0.5340	-	-
0.1120	80	0.3867	-	-
0.1401	100	0.3801	-	-
0.1681	120	0.3327	-	-
0.1961	140	0.2720	-	-
0.2241	160	0.3332	-	-
0.2493	178	-	0.1877	0.9637
0.2521	180	0.2955	-	-
0.2801	200	0.3719	-	-
0.3081	220	0.3871	-	-
0.3361	240	0.3805	-	-
0.3641	260	0.3162	-	-
0.3922	280	0.3386	-	-
0.4202	300	0.2744	-	-
0.4482	320	0.3717	-	-
0.4762	340	0.3188	-	-
0.4986	356	-	0.1736	0.9666
0.5042	360	0.2453	-	-
0.5322	380	0.3031	-	-
0.5602	400	0.3786	-	-
0.5882	420	0.2889	-	-
0.6162	440	0.1759	-	-
0.6443	460	0.2978	-	-
0.6723	480	0.3220	-	-
0.7003	500	0.4204	-	-
0.7283	520	0.3452	-	-
0.7479	534	-	0.1593	0.9682
0.7563	540	0.3754	-	-
0.7843	560	0.2519	-	-
0.8123	580	0.3190	-	-
0.8403	600	0.3881	-	-
0.8683	620	0.2010	-	-
0.8964	640	0.5244	-	-
0.9244	660	0.2742	-	-
0.9524	680	0.2999	-	-
0.9804	700	0.3704	-	-
0.9972	712	-	0.1477	0.9687
1.0084	720	0.2583	-	-
1.0364	740	0.3325	-	-
1.0644	760	0.2403	-	-
1.0924	780	0.1460	-	-
1.1204	800	0.4467	-	-
1.1485	820	0.2854	-	-
1.1765	840	0.3040	-	-
1.2045	860	0.2645	-	-
1.2325	880	0.2930	-	-
1.2465	890	-	0.1574	0.971
1.2605	900	0.2114	-	-
1.2885	920	0.1945	-	-
1.3165	940	0.1844	-	-
1.3445	960	0.2755	-	-
1.3725	980	0.2255	-	-
1.4006	1000	0.3872	-	-
1.4286	1020	0.2335	-	-
1.4566	1040	0.1799	-	-
1.4846	1060	0.4058	-	-
1.4958	1068	-	0.1512	0.9695
1.5126	1080	0.1763	-	-
1.5406	1100	0.2767	-	-
1.5686	1120	0.2690	-	-
1.5966	1140	0.2624	-	-
1.6246	1160	0.3075	-	-
1.6527	1180	0.0776	-	-
1.6807	1200	0.4471	-	-
1.7087	1220	0.2600	-	-
1.7367	1240	0.2180	-	-
1.7451	1246	-	0.1585	0.9685
1.7647	1260	0.2393	-	-
1.7927	1280	0.3703	-	-
1.8207	1300	0.3336	-	-
1.8487	1320	0.2707	-	-
1.8768	1340	0.2512	-	-
1.9048	1360	0.4592	-	-
1.9328	1380	0.3449	-	-
1.9608	1400	0.3931	-	-
1.9888	1420	0.2970	-	-
1.9944	1424	-	0.1449	0.9705
-1	-1	-	-	0.9710

The bold row denotes the saved checkpoint.

Training Time

Training: 4.0 minutes
Evaluation: 1.6 minutes
Total: 5.6 minutes

Framework Versions

Python: 3.11.6
Sentence Transformers: 5.5.0.dev0
Transformers: 5.6.2
PyTorch: 2.10.0+cu128
Accelerate: 1.13.0.dev0
Datasets: 4.8.4
Tokenizers: 0.22.2

Additional Resources

Training and Finetuning Reranker Models with Sentence Transformers: the end-to-end guide for training or finetuning Cross Encoder (reranker) models.
Multimodal Embedding & Reranker Models with Sentence Transformers: use text, image, audio, and video reranker models through the same API.
Training and Finetuning Multimodal Embedding & Reranker Models with Sentence Transformers: training multimodal Cross Encoders.

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}