iara-project/ModBERTBr-sts-pt

SentenceTransformer based on wallacelw/ModBERTBr

This is a sentence-transformers model finetuned from wallacelw/ModBERTBr on the nli_pt_anli, nli_pt_fever, nli_pt_ling, nli_pt_mnli, nli_pt_wanli, stsb, assin1, assin2, IRIS_sts, sick_br and mldr datasets. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: wallacelw/ModBERTBr
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Datasets:
  • nli_pt_anli
  • nli_pt_fever
  • nli_pt_ling
  • nli_pt_mnli
  • nli_pt_wanli
  • stsb
  • assin1
  • assin2
  • IRIS_sts
  • sick_br
  • mldr
• Languages: multilingual, zh, ja, ar, ko, de, fr, es, pt, hi, id, it, tr, ru, bn, ur, mr, ta, vi, fa, pl, uk, nl, sv, he, sw, ps, en, th

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'ModernBertModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("iara-project/ModBERTBr-sts-pt")
# Run inference
sentences = [
    'Uma menina jovem está usando língua de sinais',
    'Língua de sinais está sendo usada por uma jovem menina',
    'A mulher está fatiando um tomate',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.9452, 0.2230],
#         [0.9452, 1.0000, 0.2421],
#         [0.2230, 0.2421, 1.0000]])

Evaluation

Metrics

Semantic Similarity

• Datasets: stsb-pt-dev-768, assin2-dev-768, iris_sts-dev-768 and sick_br_dev-768
• Evaluated with EmbeddingSimilarityEvaluator with these parameters:

  {
      "truncate_dim": 768
  }
  

Metric	stsb-pt-dev-768	assin2-dev-768	iris_sts-dev-768	sick_br_dev-768
pearson_cosine	0.8418	0.9705	0.8079	0.8577
spearman_cosine	0.8419	0.9717	0.799	0.8377

Semantic Similarity

• Datasets: stsb-pt-dev-512, assin2-dev-512, iris_sts-dev-512 and sick_br_dev-512
• Evaluated with EmbeddingSimilarityEvaluator with these parameters:

  {
      "truncate_dim": 512
  }
  

Metric	stsb-pt-dev-512	assin2-dev-512	iris_sts-dev-512	sick_br_dev-512
pearson_cosine	0.8387	0.9666	0.8086	0.8516
spearman_cosine	0.8393	0.9692	0.8016	0.8332

Semantic Similarity

• Datasets: stsb-pt-dev-256, assin2-dev-256, iris_sts-dev-256 and sick_br_dev-256
• Evaluated with EmbeddingSimilarityEvaluator with these parameters:

  {
      "truncate_dim": 256
  }
  

Metric	stsb-pt-dev-256	assin2-dev-256	iris_sts-dev-256	sick_br_dev-256
pearson_cosine	0.8315	0.9599	0.802	0.8388
spearman_cosine	0.8337	0.9639	0.8008	0.8236

Semantic Similarity

• Datasets: stsb-pt-dev-128, assin2-dev-128, iris_sts-dev-128 and sick_br_dev-128
• Evaluated with EmbeddingSimilarityEvaluator with these parameters:

  {
      "truncate_dim": 128
  }
  

Metric	stsb-pt-dev-128	assin2-dev-128	iris_sts-dev-128	sick_br_dev-128
pearson_cosine	0.8177	0.9453	0.7751	0.813
spearman_cosine	0.822	0.9552	0.7848	0.8041

Semantic Similarity

• Datasets: stsb-pt-dev-64, assin2-dev-64, iris_sts-dev-64 and sick_br_dev-64
• Evaluated with EmbeddingSimilarityEvaluator with these parameters:

  {
      "truncate_dim": 64
  }
  

Metric	stsb-pt-dev-64	assin2-dev-64	iris_sts-dev-64	sick_br_dev-64
pearson_cosine	0.7786	0.9173	0.7269	0.7591
spearman_cosine	0.7899	0.9393	0.7467	0.7583

Training Details

Training Datasets

nli_pt_anli

nli_pt_anli

• Dataset: nli_pt_anli at 510a233
• Size: 7,995 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 30 tokens mean: 105.35 tokens max: 512 tokens	min: 6 tokens mean: 19.49 tokens max: 120 tokens

• Samples:

  anchor	positive
  Descrito como "o mentor que fez Shirley Temple a estrela infantil mais famosa da história, Betty Grable um GI Joe pinup menina e Marilyn Monroe uma deusa do sexo", Brand foi o chefe de publicidade na 20th Century Fox de 1935 até 1962.	Harry Brand viveu na América.
  O acidente de jet skibr>Wendy era apenas um motorista de jet ski amador que gostava da velocidade. Ela era jovem e descuidada e muitas vezes andava muito rápido. Um dia ela não escutava seus amigos e continuava a acelerar. Ela tentou fazer um salto perto de uma rocha e caiu horrivelmente. Seus amigos tentaram salvá-la, mas era tarde demais, ela estava morta.	wendy dirigiu muito rápido enquanto em um jet ski
  Como jogar bejeweled 2 deluxebr>Mude gemas clicando sobre elas e, em seguida, clicando em uma gema adjacente (esquerda, direita, para cima ou para baixo) para trocar seus lugares para formar uma cadeia de três ou mais gemas. Quanto mais gemas você cadeia, mais pontos você ganha. [subeta] 5 gemas em uma linha produz um hiper cubo.	Quanto mais gemas você acorrentar dois ou mais, mais pontos você ganha.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

nli_pt_fever

nli_pt_fever

• Dataset: nli_pt_fever at 510a233
• Size: 14,684 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 19 tokens mean: 89.55 tokens max: 168 tokens	min: 7 tokens mean: 17.13 tokens max: 46 tokens

• Samples:

  anchor	positive
  O morcego de nariz de porco de Kitti ( Craseonycteris thonglongyai ), também conhecido como morcego de abelha, é uma espécie vulnerável de morcego e o único membro existente da família Craseonycteridae.	O morcego com nariz de porco de Kitti é uma espécie de morcego que é categorizada como vulnerável.
  Gangster é um filme de crime romântico indiano de 2006 que estreou em 28 de abril. Kangana Ranaut. Após o treinamento sob o diretor de teatro Arvind Gaur, Ranaut fez sua estréia no cinema no thriller de 2006 Gangster, pelo qual ela foi premiada com o Filmfare Award de Melhor Estreia Feminina.	A estreia do longa-metragem de Kangana Ranaut foi em um filme de crime romântico indiano.
  No Japão, eles se tornaram o primeiro girl group não-japonês a ter três álbuns número um na Japanese Oricon Albums Chart, e suas três turnês de concertos japoneses atraiu um recorde de 550.000 espectadores, mais do que qualquer outro grupo feminino coreano. Kwon Yu-ri (nascido em 5 de dezembro de 1989 ), mais conhecido pelo monônimo Yuri, é um cantor e atriz sul-coreana.	A geração das meninas tem meninas.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

nli_pt_ling

nli_pt_ling

• Dataset: nli_pt_ling at 510a233
• Size: 1,678 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 7 tokens mean: 37.81 tokens max: 154 tokens	min: 4 tokens mean: 18.77 tokens max: 78 tokens

• Samples:

  anchor	positive
  Ah, é sempre o grande, mas.	Nunca é pequeno, mas
  A Suprema Corte de Vermont concedeu aos gays maiores direitos de parceria.	Em Vermont, os gays agora têm mais direitos de parceria.
  Mas um verdadeiro predador que conheço está usando, vendendo e quase certamente cometendo outros crimes.	Um predador que eu conheço está cometendo crimes.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

nli_pt_mnli

nli_pt_mnli

• Dataset: nli_pt_mnli at 510a233
• Size: 8,301 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 4 tokens mean: 34.87 tokens max: 155 tokens	min: 5 tokens mean: 18.66 tokens max: 50 tokens

• Samples:

  anchor	positive
  Mesmo o funcionário mais caloroso pode parecer indiferente em relação aos clientes que estão mal vestidos.	Clientes mal vestidos ainda parecerão ser julgados até mesmo pelos funcionários mais legais.
  Lesões em acidentes de trânsito duplicaram entre 1996 e 1997.	Entre 1996 e 1997, os acidentes de trânsito duplicaram.
  As principais mudanças não foram para tarefas e rotinas diárias, mas para a base de poder político, que mudou regularmente e não necessariamente pacificamente ao longo dos tempos.	A base do poder político mudou muito.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

nli_pt_wanli

nli_pt_wanli

• Dataset: nli_pt_wanli at 510a233
• Size: 9,329 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 7 tokens mean: 29.31 tokens max: 123 tokens	min: 4 tokens mean: 17.02 tokens max: 88 tokens

• Samples:

  anchor	positive
  Uma preocupação mais prática é que as regras de etiqueta são tão complicadas que, mesmo que você as conheça, talvez não seja possível aplicá-las corretamente.	É difícil seguir as regras da etiqueta.
  Como eu já disse antes, estamos todos sobre a criação de novas oportunidades para aqueles que querem tirar proveito deles.	Somos todos sobre a criação de novas oportunidades para aqueles que querem tirar proveito deles.
  E se não o fizermos, então teremos que aceitar a conclusão de que nossa inteligência é inadequada.	Nossa inteligência é inadequada.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

stsb

stsb

• Dataset: stsb at 3acaa3d
• Size: 5,749 training samples
• Columns: sentence1, sentence2, and label
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	label
  type	string	string	float
  details	min: 8 tokens mean: 14.08 tokens max: 36 tokens	min: 8 tokens mean: 14.01 tokens max: 29 tokens	min: 0.0 mean: 0.45 max: 1.0

• Samples:

  sentence1	sentence2	label
  Um avião está a descolar.	Um avião aéreo está a descolar.	1.0
  Um homem está a tocar uma grande flauta.	Um homem está a tocar uma flauta.	0.7599999904632568
  Um homem está a espalhar queijo desfiado numa pizza.	Um homem está a espalhar queijo desfiado sobre uma pizza não cozida.	0.7599999904632568

• Loss: CoSENTLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

assin1

assin1

• Dataset: assin1 at 6535e48
• Size: 5,000 training samples
• Columns: sentence1, sentence2, and label
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	label
  type	string	string	float
  details	min: 11 tokens mean: 26.07 tokens max: 56 tokens	min: 10 tokens mean: 22.51 tokens max: 47 tokens	min: 0.2 mean: 0.61 max: 1.0

• Samples:

  sentence1	sentence2	label
  A gente faz o aporte financeiro, é como se a empresa fosse parceira do Monte Cristo.	Fernando Moraes afirma que não tem vínculo com o Monte Cristo além da parceira.	0.4
  Em 2013, a história de como Walt Disney convenceu P.L.	P.L.Travers era completamente contra a adaptação de Walt Disney.	0.45
  David Silva bateu escanteio, Kompany escalou as costas de Chiellini e o zagueiro marcou contra.	David Silva cobrou escanteio, o zagueiro se apoiou em Chiellini e cabeceou.	0.75

• Loss: CoSENTLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

assin2

assin2

• Dataset: assin2 at 0ff9c86
• Size: 6,500 training samples
• Columns: sentence1, sentence2, and label
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	label
  type	string	string	float
  details	min: 5 tokens mean: 14.66 tokens max: 41 tokens	min: 5 tokens mean: 13.82 tokens max: 41 tokens	min: 0.3 mean: 0.93 max: 1.0

• Samples:

  sentence1	sentence2	label
  Uma criança risonha está segurando uma pistola de água e sendo espirrada com água	Uma criança está segurando uma pistola de água	0.9
  Os homens estão cuidadosamente colocando as malas no porta-malas de um carro	Os homens estão colocando bagagens dentro do porta-malas de um carro	0.9
  Uma pessoa tem cabelo loiro e esvoaçante e está tocando violão	Um guitarrista tem cabelo loiro e esvoaçante	0.9399999618530274

• Loss: CoSENTLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

IRIS_sts

IRIS_sts

• Dataset: IRIS_sts at 8adf343
• Size: 1,667 training samples
• Columns: sentence1, sentence2, and label
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	label
  type	string	string	float
  details	min: 15 tokens mean: 38.84 tokens max: 84 tokens	min: 14 tokens mean: 37.63 tokens max: 79 tokens	min: 0.0 mean: 0.52 max: 1.0

• Samples:

  sentence1	sentence2	label
  A questão da existência de uma presunção constitui antecedente lógico da elisão dessa presunção.	Constitui requisito de existência da presunção de aceitação do despedimento por extinção do posto de trabalho, a que se refere o art.	0.483483258943473
  Com efeito, nesse caso do que se tratará será de uma errada aplicação do direito aos factos, designadamente aos considerados provados.	Isto é: não se extraíram as consequências jurídicas adequadas do que provado se considerou.	0.4286842926170479
  II - É nula a sentença de regulação das responsabilidades parentais cuja motivação se apoia em relatórios do ISS de cujo teor as partes não foram notificadas.	II - A decisão sobre as responsabilidades parentais é inválida se ela foi baseada em relatórios do ISS que as partes não foram informadas.	0.816343029699518

• Loss: CoSENTLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

sick_br

sick_br

• Dataset: sick_br at 0cdfb1d
• Size: 4,439 training samples
• Columns: sentence1, sentence2, and label
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	label
  type	string	string	float
  details	min: 6 tokens mean: 14.86 tokens max: 34 tokens	min: 6 tokens mean: 14.52 tokens max: 35 tokens	min: 0.2 mean: 0.68 max: 1.0

• Samples:

  sentence1	sentence2	label
  Um grupo de crianças está brincando em um quintal e um homem velho está parado ao fundo	Um grupo de meninos em um quintal está brincando e um homem está de pé ao fundo	0.9
  Um grupo de crianças está brincando na casa e não tem nenhum homem parado ao fundo	Um grupo de crianças está brincando em um quintal e um homem velho está parado ao fundo	0.64
  Os meninos jovens estão brincando ao ar livre e o homem está sorrindo por perto	As crianças estão brincando ao ar livre perto de um homem com um sorriso	0.9400000000000001

• Loss: CoSENTLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

mldr

mldr

• Dataset: mldr at 40ad767
• Size: 1,845 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 8 tokens mean: 20.85 tokens max: 114 tokens	min: 512 tokens mean: 512.0 tokens max: 512 tokens	min: 512 tokens mean: 512.0 tokens max: 512 tokens

• Samples:

  anchor	positive	negative
  Quais são os principais mecanismos usados pela fagocitose para remover patógenos e restos celulares?	Fagocitose Fagocitose ( do grego antigo, "φαγεῖν" (phagein), "devorar" , "κύτος" (kytos), "células") é o processo pelo qual uma célula usa sua membrana plasmática para englobar partículas grandes (≥ 0,5 μm), dando origem a um compartimento interno chamado fagossoma. Nos sistemas imunológicos de organismos multicelulares, a fagocitose é um dos principais mecanismos usados para remover patógenos e restos celulares. O material ingerido é então digerido no fagossoma. Bactérias, células de tecidos mortos e pequenas partículas minerais são exemplos de objetos que podem ser fagocitados. Alguns protozoários usam a fagocitose como meio de obter nutrientes. História. A fagocitose foi observada pela primeira vez pelo médico canadense William Osler (1876), e mais tarde estudada e nomeada por Élie Metchnikoff (1880, 1883). No sistema imunológico. A fagocitose é um dos principais mecanismos da resposta imune inata. É um dos primeiros mecanismos de resposta à infecção e um dos ramos iniciais de uma ...	Vespa Vespa, marimbondo ou cabatão é o nome comum aplicado a diversas espécies de insetos pertencentes à subordem Apocrita da ordem Hymenoptera. Na definição mais abrangente, este nome é utilizado para se referir a qualquer himenóptero que não é abelha nem formiga. Em geral, faz-se a distinção das vespas-serra, himenópteros sem pecíolo que são considerados como uma subordem distinta, Symphyta. As vespas não constituem um clado, ou seja, o termo não representa um grupo natural de organismos que inclui todos os descendentes de um grupo ancestral. As vespas mais popularmente conhecidas pertencem à família Vespidae e são eusociais, vivendo juntas em um ninho com uma rainha que põe ovos e operárias que não se reproduzem. No entanto, a maioria das espécies de vespas são solitárias, com cada fêmea adulta vivendo e se reproduzindo independentemente. As vespas desempenham muitos papéis ecológicos, incluindo espécies tanto fitófagas quanto entomófagas. Muitas, como as vespas-cuco, são cleptopar...
  Quais são as características principais do cálcio?	Cálcio O cálcio é um elemento químico, símbolo Ca, de número atómico 20 (20 prótons e 20 elétrons) e massa atómica 40u. É um metal da família dos alcalino-terrosos, pertencente ao grupo 2 da classificação periódica dos elementos químicos. Foi isolado pela primeira vez em 1808, em uma forma impura, pelo químico britânico Humphry Davy mediante a eletrólise de uma amálgama de mercúrio (HgO) e cal (CaO). Características principais. O cálcio é um metal alcalino-terroso, mole, maleável e dúctil que arde com chama vermelha formando óxido de cálcio e nitreto. As superfícies são de coloração branca prateada que rapidamente se tornam levemente amareladas quando expostas ao ar, finalmente com coloração cinza ou branca devido à formação de hidróxido ao reagir com a umidade ambiental. Reage violentamente com a água para formar o hidróxido de cálcio, Ca(OH)2, com desprendimento de hidrogênio. Papel biológico. O cálcio (Ca2+) é um elemento regulador universal que acopla intimamente os sinais biótico...	Humidade A é a quantidade de vapor de água na atmosfera. Fisicamente, a humidade relativa é definida como a razão da quantidade de vapor de água presente numa porção da atmosfera (pressão parcial de vapor) com a quantidade máxima de vapor de água que a atmosfera pode suportar a uma determinada temperatura (pressão de vapor). A humidade relativa é uma importante variável (medida) usada na previsão do tempo, e indica a possibilidade de precipitação (chuva, neve, granizo, entre outros), orvalho ou nevoeiro. A alta humidade durante dias quentes faz a sensação térmica aumentar, ou seja, a pessoa tem a impressão de que está mais calor, devido à redução da eficácia da transpiração da pele, e assim reduzindo o resfriamento corporal. Por outro lado, a baixa humidade dos desertos causa uma grande diferença de temperatura entre o dia e a noite. Este efeito é calculado pela tabela de índice de calor. Tipos de humidade. Humidade absoluta (base volumétrica). A humidade absoluta em uma base volumétr...
  Quais são os ésteres mais comuns encontrados na natureza?	Éster Na química, a função éster é caracterizada pela estrutura R-COOR'. Os ésteres carboxílicos apresentam uma alcoxila ligada à uma carbonila e são usualmente resultantes de uma reação entre álcoois (em alguns casos, fenóis) e ácidos carboxílico, e o resultado é a substituição de um átomo de hidrogênio presente na carboxila (-COOH) dos ácidos carboxílicos por um grupo alquila (R) ou arila (Ar). Já os ésteres inorgânicos resultam de reações entre álcoois e oxiácidos inorgânicos, de modo que o ácido perde um próton (H+) e se liga à cadeia que outrora pertencia a um álcool, após a perda da hidroxila (OH-) por esta molécula. Assim, reações de esterificação - como são denominadas as reações entre álcoois/fenóis e ácidos -também produzem água (HOH ou H2O). Os ésteres mais comuns que se encontram na natureza são os triglicerídeos - triésteres de glicerina - constituintes de óleos e gorduras indispensáveis à alimentação humana. Além disso, também ocorrem no aroma das flores e no sabor dos f...	Literatura A Literatura é a arte que usa a linguagem escrita como meio de expressão, seja em prosa ou em verso, de acordo com princípios teóricos e práticos; sendo o conjunto de obras escritas ou orais às quais reconhecemos um valor estético. A Literatura abrange qualquer coleção de obras escritas, incluindo escrita impressa e digital. Etimologia. A palavra Literatura vem do latim "litteris" que significa "Letras", e possivelmente uma tradução do grego "grammatikee". Em latim, literatura significa uma instrução ou um conjunto de saberes ou habilidades de escrever e ler bem, e se relaciona com as técnicas da gramática, da retórica e da poética. Por extensão, se refere especificamente ao ofício de escrever. O termo Literatura também é usado como referência a um conjunto escolhido de textos, por exemplo a literatura portuguesa, a literatura espanhola, a literatura inglesa, a literatura brasileira, a literatura japonesa, etc. Definição. Mais produtivo do que tentar definir Literatura talv...

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Evaluation Datasets

stsb

stsb

• Dataset: stsb at 3acaa3d
• Size: 1,500 evaluation samples
• Columns: sentence1, sentence2, and label
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	label
  type	string	string	float
  details	min: 6 tokens mean: 20.87 tokens max: 76 tokens	min: 8 tokens mean: 20.87 tokens max: 73 tokens	min: 0.0 mean: 0.42 max: 1.0

• Samples:

  sentence1	sentence2	label
  Um homem de chapéu duro está a dançar.	Um homem com um capacete está a dançar.	1.0
  Uma criança pequena está a montar a cavalo.	Uma criança está a montar a cavalo.	0.95
  Um homem está a alimentar um rato a uma cobra.	O homem está a alimentar a cobra com um rato.	1.0

• Loss: CoSENTLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

assin2

assin2

• Dataset: assin2 at 0ff9c86
• Size: 500 evaluation samples
• Columns: sentence1, sentence2, and label
• Approximate statistics based on the first 500 samples:

  	sentence1	sentence2	label
  type	string	string	float
  details	min: 6 tokens mean: 13.73 tokens max: 32 tokens	min: 6 tokens mean: 13.69 tokens max: 38 tokens	min: 0.2 mean: 0.79 max: 1.0

• Samples:

  sentence1	sentence2	label
  Uma pequena menina está sorrindo e usando um nariz falso e óculos	A menina pequena está sorrindo e usando um nariz falso e óculos	0.9800000190734863
  Um grupo de pessoas jogando futebol está correndo no campo	Um grupo de jogadores de futebol está correndo no campo	0.9600000381469727
  O homem está empinando uma motocicleta num chão que é praticamente árido	O homem está desmontando de uma moto para um chão que é praticamente árido	0.7199999809265136

• Loss: CoSENTLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

IRIS_sts

IRIS_sts

• Dataset: IRIS_sts at 8adf343
• Size: 556 evaluation samples
• Columns: sentence1, sentence2, and label
• Approximate statistics based on the first 556 samples:

  	sentence1	sentence2	label
  type	string	string	float
  details	min: 19 tokens mean: 38.3 tokens max: 83 tokens	min: 16 tokens mean: 37.79 tokens max: 131 tokens	min: 0.0 mean: 0.5 max: 1.0

• Samples:

  sentence1	sentence2	label
  Nos termos do disposto no artigo 1083. do CPC, constituindo, como é o caso, dependência de outro processo judicial, a competência para o inventário é exclusiva dos tribunais cfr.	Essa norma existe relativamente à provisão para despesas, pois que o n 10 do art.	0.09996932915109477
  II - Da insolvência de um dos ex-cônjuges não decorre necessariamente a insolvência do património comum do ex-casal, não obstante, como é sabido, o art.	II - A apensação de processos de expropriação de parcelas contíguas e do mesmo dono resulta do art.	0.15428183762417896
  44, n. 1, do suscitar antecipadamente nove questões de inconstitucionalidade, nos termos e para os efeitos dos art.os 7, n. 1, al.	41, do CPP, oportunidade que o mesmo aproveitou reiterando a arguição das inconstitucionalidades.	0.2198436643850504

• Loss: CoSENTLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

sick_br

sick_br

• Dataset: sick_br at 0cdfb1d
• Size: 495 evaluation samples
• Columns: sentence1, sentence2, and label
• Approximate statistics based on the first 495 samples:

  	sentence1	sentence2	label
  type	string	string	float
  details	min: 6 tokens mean: 14.93 tokens max: 41 tokens	min: 6 tokens mean: 14.36 tokens max: 39 tokens	min: 0.2 mean: 0.72 max: 1.0

• Samples:

  sentence1	sentence2	label
  Os meninos jovens estão brincando ao ar livre e o homem está sorrindo por perto	Não tem nenhum menino brincando ao ar livre e não tem nenhum homem sorrindo	0.72
  Uma pessoa de blusa preta está fazendo truques em uma moto	Uma pessoa habilidosa está andando de bicicleta sobre uma roda	0.6799999999999999
  Quatro crianças estão fazendo ponte na academia	Quatro garotas estão fazendo ponte e brincando ao ar livre	0.76

• Loss: CoSENTLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 64
• gradient_accumulation_steps: 4
• weight_decay: 0.2
• num_train_epochs: 20
• warmup_steps: 0.1
• fp16: True
• gradient_checkpointing: True
• gradient_checkpointing_kwargs: {'use_reentrant': False}

All Hyperparameters

Click to expand

• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 8
• gradient_accumulation_steps: 4
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.2
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 20
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_ratio: None
• warmup_steps: 0.1
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• enable_jit_checkpoint: False
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• use_cpu: False
• seed: 42
• data_seed: None
• bf16: False
• fp16: True
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: -1
• ddp_backend: None
• debug: []
• dataloader_drop_last: True
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: True
• gradient_checkpointing_kwargs: {'use_reentrant': False}
• include_for_metrics: []
• eval_do_concat_batches: True
• auto_find_batch_size: False
• full_determinism: False
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• use_cache: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	stsb loss	assin2 loss	IRIS sts loss	sick br loss	stsb-pt-dev-768_spearman_cosine	assin2-dev-768_spearman_cosine	iris_sts-dev-768_spearman_cosine	sick_br_dev-768_spearman_cosine	stsb-pt-dev-512_spearman_cosine	assin2-dev-512_spearman_cosine	iris_sts-dev-512_spearman_cosine	sick_br_dev-512_spearman_cosine	stsb-pt-dev-256_spearman_cosine	assin2-dev-256_spearman_cosine	iris_sts-dev-256_spearman_cosine	sick_br_dev-256_spearman_cosine	stsb-pt-dev-128_spearman_cosine	assin2-dev-128_spearman_cosine	iris_sts-dev-128_spearman_cosine	sick_br_dev-128_spearman_cosine	stsb-pt-dev-64_spearman_cosine	assin2-dev-64_spearman_cosine	iris_sts-dev-64_spearman_cosine	sick_br_dev-64_spearman_cosine
0.7663	100	3.6306	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.5287	200	2.8394	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
1.9119	250	-	3.9274	2.7242	3.4710	2.8596	0.7930	0.8658	0.7612	0.8176	0.7823	0.8651	0.7599	0.8148	0.7678	0.8584	0.7456	0.8118	0.7429	0.8534	0.7285	0.8036	0.7225	0.8391	0.7191	0.7872
2.2912	300	2.5801	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
3.0536	400	2.5148	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
3.8199	500	2.4273	4.5505	2.5652	3.4786	2.9762	0.7758	0.8967	0.7586	0.8120	0.7640	0.8956	0.7546	0.8102	0.7447	0.8943	0.7417	0.8075	0.7130	0.8892	0.7235	0.8035	0.6891	0.8835	0.7103	0.7942
4.5824	600	2.4090	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
5.3448	700	2.3683	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
5.7280	750	-	3.8926	2.3960	3.4898	2.9594	0.8198	0.9288	0.7808	0.8344	0.8140	0.9267	0.7821	0.8299	0.8054	0.9223	0.7752	0.8222	0.7864	0.9132	0.7649	0.8098	0.7636	0.9034	0.7486	0.7906
6.1073	800	2.3605	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
6.8736	900	2.3193	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
7.6360	1000	2.2318	4.4184	2.3248	3.8951	3.1203	0.8129	0.9304	0.7806	0.8407	0.8029	0.9292	0.7801	0.8370	0.7864	0.9234	0.7717	0.8300	0.7577	0.9180	0.7512	0.8171	0.7224	0.9085	0.7239	0.7902
8.3985	1100	2.2238	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
9.1609	1200	2.2415	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
9.5441	1250	-	4.4970	2.2180	4.3361	3.2464	0.8218	0.9445	0.7932	0.8437	0.8146	0.9416	0.7935	0.8391	0.8014	0.9368	0.7910	0.8327	0.7754	0.9283	0.7742	0.8186	0.7347	0.9146	0.7398	0.7915
9.9272	1300	2.2028	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
10.6897	1400	2.1467	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
11.4521	1500	2.0469	4.5380	2.1063	4.3540	3.6844	0.8299	0.9522	0.7844	0.8383	0.8239	0.9512	0.7840	0.8346	0.8155	0.9469	0.7776	0.8288	0.7905	0.9367	0.7450	0.8102	0.7454	0.9211	0.7082	0.7723
12.2146	1600	2.0805	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
12.9808	1700	2.0895	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
13.3602	1750	-	4.6506	2.1541	4.8472	3.9376	0.8390	0.9588	0.7887	0.8376	0.8341	0.9568	0.7910	0.8348	0.8249	0.9501	0.7902	0.8253	0.8021	0.9395	0.7667	0.8048	0.7540	0.9195	0.7219	0.7639
13.7433	1800	2.0056	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
14.5057	1900	1.9248	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
15.2682	2000	1.9185	4.8262	2.1039	5.1240	4.4055	0.8421	0.9633	0.7995	0.8312	0.8388	0.9614	0.7998	0.8275	0.8321	0.9573	0.7969	0.8199	0.8148	0.9457	0.7729	0.7995	0.7725	0.9261	0.7237	0.7510
16.0307	2100	1.8993	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
16.7969	2200	1.8331	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
17.1762	2250	-	4.9829	1.9275	5.5086	4.8501	0.8434	0.9689	0.7996	0.8353	0.8408	0.9666	0.8015	0.8312	0.8353	0.9619	0.8005	0.8220	0.8228	0.9521	0.7824	0.8027	0.7873	0.9336	0.7387	0.7506
17.5594	2300	1.7637	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
18.3218	2400	1.7584	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
19.0843	2500	1.7560	5.0568	1.9085	5.6523	5.0540	0.8419	0.9717	0.7990	0.8377	0.8393	0.9692	0.8016	0.8332	0.8337	0.9639	0.8008	0.8236	0.8220	0.9552	0.7848	0.8041	0.7899	0.9393	0.7467	0.7583
19.8506	2600	1.6983	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-

Framework Versions

• Python: 3.12.12
• Sentence Transformers: 5.2.3
• Transformers: 5.0.0
• PyTorch: 2.10.0+cu128
• Accelerate: 1.12.0
• Datasets: 4.8.3
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

CoSENTLoss

@article{10531646,
    author={Huang, Xiang and Peng, Hao and Zou, Dongcheng and Liu, Zhiwei and Li, Jianxin and Liu, Kay and Wu, Jia and Su, Jianlin and Yu, Philip S.},
    journal={IEEE/ACM Transactions on Audio, Speech, and Language Processing},
    title={CoSENT: Consistent Sentence Embedding via Similarity Ranking},
    year={2024},
    doi={10.1109/TASLP.2024.3402087}
}