2nd finetuned-version

README.md

@@ -2,8 +2,9 @@
 tags:
 - sentence-transformers
 - cross-encoder
+- reranker
 - generated_from_trainer
-- dataset_size:610
+- dataset_size:628
 - loss:FitMixinLoss
 base_model: cross-encoder/mmarco-mMiniLMv2-L12-H384-v1
 pipeline_tag: text-ranking
@@ -50,11 +51,11 @@ from sentence_transformers import CrossEncoder
 model = CrossEncoder("cross_encoder_model_id")
 # Get scores for pairs of texts
 pairs = [
-    ['Die Einzellimiten von Ziffer 3 und 5 jedoch dürfen mit der vorliegenden Limite von 35% nicht kumuliert werden.', 'Die Einzellimiten von Ziffer 3 und 5 jedoch dürfen mit der vorliegenden Limite von 35% nicht kumuliert werden.'],
-    ['3. Die Fondsleitung darf einschliesslich der Derivate und strukturierten Produkte höchstens 10% des Vermögens eines Teilvermogens in Effekten und Geldmarktinstrumenten desselben Emittenten anlegen.', '3. Die Fondsleitung darf einschliesslich der Derivate und strukturierten Produkte höchstens 10% des Vermögens eines Teilvermogens in Effekten und Geldmarktinstrumenten desselben Emittenten anlegen.'],
-    ['Das Teilvermögen BLKB iQ Fund (CH) iQ Responsible Vorsorge Balanced darf bis zu 100% der Anteile des BLKB iQ Fund (CH) iQ Responsible Bond Fund CHF erwerben.', 'Maximalanteil pro Emission: Höchstens 30 Prozent des Fondsvermögens dürfen in Effekten und Geldmarktinstrumenten derselben Emission angelegt werden.'],
-    ['e) Geldmarktinstrumente, wenn diese liquide und bewertbar sind sowie an einer Börse oder an einem anderen geregelten, dem Publikum offenstehenden Markt gehandelt werden; Geldmarktinstrumente, die nicht an einer Börse oder an einem anderen geregelten, dem Publikum offenstehenden Markt gehandelt werden, dürfen nur erworben werden, wenn die Emission oder der Emittent Vorschriften über den Gläubigerund den Anlegerschutz unterliegt und wenn die Geldmarktinstrumente von Emittenten gemäss Artikel 74 Absatz 2 KKV begeben oder garantiert sind.', 'Institution: beaufsichtigte Bank oder Institut: Geldmarktinstrumente müssen von einer Bank, einem Effektenhändler oder einem anderen beaufsichtigten Institut begeben oder garantiert sein, das einer Aufsicht untersteht, die der Schweizer Aufsicht gleichwertig ist.'],
-    ['d) Termingeschäfte (Futures und Forwards), deren Wert linear vom Wert des Basiswertes abhängt.', 'Derivate: Derivative Finanzinstrumente sind zulässig, wenn ihnen als Basiswerte Anlagen im Sinne von Artikel 70 Absatz 1 Buchstaben a-d, Finanzindizes, Zinssätze, Wechselkurse, Kredite oder Währungen zugrunde liegen.'],
+    ['9. Die Fondsleitung darf für das Vermögen eines Teilvermögens höchstens je 10% der stimmrechtslosen Beteiligungspapiere, Schuldverschreibungen und/oder Geldmarktinstrumente desselben Emittenten sowie höchstens 25% der Anteile an anderen kollektiven Kapitalanlagen erwerben.', 'Beschränkung für stimmrechtslose Schuldverschreibungen: Fondsleitung und SICAV dürfen höchstens 10 Prozent Schuldverschreibungen oder Geldmarktinstrumente desselben Emittenten erwerben.'],
+    ['Der Emittent der Sicherheiten muss eine hohe Bonität aufweisen und die Sicherheiten dürfen nicht von der Gegenpartei oder von einer dem Konzern der Gegenpartei angehörigen oder davon abhängigen Gesellschaft begeben sein.', 'Bonitätsanforderung für Gegenparteien und Garanten: Bei OTC-Geschäften muss die Gegenpartei oder deren Garant eine hohe Bonität aufweisen.'],
+    ['5. a) Bei engagementreduzierenden Derivaten müssen die eingegangenen Verpflichtungen unter Vorbehalt von Bst. b und d dauernd durch die dem Derivat zu Grunde liegenden Basiswerte gedeckt sein.', '5. a) Bei engagementreduzierenden Derivaten müssen die eingegangenen Verpflichtungen unter Vorbehalt von Bst. b und d dauernd durch die dem Derivat zu Grunde liegenden Basiswerte gedeckt sein.'],
+    ['1. Die Fondsleitung darf für Rechnung der Teilvermögen keine Kredite gewähren.', 'Verbot von Krediten und Bürgschaften: Zulasten eines Effektenfonds dürfen keine Kredite gewährt und keine Bürgschaften abgeschlossen werden.'],
+    ['Zudem müssen die den Derivaten zugrunde liegenden Basiswerte nach diesem Fondsvertrag für das entsprechende Teilvermögen als Anlagen zulässig sein.', 'Deckung mit anderen Anlagen bei Indexderivaten: Deckung mit anderen Anlagen ist zulässig, wenn das Derivat auf einen extern berechneten Index lautet, der repräsentativ und korreliert ist.'],
 ]
 scores = model.predict(pairs)
 print(scores.shape)
@@ -62,13 +63,13 @@ print(scores.shape)
 
 # Or rank different texts based on similarity to a single text
 ranks = model.rank(
-    'Die Einzellimiten von Ziffer 3 und 5 jedoch dürfen mit der vorliegenden Limite von 35% nicht kumuliert werden.',
+    '9. Die Fondsleitung darf für das Vermögen eines Teilvermögens höchstens je 10% der stimmrechtslosen Beteiligungspapiere, Schuldverschreibungen und/oder Geldmarktinstrumente desselben Emittenten sowie höchstens 25% der Anteile an anderen kollektiven Kapitalanlagen erwerben.',
     [
-        'Die Einzellimiten von Ziffer 3 und 5 jedoch dürfen mit der vorliegenden Limite von 35% nicht kumuliert werden.',
-        '3. Die Fondsleitung darf einschliesslich der Derivate und strukturierten Produkte höchstens 10% des Vermögens eines Teilvermogens in Effekten und Geldmarktinstrumenten desselben Emittenten anlegen.',
-        'Maximalanteil pro Emission: Höchstens 30 Prozent des Fondsvermögens dürfen in Effekten und Geldmarktinstrumenten derselben Emission angelegt werden.',
-        'Institution: beaufsichtigte Bank oder Institut: Geldmarktinstrumente müssen von einer Bank, einem Effektenhändler oder einem anderen beaufsichtigten Institut begeben oder garantiert sein, das einer Aufsicht untersteht, die der Schweizer Aufsicht gleichwertig ist.',
-        'Derivate: Derivative Finanzinstrumente sind zulässig, wenn ihnen als Basiswerte Anlagen im Sinne von Artikel 70 Absatz 1 Buchstaben a-d, Finanzindizes, Zinssätze, Wechselkurse, Kredite oder Währungen zugrunde liegen.',
+        'Beschränkung für stimmrechtslose Schuldverschreibungen: Fondsleitung und SICAV dürfen höchstens 10 Prozent Schuldverschreibungen oder Geldmarktinstrumente desselben Emittenten erwerben.',
+        'Bonitätsanforderung für Gegenparteien und Garanten: Bei OTC-Geschäften muss die Gegenpartei oder deren Garant eine hohe Bonität aufweisen.',
+        '5. a) Bei engagementreduzierenden Derivaten müssen die eingegangenen Verpflichtungen unter Vorbehalt von Bst. b und d dauernd durch die dem Derivat zu Grunde liegenden Basiswerte gedeckt sein.',
+        'Verbot von Krediten und Bürgschaften: Zulasten eines Effektenfonds dürfen keine Kredite gewährt und keine Bürgschaften abgeschlossen werden.',
+        'Deckung mit anderen Anlagen bei Indexderivaten: Deckung mit anderen Anlagen ist zulässig, wenn das Derivat auf einen extern berechneten Index lautet, der repräsentativ und korreliert ist.',
     ]
 )
 # [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]
@@ -116,19 +117,19 @@ You can finetune this model on your own dataset.
 
 #### Unnamed Dataset
 
-* Size: 610 training samples
+* Size: 628 training samples
 * Columns: <code>sentence_0</code>, <code>sentence_1</code>, and <code>label</code>
-* Approximate statistics based on the first 610 samples:
+* Approximate statistics based on the first 628 samples:
   |         | sentence_0                                                                                        | sentence_1                                                                                       | label                                                         |
   |:--------|:--------------------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------------------|:--------------------------------------------------------------|
   | type    | string                                                                                            | string                                                                                           | float                                                         |
-  | details | <ul><li>min: 30 characters</li><li>mean: 233.99 characters</li><li>max: 1055 characters</li></ul> | <ul><li>min: 30 characters</li><li>mean: 202.09 characters</li><li>max: 696 characters</li></ul> | <ul><li>min: 0.0</li><li>mean: 0.5</li><li>max: 1.0</li></ul> |
+  | details | <ul><li>min: 30 characters</li><li>mean: 235.09 characters</li><li>max: 1055 characters</li></ul> | <ul><li>min: 30 characters</li><li>mean: 205.17 characters</li><li>max: 696 characters</li></ul> | <ul><li>min: 0.0</li><li>mean: 0.5</li><li>max: 1.0</li></ul> |
 * Samples:
-  | sentence_0                                                                                                                                                                                                         | sentence_1                                                                                                                                                                                                         | label            |
-  |:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-----------------|
-  | <code>Die Einzellimiten von Ziffer 3 und 5 jedoch dürfen mit der vorliegenden Limite von 35% nicht kumuliert werden.</code>                                                                                        | <code>Die Einzellimiten von Ziffer 3 und 5 jedoch dürfen mit der vorliegenden Limite von 35% nicht kumuliert werden.</code>                                                                                        | <code>1.0</code> |
-  | <code>3. Die Fondsleitung darf einschliesslich der Derivate und strukturierten Produkte höchstens 10% des Verm��gens eines Teilvermogens in Effekten und Geldmarktinstrumenten desselben Emittenten anlegen.</code> | <code>3. Die Fondsleitung darf einschliesslich der Derivate und strukturierten Produkte höchstens 10% des Vermögens eines Teilvermogens in Effekten und Geldmarktinstrumenten desselben Emittenten anlegen.</code> | <code>1.0</code> |
-  | <code>Das Teilvermögen BLKB iQ Fund (CH) iQ Responsible Vorsorge Balanced darf bis zu 100% der Anteile des BLKB iQ Fund (CH) iQ Responsible Bond Fund CHF erwerben.</code>                                         | <code>Maximalanteil pro Emission: Höchstens 30 Prozent des Fondsvermögens dürfen in Effekten und Geldmarktinstrumenten derselben Emission angelegt werden.</code>                                                  | <code>0.0</code> |
+  | sentence_0                                                                                                                                                                                                                                                                                     | sentence_1                                                                                                                                                                                                    | label            |
+  |:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-----------------|
+  | <code>9. Die Fondsleitung darf für das Vermögen eines Teilvermögens höchstens je 10% der stimmrechtslosen Beteiligungspapiere, Schuldverschreibungen und/oder Geldmarktinstrumente desselben Emittenten sowie höchstens 25% der Anteile an anderen kollektiven Kapitalanlagen erwerben.</code> | <code>Beschränkung für stimmrechtslose Schuldverschreibungen: Fondsleitung und SICAV dürfen höchstens 10 Prozent Schuldverschreibungen oder Geldmarktinstrumente desselben Emittenten erwerben.</code>        | <code>1.0</code> |
+  | <code>Der Emittent der Sicherheiten muss eine hohe Bonität aufweisen und die Sicherheiten dürfen nicht von der Gegenpartei oder von einer dem Konzern der Gegenpartei angehörigen oder davon abhängigen Gesellschaft begeben sein.</code>                                                      | <code>Bonitätsanforderung für Gegenparteien und Garanten: Bei OTC-Geschäften muss die Gegenpartei oder deren Garant eine hohe Bonität aufweisen.</code>                                                       | <code>1.0</code> |
+  | <code>5. a) Bei engagementreduzierenden Derivaten müssen die eingegangenen Verpflichtungen unter Vorbehalt von Bst. b und d dauernd durch die dem Derivat zu Grunde liegenden Basiswerte gedeckt sein.</code>                                                                                  | <code>5. a) Bei engagementreduzierenden Derivaten müssen die eingegangenen Verpflichtungen unter Vorbehalt von Bst. b und d dauernd durch die dem Derivat zu Grunde liegenden Basiswerte gedeckt sein.</code> | <code>1.0</code> |
 * Loss: [<code>FitMixinLoss</code>](https://sbert.net/docs/package_reference/cross_encoder/losses.html#fitmixinloss)
 
 ### Training Hyperparameters
@@ -207,7 +208,7 @@ You can finetune this model on your own dataset.
 - `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
 - `deepspeed`: None
 - `label_smoothing_factor`: 0.0
-- `optim`: adamw_torch
+- `optim`: adamw_torch_fused
 - `optim_args`: None
 - `adafactor`: False
 - `group_by_length`: False
@@ -256,46 +257,49 @@ You can finetune this model on your own dataset.
 - `prompts`: None
 - `batch_sampler`: batch_sampler
 - `multi_dataset_batch_sampler`: proportional
+- `router_mapping`: {}
+- `learning_rate_mapping`: {}
 
 </details>
 
 ### Training Logs
 | Epoch   | Step  | Training Loss |
 |:-------:|:-----:|:-------------:|
-| 0.8197  | 500   | 1.9143        |
-| 1.6393  | 1000  | 0.7914        |
-| 2.4590  | 1500  | 0.5883        |
-| 3.2787  | 2000  | 0.3915        |
-| 4.0984  | 2500  | 0.2119        |
-| 4.9180  | 3000  | 0.2049        |
-| 5.7377  | 3500  | 0.1157        |
-| 6.5574  | 4000  | 0.1367        |
-| 7.3770  | 4500  | 0.0336        |
-| 8.1967  | 5000  | 0.0912        |
-| 9.0164  | 5500  | 0.0517        |
-| 9.8361  | 6000  | 0.1057        |
-| 10.6557 | 6500  | 0.037         |
-| 11.4754 | 7000  | 0.0875        |
-| 12.2951 | 7500  | 0.057         |
-| 13.1148 | 8000  | 0.0274        |
-| 13.9344 | 8500  | 0.0277        |
-| 14.7541 | 9000  | 0.0133        |
-| 15.5738 | 9500  | 0.0473        |
-| 16.3934 | 10000 | 0.0272        |
-| 17.2131 | 10500 | 0.025         |
-| 18.0328 | 11000 | 0.0481        |
-| 18.8525 | 11500 | 0.0111        |
-| 19.6721 | 12000 | 0.0226        |
+| 0.7962  | 500   | 2.0688        |
+| 1.5924  | 1000  | 1.0619        |
+| 2.3885  | 1500  | 0.3302        |
+| 3.1847  | 2000  | 0.4093        |
+| 3.9809  | 2500  | 0.2725        |
+| 4.7771  | 3000  | 0.1523        |
+| 5.5732  | 3500  | 0.0737        |
+| 6.3694  | 4000  | 0.0784        |
+| 7.1656  | 4500  | 0.1115        |
+| 7.9618  | 5000  | 0.1435        |
+| 8.7580  | 5500  | 0.1006        |
+| 9.5541  | 6000  | 0.0482        |
+| 10.3503 | 6500  | 0.033         |
+| 11.1465 | 7000  | 0.0273        |
+| 11.9427 | 7500  | 0.127         |
+| 12.7389 | 8000  | 0.2191        |
+| 13.5350 | 8500  | 0.0331        |
+| 14.3312 | 9000  | 0.0001        |
+| 15.1274 | 9500  | 0.0137        |
+| 15.9236 | 10000 | 0.0136        |
+| 16.7197 | 10500 | 0.0235        |
+| 17.5159 | 11000 | 0.0001        |
+| 18.3121 | 11500 | 0.012         |
+| 19.1083 | 12000 | 0.0112        |
+| 19.9045 | 12500 | 0.0113        |
 
 
 ### Framework Versions
-- Python: 3.11.13
-- Sentence Transformers: 4.1.0
-- Transformers: 4.53.3
-- PyTorch: 2.6.0+cu124
-- Accelerate: 1.9.0
+- Python: 3.12.11
+- Sentence Transformers: 5.1.0
+- Transformers: 4.55.4
+- PyTorch: 2.8.0+cu126
+- Accelerate: 1.10.1
 - Datasets: 4.0.0
-- Tokenizers: 0.21.2
+- Tokenizers: 0.21.4
 
 ## Citation
 

config.json

@@ -26,10 +26,10 @@
   "position_embedding_type": "absolute",
   "sentence_transformers": {
     "activation_fn": "torch.nn.modules.linear.Identity",
-    "version": "4.1.0"
+    "version": "5.1.0"
   },
   "torch_dtype": "float32",
-  "transformers_version": "4.53.3",
+  "transformers_version": "4.55.4",
   "type_vocab_size": 1,
   "use_cache": true,
   "vocab_size": 250002

model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:c206936da6eb9a47d569c7756e7e997840ab610b4e2236d41d9c06f8c8624812
+oid sha256:404408c41eaafa90f0c7ea036320d8b64aab22d3e7d8db24dda98f428f23df39
 size 470588492