Hugging Face's logo

DHOM-Uni
/
FAQ-Ai-Assistant-V5

Text Ranking
sentence-transformers
Safetensors
electra
cross-encoder
Generated from Trainer
dataset_size:173920
loss:BinaryCrossEntropyLoss
Model card Files
xet
 Community
DHOM-Uni commited on
Commit
aab9e46
·
verified ·
1 Parent(s): 7dbeeba

Upload folder using huggingface_hub

Browse files
Files changed (7) hide show
  1. README.md +380 -0
  2. config.json +40 -0
  3. model.safetensors +3 -0
  4. special_tokens_map.json +37 -0
  5. tokenizer.json +0 -0
  6. tokenizer_config.json +70 -0
  7. vocab.txt +0 -0
README.md ADDED
@@ -0,0 +1,380 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ tags:
3
+ - sentence-transformers
4
+ - cross-encoder
5
+ - generated_from_trainer
6
+ - dataset_size:173920
7
+ - loss:BinaryCrossEntropyLoss
8
+ base_model: MatMulMan/araelectra-base-discriminator-tydi-tafseer-pairs
9
+ pipeline_tag: text-ranking
10
+ library_name: sentence-transformers
11
+ ---
12
+
13
+ # CrossEncoder based on MatMulMan/araelectra-base-discriminator-tydi-tafseer-pairs
14
+
15
+ This is a [Cross Encoder](https://www.sbert.net/docs/cross_encoder/usage/usage.html) model finetuned from [MatMulMan/araelectra-base-discriminator-tydi-tafseer-pairs](https://huggingface.co/MatMulMan/araelectra-base-discriminator-tydi-tafseer-pairs) using the [sentence-transformers](https://www.SBERT.net) library. It computes scores for pairs of texts, which can be used for text reranking and semantic search.
16
+
17
+ ## Model Details
18
+
19
+ ### Model Description
20
+ - **Model Type:** Cross Encoder
21
+ - **Base model:** [MatMulMan/araelectra-base-discriminator-tydi-tafseer-pairs](https://huggingface.co/MatMulMan/araelectra-base-discriminator-tydi-tafseer-pairs) <!-- at revision 7085ca8be3d1c45e2ce57f3d5dfb4c918ac1a37b -->
22
+ - **Maximum Sequence Length:** 512 tokens
23
+ - **Number of Output Labels:** 1 label
24
+ <!-- - **Training Dataset:** Unknown -->
25
+ <!-- - **Language:** Unknown -->
26
+ <!-- - **License:** Unknown -->
27
+
28
+ ### Model Sources
29
+
30
+ - **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
31
+ - **Documentation:** [Cross Encoder Documentation](https://www.sbert.net/docs/cross_encoder/usage/usage.html)
32
+ - **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
33
+ - **Hugging Face:** [Cross Encoders on Hugging Face](https://huggingface.co/models?library=sentence-transformers&other=cross-encoder)
34
+
35
+ ## Usage
36
+
37
+ ### Direct Usage (Sentence Transformers)
38
+
39
+ First install the Sentence Transformers library:
40
+
41
+ ```bash
42
+ pip install -U sentence-transformers
43
+ ```
44
+
45
+ Then you can load this model and run inference.
46
+ ```python
47
+ from sentence_transformers import CrossEncoder
48
+
49
+ # Download from the 🤗 Hub
50
+ model = CrossEncoder("cross_encoder_model_id")
51
+ # Get scores for pairs of texts
52
+ pairs = [
53
+ ['يعني هل التشريع بيحدد إيه أقل حاجة لازم صاحب العمل يوفرها من ناحية أدوات الحماية زي الخوذة أو اللبس الواقي؟', 'أيوه، بمجرد ما تبدأ الشغل، صاحب العمل ملزم يسجلك في التأمين الاجتماعي من أول يوم. ولو ما عملش كده، تقدر تشتكيه وهيتحمل الغرامة.'],
54
+ ['يعني قانون الوظيفة بيلزم أصحاب الشركات إنهم يوفروا أماكن شغل نضيفة وآمنة للعمال، فيها إضاءة كافية وتهوية مظبوطة، ولا ده مش شرط أساسي في التشريع؟ (تغيير في الفاعل من "الشركات" إلى "أصحاب الشركات"، والتركيز على "شرط أساسي")؟', 'لو المرتب ما اتصرفش لأي سبب (زي الإهمال من جهة العمل)، العامل ليه حق يطالب بيه، وبيتدفع له بأثر رجعي. مفيش حاجة اسمها المرتب يسقط مع الوقت.'],
55
+ ['ممكن أعرف السؤال هنا، لو التغييرات اللي حصلت في العقد خلت الوظيفة مستحيل بالنسبة للعامل، هل من حقه إنه ياخد إجراءات تصعيدية؟ (هذه الصيغة تستخدم لغة أكثر رسمية، وتستبدل "الاعتصام" بـ "إجراءات تصعيدية".)؟', 'النسبة بتتقسم كالتالي: العامل: 11% من الأجر التأميني, صاحب العمل: حوالي 18.75%, وده بيغطي المعاشات، إصابات العمل، والتأمين الصحي.'],
56
+ ['طيب، مش المفروض بعد ما الحد الأدنى للأجور بقى أعلى بستة وسبعة آلاف جنيه، الشركات دي تعدل أوضاعها؟ ليه لسه مفيش أي تغيير؟ (تركيز على توقع التعديل في الأوضاع)؟', 'مدة الخدمة بتفرق في قيمة التعويض. يعني كل ما العامل كانت خدمته أطول، بيكون التعويض أكبر. وعلشان كده القانون ساب التقدير للمحكمة عشان تحكم بما يتناسب مع كل حالة.'],
57
+ ['ممكن أعرف فرضًا إن فيه عامل بيشتغل شغلانة فيها خلط، وجاله مرض بيعدي، يبقى من حقه يستحق قد إيه شهر إجازة مرضية عشان يعزل نفسه؟', 'لو الجهات الطبية شافت إن فيه خطر حقيقي، العامل يقدر ياخد إجازة حجر صحي لمدة تصل إلى شهر. وده لحمايته وحماية زمايله في الشغل.'],
58
+ ]
59
+ scores = model.predict(pairs)
60
+ print(scores.shape)
61
+ # (5,)
62
+
63
+ # Or rank different texts based on similarity to a single text
64
+ ranks = model.rank(
65
+ 'يعني هل التشريع بيحدد إيه أقل حاجة لازم صاحب العمل يوفرها من ناحية أدوات الحماية زي الخوذة أو اللبس الواقي؟',
66
+ [
67
+ 'أيوه، بمجرد ما تبدأ الشغل، صاحب العمل ملزم يسجلك في التأمين الاجتماعي من أول يوم. ولو ما عملش كده، تقدر تشتكيه وهيتحمل الغرامة.',
68
+ 'لو المرتب ما اتصرفش لأي سبب (زي الإهمال من جهة العمل)، العامل ليه حق يطالب بيه، وبيتدفع له بأثر رجعي. مفيش حاجة اسمها المرتب يسقط مع الوقت.',
69
+ 'النسبة بتتقسم كالتالي: العامل: 11% من الأجر التأميني, صاحب العمل: حوالي 18.75%, وده بيغطي المعاشات، إصابات العمل، والتأمين الصحي.',
70
+ 'مدة الخدمة بتفرق في قيمة التعويض. يعني كل ما العامل كانت خدمته أطول، بيكون التعويض أكبر. وعلشان كده القانون ساب التقدير للمحكمة عشان تحكم بما يتناسب مع كل حالة.',
71
+ 'لو الجهات الطبية شافت إن فيه خطر حقيقي، العامل يقدر ياخد إجازة حجر صحي لمدة تصل إلى شهر. وده لحمايته وحماية زمايله في الشغل.',
72
+ ]
73
+ )
74
+ # [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]
75
+ ```
76
+
77
+ <!--
78
+ ### Direct Usage (Transformers)
79
+
80
+ <details><summary>Click to see the direct usage in Transformers</summary>
81
+
82
+ </details>
83
+ -->
84
+
85
+ <!--
86
+ ### Downstream Usage (Sentence Transformers)
87
+
88
+ You can finetune this model on your own dataset.
89
+
90
+ <details><summary>Click to expand</summary>
91
+
92
+ </details>
93
+ -->
94
+
95
+ <!--
96
+ ### Out-of-Scope Use
97
+
98
+ *List how the model may foreseeably be misused and address what users ought not to do with the model.*
99
+ -->
100
+
101
+ <!--
102
+ ## Bias, Risks and Limitations
103
+
104
+ *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
105
+ -->
106
+
107
+ <!--
108
+ ### Recommendations
109
+
110
+ *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
111
+ -->
112
+
113
+ ## Training Details
114
+
115
+ ### Training Dataset
116
+
117
+ #### Unnamed Dataset
118
+
119
+ * Size: 173,920 training samples
120
+ * Columns: <code>sentence_0</code>, <code>sentence_1</code>, and <code>label</code>
121
+ * Approximate statistics based on the first 1000 samples:
122
+ | | sentence_0 | sentence_1 | label |
123
+ |:--------|:-------------------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------------------|:---------------------------------------------------------------|
124
+ | type | string | string | float |
125
+ | details | <ul><li>min: 33 characters</li><li>mean: 114.82 characters</li><li>max: 326 characters</li></ul> | <ul><li>min: 16 characters</li><li>mean: 143.94 characters</li><li>max: 399 characters</li></ul> | <ul><li>min: 0.0</li><li>mean: 0.26</li><li>max: 1.0</li></ul> |
126
+ * Samples:
127
+ | sentence_0 | sentence_1 | label |
128
+ |:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------|:-----------------|
129
+ | <code>يعني هل التشريع بيحدد إيه أقل حاجة لازم صاحب العمل يوفرها من ناحية أدوات الحماية زي الخوذة أو اللبس الواقي؟</code> | <code>أيوه، بمجرد ما تبدأ الشغل، صاحب العمل ملزم يسجلك في التأمين الاجتماعي من أول يوم. ولو ما عملش كده، تقدر تشتكيه وهيتحمل الغرامة.</code> | <code>0.0</code> |
130
+ | <code>يعني قانون الوظيفة بيلزم أصحاب الشركات إنهم يوفروا أماكن شغل نضيفة وآمنة للعمال، فيها إضاءة كافية وتهوية مظبوطة، ولا ده مش شرط أساسي في التشريع؟ (تغيير في الفاعل من "الشركات" إلى "أصحاب الشركات"، والتركيز على "شرط أساسي")؟</code> | <code>لو المرتب ما اتصرفش لأي سبب (زي الإهمال من جهة العمل)، العامل ليه حق يطالب بيه، وبيتدفع له بأثر رجعي. مفيش حاجة اسمها المرتب يسقط مع الوقت.</code> | <code>0.0</code> |
131
+ | <code>ممكن أعرف السؤال هنا، لو التغييرات اللي حصلت في العقد خلت الوظيفة مستحيل بالنسبة للعامل، هل من حقه إنه ياخد إجراءات تصعيدية؟ (هذه الصيغة تستخدم لغة أكثر رسمية، وتستبدل "الاعتصام" بـ "إجراءات تصعيدية".)؟</code> | <code>النسبة بتتقسم كالتالي: العامل: 11% من الأجر التأميني, صاحب العمل: حوالي 18.75%, وده بيغطي المعاشات، إصابات العمل، والتأمين الصحي.</code> | <code>0.0</code> |
132
+ * Loss: [<code>BinaryCrossEntropyLoss</code>](https://sbert.net/docs/package_reference/cross_encoder/losses.html#binarycrossentropyloss) with these parameters:
133
+ ```json
134
+ {
135
+ "activation_fn": "torch.nn.modules.linear.Identity",
136
+ "pos_weight": null
137
+ }
138
+ ```
139
+
140
+ ### Training Hyperparameters
141
+ #### Non-Default Hyperparameters
142
+
143
+ - `per_device_train_batch_size`: 16
144
+ - `per_device_eval_batch_size`: 16
145
+ - `disable_tqdm`: True
146
+
147
+ #### All Hyperparameters
148
+ <details><summary>Click to expand</summary>
149
+
150
+ - `overwrite_output_dir`: False
151
+ - `do_predict`: False
152
+ - `eval_strategy`: no
153
+ - `prediction_loss_only`: True
154
+ - `per_device_train_batch_size`: 16
155
+ - `per_device_eval_batch_size`: 16
156
+ - `per_gpu_train_batch_size`: None
157
+ - `per_gpu_eval_batch_size`: None
158
+ - `gradient_accumulation_steps`: 1
159
+ - `eval_accumulation_steps`: None
160
+ - `torch_empty_cache_steps`: None
161
+ - `learning_rate`: 5e-05
162
+ - `weight_decay`: 0.0
163
+ - `adam_beta1`: 0.9
164
+ - `adam_beta2`: 0.999
165
+ - `adam_epsilon`: 1e-08
166
+ - `max_grad_norm`: 1
167
+ - `num_train_epochs`: 3
168
+ - `max_steps`: -1
169
+ - `lr_scheduler_type`: linear
170
+ - `lr_scheduler_kwargs`: {}
171
+ - `warmup_ratio`: 0.0
172
+ - `warmup_steps`: 0
173
+ - `log_level`: passive
174
+ - `log_level_replica`: warning
175
+ - `log_on_each_node`: True
176
+ - `logging_nan_inf_filter`: True
177
+ - `save_safetensors`: True
178
+ - `save_on_each_node`: False
179
+ - `save_only_model`: False
180
+ - `restore_callback_states_from_checkpoint`: False
181
+ - `no_cuda`: False
182
+ - `use_cpu`: False
183
+ - `use_mps_device`: False
184
+ - `seed`: 42
185
+ - `data_seed`: None
186
+ - `jit_mode_eval`: False
187
+ - `use_ipex`: False
188
+ - `bf16`: False
189
+ - `fp16`: False
190
+ - `fp16_opt_level`: O1
191
+ - `half_precision_backend`: auto
192
+ - `bf16_full_eval`: False
193
+ - `fp16_full_eval`: False
194
+ - `tf32`: None
195
+ - `local_rank`: 0
196
+ - `ddp_backend`: None
197
+ - `tpu_num_cores`: None
198
+ - `tpu_metrics_debug`: False
199
+ - `debug`: []
200
+ - `dataloader_drop_last`: False
201
+ - `dataloader_num_workers`: 0
202
+ - `dataloader_prefetch_factor`: None
203
+ - `past_index`: -1
204
+ - `disable_tqdm`: True
205
+ - `remove_unused_columns`: True
206
+ - `label_names`: None
207
+ - `load_best_model_at_end`: False
208
+ - `ignore_data_skip`: False
209
+ - `fsdp`: []
210
+ - `fsdp_min_num_params`: 0
211
+ - `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
212
+ - `fsdp_transformer_layer_cls_to_wrap`: None
213
+ - `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
214
+ - `deepspeed`: None
215
+ - `label_smoothing_factor`: 0.0
216
+ - `optim`: adamw_torch
217
+ - `optim_args`: None
218
+ - `adafactor`: False
219
+ - `group_by_length`: False
220
+ - `length_column_name`: length
221
+ - `ddp_find_unused_parameters`: None
222
+ - `ddp_bucket_cap_mb`: None
223
+ - `ddp_broadcast_buffers`: False
224
+ - `dataloader_pin_memory`: True
225
+ - `dataloader_persistent_workers`: False
226
+ - `skip_memory_metrics`: True
227
+ - `use_legacy_prediction_loop`: False
228
+ - `push_to_hub`: False
229
+ - `resume_from_checkpoint`: None
230
+ - `hub_model_id`: None
231
+ - `hub_strategy`: every_save
232
+ - `hub_private_repo`: None
233
+ - `hub_always_push`: False
234
+ - `hub_revision`: None
235
+ - `gradient_checkpointing`: False
236
+ - `gradient_checkpointing_kwargs`: None
237
+ - `include_inputs_for_metrics`: False
238
+ - `include_for_metrics`: []
239
+ - `eval_do_concat_batches`: True
240
+ - `fp16_backend`: auto
241
+ - `push_to_hub_model_id`: None
242
+ - `push_to_hub_organization`: None
243
+ - `mp_parameters`:
244
+ - `auto_find_batch_size`: False
245
+ - `full_determinism`: False
246
+ - `torchdynamo`: None
247
+ - `ray_scope`: last
248
+ - `ddp_timeout`: 1800
249
+ - `torch_compile`: False
250
+ - `torch_compile_backend`: None
251
+ - `torch_compile_mode`: None
252
+ - `include_tokens_per_second`: False
253
+ - `include_num_input_tokens_seen`: False
254
+ - `neftune_noise_alpha`: None
255
+ - `optim_target_modules`: None
256
+ - `batch_eval_metrics`: False
257
+ - `eval_on_start`: False
258
+ - `use_liger_kernel`: False
259
+ - `liger_kernel_config`: None
260
+ - `eval_use_gather_object`: False
261
+ - `average_tokens_across_devices`: False
262
+ - `prompts`: None
263
+ - `batch_sampler`: batch_sampler
264
+ - `multi_dataset_batch_sampler`: proportional
265
+
266
+ </details>
267
+
268
+ ### Training Logs
269
+ | Epoch | Step | Training Loss |
270
+ |:------:|:-----:|:-------------:|
271
+ | 0.0460 | 500 | 0.5201 |
272
+ | 0.0920 | 1000 | 0.2165 |
273
+ | 0.1380 | 1500 | 0.1608 |
274
+ | 0.1840 | 2000 | 0.1462 |
275
+ | 0.2300 | 2500 | 0.1243 |
276
+ | 0.2760 | 3000 | 0.118 |
277
+ | 0.3220 | 3500 | 0.0899 |
278
+ | 0.3680 | 4000 | 0.0774 |
279
+ | 0.4140 | 4500 | 0.0783 |
280
+ | 0.4600 | 5000 | 0.0726 |
281
+ | 0.5060 | 5500 | 0.0741 |
282
+ | 0.5520 | 6000 | 0.0659 |
283
+ | 0.5980 | 6500 | 0.0594 |
284
+ | 0.6440 | 7000 | 0.0722 |
285
+ | 0.6900 | 7500 | 0.0619 |
286
+ | 0.7360 | 8000 | 0.0597 |
287
+ | 0.7820 | 8500 | 0.0502 |
288
+ | 0.8280 | 9000 | 0.0586 |
289
+ | 0.8740 | 9500 | 0.0497 |
290
+ | 0.9200 | 10000 | 0.0444 |
291
+ | 0.9660 | 10500 | 0.0489 |
292
+ | 1.0120 | 11000 | 0.0448 |
293
+ | 1.0580 | 11500 | 0.0414 |
294
+ | 1.1040 | 12000 | 0.0363 |
295
+ | 1.1500 | 12500 | 0.0332 |
296
+ | 1.1960 | 13000 | 0.0352 |
297
+ | 1.2420 | 13500 | 0.0388 |
298
+ | 1.2879 | 14000 | 0.0409 |
299
+ | 1.3339 | 14500 | 0.0331 |
300
+ | 1.3799 | 15000 | 0.0412 |
301
+ | 1.4259 | 15500 | 0.0325 |
302
+ | 1.4719 | 16000 | 0.0273 |
303
+ | 1.5179 | 16500 | 0.0354 |
304
+ | 1.5639 | 17000 | 0.0337 |
305
+ | 1.6099 | 17500 | 0.0294 |
306
+ | 1.6559 | 18000 | 0.0328 |
307
+ | 1.7019 | 18500 | 0.0271 |
308
+ | 1.7479 | 19000 | 0.0267 |
309
+ | 1.7939 | 19500 | 0.0225 |
310
+ | 1.8399 | 20000 | 0.0268 |
311
+ | 1.8859 | 20500 | 0.0305 |
312
+ | 1.9319 | 21000 | 0.0321 |
313
+ | 1.9779 | 21500 | 0.0277 |
314
+ | 2.0239 | 22000 | 0.023 |
315
+ | 2.0699 | 22500 | 0.0247 |
316
+ | 2.1159 | 23000 | 0.0237 |
317
+ | 2.1619 | 23500 | 0.0306 |
318
+ | 2.2079 | 24000 | 0.0278 |
319
+ | 2.2539 | 24500 | 0.0253 |
320
+ | 2.2999 | 25000 | 0.026 |
321
+ | 2.3459 | 25500 | 0.0199 |
322
+ | 2.3919 | 26000 | 0.0246 |
323
+ | 2.4379 | 26500 | 0.0184 |
324
+ | 2.4839 | 27000 | 0.0222 |
325
+ | 2.5299 | 27500 | 0.0274 |
326
+ | 2.5759 | 28000 | 0.0254 |
327
+ | 2.6219 | 28500 | 0.0163 |
328
+ | 2.6679 | 29000 | 0.0226 |
329
+ | 2.7139 | 29500 | 0.0182 |
330
+ | 2.7599 | 30000 | 0.0201 |
331
+ | 2.8059 | 30500 | 0.0289 |
332
+ | 2.8519 | 31000 | 0.0222 |
333
+ | 2.8979 | 31500 | 0.0185 |
334
+ | 2.9439 | 32000 | 0.0244 |
335
+ | 2.9899 | 32500 | 0.0193 |
336
+
337
+
338
+ ### Framework Versions
339
+ - Python: 3.11.13
340
+ - Sentence Transformers: 4.1.0
341
+ - Transformers: 4.54.1
342
+ - PyTorch: 2.6.0+cu124
343
+ - Accelerate: 1.9.0
344
+ - Datasets: 4.0.0
345
+ - Tokenizers: 0.21.4
346
+
347
+ ## Citation
348
+
349
+ ### BibTeX
350
+
351
+ #### Sentence Transformers
352
+ ```bibtex
353
+ @inproceedings{reimers-2019-sentence-bert,
354
+ title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
355
+ author = "Reimers, Nils and Gurevych, Iryna",
356
+ booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
357
+ month = "11",
358
+ year = "2019",
359
+ publisher = "Association for Computational Linguistics",
360
+ url = "https://arxiv.org/abs/1908.10084",
361
+ }
362
+ ```
363
+
364
+ <!--
365
+ ## Glossary
366
+
367
+ *Clearly define terms in order to be accessible across audiences.*
368
+ -->
369
+
370
+ <!--
371
+ ## Model Card Authors
372
+
373
+ *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
374
+ -->
375
+
376
+ <!--
377
+ ## Model Card Contact
378
+
379
+ *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
380
+ -->
config.json ADDED
@@ -0,0 +1,40 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "architectures": [
3
+ "ElectraForSequenceClassification"
4
+ ],
5
+ "attention_probs_dropout_prob": 0.1,
6
+ "classifier_dropout": null,
7
+ "embedding_size": 768,
8
+ "generator_hidden_size": 0.33333,
9
+ "hidden_act": "gelu",
10
+ "hidden_dropout_prob": 0.1,
11
+ "hidden_size": 768,
12
+ "id2label": {
13
+ "0": "LABEL_0"
14
+ },
15
+ "initializer_range": 0.02,
16
+ "intermediate_size": 3072,
17
+ "label2id": {
18
+ "LABEL_0": 0
19
+ },
20
+ "layer_norm_eps": 1e-12,
21
+ "max_position_embeddings": 512,
22
+ "model_type": "electra",
23
+ "num_attention_heads": 12,
24
+ "num_hidden_layers": 12,
25
+ "pad_token_id": 0,
26
+ "position_embedding_type": "absolute",
27
+ "sentence_transformers": {
28
+ "activation_fn": "torch.nn.modules.activation.Sigmoid",
29
+ "version": "4.1.0"
30
+ },
31
+ "summary_activation": "gelu",
32
+ "summary_last_dropout": 0.1,
33
+ "summary_type": "first",
34
+ "summary_use_proj": true,
35
+ "torch_dtype": "float32",
36
+ "transformers_version": "4.54.1",
37
+ "type_vocab_size": 2,
38
+ "use_cache": true,
39
+ "vocab_size": 64000
40
+ }
model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:88f09ea94f109141c5431e2147ffa768a1bc974c6cd19f6d766177f32edfbb81
3
+ size 540800596
special_tokens_map.json ADDED
@@ -0,0 +1,37 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "cls_token": {
3
+ "content": "[CLS]",
4
+ "lstrip": false,
5
+ "normalized": false,
6
+ "rstrip": false,
7
+ "single_word": false
8
+ },
9
+ "mask_token": {
10
+ "content": "[MASK]",
11
+ "lstrip": false,
12
+ "normalized": false,
13
+ "rstrip": false,
14
+ "single_word": false
15
+ },
16
+ "pad_token": {
17
+ "content": "[PAD]",
18
+ "lstrip": false,
19
+ "normalized": false,
20
+ "rstrip": false,
21
+ "single_word": false
22
+ },
23
+ "sep_token": {
24
+ "content": "[SEP]",
25
+ "lstrip": false,
26
+ "normalized": false,
27
+ "rstrip": false,
28
+ "single_word": false
29
+ },
30
+ "unk_token": {
31
+ "content": "[UNK]",
32
+ "lstrip": false,
33
+ "normalized": false,
34
+ "rstrip": false,
35
+ "single_word": false
36
+ }
37
+ }
tokenizer.json ADDED
The diff for this file is too large to render. See raw diff
 
tokenizer_config.json ADDED
@@ -0,0 +1,70 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "added_tokens_decoder": {
3
+ "0": {
4
+ "content": "[PAD]",
5
+ "lstrip": false,
6
+ "normalized": false,
7
+ "rstrip": false,
8
+ "single_word": false,
9
+ "special": true
10
+ },
11
+ "1": {
12
+ "content": "[UNK]",
13
+ "lstrip": false,
14
+ "normalized": false,
15
+ "rstrip": false,
16
+ "single_word": false,
17
+ "special": true
18
+ },
19
+ "2": {
20
+ "content": "[CLS]",
21
+ "lstrip": false,
22
+ "normalized": false,
23
+ "rstrip": false,
24
+ "single_word": false,
25
+ "special": true
26
+ },
27
+ "3": {
28
+ "content": "[SEP]",
29
+ "lstrip": false,
30
+ "normalized": false,
31
+ "rstrip": false,
32
+ "single_word": false,
33
+ "special": true
34
+ },
35
+ "4": {
36
+ "content": "[MASK]",
37
+ "lstrip": false,
38
+ "normalized": false,
39
+ "rstrip": false,
40
+ "single_word": false,
41
+ "special": true
42
+ }
43
+ },
44
+ "clean_up_tokenization_spaces": true,
45
+ "cls_token": "[CLS]",
46
+ "do_basic_tokenize": true,
47
+ "do_lower_case": false,
48
+ "extra_special_tokens": {},
49
+ "mask_token": "[MASK]",
50
+ "max_len": 512,
51
+ "max_length": 512,
52
+ "model_max_length": 512,
53
+ "never_split": [
54
+ "[بريد]",
55
+ "[مستخدم]",
56
+ "[رابط]"
57
+ ],
58
+ "pad_to_multiple_of": null,
59
+ "pad_token": "[PAD]",
60
+ "pad_token_type_id": 0,
61
+ "padding_side": "right",
62
+ "sep_token": "[SEP]",
63
+ "stride": 0,
64
+ "strip_accents": null,
65
+ "tokenize_chinese_chars": true,
66
+ "tokenizer_class": "ElectraTokenizer",
67
+ "truncation_side": "right",
68
+ "truncation_strategy": "longest_first",
69
+ "unk_token": "[UNK]"
70
+ }
vocab.txt ADDED
The diff for this file is too large to render. See raw diff