yoriis/GTE-tydi-tafseer

CrossEncoder based on yoriis/GTE-tydi

This is a Cross Encoder model finetuned from yoriis/GTE-tydi using the sentence-transformers library. It computes scores for pairs of texts, which can be used for text reranking and semantic search.

Model Details

Model Description

• Model Type: Cross Encoder
• Base model: yoriis/GTE-tydi
• Maximum Sequence Length: 512 tokens
• Number of Output Labels: 1 label

Model Sources

• Documentation: Sentence Transformers Documentation
• Documentation: Cross Encoder Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Cross Encoders on Hugging Face

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import CrossEncoder

# Download from the 🤗 Hub
model = CrossEncoder("yoriis/GTE-tydi-tafseer")
# Get scores for pairs of texts
pairs = [
    ['«يا أيها الذين أوتوا الكتاب آمنوا بما نزلنا» من القرآن «مصدقا لما معكم» من التوراة «من قبل أن نطمس وجوها» نمحو ما فيها من العين والأنف والحاجب «فنردها على أدبارها» فنجعلها كالأقفاء لوحا واحدا «أو نلعنهم» نمسخهم قردة «كما لعنا» مسخنا «أصحاب السبت» منهم «وكان أمر الله» قضاؤه «مفعولا» ولما نزلت أسلم عبد الله بن سلام فقيل كان وعيدا بشرط فلما أسلم به ببعضهم رفع وقيل يكون طمس ومسح قبل قيام الساعة\n «إن الله لا يغفر أن يشرك» أي الإشراك «به ويغفر ما دون» سوى «ذلك» من الذنوب «لمن يشاء» المغفرة له بأن يدخله الجنة بلا عذاب ومن شاء عذبه من المؤمنين بذنوبه ثم يدخله الجنة «ومن يشرك بالله فقد افترى إثما» ذنبا «عظيما» كبيرا', 'قل من ينجيكم من ظلمات البر والبحر تدعونه تضرعا وخفية لئن أنجانا من هذه لنكونن من الشاكرين. قل الله ينجيكم منها ومن كل كرب ثم أنتم تشركون. قل هو القادر على أن يبعث عليكم عذابا من فوقكم أو من تحت أرجلكم أو يلبسكم شيعا ويذيق بعضكم بأس بعض انظر كيف نصرف الآيات لعلهم يفقهون. وكذب به قومك وهو الحق قل لست عليكم بوكيل. لكل نبإ مستقر وسوف تعلمون.'],
    ['«قل يا أيها الناس» أي أهل مكة «إن كنتم في شك من ديني» أنه حق «فلا أعبد الذين تعبدون من دون الله» أي غيره وهو الأصنام لشككم فيه «ولكن أعبد الله الذي يتوفاكم» يقبض أرواحكم «وأمرت أن» أي بأن «أكون من المؤمنين»\n «و» قيل لي «أن أقم وجهك للدين حنيفا» مائلا إليه «ولا تكونن من المشركين»\n «ولا تدع» تعبد «من دون الله ما لا ينفعك» إن عبدته «ولا يضرك» إن لم تعبده «فإن فعلت» ذلك فرضا «فإنك إذا من الظالمين»', 'قل للذين كفروا إن ينتهوا يغفر لهم ما قد سلف وإن يعودوا فقد مضت سنت الأولين. وقاتلوهم حتى لا تكون فتنة ويكون الدين كله لله فإن انتهوا فإن الله بما يعملون بصير. وإن تولوا فاعلموا أن الله مولاكم نعم المولى ونعم النصير.'],
    ['«أجعلتم سقاية الحاج وعمارة المسجد الحرام» أي أهل ذلك «كمن آمن بالله واليوم الآخر وجاهد في سبيل الله لا يستوون عند الله» في الفضل «والله لا يهدي القوم الظالمين» الكافرين نزلت ردا على من قال ذلك وهو العباس أو غيره\n «الذين آمنوا وهاجروا وجاهدوا في سبيل الله بأموالهم وأنفسهم أعظم درجة» رتبة «عند الله» من غيرهم «وأولئك هم الفائزون» الظافرون بالخير\n «يبشرهم ربهم برحمة منه ورضوان وجنات لهم فيها نعيم مقيم» دائم\n «خالدين» حال مقدرة «فيها أبدا إن الله عنده أجر عظيم»', 'أجعلتم سقاية الحاج وعمارة المسجد الحرام كمن آمن بالله واليوم الآخر وجاهد في سبيل الله لا يستوون عند الله والله لا يهدي القوم الظالمين. الذين آمنوا وهاجروا وجاهدوا في سبيل الله بأموالهم وأنفسهم أعظم درجة عند الله وأولئك هم الفائزون. يبشرهم ربهم برحمة منه ورضوان وجنات لهم فيها نعيم مقيم. خالدين فيها أبدا إن الله عنده أجر عظيم.'],
    ['«نحن خلقناكم» أوجدناكم من عدم «فلولا» هلا «تصدقون» بالبعث إذ القادر على الإنشاء قادر على الإعادة\n «أفرأيتم ما تمنون» تريقون من المني في أرحام النساء\n «أأنتم» بتحقيق الهمزتين وإبدال الثانية ألفا وتسهيلها وإدخال ألف بين المسهلة والأخرى وتركه في المواضع الأخرى «تخلقونه» أي المني بشرا «أم نحن الخالقون»\n «نحن قدرنا» بالتشديد والتخفيف «بينكم الموت وما نحن بمسبوقين» بعاجزين\n «على» عن «أن نبدل» نجعل «أمثالكم» مكانكم «وننشئكم» نخلقكم «في مالا تعلمون» من الصور كالقردة والخنازير\n «ولقد علمتم النشاءة الأولى» وفي قراءة بسكون الشين «فلولا تذكرون» فيه إدغام التاء الثانية في الأصل في الذال', 'القارعة. ما القارعة. وما أدراك ما القارعة. يوم يكون الناس كالفراش المبثوث. وتكون الجبال كالعهن المنفوش.'],
    ['«والعاديات» الخيل تعدو في الغزو وتضبح «ضبحا» هو صوت أجوافها إذا عدت\n «فالموريات» الخيل توري النار «قدحا» بحوافرها إذا سارت في الأرض ذات الحجارة بالليل\n «فالمغيرات صبحا» الخيل تغير على العدو وقت الصبح بإغارة أصحابها\n «فأثرن» هيجن «به» بمكان عدوهن أو بذلك الوقت «نقعا» غبارا بشدة حركتهن\n «فوسطن به» بالنقع «جمعا» من العدو أي صرن وسطه وعطف الفعل على الاسم لأنه في تأويل الفعل أي واللاتي عدون فأورين فأغرن', 'إذ أنتم بالعدوة الدنيا وهم بالعدوة القصوى والركب أسفل منكم ولو تواعدتم لاختلفتم في الميعاد ولكن ليقضي الله أمرا كان مفعولا ليهلك من هلك عن بينة ويحيى من حي عن بينة وإن الله لسميع عليم. إذ يريكهم الله في منامك قليلا ولو أراكهم كثيرا لفشلتم ولتنازعتم في الأمر ولكن الله سلم إنه عليم بذات الصدور. وإذ يريكموهم إذ التقيتم في أعينكم قليلا ويقللكم في أعينهم ليقضي الله أمرا كان مفعولا وإلى الله ترجع الأمور.'],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)

# Or rank different texts based on similarity to a single text
ranks = model.rank(
    '«يا أيها الذين أوتوا الكتاب آمنوا بما نزلنا» من القرآن «مصدقا لما معكم» من التوراة «من قبل أن نطمس وجوها» نمحو ما فيها من العين والأنف والحاجب «فنردها على أدبارها» فنجعلها كالأقفاء لوحا واحدا «أو نلعنهم» نمسخهم قردة «كما لعنا» مسخنا «أصحاب السبت» منهم «وكان أمر الله» قضاؤه «مفعولا» ولما نزلت أسلم عبد الله بن سلام فقيل كان وعيدا بشرط فلما أسلم به ببعضهم رفع وقيل يكون طمس ومسح قبل قيام الساعة\n «إن الله لا يغفر أن يشرك» أي الإشراك «به ويغفر ما دون» سوى «ذلك» من الذنوب «لمن يشاء» المغفرة له بأن يدخله الجنة بلا عذاب ومن شاء عذبه من المؤمنين بذنوبه ثم يدخله الجنة «ومن يشرك بالله فقد افترى إثما» ذنبا «عظيما» كبيرا',
    [
        'قل من ينجيكم من ظلمات البر والبحر تدعونه تضرعا وخفية لئن أنجانا من هذه لنكونن من الشاكرين. قل الله ينجيكم منها ومن كل كرب ثم أنتم تشركون. قل هو القادر على أن يبعث عليكم عذابا من فوقكم أو من تحت أرجلكم أو يلبسكم شيعا ويذيق بعضكم بأس بعض انظر كيف نصرف الآيات لعلهم يفقهون. وكذب به قومك وهو الحق قل لست عليكم بوكيل. لكل نبإ مستقر وسوف تعلمون.',
        'قل للذين كفروا إن ينتهوا يغفر لهم ما قد سلف وإن يعودوا فقد مضت سنت الأولين. وقاتلوهم حتى لا تكون فتنة ويكون الدين كله لله فإن انتهوا فإن الله بما يعملون بصير. وإن تولوا فاعلموا أن الله مولاكم نعم المولى ونعم النصير.',
        'أجعلتم سقاية الحاج وعمارة المسجد الحرام كمن آمن بالله واليوم الآخر وجاهد في سبيل الله لا يستوون عند الله والله لا يهدي القوم الظالمين. الذين آمنوا وهاجروا وجاهدوا في سبيل الله بأموالهم وأنفسهم أعظم درجة عند الله وأولئك هم الفائزون. يبشرهم ربهم برحمة منه ورضوان وجنات لهم فيها نعيم مقيم. خالدين فيها أبدا إن الله عنده أجر عظيم.',
        'القارعة. ما القارعة. وما أدراك ما القارعة. يوم يكون الناس كالفراش المبثوث. وتكون الجبال كالعهن المنفوش.',
        'إذ أنتم بالعدوة الدنيا وهم بالعدوة القصوى والركب أسفل منكم ولو تواعدتم لاختلفتم في الميعاد ولكن ليقضي الله أمرا كان مفعولا ليهلك من هلك عن بينة ويحيى من حي عن بينة وإن الله لسميع عليم. إذ يريكهم الله في منامك قليلا ولو أراكهم كثيرا لفشلتم ولتنازعتم في الأمر ولكن الله سلم إنه عليم بذات الصدور. وإذ يريكموهم إذ التقيتم في أعينكم قليلا ويقللكم في أعينهم ليقضي الله أمرا كان مفعولا وإلى الله ترجع الأمور.',
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

Evaluation

Metrics

Cross Encoder Classification

• Dataset: eval
• Evaluated with CrossEncoderClassificationEvaluator

Metric	Value
accuracy	1.0
accuracy_threshold	0.8513
f1	1.0
f1_threshold	0.8513
precision	1.0
recall	1.0
average_precision	1.0

Training Details

Training Dataset

Unnamed Dataset

• Size: 9,115 training samples
• Columns: sentence_0, sentence_1, and label
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	label
  type	string	string	float
  details	min: 95 characters mean: 801.29 characters max: 4968 characters	min: 39 characters mean: 316.57 characters max: 1086 characters	min: 0.0 mean: 0.13 max: 1.0

• Samples:

  sentence_0	sentence_1	label
  «يا أيها الذين أوتوا الكتاب آمنوا بما نزلنا» من القرآن «مصدقا لما معكم» من التوراة «من قبل أن نطمس وجوها» نمحو ما فيها من العين والأنف والحاجب «فنردها على أدبارها» فنجعلها كالأقفاء لوحا واحدا «أو نلعنهم» نمسخهم قردة «كما لعنا» مسخنا «أصحاب السبت» منهم «وكان أمر الله» قضاؤه «مفعولا» ولما نزلت أسلم عبد الله بن سلام فقيل كان وعيدا بشرط فلما أسلم به ببعضهم رفع وقيل يكون طمس ومسح قبل قيام الساعة «إن الله لا يغفر أن يشرك» أي الإشراك «به ويغفر ما دون» سوى «ذلك» من الذنوب «لمن يشاء» المغفرة له بأن يدخله الجنة بلا عذاب ومن شاء عذبه من المؤمنين بذنوبه ثم يدخله الجنة «ومن يشرك بالله فقد افترى إثما» ذنبا «عظيما» كبيرا	قل من ينجيكم من ظلمات البر والبحر تدعونه تضرعا وخفية لئن أنجانا من هذه لنكونن من الشاكرين. قل الله ينجيكم منها ومن كل كرب ثم أنتم تشركون. قل هو القادر على أن يبعث عليكم عذابا من فوقكم أو من تحت أرجلكم أو يلبسكم شيعا ويذيق بعضكم بأس بعض انظر كيف نصرف الآيات لعلهم يفقهون. وكذب به قومك وهو الحق قل لست عليكم بوكيل. لكل نبإ مستقر وسوف تعلمون.	0.0
  «قل يا أيها الناس» أي أهل مكة «إن كنتم في شك من ديني» أنه حق «فلا أعبد الذين تعبدون من دون الله» أي غيره وهو الأصنام لشككم فيه «ولكن أعبد الله الذي يتوفاكم» يقبض أرواحكم «وأمرت أن» أي بأن «أكون من المؤمنين» «و» قيل لي «أن أقم وجهك للدين حنيفا» مائلا إليه «ولا تكونن من المشركين» «ولا تدع» تعبد «من دون الله ما لا ينفعك» إن عبدته «ولا يضرك» إن لم تعبده «فإن فعلت» ذلك فرضا «فإنك إذا من الظالمين»	قل للذين كفروا إن ينتهوا يغفر لهم ما قد سلف وإن يعودوا فقد مضت سنت الأولين. وقاتلوهم حتى لا تكون فتنة ويكون الدين كله لله فإن انتهوا فإن الله بما يعملون بصير. وإن تولوا فاعلموا أن الله مولاكم نعم المولى ونعم النصير.	0.0
  «أجعلتم سقاية الحاج وعمارة المسجد الحرام» أي أهل ذلك «كمن آمن بالله واليوم الآخر وجاهد في سبيل الله لا يستوون عند الله» في الفضل «والله لا يهدي القوم الظالمين» الكافرين نزلت ردا على من قال ذلك وهو العباس أو غيره «الذين آمنوا وهاجروا وجاهدوا في سبيل الله بأموالهم وأنفسهم أعظم درجة» رتبة «عند الله» من غيرهم «وأولئك هم الفائزون» الظافرون بالخير «يبشرهم ربهم برحمة منه ورضوان وجنات لهم فيها نعيم مقيم» دائم «خالدين» حال مقدرة «فيها أبدا إن الله عنده أجر عظيم»	أجعلتم سقاية الحاج وعمارة المسجد الحرام كمن آمن بالله واليوم الآخر وجاهد في سبيل الله لا يستوون عند الله والله لا يهدي القوم الظالمين. الذين آمنوا وهاجروا وجاهدوا في سبيل الله بأموالهم وأنفسهم أعظم درجة عند الله وأولئك هم الفائزون. يبشرهم ربهم برحمة منه ورضوان وجنات لهم فيها نعيم مقيم. خالدين فيها أبدا إن الله عنده أجر عظيم.	1.0

• Loss: BinaryCrossEntropyLoss with these parameters:

  {
      "activation_fn": "torch.nn.modules.linear.Identity",
      "pos_weight": null
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• num_train_epochs: 4
• fp16: True

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 4
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	eval_average_precision
0.4386	500	0.1057	1.0
0.8772	1000	0.001	1.0000
1.0	1140	-	1.0
1.3158	1500	0.0008	1.0000
1.7544	2000	0.0005	1.0000
2.0	2280	-	1.0000
2.1930	2500	0.0005	1.0
2.6316	3000	0.0004	1.0
3.0	3420	-	1.0000
3.0702	3500	0.0004	1.0
3.5088	4000	0.0004	1.0000
3.9474	4500	0.0004	1.0
4.0	4560	-	1.0

Framework Versions

• Python: 3.11.13
• Sentence Transformers: 5.0.0
• Transformers: 4.55.0
• PyTorch: 2.6.0+cu124
• Accelerate: 1.9.0
• Datasets: 4.0.0
• Tokenizers: 0.21.4

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}