SentenceTransformer based on sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

This is a sentence-transformers model finetuned from sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
• Maximum Sequence Length: 128 tokens
• Output Dimensionality: 384 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False, 'architecture': 'BertModel'})
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("ntAnh-dev/paraphrase-multilingual-MiniLM-L12-v2")
# Run inference
sentences = [
    'Khi tham gia chương trình sinh hoạt công dân do trường ,viện tổ chức thì đạt bao nhiêu điểm rèn luyện?',
    'KHUNG ĐÁNH GIÁ KẾT QUẢ RÈN LUYỆN SINH VIÊN 2022-2023\nTiêu chí điểm cộng (Tối đa 100 điểm)\nĐiểm học tập (Tối đa 30 điểm)\nKết quả học tập có điểm trung bình học kỳ (tối đa 24 điểm):\nCó kết quả học tập ở mức GPA ≥ 3.6; minh chứng: dựa trên hệ thống quản lý; điểm: 20\nCó kết quả học tập ở mức: 3.2 ≤ GPA < 3.6; minh chứng: dựa trên hệ thống quản lý; điểm: 18\nCó kết quả học tập ở mức: 2.5 ≤ GPA < 3.2; minh chứng: dựa trên hệ thống quản lý; điểm: 16\nCó kết quả học tập ở mức: 2.0 ≤ GPA < 2.5;; minh chứng: dựa trên hệ thống quản lý; điểm: 14\nCó kết quả học tập ở mức: 1.5 ≤ GPA < 2.0;; minh chứng: dựa trên hệ thống quản lý; điểm: 12\nCó nỗ lực trong học tập (GPA kỳ đánh giá cao hơn kỳ trước, giảm mức cảnh\ncáo học tập, hoặc duy trì điểm GPA trên 3.6 ); minh chứng: dựa trên hệ thống quản lý; điểm: 8\nTrình độ ngoại ngữ (tối đa 6 điểm):\nĐạt trình độ ngoại ngữ theo tiến độ của chương trình đào tạo; minh chứng: dựa trên hệ thống quản lý; điểm: 4\nĐạt chứng chỉ ngoại ngữ tương đương TOEIC 600 điểm trở lên; minh chứng: được cấp khi tham gia hoạt động; điểm: 2\nTham gia các hoạt động học thuật (tối đa 9 điểm):\nTham gia hoạt động, sự kiệnliên quan đến NCKH, học thuật, chuyên môn; minh chứng: được cấp khi tham gia hoạt động; điểm: 3\nTham gia khóa đào tạo kỹ năng nghề nghiệp, kỹ năng bổ trợ chuyên môn; minh chứng: được cấp khi tham gia hoạt động; điểm: 6\nThành viên CLB học thuật, Lab nghiên cứu, Nhóm nghiên cứu, nhóm Khởi\nnghiệp; minh chứng: được cấp khi tham gia hoạt động; điểm: 6\nTham gia công bố khoa học tại Hội nghị hoặc tạp chí khoa học chuyên\nngành; minh chứng: được cấp khi tham gia hoạt động; điểm: 6\nTham gia các cuộc thi Olympic cấp trường, cấp quốc gia, quốc tế; minh chứng: được cấp khi tham gia hoạt động; điểm: 6',
    'Quy định quản lý, hỗ trợ sinh viên nước ngoài học tập tại Đại học Bách khoa Hà Nội\nChương III TRÁCH NHIỆM CỦA CÁC ĐƠN VỊ LIÊN QUAN\nĐiều 11. Phòng/Ban chức năng Hợp tác đối ngoại\n1. Hoàn thành hồ sơ quản lý  LHS học tích lũy tín chỉ như quy định tại  khoản 1,\nĐiều 2 và bàn giao cho Phòng/ Ban chức năng Công tác sinh viên quản lý.\n2. Lập và quản lý hồ sơ LHS trao đổi như quy định tại khoản 2, Điều 2.\n3. Chủ trì, phối hợp với các đơn vị liên quan trong ĐHBK Hà Nội  cung cấp\nthông tin, giải quyết các vấn đề liên quan trong và sau quá trình thực hiện các hoạt\nđộng trao đổi tới LHS .\n4. Tổ chức và hỗ trợ các đơn vị liên quan tổ chức các chương trình giao lưu, trao\nđổi văn hóa cho LHS ; thủ tục cấp, gia hạn, sửa đổi thị thực nhập cảnh  phục vụ cho\nviệc học tập của LHS.\n5. Tổng hợp báo cáo lãnh đạo ĐHBK Hà Nội và các cơ quan chức năng định kỳ\nvà đột xuất theo yêu cầu.\nĐiều 12. Đơn vị chức năng Hỗ trợ trao đổi học thuật\nPhối hợp  với các đơn vị liên quan trong  và ngoài ĐHBK Hà Nội  tổ chức các\nchương trình giao lưu, trao đổi văn hóa cho LHS.\n',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.7406, 0.2134],
#         [0.7406, 1.0000, 0.0214],
#         [0.2134, 0.0214, 1.0000]])

Evaluation

Metrics

Information Retrieval

• Dataset: paraphrase-multilingual-MiniLM-L12-v2-251218
• Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.8243
cosine_accuracy@3	0.9189
cosine_accuracy@5	0.973
cosine_accuracy@10	0.9865
cosine_precision@1	0.8243
cosine_precision@3	0.6937
cosine_precision@5	0.6216
cosine_precision@10	0.4865
cosine_recall@1	0.2536
cosine_recall@3	0.4425
cosine_recall@5	0.584
cosine_recall@10	0.7623
cosine_ndcg@10	0.8175
cosine_mrr@10	0.8801
cosine_map@100	0.76

Information Retrieval

• Dataset: paraphrase-multilingual-MiniLM-L12-v2-251218
• Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.8899
cosine_accuracy@3	0.9358
cosine_accuracy@5	0.9541
cosine_accuracy@10	0.9725
cosine_precision@1	0.8899
cosine_precision@3	0.7431
cosine_precision@5	0.6459
cosine_precision@10	0.4945
cosine_recall@1	0.2251
cosine_recall@3	0.4253
cosine_recall@5	0.5414
cosine_recall@10	0.7116
cosine_ndcg@10	0.8043
cosine_mrr@10	0.9164
cosine_map@100	0.7564

Training Details

Training Dataset

Unnamed Dataset

• Size: 4,485 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 11 tokens mean: 22.66 tokens max: 46 tokens	min: 128 tokens mean: 128.0 tokens max: 128 tokens

• Samples:

  anchor	positive
  Tại trường có bao nhiêu loại học bổng KKHT(khuyến khích học tập)?	Quy định xét cấp học bổng khuyến khích học tập tại Đại học Bách khoa Hà Nội Điều 2. Các quy định chung 2. Học bổng KKHT nhằm khuyến khích sinh viên nâng cao thành tích học tập và rèn luyện tại ĐHBK Hà Nội. 3. Quỹ học bổng KKHT hình thành từ nguồn học phí và bằng 8% (tám phần trăm) học phí của học kỳ lấy điểm xét cấp học bổng. 4. Học bổng KKHT có 3 mức: a) Học bổng loại khá (loại C): Bằng tổng học phí của tất cả các học phần tính điểm trung bình học kỳ (GPA). b) Học bổng loại giỏi (loại B): Bằng 1,2 lần mức học bổng loại khá. c) Học bổng loại xuất sắc (loại A): Bằng 1,5 lần mức học bổng loại khá. Điều 3. Tiêu chuẩn xét cấp học bổng 1. Học bổng loại C: GPA ≥ 2,5 và điểm rèn luyện học kỳ ≥ 65 điểm. 2. Học bổng loại B: GPA ≥ 3,2 và điểm rèn luyện học kỳ ≥ 80 điểm. 3. Học bổng loại A: GPA ≥ 3,6 và điểm rèn luyện học kỳ ≥ 90 điểm. Điều 4. Nguyên tắc xét cấp học bổng 1. Sử dụng kết quả học tập và rèn luyện của học kỳ liền trước để xét cấp học bổng cho học kỳ sau. 2. Học bổng được xét theo ...
  Tại trường có bao nhiêu loại học bổng KKHT(khuyến khích học tập)?	Quy định xét cấp học bổng khuyến khích học tập tại Đại học Bách khoa Hà Nội Điều 1. Phạm vi điều chỉnh và đối tượng áp dụng 1. Văn bản này quy định về nguyên tắc, tiêu chuẩn xét duyệt và cấp học bổng cho sinh viên đại học hình thức đào tạo chính quy tại Đại học Bách khoa Hà Nội (sau đây viết tắt là ĐHBK Hà N ội), căn cứ các quy định liên quan tại Nghị định số 84/2020/NĐ-CP ngày 17/7/2020 của Chính phủ và Quy chế Quản lý tài chính của Đại học Bách khoa Hà Nội được ban hành theo Nghị quyết số 20/NQ-ĐHBK ngày 16/3/2023 của Hội đồng Đại học, Đại học Bách khoa Hà Nội. 2. Quy định này áp dụng đối với sinh viên đại học hình thức đào tạo chính quy văn bằng thứ nhất của ĐHBK Hà Nội. Điều 2. Các quy định chung 1. Học bổng khuyến khích học tập (KKHT) cấp cho các sinh viên được lựa chọn bởi Hội đồng xét cấp học bổng ĐHBK Hà Nội theo từng học kỳ chính của năm học , căn cứ vào thành tích học tập và rèn luyện của sinh viên trong học kỳ chính liền trước đó.
  trường gồm mấy loại học bổng khuyến khích học tập ?	Quy định xét cấp học bổng khuyến khích học tập tại Đại học Bách khoa Hà Nội Điều 4. Nguyên tắc xét cấp học bổng 3. Không xét cấp học bổng đối với sinh viên thuộc một trong các trường hợp sau: a) Chịu hình thức kỷ luật từ mức khiển trách trở lên tại thời điểm xét học bổng; b) Đăng ký học ít hơn 1 5 tín chỉ (kể cả các học phần không tính điểm GPA) tại học kỳ lấy điểm xét, cấp học bổng, ngoại trừ học kỳ 1 năm học thứ nhất; c) Đăng ký học ít hơn 6 tín chỉ (kể cả các học phần không tính điểm GPA) tại học kỳ cấp học bổng; d) Học quá thời gian theo kế hoạch học tập chuẩn của chương trình đào tạo; đ) Học chương trình đào tạo do trường đối tác nước ngoài cấp một văn bằng tốt nghiệp duy nhất; Điều 5. Thời gian công bố kết quả xét duyệt và cấp học bổng 1. Danh sách sinh viên được cấp học bổng và mức đ iểm chuẩn để đạt học bổng loại A, B, C theo khóa, ngành đào tạo tương ứng sẽ được công bố trên cổng thông tin sinh viên: ctt.hust.edu.vn, chậm nhất vào tuần học thứ 10 của học kỳ cấp học bổng.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• num_train_epochs: 20
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 20
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	paraphrase-multilingual-MiniLM-L12-v2-251218_cosine_ndcg@10
-1	-1	-	0.5888
0.3559	100	1.925	0.6625
0.7117	200	1.4605	0.7110
1.0676	300	1.2876	0.7686
1.4235	400	1.1927	0.7686
1.7794	500	1.1368	0.7893
2.1352	600	1.071	0.7679
2.4911	700	1.0243	0.7707
2.8470	800	1.0508	0.8115
3.2028	900	0.9448	0.7878
3.5587	1000	0.94	0.8023
3.9146	1100	0.9675	0.7720
4.2705	1200	0.9115	0.7966
4.6263	1300	0.9163	0.7736
4.9822	1400	0.9329	0.8026
5.3381	1500	0.8309	0.8353
5.6940	1600	0.881	0.7829
6.0498	1700	0.8884	0.7911
6.4057	1800	0.8497	0.7651
6.7616	1900	0.8296	0.7948
7.1174	2000	0.861	0.8055
7.4733	2100	0.7921	0.7637
7.8292	2200	0.8836	0.7924
8.1851	2300	0.8131	0.7708
8.5409	2400	0.787	0.7963
8.8968	2500	0.8267	0.7975
9.2527	2600	0.7634	0.8076
9.6085	2700	0.7568	0.8160
9.9644	2800	0.8086	0.8168
10.3203	2900	0.7768	0.8118
10.6762	3000	0.7877	0.7986
11.0320	3100	0.7883	0.8038
11.3879	3200	0.7316	0.8206
11.7438	3300	0.7812	0.8090
12.0996	3400	0.7441	0.8181
12.4555	3500	0.8073	0.8135
12.8114	3600	0.7424	0.8177
13.1673	3700	0.7188	0.8132
13.5231	3800	0.7206	0.8207
13.8790	3900	0.7316	0.8050
14.2349	4000	0.7378	0.8158
14.5907	4100	0.7391	0.8098
14.9466	4200	0.6781	0.7936
15.3025	4300	0.6939	0.8076
15.6584	4400	0.6879	0.8137
16.0142	4500	0.7265	0.8146
16.3701	4600	0.6854	0.8184
16.7260	4700	0.7273	0.8145
17.0819	4800	0.6828	0.8179
17.4377	4900	0.6444	0.8204
17.7936	5000	0.6865	0.8180
18.1495	5100	0.6517	0.8039
18.5053	5200	0.6502	0.8220
18.8612	5300	0.6719	0.8114
19.2171	5400	0.6409	0.8127
19.5730	5500	0.6966	0.8119
19.9288	5600	0.6707	0.8175
-1	-1	-	0.8043

Framework Versions

• Python: 3.12.12
• Sentence Transformers: 5.1.2
• Transformers: 4.57.3
• PyTorch: 2.9.0+cu126
• Accelerate: 1.12.0
• Datasets: 4.0.0
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}