huyvux3005/medical-vietnamese-embedding-paraphrase-multilingual-MiniLM-L12-v2

SentenceTransformer based on sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

This is a sentence-transformers model finetuned from sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 on the medical_vietnamese_datasets dataset. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
• Maximum Sequence Length: 128 tokens
• Output Dimensionality: 384 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • medical_vietnamese_datasets
• Language: vi

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False, 'architecture': 'BertModel'})
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("huyvux3005/medical-vietnamese-embedding-paraphrase-multilingual-MiniLM-L12-v2")
# Run inference
queries = [
    "C\u00e1c t\u00e1c h\u1ea1i c\u1ee7a thu\u1ed1c tr\u00e1nh thai kh\u1ea9n c\u1ea5p",
]
documents = [
    '. Một số khác sử dụng thuốc cấp tốc gặp phải tình trạng rong kinh,rối loạn kinh nguyệt, thay đổi tính chất khí hư, tâm trạng thất thường hoặc bị lãnh cảm... Các biểu hiện này mặc dù không phải làtác hại khi dùng thuốc tránh thai khẩn cấpnhưng nếu chúng vẫn kéo dài, không thuyên giảm sau vài ngày uống thuốc thì người dùng cần phải đi gặp bác sĩ để được chẩn đoán chính xác. Ngoài những tác hại ngắn hạn nêu trên, một sốtác hại của thuốc ngừa thai khẩn cấpcó thể kéo dài nếu quá lạm dụng hoặc do cơ thể không dung nạp thuốc, bao gồm: Tăng cân, rối loạn huyết áp,trầm cảm, rối loạn hô hấp... Một số ít phụ nữ dùng thuốc có thể dẫn đến bệnh lýu nang buồng trứng, tuy nhiên tỷ lệ không cao. Thuốc tránh thai khẩn cấp được các bác sĩ đánh giá là biện pháp ngừa thai an toàn, hiệu quả khi sử dụng đúng chỉ định và đúng cách. Tuy nhiên bên cạnhtác hại của thuốc tránh thai khẩn cấpthì trong quá trình sử dụng chị em hoàn toàn có thể gặp phải một số tác dụng phụ như sau: Chu kỳ kinh nguyệt thay đổi, chậm có kinh, rối loạn kỳ kinh, không hoặc bị hành kinh nhiều lần trong tháng,rong kinh; Ảnh hưởng đến tâm trạng, cảm xúc, hay bồn chồn, lo lắng, bứt rứt trong người',
    '.  Uống nhiều nước để tránh bị\xa0hạ huyết áp, chóng mặt do cơ thể bị mất nước khi hiến máu.  Không ăn đồ ăn chứa nhiều gia vị và dầu mỡ.  Không uống rượu, bia, đồ uống có chứa caffeine vì chúng làm giảm khả năng hấp thu sắt của cơ thể.  Thả lỏng người, chuẩn bị tâm lý thoải mái.  Mang theo giấy tờ tùy thân trước khi đi.  Ngủ đủ giấc giúp bạn có được thể trạng tốt và tinh thần ổn định  Sau khi hiến máu, bạn có thể gặp một số tác dụng phụ như:  , buồn nôn, mệt mỏi,... do cơ thể chưa kịp thích nghi. Vì thế, để hạn chế tối đa những hiện tượng trên, bạn đừng quên những điều sau nhé! Đó là:  Bổ sung nước để bù sắt cho cơ thể.  Duỗi thẳng cánh tay để máu dễ lưu thông.  Nên nghỉ ngơi tại điểm hiến máu đến khi cơ thể thật sự ổn định.  Thông báo ngay cho nhân viên y tế nếu có những dấu hiệu bất thường sau hiến máu.  Tăng cường các thực phẩm chứa sắt,  , protein, vitamin B12 như: Sữa, thịt nạc, nội tạng động vật, rong biển, tôm, nấm hương, các loại thịt đỏ,... để đẩy nhanh quá trình tạo máu.  Không được uống trà hoặc cà phê pha đặc trong vòng 1 tháng sau khi hiến máu vì axit tannic phản ứng với protein và sắt sẽ tạo ra chất cặn bám lại trong mạch máu',
    '. Từ đó, tim không còn chức năng bơm máu để nuôi cơ thể. Nhịp tim nhanh hoặc rối loạn nhịp tim: Sự rối loạn của cơ tim không chỉ làm giảm khả năng bơm máu mà còn khiến dẫn tới tình trạng rối loạn nhịp tim. Trong trường hợp rối loạn nhịp tim nghiêm trọng có thể dẫn tới tử vong. Đột tử: Người bệnh viêm cơ tim gặp tình trạng rối loạn nhịp tim nghiêm trọng sẽ làm cho tim có thể ngừng đập đột ngột và dẫn đến tử vong. Nhồi máu cơ timvà đột quỵ: Nếu cơ tim bị tổn thương, máu chảy trong tim có thể hình thành nên cục máu đông, và khi cục máu đông này gây bít tắc một trong các động mạch vành, gây ra tình trạng nhồi máu cơ tim. Hoặc nếu cục máu đông trong tim di chuyển đến một động mạch dẫn đến não có thể gây rađột quỵ não. 5. Phương pháp điều trị viêm cơ tim Điều trị bằng thuốc: Điều trị viêm cơ tim bao gồm các biện pháp điều trị triệu chứng suy tim cấp, bao gồm lợi tiểu, nitrat hoặc nitroprusside và các thuốc ức chế men chuyển. Các thuốc tăng co bóp cơ tim như dobutamin, milrinone có thể cần trong các trường hợp suy tim nặng mất bù, mặc dù chúng cũng làm tăng nguy cơ gây rối loạn nhịp tim',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 384] [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.7372, 0.0794, 0.0780]])

Training Details

Training Dataset

medical_vietnamese_datasets

• Dataset: medical_vietnamese_datasets at 54991e8
• Size: 160,000 training samples
• Columns: question and answer
• Approximate statistics based on the first 1000 samples:

  	question	answer
  type	string	string
  details	min: 6 tokens mean: 15.84 tokens max: 37 tokens	min: 23 tokens mean: 125.46 tokens max: 128 tokens

• Samples:

  question	answer
  Bị gan nhiễm mỡ uống gì hết?	. để phòng ngừa và giảm lượng mỡ thừa trong gan. Việc duy trì thói quen uống các loại nước ép này sẽ giúp cải thiện quá trình chuyển hóa của cơ thể theo thời gian. 2.7. Uống nước lá sen Trà sen nổi tiếng với công dụng chữa mất ngủ, trong khi lá sen là một vị thuốc được sử dụng cho nhiều bệnh khác nhau. Các nghiên cứu cho thấy chiết xuất từ lá sen có thể điều trị chứng khó ngủ, mất ngủ,sốt xuất huyết, thổ huyết... Ngoài ra, lá sen còn có khả năng thanh lọc cơ thể, tăng cường chuyển hóa mỡ thừa và thường được sử dụng như một phương pháp giảm cân. Bệnh nhân uống trà lá sen thường xuyên có thể giúp giảm dần lượng mỡ tích tụ trong gan. Do đó, trà lá sen là một lựa chọn nên thử khi bệnh nhân băn khoăn gan nhiễm mỡ uống gì hết. Lá sen có thể được nấu nước trực tiếp hoặc phơi khô để pha trà. Tuy nhiên, khi sử dụng các loại trà thảo dược, mọi người cần kiểm tra kỹ về vệ sinh an toàn thực phẩm để tránh những sản phẩm có chứa chất bảo quản hoặc các chất độc hại, gây ảnh hưởng xấu đến sức khỏe và ...
  Lưu ý khi dùng thuốc bôi nhiệt miệng cho bé dưới 1 tuổi	. Một số trẻ bị nhiều vết nhiệt miệng cùng lúc hoặc bị vết loét to có thể dẫn đếnsốt, nổi hạch. Nhiệt miệng có thể làm hơi thở của trẻ có mùi hôi. Kiểm tra miệng của trẻ phát hiện thấy bề mặt lưỡi và niêm mạc miệng có xuất hiện các vết loét, xung quanh vết loét bị tấy đỏ. Vết loét có thể có một nốt riêng lẻ hoặc nhiều nốt mọc thành đám hay tách rời nhau. Kích thước của các vết loét không đều, ban đầu thường nhỏ khoảng 1 đến 2mm, nếu không được xử lý kịp thời vết loét sẽ tăng dần kích thước đến 8 hay 10mm. 2. Những lưu ý khi dùng thuốc bôi nhiệt miệng cho bé dưới 1 tuổi Tình trạng nhiệt miệng ở trẻ dưới 1 tuổi khiến các bé quấy khóc và bỏ ăn nên khiến cho những người bố người mẹ không khỏi lo lắng. Câu hỏi đặt ra là liệu có bắt buộc phải sử dụng thuốc bôi nhiệt miệng cho bé dưới 1 tuổi không? Trên thực tế, có rất nhiều bé bị nhiệt miệng mà có thể tự khỏi trong thời gian ngắn mà không cần phải sử dụng thuốc. Để quyết định có dùng thuốc điều trị nhiệt miệng hay không và nếu có thì nên dùn...
  Thiếu ngủ nên làm gì? Một số biện pháp giúp bạn nâng cao chất lượng giấc ngủ	. Cụ thể hơn, những tác hại nghiêm trọng của thiếu ngủ như: Giảm khả năng nhận thức Gây ảnh hưởng đến trí nhớ, khả năng tập trung, ra quyết định và năng lực sáng tạo. Thiếu ngủ có thể làm yếu chức năng miễn dịch. Một vài nghiên cứu đã chỉ ra rằng những người thiếu ngủ phản ứng với vắc xin cúm kém hơn người ngủ đủ giấc. Ngoài ra, những người thiếu ngủ cũng dễ mắc các bệnh nhiễm trùng và cảm lạnh hơn so với người bình thường. Giấc ngủ đóng vai trò quan trọng trong việc điều chỉnh nồng độ hormone, bao gồm leptin và ghrelin. Ghrelin liên quan đến cảm giác đói, trong khi leptin liên quan đến cảm giác no. Ở người thiếu ngủ, nồng độ ghrelin tăng và nồng độ leptin giảm, dẫn đến tăng cảm giác đói và thèm ăn vào ban ngày. Đây là nguyên nhân khiến cho người thiếu ngủ có nguy cơ cao bị béo phì. Thiếu ngủ khiến cơ thể khó xử lý đường hơn, góp phần gây ra tình trạng không dung nạp glucose (kháng insulin) và làm tăng nguy cơ mắc bệnh đái tháo đường loại 2. Giấc ngủ bình thường giúp cơ thể giảm ...

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Evaluation Dataset

medical_vietnamese_datasets

• Dataset: medical_vietnamese_datasets at 54991e8
• Size: 20,000 evaluation samples
• Columns: question and answer
• Approximate statistics based on the first 1000 samples:

  	question	answer
  type	string	string
  details	min: 6 tokens mean: 15.62 tokens max: 37 tokens	min: 23 tokens mean: 125.48 tokens max: 128 tokens

• Samples:

  question	answer
  Cơ sở khoa học của xét nghiệm sàng lọc trước sinh NIPT	. Tuy nhiên, các cặp vợ chồng cần lưu ý rằng, xét nghiệm NIPT là xét nghiệm sàng lọc, cung cấp thông tin về nguy cơ thai nhi có bất thường về di truyền chứ không phải xét nghiệm chẩn đoán. Điều này có nghĩa là trong một số trường hợp xét nghiệm NIPT sẽ cho kết quả dương tính giả (xét nghiệm cho thấy thai nhi có nguy cơ cao bất thường về di truyền nhưng thực tế thai nhi hoàn toàn bình thường) hay âm tính giả (xét nghiệm cho thấy thai nhi nguy cơ thấp mắc bệnh di truyền nhưng thực sự thai nhi mang bất thường về di truyền). Đôi khi, xét nghiệm NIPT có thể cung cấp kết quả sai lệch. Một số trường hợp xét nghiệm cho thấy thai nhi có nguy cơ cao mắc bệnh di truyền nhưng thực tế thai nhi hoàn toàn bình thường (dương tính giả). Lý do của vấn đề trên là bởi vì xét nghiệm phân tích trên DNA phóng thích từ bánh nhau, không phải từ thai nhi, sự sai khác sẽ xảy ra nếu di truyền của bánh nhau và thai nhi có sự khác biệt. 2. Cần chuẩn bị gì trước khi làm xét nghiệm NIPT? Mang theo toàn bộ các kết quả...
  Tìm hiểu một số môi trường nuôi cấy vi khuẩn	. Võ Thị Sáu, Q.3, TP. HCM Người chịu trách nhiệm nội dung:
  Chấn thương tim có thể nguy hiểm đến tính mạng	. Chấn thương tim có thể nguy hiểm đến tính mạng đóng vai trò cực kỳ quan trọng trong hệ thống cơ thể, chịu trách nhiệm vận chuyển máu, chất dinh dưỡng và oxy đến toàn bộ cơ thể. Bất kỳ vấn đề nào ảnh hưởng đến tim đều có thể gây nguy cơ tử vong cho người bệnh. Trái tim đóng vai trò cực kỳ quan trọng trong hệ thống cơ thể Trong trường hợp chấn thương ở tim, nguy cơ tử vong rất cao vì tim được bảo vệ bởi khung xương sườn, xương ức và cột sống. Để gây tổn thương đến tim, thường cần một lực va đập cực mạnh. Do đó, hầu hết các chấn thương ở tim, đặc biệt là trong dạng nhẹ, thường khó nhận biết bởi không có nhiều triệu chứng cụ thể. Trong các trường hợp nặng, đa số bệnh nhân tử vong ngay sau khi bị tổn thương. Chỉ một số ít trường hợp, khi bệnh nhân bị tổn thương nhẹ ở một buồng tim và gây áp lực lên tim cấp tính, mới có đủ thời gian để di chuyển bệnh nhân đến cơ sở y tế hoặc bệnh viện gần nhất để tiếp nhận cứu chữa. Các thể chấn thương ở tim thường gặp Đây là loại chấn thương ở ti...

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 128
• learning_rate: 3e-05
• warmup_ratio: 0.05
• warmup_steps: 0.05
• load_best_model_at_end: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 128
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 3e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_ratio: 0.05
• warmup_steps: 0.05
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• enable_jit_checkpoint: False
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• use_cpu: False
• seed: 42
• data_seed: None
• bf16: False
• fp16: False
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: -1
• ddp_backend: None
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_for_metrics: []
• eval_do_concat_batches: True
• auto_find_batch_size: False
• full_determinism: False
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• use_cache: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	Validation Loss
0.04	100	1.6720	-
0.08	200	1.0262	-
0.12	300	0.8747	-
0.16	400	0.7939	-
0.2	500	0.7444	0.8185
0.24	600	0.7079	-
0.28	700	0.6930	-
0.32	800	0.5890	-
0.36	900	0.6012	-
0.4	1000	0.6049	0.6991
0.44	1100	0.5825	-
0.48	1200	0.5408	-
0.52	1300	0.5288	-
0.56	1400	0.5086	-
0.6	1500	0.5102	0.6221
0.64	1600	0.4767	-
0.68	1700	0.4961	-
0.72	1800	0.4961	-
0.76	1900	0.4908	-
0.8	2000	0.4728	0.5802
0.84	2100	0.4851	-
0.88	2200	0.4440	-
0.92	2300	0.4458	-
0.96	2400	0.4471	-
1.0	2500	0.4395	0.5403
1.04	2600	0.3664	-
1.08	2700	0.3627	-
1.12	2800	0.3609	-
1.16	2900	0.3610	-
1.2	3000	0.3445	0.5205
1.24	3100	0.3487	-
1.28	3200	0.3511	-
1.32	3300	0.3468	-
1.3600	3400	0.3560	-
1.4	3500	0.3847	0.5065
1.44	3600	0.3255	-
1.48	3700	0.3383	-
1.52	3800	0.3214	-
1.56	3900	0.3208	-
1.6	4000	0.3214	0.4890
1.6400	4100	0.3446	-
1.6800	4200	0.3415	-
1.72	4300	0.3382	-
1.76	4400	0.3289	-
1.8	4500	0.3338	0.4699
1.8400	4600	0.3314	-
1.88	4700	0.3072	-
1.92	4800	0.3322	-
1.96	4900	0.3417	-
2.0	5000	0.2933	0.4570
2.04	5100	0.2792	-
2.08	5200	0.2713	-
2.12	5300	0.2577	-
2.16	5400	0.2726	-
2.2	5500	0.2728	0.4552
2.24	5600	0.2489	-
2.2800	5700	0.2604	-
2.32	5800	0.2573	-
2.36	5900	0.2617	-
2.4	6000	0.2573	0.4451
2.44	6100	0.2573	-
2.48	6200	0.2602	-
2.52	6300	0.2438	-
2.56	6400	0.2688	-
2.6	6500	0.2638	0.4421
2.64	6600	0.2674	-
2.68	6700	0.2538	-
2.7200	6800	0.2595	-
2.76	6900	0.2652	-
2.8	7000	0.2711	0.4350
2.84	7100	0.2502	-
2.88	7200	0.2384	-
2.92	7300	0.2571	-
2.96	7400	0.2618	-
3.0	7500	0.2392	0.4353

Framework Versions

• Python: 3.12.12
• Sentence Transformers: 5.2.2
• Transformers: 5.0.0
• PyTorch: 2.9.0+cu126
• Accelerate: 1.12.0
• Datasets: 4.0.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}