WeIN_bio_qwen-3-8B

한국어 의료/바이오 도메인 특화 Qwen3-8B LoRA 파인튜닝 모델. KorMedMCQA 벤치마크 69.06% 달성 (목표 65% 초과).

Performance

Metric	Value
Overall Accuracy	69.06% (2,078/3,009)
Extraction Fail Rate	0.00%
Evaluation Mode	Direct (zero-shot)

Per-Subject

Subject	Accuracy
간호사 (Nurse)	78.25%
약사 (Pharmacist)	73.06%
약학 (Pharm Science)	68.73%
의사 (Doctor)	68.28%
치과의사 (Dentist)	58.45%

SOTA Comparison (KorMedMCQA)

Model	Accuracy	License
WeIN_bio_qwen-3-8B	69.06%	Apache 2.0
Qwen3-8B (baseline)	60.39%	Apache 2.0
EXAONE 7.8B	56.10%	Non-Commercial

Training

Parameter	Value
Base Model	Qwen/Qwen3-8B
Method	LoRA (r=16, alpha=32, dropout=0.1)
Target Modules	q/k/v/o/gate/up/down_proj
Training Data	35,882 samples (Korean Medical SFT)
Epochs	3 (3,366 steps)
Batch Size	2 x 16 (grad accum) = 32
Learning Rate	2e-4 (cosine)
Precision	bf16
Final Loss	0.2854
Hardware	NVIDIA H200

Usage

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base_model_id = "Qwen/Qwen3-8B"
adapter_id = "dhkim0324/WeIN_bio_qwen-3-8B"

tokenizer = AutoTokenizer.from_pretrained(adapter_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    base_model_id, device_map="auto", torch_dtype="auto", trust_remote_code=True
)
model = PeftModel.from_pretrained(model, adapter_id)

prompt = "다음 의료 관련 객관식 문제에 답하시오.\n\n문제: 심근경색의 가장 흔한 원인은?\n1. 관상동맥 죽상경화증\n2. 심장판막질환\n3. 심근염\n4. 대동맥박리\n\n정답:"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=128, do_sample=False)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Limitations

• 의료 전문가의 임상 판단을 대체할 수 없으며, 연구/교육 목적으로만 사용해야 합니다.
• 치과의사 도메인 성능이 상대적으로 낮습니다 (58.45%).
• KorMedMCQA 외 벤치마크에서는 미검증 상태입니다.

Citation

@misc{wein_bio_qwen3_2026,
    title={WeIN_bio_qwen-3-8B: Korean Medical Domain LoRA Adapter},
    author={dhkim0324},
    year={2026},
    publisher={Hugging Face}
}