PopiT-Qwen3-Medical-SFT
Collection
6 items • Updated • 1
PopiT-Gemma-3-12B-Medical-SFT-1218
本模型在 unsloth/gemma-3-12b-it 的基础上进行医学微调，适用于前期或者用于网络基础病症查询及问答。
PopiT-Gemma-3-12B-Medical-SFT-1218 旨在解决上一代医疗微调模型 PopiT-Gemma-3-12B-Medical-SFT-1213 在医疗问答中缺乏专业性以及纯医疗模型逻辑坍塌问题。通过引入混合数据策略，在保持高水平临床问答能力的同时，修复了对非医疗问题（如政治、逻辑推理）的过度拟合现象。
由于基座模型 Gemma-3 为英文主导模型，缺乏中文本土知识（如中医古籍、中国政治），导致在中医综合和考研政治科目上分数较低。但在现代西医、护理学、临床医学等依赖逻辑和科学知识的领域表现优异。
标记
- 护理/护师资格: 55% - 58%
- 预防医学: 57%
- 特定临床科室:
- 传染病学: 75%
- 内科: 73%
- 消毒技术: 78%
📉 CMB 评测详情
- 评测时间: 2025-12-18
- 总题数: 11200
- 总准确率: 42.00% (受中医/政治拖累，西医部分实际表现 >50%)
Benchmark
CMB
- 评测时间: 2025-12-18
- 总题数: 11200
- 总准确率: 42.00%
1. 按考试大类 (Exam Type)
| 类别 (Category) | 正确数 (Correct) | 总数 (Total) | 准确率 (Accuracy) |
|---|---|---|---|
| 护理考试 | 799 | 1600 | 49.94% |
| 医技考试 | 546 | 1200 | 45.50% |
| 医师考试 | 880 | 2000 | 44.00% |
| 专业知识考试 | 672 | 1600 | 42.00% |
| 药师考试 | 1301 | 3200 | 40.66% |
| 医学考研 | 506 | 1600 | 31.62% |
2. 按考试细分 (Exam Class)
| 类别 (Category) | 正确数 (Correct) | 总数 (Total) | 准确率 (Accuracy) |
|---|---|---|---|
| 护士执业资格 | 232 | 400 | 58.00% |
| 护师执业资格 | 220 | 400 | 55.00% |
| 预防医学与公共卫生学 | 214 | 400 | 53.50% |
| 初级药士 | 213 | 400 | 53.25% |
| 主管护师 | 200 | 400 | 50.00% |
| 初级药师 | 195 | 400 | 48.75% |
| 执业医师 | 194 | 400 | 48.50% |
| 主管技师 | 194 | 400 | 48.50% |
| 主管药师 | 188 | 400 | 47.00% |
| 执业助理医师 | 187 | 400 | 46.75% |
| 医技士 | 180 | 400 | 45.00% |
| 中级职称 | 179 | 400 | 44.75% |
| 医技师 | 172 | 400 | 43.00% |
| 临床医学 | 171 | 400 | 42.75% |
| 规培结业 | 167 | 400 | 41.75% |
| 西医综合 | 165 | 400 | 41.25% |
| 执业西药师 | 158 | 400 | 39.50% |
| 基础医学 | 157 | 400 | 39.25% |
| 护理学 | 154 | 400 | 38.50% |
| 高级职称 | 153 | 400 | 38.25% |
| 高级护师 | 147 | 400 | 36.75% |
| 执业中药师 | 141 | 400 | 35.25% |
| 初级中药师 | 137 | 400 | 34.25% |
| 初级中药士 | 135 | 400 | 33.75% |
| 主管中药师 | 134 | 400 | 33.50% |
| 中医学与中药学 | 130 | 400 | 32.50% |
| 考研政治 | 101 | 400 | 25.25% |
| 中医综合 | 86 | 400 | 21.50% |
3. 按具体科目 (Exam Subject)
| 类别 (Category) | 正确数 (Correct) | 总数 (Total) | 准确率 (Accuracy) |
|---|---|---|---|
| 结核病主治医师 | 2 | 2 | 100.00% |
| 神经内科主治医师 | 1 | 1 | 100.00% |
| 口腔颌面外科主治医师 | 1 | 1 | 100.00% |
| 医学统计学 | 1 | 1 | 100.00% |
| 循证医学 | 1 | 1 | 100.00% |
| 介入放射学 | 1 | 1 | 100.00% |
| 消毒技术主管技师 | 11 | 14 | 78.57% |
| 内科 | 14 | 19 | 73.68% |
| 核医学主治医师 | 5 | 7 | 71.43% |
| 耳鼻咽喉科主治医师 | 6 | 9 | 66.67% |
| 心血管内科与呼吸内科主治医师 | 2 | 3 | 66.67% |
| 消化内科主治医师 | 2 | 3 | 66.67% |
| 医院感染 | 4 | 6 | 66.67% |
| 物理诊断学 | 9 | 14 | 64.29% |
| 病案信息主管技师 | 21 | 34 | 61.76% |
| 口腔修复科主治医师 | 6 | 10 | 60.00% |
| 医学伦理学 | 34 | 57 | 59.65% |
| 流行病学 | 10 | 17 | 58.82% |
| 口腔执业医师 | 14 | 24 | 58.33% |
| 护士执业资格考试 | 232 | 400 | 58.00% |
| 病理科主治医师 | 11 | 19 | 57.89% |
| 康复医学科 | 4 | 7 | 57.14% |
| 医学影像科 | 8 | 14 | 57.14% |
| 实验诊断学 | 8 | 14 | 57.14% |
| 预防医学 | 117 | 205 | 57.07% |
| 儿科主管护师 | 25 | 44 | 56.82% |
| 公共卫生执业医师 | 29 | 52 | 55.77% |
| 护师资格考试 | 220 | 400 | 55.00% |
| 传染病学 | 6 | 11 | 54.55% |
| 细胞生物学 | 12 | 22 | 54.55% |
| 临床医学检验主管技师 | 20 | 37 | 54.05% |
| 精神科 | 14 | 26 | 53.85% |
| 医学免疫学 | 21 | 39 | 53.85% |
| 药士初级考试 | 213 | 400 | 53.25% |
| 临床执业医师 | 89 | 170 | 52.35% |
| 医学微生物学 | 12 | 23 | 52.17% |
| 病理学 | 25 | 48 | 52.08% |
| 公共卫生执业助理医师 | 26 | 50 | 52.00% |
| 病理学主管技师 | 17 | 33 | 51.52% |
| 内科护理学 | 21 | 41 | 51.22% |
| 主管护师资格考试 | 124 | 243 | 51.03% |
| 临床病理科 | 10 | 20 | 50.00% |
| 眼科 | 11 | 22 | 50.00% |
| 全科主治医师 | 13 | 26 | 50.00% |
| 皮肤与性病学主治医师 | 4 | 8 | 50.00% |
| 精神病学主治医师 | 3 | 6 | 50.00% |
| 传染病主治医师 | 2 | 4 | 50.00% |
| 口腔科主治医师 | 1 | 2 | 50.00% |
| 营养学主治医师 | 2 | 4 | 50.00% |
| 心理咨询师 | 1 | 2 | 50.00% |
| 微生物检验主管技师 | 13 | 26 | 50.00% |
| 神经病学 | 9 | 18 | 50.00% |
| 护理学基础 | 7 | 14 | 50.00% |
| 口腔组织病理学 | 2 | 4 | 50.00% |
| 康复医学治疗技术（士） | 75 | 152 | 49.34% |
| 药师初级考试 | 195 | 400 | 48.75% |
| 检验技术（士） | 44 | 91 | 48.35% |
| 神经内科 | 14 | 29 | 48.28% |
| 放射医学主管技师 | 14 | 29 | 48.28% |
| 康复医学治疗技术（师） | 65 | 136 | 47.79% |
| 临床执业助理医师 | 68 | 143 | 47.55% |
| 内科主管护师 | 9 | 19 | 47.37% |
| 中医儿科学 | 9 | 19 | 47.37% |
| 中西医结合执业助理医师 | 40 | 85 | 47.06% |
| 主管药师资格考试 | 188 | 400 | 47.00% |
| 外科 | 15 | 32 | 46.88% |
| 放射学技术（士） | 38 | 82 | 46.34% |
| 内科主治医师 | 24 | 52 | 46.15% |
| 放射科主治医师 | 6 | 13 | 46.15% |
| 病理学技术 | 12 | 26 | 46.15% |
| 消化内科高级职称 | 22 | 48 | 45.83% |
| 肿瘤放射治疗主管技师 | 21 | 46 | 45.65% |
| 卫生学 | 63 | 138 | 45.65% |
| 输血技术主管技师 | 27 | 60 | 45.00% |
| 心内科高级职称 | 22 | 49 | 44.90% |
| 口腔执业助理医师 | 13 | 29 | 44.83% |
| 妇产科主治医师 | 8 | 18 | 44.44% |
| 预防医学主治医师 | 8 | 18 | 44.44% |
| 儿科主治医师 | 12 | 27 | 44.44% |
| 外科主管护师 | 8 | 18 | 44.44% |
| 全科医学科 | 11 | 25 | 44.00% |
| 妇产科主管护师 | 7 | 16 | 43.75% |
| 心电学主管技师 | 10 | 23 | 43.48% |
| 骨科高级职称 | 23 | 53 | 43.40% |
| 医学影像学 | 13 | 30 | 43.33% |
| 中医执业助理医师 | 40 | 93 | 43.01% |
| 肿瘤学技术（师） | 43 | 101 | 42.57% |
| 儿科学 | 45 | 106 | 42.45% |
| 中医执业医师 | 29 | 69 | 42.03% |
| 局部解剖学 | 5 | 12 | 41.67% |
| 考研西医综合 | 163 | 392 | 41.58% |
| 检验技术（师） | 39 | 94 | 41.49% |
| 皮肤科 | 14 | 34 | 41.18% |
| 核医学 | 14 | 34 | 41.18% |
| 基础护理学 | 70 | 170 | 41.18% |
| 核医学主管技师 | 16 | 39 | 41.03% |
| 麻醉科 | 9 | 22 | 40.91% |
| 中医内科主治医师 | 9 | 22 | 40.91% |
| 小儿外科 | 2 | 5 | 40.00% |
| 外科主治医师 | 14 | 35 | 40.00% |
| 眼科主治医师 | 4 | 10 | 40.00% |
| 口腔正畸学主治医师 | 2 | 5 | 40.00% |
| 康复医学与治疗主管技师 | 8 | 20 | 40.00% |
| 外科学 | 20 | 50 | 40.00% |
| 口腔解剖生理学 | 2 | 5 | 40.00% |
| 执业西药师 | 158 | 399 | 39.60% |
| 伤寒论 | 15 | 38 | 39.47% |
| 中医眼科学 | 13 | 33 | 39.39% |
| 中西医结合执业医师 | 33 | 85 | 38.82% |
| 病理生理学 | 10 | 26 | 38.46% |
| 金匮要略讲义 | 8 | 21 | 38.10% |
| 中医学 | 20 | 53 | 37.74% |
| 理化检验主管技师 | 3 | 8 | 37.50% |
| 妇产科学副主任、主任医师职称考试 | 35 | 94 | 37.23% |
| 内分泌科高级职称 | 20 | 54 | 37.04% |
| 皮肤性病学 | 17 | 46 | 36.96% |
| 副主任、主任护师资格考试 | 147 | 400 | 36.75% |
| 外科护理学 | 88 | 240 | 36.67% |
| 放射学技术（师） | 25 | 69 | 36.23% |
| 生物化学与分子生物学 | 17 | 47 | 36.17% |
| 药理学 | 15 | 42 | 35.71% |
| 生理学 | 12 | 34 | 35.29% |
| 执业中药师 | 141 | 400 | 35.25% |
| 中药学（师） | 137 | 400 | 34.25% |
| 普通外科高级职称 | 15 | 44 | 34.09% |
| 中药学（士） | 135 | 400 | 33.75% |
| 主管中药师 | 134 | 400 | 33.50% |
| 妇产科 | 9 | 27 | 33.33% |
| 口腔内科主治医师 | 2 | 6 | 33.33% |
| 超声波医学主治医师 | 5 | 15 | 33.33% |
| 心理治疗学主治医师 | 2 | 6 | 33.33% |
| 重症医学主治医师 | 1 | 3 | 33.33% |
| 疼痛科主治医师 | 2 | 6 | 33.33% |
| 放射学 | 2 | 6 | 33.33% |
| 耳鼻咽喉科 | 8 | 25 | 32.00% |
| 妇产科护理学 | 6 | 19 | 31.58% |
| 中医内科学 | 16 | 51 | 31.37% |
| 儿科 | 8 | 26 | 30.77% |
| 肿瘤学技术（士） | 23 | 75 | 30.67% |
| 中医诊断学 | 17 | 56 | 30.36% |
| 骨科 | 10 | 33 | 30.30% |
| 中医基础理论 | 17 | 57 | 29.82% |
| 普通内科高级职称 | 5 | 17 | 29.41% |
| 医学心理学 | 5 | 17 | 29.41% |
| 系统解剖学 | 7 | 24 | 29.17% |
| 肿瘤学主治医师 | 2 | 7 | 28.57% |
| 中西医结合内科主治医师 | 2 | 7 | 28.57% |
| 医学遗传学 | 6 | 21 | 28.57% |
| 寄生虫学 | 4 | 14 | 28.57% |
| 呼吸内科高级职称 | 11 | 40 | 27.50% |
| 口腔科 | 8 | 30 | 26.67% |
| 考研政治 | 101 | 400 | 25.25% |
| 康复医学主治医师 | 1 | 4 | 25.00% |
| 诊断学 | 1 | 4 | 25.00% |
| 麻醉学 | 1 | 4 | 25.00% |
| 内经讲义 | 4 | 16 | 25.00% |
| 考研西综错题top1500 | 2 | 8 | 25.00% |
| 考研中医综合 | 81 | 351 | 23.08% |
| 温病学 | 8 | 35 | 22.86% |
| 组织学与胚胎学 | 4 | 18 | 22.22% |
| 超声科 | 3 | 15 | 20.00% |
| 超声波医学主管技师 | 1 | 5 | 20.00% |
| 麻醉科主治医师 | 1 | 6 | 16.67% |
| 中国医学史 | 3 | 21 | 14.29% |
| 人体寄生虫学 | 1 | 9 | 11.11% |
| 牙体牙髓病学 | 1 | 9 | 11.11% |
| 考研中综错题top1500 | 5 | 49 | 10.20% |
| 中医针灸主治医师 | 1 | 12 | 8.33% |
| 全科高级职称 | 0 | 1 | 0.00% |
| 执业西药师错题TOP500 | 0 | 1 | 0.00% |
| 生物信息学 | 0 | 3 | 0.00% |
| 超声医学 | 0 | 3 | 0.00% |
| 口腔护理学 | 0 | 3 | 0.00% |
@misc{wang2023cmb,
title={CMB: A Comprehensive Medical Benchmark in Chinese},
author={Xidong Wang and Guiming Hardy Chen and Dingjie Song and Zhiyi Zhang and Zhihong Chen and Qingying Xiao and Feng Jiang and Jianquan Li and Xiang Wan and Benyou Wang and Haizhou Li},
year={2023},
eprint={2308.08833},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
@misc{cmedbenchmark,
title={CMB: Chinese Medical Benchmark},
author={Xidong Wang*, Guiming Hardy Chen*, Dingjie Song*, Zhiyi Zhang*, Qingying Xiao*, Xiangbo Wu, Feng Jiang, Jianquan Li, Benyou Wang},
note={Authors Xidong Wang, Guiming Hardy Chen, Dingjie Song, Zhiyi Zhang and Qingying Xiao contributed equally to this work.},
year = {2023},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {\url{https://github.com/FreedomIntelligence/CMB}},
}
注意
- 非医疗建议: 本模型的输出仅供参考，不构成任何医疗建议、诊断或治疗方案。
- 专业限制: 虽然本模型在部分医学考试中表现良好，但在复杂临床场景下可能会产生幻觉或不准确信息。
- 使用责任: 使用者应自行承担使用本模型产生的风险，严禁用于实际的临床诊疗决策。
- Downloads last month
- 4
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support