Steven10429/qwen14-2wc1p-eos-3-merge

Model

Steven10429/qwen14-2wc1p-eos-3-merge

Details:

• base_model: Steven10429/qwen14b-2wc1p-pj3ha_qwen14b-generic-eos-2
• lora_model: Steven10429/qwen14-2wc1p-eos-3
• quant_methods: ['Q2_K', 'Q4_K', 'IQ4_NL', 'Q5_K_M', 'Q6_K', 'Q8_0']
• created_at: 2025-02-13 21:45:06
• created_by: Steven10429/apply_lora_and_quantize

This iteration

本轮训练

• 开启eos
• 降低lr
• 3 epoch
• 尝试改善模型生成长度问题

下一步尝试：

• 随机EOS出现，0.3概率出现EOS
• 降低EOS的概率，修改GUFF保存文件