我尝试了4step的turbo lora，感觉效果确实很好，我最近也在学习蒸馏相关的算法，不知能否透露下大概的方法
核心是DMD系列算法，此外我们加了比较多的trick和经验性调参 :-)
了解了，有使用真实数据集吗
· Sign up or log in to comment
