YuYamada/llm-jp-3-13b-finetune_ichikara_gouseidata

Model Abstract

このモデルは松尾研LLM講座の最終課題のコンペに特化したモデルである。

Model Details

Model Description

このモデルはhttps://huggingface.co/llm-jp/llm-jp-3-13bを基盤モデルとして以下のオープンデータや合成データによってLoRAによるファインチューニングを行った。 ・オープンデータ：https://liat-aip.sakura.ne.jp/wp/llm%E3%81%AE%E3%81%9F%E3%82%81%E3%81%AE%E6%97%A5%E6%9C%AC%E8%AA%9E%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%A9%E3%82%AF%E3%82%B7%E3%83%A7%E3%83%B3%E3%83%87%E3%83%BC%E3%82%BF%E4%BD%9C%E6%88%90/ ・合成データ：https://huggingface.co/datasets/elyza/ELYZA-tasks-100 のデータをClade Sonnetを用いて類似のデータを10倍の1000個を作成した。