トークナイザーに全角記号・数字のNKFC正規化を追加
#2
by KantaHayashiAI - opened
トークナイザーに全角記号・数字のNKFC正規化を追加。
KantaHayashiAI changed pull request title from Upload tokenizer.json to トークナイザーに全角記号・数字のNKFC正規化を追加
kanhatakeyama changed pull request status to merged
トークナイザーに全角記号・数字のNKFC正規化を追加。