license: cc-by-nc-sa-4.0 datasets: - mc4 language: - ko widget: - text: 안녕하세요
mc4 데이터셋에서 한글을 정제 후 사용하였습니다.
데이터셋에서 혐오 표현 등을 제거하지 않고 사용하였습니다.
model type: llama
hidden size: 8
hidden size: 512
num attention heads: 16
num key value heads: 4
