KoGum-0.5B-16k

KoGum(코껌)은 Korean + Gum(껌)의 합성어입니다. 작은 모델에서 시작하여 크게 부풀어 오르는 풍선껌처럼, 점진적인 성장을 지향합니다.

KoGum은 LLM의 아키텍처 설계부터 pre-training, mid-training, SFT까지 전체 학습 파이프라인을 직접 구현하고 경험하기 위해 만든 한국어 특화 0.5B 소형 언어 모델입니다.

모델 아키텍처를 scratch로 구현하고 처음부터 학습하여 설계 → 구현 → 학습 → 평가의 전 과정을 직접 수행했습니다. 아키텍처 설계, 학습 데이터 구성, 학습 파이프라인 등에서 KORMo를 많이 참고하였으며, KORMo에서 공개한 tokenizer와 데이터셋을 활용하였습니다.

이 모델은 pre-training 단계의 base 모델입니다.

결론: 대 실패작입니다..! 성능이 너무 안좋습니다. 하지만 이를 계기로 LLM의 전체 학습 파이프라인(아키텍처 설계 → pre-training → mid-training → SFT)을 직접 경험하고 이해할 수 있었으며, 이 경험을 바탕으로 더 발전된 모델을 만들어 나갈 예정입니다.

Model Family

Model	Stage	Description
KoGum-0.5B-16k	Pre-train	Base model (this)
KoGum-0.5B-16k-mid	Mid-train	Continued pre-training (math, code, reasoning 강화)
KoGum-0.5B-16k-Instruct	SFT	Instruction-tuned chat model

Architecture

LLaMA 스타일 아키텍처를 기반으로 설계되었습니다 (GQA + RMSNorm + SwiGLU + RoPE).

Parameters	~581M
Hidden Size	1024
Layers	24
Attention Heads	16 (GQA, 8 KV heads)
Intermediate Size	5120
Vocab Size	125,041
Max Context	16,384 tokens
RoPE Theta	500,000
Precision	BFloat16

• Grouped Query Attention (GQA): 16 query heads / 8 KV heads — 메모리 효율과 성능 균형
• RMSNorm: Pre-normalization으로 학습 안정성 확보
• SwiGLU: Feed-forward layer에 SwiGLU activation 적용
• RoPE (θ=500K): 16K 긴 문맥을 안정적으로 처리

Training

Data

한국어 70% + 영어 30% 비율로 혼합 학습:

Dataset	Language	Ratio
KORMo-Team/korean-web-collection	Korean	70%
KORMo-Team/dclm-baseline-filtered	English	30%

Hyperparameters

• Optimizer: AdamW (β1=0.9, β2=0.95)
• LR Scheduler: Cosine with warmup
• Context Length: 16,384 tokens
• Gradient Checkpointing: Enabled

Usage

from transformers import AutoTokenizer, AutoModelForCausalLM

import torch

tokenizer = AutoTokenizer.from_pretrained("jiwon9703/KoGum-0.5B-16k", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    "jiwon9703/KoGum-0.5B-16k",
    trust_remote_code=True,
    torch_dtype=torch.bfloat16,
)

input_text = "한국의 수도는"
inputs = tokenizer(input_text, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Evaluation

Benchmark 결과는 추후 업데이트 예정입니다.

Tokenizer

KORMo-Team/KORMo-tokenizer 사용 — 한국어에 최적화된 125K vocab BPE tokenizer.

License

Apache 2.0