파인튜닝 관련
안녕하세요.
올려주신 프로젝트에 관심이 있어 질문 남깁니다!
혹시 HyperClovaX 파인튜닝 시 작성한 코드 공개가능하신지 여쭈어봅니다.
감사합니다.
답글이 늦었네요. 참고가 되면 좋겠습니다.
base_model: naver-hyperclovax/HyperCLOVAX-SEED-Text-Instruct-1.5B
model_type: AutoModelForCausalLM
tokenizer_type: AutoTokenizer
trust_remote_code: true # [필수] 커스텀 코드 허용
load_in_8bit: false
load_in_4bit: false
strict: false
datasets:
- path: thesis_train_split.jsonl
type: alpaca
dataset_prepared_path: last_run_prepared_hyperclova
val_set_size: 0.0
output_dir: ./output/hyperclova-lora-v1
sequence_len: 2048
sample_packing: true
pad_to_sequence_len: true
adapter: lora
lora_r: 32
lora_alpha: 64
lora_dropout: 0.05
lora_target_linear: true
lora_modules_to_save:
- embed_tokens
- lm_head
wandb_project: thesis-nl2sql
wandb_name: hyperclova-lora-v1-5epoch
gradient_accumulation_steps: 16
micro_batch_size: 1
num_epochs: 5
optimizer: adamw_torch
lr_scheduler: cosine
learning_rate: 0.0002
train_on_inputs: false
group_by_length: false
bf16: true
fp16: false
tf32: false
gradient_checkpointing: true
flash_attention: false
warmup_steps: 20
evals_per_epoch: 0
saves_per_epoch: 1
save_total_limit: 5
weight_decay: 0.0
special_tokens:
안녕하세요.
친절한 답변 감사드립니다 ㅎㅎ!