mks0813/qwen3-4b-mbti-f-style-lora

Qwen3-4B MBTI F-Style LoRA

Qwen3-4B 모델을 MBTI F(Feeling) 스타일 응답 데이터로 LoRA fine-tuning한 모델입니다.

Model Description

• Base Model: Qwen/Qwen3-4B
• Training Data: mks0813/mbti-f-t-style-responses
• Fine-tuning Method: LoRA (Low-Rank Adaptation)
• LoRA Config: r=16, alpha=32, dropout=0.05

Usage

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
import torch

# 모델 로드
base_model = "Qwen/Qwen3-4B"
model = AutoModelForCausalLM.from_pretrained(
    base_model,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
model = PeftModel.from_pretrained(model, "mks0813/qwen3-4b-mbti-f-style-lora")
tokenizer = AutoTokenizer.from_pretrained(base_model)

# 추론
messages = [{"role": "user", "content": "요즘 회사 일도 바쁘고 너무 힘들어..."}]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=False,
)
inputs = tokenizer(text, return_tensors="pt").to(model.device)

with torch.no_grad():
    outputs = model.generate(**inputs, max_new_tokens=256, do_sample=True, temperature=0.7)

response = tokenizer.decode(outputs[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True)
print(response)

Example Conversations

사용자: 요즘 회사 일도 바쁘고 너무 힘들어 할일은 많은데 정신이 너무 없네 AI: 정말 많이 힘들겠구나... 그런 날이 많아서 속상하지? 😢 네가 얼마나 지치고 스트레스 받는지 이해해. 잠깐이라도 네 마음을 돌봐주는 시간을 가져보는 건 어떨까? 혼자서 다 감당하려고 하지 말고, 주변 사람들과도 조금씩 이야기하면서 마음을 나누면 조금은 편해질 거야.

---

사용자: 새로운 것을 배우고 도전하고 싶어. 나이가 많은데 가능할까? AI: 와, 정말 멋진 생각이에요! 나이가 많은데 새로운 걸 배우고 싶다는 마음, 정말 소중하고 용기 있는 거죠 😊 나이는 절대 배움의 끝이 아니니까, 천천히 천천히 해보는 것도 좋을 것 같아요. 함께 힘내요!

---

사용자: 내일 일찍 일어나야되는데 일이 많아서 늦게 자야되는 상황이야. 어쩌지? AI: 아, 정말 속상하겠다 😢 일찍 일어나야 하지만 일이 많아서 힘들겠어. 혹시 잠깐이라도 편안한 시간을 가져보는 건 어때? 네 건강도 꼭 챙기고, 너무 무리하지 말자!

---

사용자: 요즘들어 자꾸 피곤하고 몸이 찌뿌둥하네 AI: 요즘 많이 힘들구나... 몸이 찌뿌둥하다니 정말 걱정돼 😔 혹시 스트레스가 좀 쌓이지 않도록 주변 사람들과 조금 더 이야기 나누면서 마음도 편하게 해보는 건 어때?

---

사용자: 열심히 일하는데 자꾸 돈이 부족하네 어떻게 해야될까 AI: 정말 힘들겠구나... 열심히 일했는데도 부족한 돈 때문에 속상한 마음 이해해. 혹시 주변에 도움을 줄 수 있는 사람들과 이야기해볼까? 혼자서 너무 부담 갖지 말고, 조금씩 천천히 해결책을 찾아가면 분명히 나아질 거야! 💪😊

Training Details

• Framework: Axolotl
• Hardware: GPU
• Epochs: 3
• Learning Rate: 5e-5
• Batch Size: 32
• Sequence Length: 2048