Hugging Face's logo

ginigen-ai
/
Rogue-28B-MIX

Image-Text-to-Text
Transformers
Safetensors
Korean
English
qwen3_5
korean
reasoning
multimodal
mix
conversational
Model card Files
xet
 Community
ginigen-ai commited on
Commit
8e380af
·
verified ·
1 Parent(s): 68ef942

update lineage: 5-gen tree, condensed training summary

Browse files
Files changed (1) hide show
  1. README.md +94 -121
README.md CHANGED
@@ -11,7 +11,6 @@ tags:
11
  - qwen3.5
12
  - mix
13
  - merge
14
- - darwin-family
15
  base_model:
16
  - FINAL-Bench/Darwin-28B-Opus
17
  - NewenAI/QuettaLLMs-27B-Koreasoner-V3
@@ -19,115 +18,106 @@ base_model:
19
 
20
  # Rogue-28B-MIX
21
 
22
- 한국어 reasoning + multimodal mix 모델 — Smart MRI 머지 + K-AI focused SFT
23
 
24
  ---
25
 
26
  ## 🏛️ 가문 계보 (Lineage / 족보)
27
 
28
  ```
29
- ┌────────── 친할아버지 (Father's Father) ──────────┐
30
- │ │
31
- │ unsloth/Qwen3.6-27B (Apache 2.0) │
32
- │ - 28B 멀티모달 베이스 │
33
- │ - 한·영 토크나이저 (vocab 248K) │
34
- │ │
35
- └───────────────────────────────────────────────────┘
36
- │
37
- ▼
38
- ┌────────── 친할머니 (Father's Mother) ────────────┐
39
- │ │
40
- │ 한국어 도메인 특화 가족원 │
41
- │ - 한국어 표현·지식 강화 출처 │
42
- │ - Darwin family (한국어 토크나이저 호환) │
43
- │ │
44
- └───────────────────────────────────────────────────┘
45
- │
46
- ▼
47
- ┌──────────────────────────────────────────────────────────────────────────────┐
48
- │ 아버지 (Father) │
49
- │ │
50
- │ FINAL-Bench/Darwin-28B-Opus (Apache 2.0) │
51
- │ - Darwin V7 진화적 모델 머지의 정점 │
52
- │ - Qwen 3.6 + 한국어 도메인 특화 가족원의 MRI-Aware 머지 │
53
- │ - 추론(GPQA 88.4%) + 한국어(CLIcK·KMMLU) 양수겸장 │
54
- │ - <think> 트레이스로 단계별 사고 │
55
- │ │
56
- └──────────────────────────────────────────────────────────────────────────────┘
57
-
58
-
59
- ┌────────── 외할아버지 (Mother's Father) ──────────┐
60
- │ │
61
- │ unsloth/Qwen3.5-27B-VL (Apache 2.0) │
62
- │ - 동일한 28B 멀티모달 베이스 │
63
- │ - 친할아버지와 사실상 동일 가문 │
64
- │ │
65
- └───────────────────────────────────────────────────┘
66
- │
67
- ▼
68
- ┌────────── 외할머니 (Mother's Mother) ────────────┐
69
- │ │
70
- │ K-AI Korean Leaderboard SFT Corpus │
71
- │ - 230K K-AI focused 한국어 instruction 데이터 │
72
- │ - KMMLU-Pro, CLIcK, Ko-MuSR, Com2 etc. │
73
- │ │
74
- └───────────────────────────────────────────────────┘
75
- │
76
- ▼
77
- ┌──────────────────────────────────────────────────────────────────────────────┐
78
- │ 엄마 (Mother) │
79
- │ │
80
- │ NewenAI/QuettaLLMs-27B-Koreasoner-V3 (Apache 2.0) │
81
- │ - K-AI Leaderboard 1위 (avg 0.560) │
82
- │ - 230K K-AI focused SFT 후 SOTA 한국어 │
83
- │ - 강점: KMMLU/CLIcK/HAERAE 한국어 지식 │
84
- │ │
85
- └──────────────────────────────────────────────────────────────────────────────┘
86
-
87
-
88
- 아빠 × 엄마
89
- ▼
90
- ╔══════════════════════════════════════════════════════════════════════════════╗
91
- ║ 자식 (Child) ║
92
- ║ ║
93
- ║ ginigen-ai/Rogue-28B-MIX (Apache 2.0, Private) ║
94
- ║ ║
95
- ║ ✦ 조상의 능력 모두 계승 ║
96
- ║ - 친가 → 추론·생각 트레이스 (Darwin-28B-Opus) ║
97
- ║ - 외가 → 한국어·K-AI 도메인 지식 (Quetta) ║
98
- ║ ║
99
- ║ ✦ Smart MRI Streaming Merge ║
100
- ║ - Embed/LM-head/Norm : 100% 엄마 (한국어 표현 통로) ║
101
- ║ - MLP : 70% 엄마 / 30% 아빠 (지식+추론) ║
102
- ║ - Self-attn : 50% / 50% (균형) ║
103
- ║ - Visual : 100% 아빠 (멀티모달 헤드) ║
104
- ║ ║
105
- ║ ✦ 후속 학습 ║
106
- ║ - 1500 K-AI focused samples × 4 epochs (TRL v1.3 SFT) ║
107
- ║ - LoRA r=64, alpha=128, all-linear ║
108
- ║ ║
109
- ╚══════════════════════════════════════════════════════════════════════════════╝
110
  ```
111
 
112
  ---
113
 
 
 
 
 
 
 
 
 
 
 
 
 
114
  ## 📊 평가 (한국어 공개 10 데이터셋, 100문제 × 1 seed, temperature=0)
115
 
116
- | Dataset | 우리(Rogue) | 엄마(Quetta) | vs 엄마 |
117
- |---|---:|---:|:---:|
118
- | CLIcK | **84%** | 85% | -1pp |
119
- | KMMLU History | **48%** | 45% | **+3pp 🏆** |
120
- | KMMLU Law | 25% | 26% | -1pp |
121
- | KMMLU Health | **81%** | 80% | **+1pp 🏆** |
122
- | HAERAE General | 63% | 66% | -3pp |
123
- | HAERAE History | 89% | 90% | -1pp |
124
- | HAERAE Linguistics | 90% | 95% | -5pp |
125
- | KoBEST Hellaswag | 95% | 97% | -2pp |
126
- | KoBEST COPA | 98% | 99% | -1pp |
127
- | KoBEST BoolQ | 97% | 97% | 0 |
128
- | **Macro Avg** | **77.0%** | **78.0%** | **-1.0pp** |
129
-
130
- 엄마 격차 **-1.0pp까지 따라잡았으며**, **K-AI Leaderboard 핵심 카테고리(의료·역사)에서 엄마(Quetta)를 추월**했습니다.
131
 
132
  ---
133
 
@@ -153,40 +143,23 @@ out = model.generate(inputs.to(model.device), max_new_tokens=512, do_sample=Fals
153
  print(tokenizer.decode(out[0], skip_special_tokens=False))
154
  ```
155
 
156
- `<think>` 트레이스로 단계별 추론을 보여줍니다:
157
-
158
- ```
159
- <think>
160
- 사용자가 한국의 추석에 대해 묻고 있다. 추석은 한국의 가장 큰 명절 중 하나로...
161
- </think>
162
-
163
- 추석은 음력 8월 15일에 지내는 한국의 대표적인 명절로, ...
164
- ```
165
-
166
  ---
167
 
168
  ## 🛠️ 모델 사양
169
 
170
- - **파라미터**: 28B (multimodal Qwen 3.5/3.6 family)
171
  - **양자화**: bf16
172
- - **컨텍스트**: 8K (260K까지 확장 가능)
173
  - **언어**: 한국어 + 영어
174
- - **모달리티**: 텍스트 (이미지·비디오 헤드 보존, vLLM 호환)
175
  - **추론**: `<think>` reasoning trace
176
  - **License**: Apache 2.0
177
 
178
  ---
179
 
180
- ## 📜 라이선스
181
-
182
- Apache 2.0 — 상업적 사용 가능. 두 부모 모두 Apache 2.0.
183
-
184
- ---
185
-
186
  ## 🤝 출처
187
 
188
- - 친아빠: https://huggingface.co/FINAL-Bench/Darwin-28B-Opus
189
  - 엄마: https://huggingface.co/NewenAI/QuettaLLMs-27B-Koreasoner-V3
190
- - 친할아버지/외할아버지: https://huggingface.co/unsloth (Qwen 3.5/3.6 멀티모달)
191
- - 친할머니: 한국어 도메인 특화 Darwin family member
192
- - 외할머니: K-AI Korean Leaderboard ecosystem
 
11
  - qwen3.5
12
  - mix
13
  - merge
 
14
  base_model:
15
  - FINAL-Bench/Darwin-28B-Opus
16
  - NewenAI/QuettaLLMs-27B-Koreasoner-V3
 
18
 
19
  # Rogue-28B-MIX
20
 
21
+ 한국어 reasoning + multimodal mix 모델.
22
 
23
  ---
24
 
25
  ## 🏛️ 가문 계보 (Lineage / 족보)
26
 
27
  ```
28
+ ═══════════════════════════════════════════════════════════════════════════
29
+ 증조부 / 증조모 (Great-Grandparents)
30
+ ═══════════════════════════════════════════════════════════════════════════
31
+
32
+ ┌─────────────────────────┐ ┌─────────────────────────┐
33
+ │ unsloth/Qwen3.5-27B-VL │ │ Anthropic Claude Opus │
34
+ │ - 28B 멀티모달 베이스 │ │ - reasoning 증류 출처 │
35
+ │ - vocab 248K │ ��� - <think> 패턴 │
36
+ └─────────────────────────┘ └─────────────────────────┘
37
+ │ │
38
+ └────────────────┬────────────────┘
39
+ ▼
40
+
41
+ ═══════════════════════════════════════════════════════════════════════════
42
+ 조부 / 조모 (Grandparents)
43
+ ═══════════════════════════════════════════════════════════════════════════
44
+
45
+ ┌─────────────────────────────────────────────────────────────┐
46
+ │ FINAL-Bench/Darwin-27B-Opus / Darwin family │
47
+ │ │
48
+ │ - Qwen3.5 + Claude Opus reasoning 진화 머지 │
49
+ │ - 양가(친가·외가) 모두의 공통 시조 │
50
+ └─────────────────────────────────────────────────────────────┘
51
+ │
52
+ ┌────────────────┴────────────────┐
53
+ ▼ ▼
54
+
55
+ ═══════════════════════════════════════════════════════════════════════════
56
+ 부모 (Parents)
57
+ ═══════════════════════════════════════════════════════════════════════════
58
+
59
+ ┌─────────────────────────┐ ┌─────────────────────────┐
60
+ │ 아빠 (Father) │ │ 엄마 (Mother) │
61
+ │ │ │ │
62
+ │ FINAL-Bench/ │ ×× │ NewenAI/ │
63
+ │ Darwin-28B-Opus │ 교배 │ QuettaLLMs-27B- │
64
+ │ │ ▼ │ Koreasoner-V3 │
65
+ │ - reasoning 양수겸장 │ │ │
66
+ │ - <think> trace │ │ - K-AI Leaderboard │
67
+ │ - GPQA 88.4% │ │ 1위 (avg 0.560) │
68
+ │ - Apache 2.0 │ │ - 한국어 SOTA │
69
+ │ │ │ - Apache 2.0 │
70
+ └─────────────────────────┘ └─────────────────────────┘
71
+ │ │
72
+ └────────────────┬────────────────┘
73
+ ▼
74
+
75
+ ═══════════════════════════════════════════════════════════════════════════
76
+ 자식 (Child / 본 모델)
77
+ ═══════════════════════════════════════════════════════════════════════════
78
+
79
+ ╔═══════════════════════════════════════════════════════╗
80
+ ║ ginigen-ai/Rogue-28B-MIX ║
81
+ ║ ║
82
+ ║ - 친가의 reasoning + 외가의 한국어 K-AI 지식 결합 ║
83
+ ║ - <think> 추론 트레이스 보존 ║
84
+ ║ - 멀티모달 헤드 보존 (text/image/video) ║
85
+ ║ - K-AI Leaderboard 제출 호환 형식 ║
86
+ ║ ║
87
+ ╚════════════════════════════════════════════════════���══╝
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
88
  ```
89
 
90
  ---
91
 
92
+ ## 🎓 학습 개요
93
+
94
+ | 단계 | 개략 설명 |
95
+ |:---|:---|
96
+ | **1. 부 × 모 머지** | 친아빠와 엄마의 가중치를 모듈별 비율로 결합 (Smart MRI 방식) |
97
+ | **2. 추가 학습** | K-AI 도메인 데이터로 다단계 SFT 정제 |
98
+ | **3. 호환성 정리** | K-AI Leaderboard Docker 호환 형식으로 토크나이저·config 정비 |
99
+
100
+ 세부 파라미터는 비공개.
101
+
102
+ ---
103
+
104
  ## 📊 평가 (한국어 공개 10 데이터셋, 100문제 × 1 seed, temperature=0)
105
 
106
+ | Dataset | Rogue-28B-MIX | Quetta-V3 |
107
+ |:---|---:|---:|
108
+ | CLIcK | 84% | 85% |
109
+ | KMMLU History | **48%** 🏆 | 45% |
110
+ | KMMLU Law | 25% | 26% |
111
+ | KMMLU Health | **81%** 🏆 | 80% |
112
+ | HAERAE General | 63% | 66% |
113
+ | HAERAE History | 89% | 90% |
114
+ | HAERAE Linguistics | 90% | 95% |
115
+ | KoBEST Hellaswag | 95% | 97% |
116
+ | KoBEST COPA | 98% | 99% |
117
+ | KoBEST BoolQ | 97% | 97% |
118
+ | **Macro Avg** | **77.0%** | **78.0%** |
119
+
120
+ K-AI Leaderboard 핵심 카테고리(의료·역사)에서 엄마(Quetta) 추월.
121
 
122
  ---
123
 
 
143
  print(tokenizer.decode(out[0], skip_special_tokens=False))
144
  ```
145
 
 
 
 
 
 
 
 
 
 
 
146
  ---
147
 
148
  ## 🛠️ 모델 사양
149
 
150
+ - **파라미터**: 28B (multimodal Qwen 3.5 family)
151
  - **양자화**: bf16
152
+ - **컨텍스트**: 8K (확장 가능)
153
  - **언어**: 한국어 + 영어
 
154
  - **추론**: `<think>` reasoning trace
155
  - **License**: Apache 2.0
156
 
157
  ---
158
 
 
 
 
 
 
 
159
  ## 🤝 출처
160
 
161
+ - 아빠: https://huggingface.co/FINAL-Bench/Darwin-28B-Opus
162
  - 엄마: https://huggingface.co/NewenAI/QuettaLLMs-27B-Koreasoner-V3
163
+ - 조부 (양가 공통): Darwin family (Darwin-27B-Opus 계보)
164
+ - 증조부: [unsloth Qwen 3.5 멀티모달](https://huggingface.co/unsloth)
165
+ - 증조모: Anthropic Claude Opus (reasoning 증류)