README: Mother model is rico03/Qwen3.6-27B-Claude-Opus-Reasoning-Distilled; Son is Darwin-28B-Opus
Browse files
README.md
CHANGED
|
@@ -25,42 +25,45 @@ library_name: transformers
|
|
| 25 |
base_model:
|
| 26 |
- FINAL-Bench/Darwin-28B-Opus
|
| 27 |
- Qwen/Qwen3.6-27B
|
| 28 |
-
-
|
| 29 |
---
|
| 30 |
|
| 31 |
# AWAXIS-Think-28B
|
| 32 |
|
| 33 |
**Anserwise가 공개하는 한국어 특화 28B 추론 LLM**
|
| 34 |
-
Qwen3.6
|
| 35 |
|
| 36 |
---
|
| 37 |
|
| 38 |
## 🧬 모델 계보 (Family Tree)
|
| 39 |
|
| 40 |
```
|
| 41 |
-
┌─────────────────────────────────────────────────────────────┐
|
| 42 |
-
│
|
| 43 |
-
│
|
| 44 |
-
│
|
| 45 |
-
│
|
| 46 |
-
│
|
| 47 |
-
│
|
| 48 |
-
│
|
| 49 |
-
│ │ Darwin V7 진화적 병합 (CMA-ES 기반 최적
|
| 50 |
-
│ ▼
|
| 51 |
-
│
|
| 52 |
-
│
|
| 53 |
-
│
|
| 54 |
-
│
|
| 55 |
-
│
|
| 56 |
-
│
|
| 57 |
-
│
|
| 58 |
-
│
|
| 59 |
-
|
|
|
|
|
|
|
|
|
|
| 60 |
```
|
| 61 |
|
| 62 |
**3대 가계 구조**:
|
| 63 |
-
- **부·모**가 Darwin V7 시스템에서 **진화적으로 교배**되어 **자(Darwin-28B-Opus)** 탄생
|
| 64 |
- 그 **자 모델 위에 한국어 LoRA**를 입혀 **AWAXIS-Think-28B** 완성
|
| 65 |
|
| 66 |
---
|
|
@@ -74,7 +77,7 @@ Qwen3.6 세대 백본 위에 Darwin V7 진화적 병합으로 탄생한 Darwin-2
|
|
| 74 |
| 컨텍스트 | 262,144 tokens |
|
| 75 |
| 자(子) 모델 | FINAL-Bench/Darwin-28B-Opus |
|
| 76 |
| 부(父) 백본 | Qwen/Qwen3.6-27B |
|
| 77 |
-
| 모(母) 베이스 |
|
| 78 |
| 추가 학습 | **한국어 LoRA 미세조정** |
|
| 79 |
| 라이선스 | Apache 2.0 |
|
| 80 |
| 데이터형 | BF16 |
|
|
@@ -84,14 +87,18 @@ Qwen3.6 세대 백본 위에 Darwin V7 진화적 병합으로 탄생한 Darwin-2
|
|
| 84 |
|
| 85 |
## ✨ 주요 특징
|
| 86 |
|
| 87 |
-
### 1. Darwin 진화적 병합
|
| 88 |
-
FINAL-Bench 팀의 **Darwin V7 시스템**이
|
| 89 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
| 90 |
|
| 91 |
### 2. 한국어 LoRA 미세조정 — AWAXIS-Think-28B
|
| 92 |
자(Darwin-28B-Opus) 위에 **영향도 최소화 LoRA**를 적용:
|
| 93 |
- **Rank**: 8 (전체 파라미터의 약 0.02%만 조정)
|
| 94 |
-
- **Target modules**: q_proj, k_proj, v_proj, o_proj (어텐션만)
|
| 95 |
- **Alpha**: 16, Dropout: 0.05
|
| 96 |
- **학습 데이터**: KoAlpaca-v1.1a + KOpen-platypus (선별 3,000 샘플)
|
| 97 |
- **Epoch**: 1, Learning rate: 1e-5 cosine schedule
|
|
@@ -100,7 +107,7 @@ FINAL-Bench 팀의 **Darwin V7 시스템**이 Qwen3.6-27B(부)와 Darwin-28B-Opu
|
|
| 100 |
|
| 101 |
### 3. Qwen3.5 하이브리드 어텐션
|
| 102 |
- **Linear Attention (Gated Delta Net)** × 48 — 262K 긴 컨텍스트 효율
|
| 103 |
-
- **Full Attention** × 16 — 핵심 토큰 간 강한 관계
|
| 104 |
- **4:1 패턴**: `[L, L, L, F]` × 16 반복
|
| 105 |
|
| 106 |
### 4. K-AI 리더보드 호환 패키지
|
|
@@ -176,8 +183,9 @@ Apache 2.0 — 상업·학술 목적 사용 가능. 재배포 시 **베이스
|
|
| 176 |
|
| 177 |
## 🙏 감사의 말
|
| 178 |
|
| 179 |
-
- **Alibaba Qwen 팀** — 부(父) Qwen3.6-27B 기반 백본 제공
|
| 180 |
-
- **
|
|
|
|
| 181 |
- **한국어 SFT 데이터셋 기여자** — KoAlpaca, KOpen-platypus
|
| 182 |
- **HuggingFace / Transformers / PEFT** 커뮤니티
|
| 183 |
|
|
|
|
| 25 |
base_model:
|
| 26 |
- FINAL-Bench/Darwin-28B-Opus
|
| 27 |
- Qwen/Qwen3.6-27B
|
| 28 |
+
- rico03/Qwen3.6-27B-Claude-Opus-Reasoning-Distilled
|
| 29 |
---
|
| 30 |
|
| 31 |
# AWAXIS-Think-28B
|
| 32 |
|
| 33 |
**Anserwise가 공개하는 한국어 특화 28B 추론 LLM**
|
| 34 |
+
Qwen3.6-27B(부)와 rico03의 Claude Opus 증류 추론 모델(모)을 **Darwin V7 진화적 병합**으로 교배하여 탄생한 **Darwin-28B-Opus(자)**, 그 자 모델 위에 **한국어 LoRA**를 입혀 완성된 모델입니다.
|
| 35 |
|
| 36 |
---
|
| 37 |
|
| 38 |
## 🧬 모델 계보 (Family Tree)
|
| 39 |
|
| 40 |
```
|
| 41 |
+
┌───────────────────────────────────────────────────────────────────────┐
|
| 42 |
+
│ │
|
| 43 |
+
│ 부 (Father): Qwen/Qwen3.6-27B │
|
| 44 |
+
│ └─ Alibaba Qwen 팀의 최신 Qwen3.6 세대 백본 │
|
| 45 |
+
│ │
|
| 46 |
+
│ 모 (Mother): rico03/Qwen3.6-27B-Claude-Opus-Reasoning-Distilled │
|
| 47 |
+
│ └─ Claude Opus 추론 능력을 증류한 Qwen3.6-27B 기반 모델 │
|
| 48 |
+
│ │
|
| 49 |
+
│ │ Darwin V7 진화적 병합 (CMA-ES 기반 최적 혼합 탐색) │
|
| 50 |
+
│ ▼ │
|
| 51 |
+
│ │
|
| 52 |
+
│ 자 (Son): FINAL-Bench/Darwin-28B-Opus │
|
| 53 |
+
│ └─ 부·모 DNA 결합 28B 모델 │
|
| 54 |
+
│ Qwen3.5 하이브리드 아키텍처 (Linear × 48 + Full × 16) │
|
| 55 |
+
│ │
|
| 56 |
+
│ │ 한국어 LoRA 미세조정 (r=8, 어텐션 전용, 영향도 최소) │
|
| 57 |
+
│ ▼ │
|
| 58 |
+
│ │
|
| 59 |
+
│ 본 모델: Anserwise/AWAXIS-Think-28B ⭐ │
|
| 60 |
+
│ └─ 한국어 특화 28B (K-AI 리더보드 타겟) │
|
| 61 |
+
│ │
|
| 62 |
+
└───────────────────────────────────────────────────────────────────────┘
|
| 63 |
```
|
| 64 |
|
| 65 |
**3대 가계 구조**:
|
| 66 |
+
- **부·모**(Qwen3.6-27B × rico03 Claude-Opus-Reasoning-Distilled)가 Darwin V7 시스템에서 **진화적으로 교배**되어 **자(Darwin-28B-Opus)** 탄생
|
| 67 |
- 그 **자 모델 위에 한국어 LoRA**를 입혀 **AWAXIS-Think-28B** 완성
|
| 68 |
|
| 69 |
---
|
|
|
|
| 77 |
| 컨텍스트 | 262,144 tokens |
|
| 78 |
| 자(子) 모델 | FINAL-Bench/Darwin-28B-Opus |
|
| 79 |
| 부(父) 백본 | Qwen/Qwen3.6-27B |
|
| 80 |
+
| 모(母) 베이스 | rico03/Qwen3.6-27B-Claude-Opus-Reasoning-Distilled |
|
| 81 |
| 추가 학습 | **한국어 LoRA 미세조정** |
|
| 82 |
| 라이선스 | Apache 2.0 |
|
| 83 |
| 데이터형 | BF16 |
|
|
|
|
| 87 |
|
| 88 |
## ✨ 주요 특징
|
| 89 |
|
| 90 |
+
### 1. Darwin V7 진화적 병합으로 태어난 자(子) Darwin-28B-Opus
|
| 91 |
+
FINAL-Bench 팀의 **Darwin V7 시스템**이:
|
| 92 |
+
- **부(Qwen/Qwen3.6-27B)** — 최신 Qwen3.6 세대 범용 백본
|
| 93 |
+
- **모(rico03/Qwen3.6-27B-Claude-Opus-Reasoning-Distilled)** — Claude Opus급 추론력을 Qwen3.6-27B에 증류한 모델
|
| 94 |
+
|
| 95 |
+
두 부모를 **CMA-ES 기반 진화적 탐색**으로 레이어별 최적 혼합 비율을 수십 세대 진화시켜 병합.
|
| 96 |
+
→ **부모의 범용 백본 + 고급 추론력이 동시 계승된 28B 자(子) 모델** 탄생.
|
| 97 |
|
| 98 |
### 2. 한국어 LoRA 미세조정 — AWAXIS-Think-28B
|
| 99 |
자(Darwin-28B-Opus) 위에 **영향도 최소화 LoRA**를 적용:
|
| 100 |
- **Rank**: 8 (전체 파라미터의 약 0.02%만 조정)
|
| 101 |
+
- **Target modules**: q_proj, k_proj, v_proj, o_proj (어텐션만, FFN 미개입)
|
| 102 |
- **Alpha**: 16, Dropout: 0.05
|
| 103 |
- **학습 데이터**: KoAlpaca-v1.1a + KOpen-platypus (선별 3,000 샘플)
|
| 104 |
- **Epoch**: 1, Learning rate: 1e-5 cosine schedule
|
|
|
|
| 107 |
|
| 108 |
### 3. Qwen3.5 하이브리드 어텐션
|
| 109 |
- **Linear Attention (Gated Delta Net)** × 48 — 262K 긴 컨텍스트 효율
|
| 110 |
+
- **Full Attention** × 16 — 핵심 토큰 간 강한 관계 포착
|
| 111 |
- **4:1 패턴**: `[L, L, L, F]` × 16 반복
|
| 112 |
|
| 113 |
### 4. K-AI 리더보드 호환 패키지
|
|
|
|
| 183 |
|
| 184 |
## 🙏 감사의 말
|
| 185 |
|
| 186 |
+
- **Alibaba Qwen 팀** — 부(父) Qwen/Qwen3.6-27B 기반 백본 제공
|
| 187 |
+
- **rico03** — 모(母) Qwen3.6-27B-Claude-Opus-Reasoning-Distilled (Claude Opus 추론 증류)
|
| 188 |
+
- **FINAL-Bench 팀** — 자(子) Darwin-28B-Opus 및 Darwin V7 진화적 병합 시스템
|
| 189 |
- **한국어 SFT 데이터셋 기여자** — KoAlpaca, KOpen-platypus
|
| 190 |
- **HuggingFace / Transformers / PEFT** 커뮤니티
|
| 191 |
|