Model tree: base_model_relation=merge for proper graph

README.md

@@ -1,196 +1,196 @@
----
-license: apache-2.0
-language:
-- ko
-- en
-- zh
-- ja
-- multilingual
-tags:
-- korean
-- korean-sft
-- korean-lora
-- reasoning
-- thinking
-- darwin
-- qwen3.5
-- qwen3.6
-- hybrid-attention
-- linear-attention
-- evolutionary-merge
-- k-ai-leaderboard
-- anserwise
-pipeline_tag: text-generation
-library_name: transformers
-base_model:
-- FINAL-Bench/Darwin-28B-Opus
-- Qwen/Qwen3.6-27B
-- rico03/Qwen3.6-27B-Claude-Opus-Reasoning-Distilled
----
-
-# AWAXIS-Think-28B
-
-**Anserwise가 공개하는 한국어 특화 28B 추론 LLM**  
-Qwen3.6-27B(부)와 rico03의 Claude Opus 증류 추론 모델(모)을 **Darwin V7 진화적 병합**으로 교배하여 탄생한 **Darwin-28B-Opus(자)**, 그 자 모델 위에 **한국어 LoRA**를 입혀 완성된 모델입니다.
-
----
-
-## 🧬 모델 계보 (Family Tree)
-
-```
-┌───────────────────────────────────────────────────────────────────────┐
-│                                                                       │
-│  부 (Father):  Qwen/Qwen3.6-27B                                       │
-│                └─ Alibaba Qwen 팀의 최신 Qwen3.6 세대 백본               │
-│                                                                       │
-│  모 (Mother):  rico03/Qwen3.6-27B-Claude-Opus-Reasoning-Distilled     │
-│                └─ Claude Opus 추론 능력을 증류한 Qwen3.6-27B 기반 모델    │
-│                                                                       │
-│              │  Darwin V7 진화적 병합 (CMA-ES 기반 최적 혼합 탐색)        │
-│              ▼                                                        │
-│                                                                       │
-│  자 (Son):   FINAL-Bench/Darwin-28B-Opus                              │
-│              └─ 부·모 DNA 결합 28B 모델                                 │
-│                 Qwen3.5 하이브리드 아키텍처 (Linear × 48 + Full × 16)    │
-│                                                                       │
-│              │  한국어 LoRA 미세조정 (r=8, 어텐션 전용, 영향도 최소)      │
-│              ▼                                                        │
-│                                                                       │
-│  본 모델:    Anserwise/AWAXIS-Think-28B  ⭐                            │
-│              └─ 한국어 특화 28B (K-AI 리더보드 타겟)                     │
-│                                                                       │
-└───────────────────────────────────────────────────────────────────────┘
-```
-
-**3대 가계 구조**:  
-- **부·모**(Qwen3.6-27B × rico03 Claude-Opus-Reasoning-Distilled)가 Darwin V7 시스템에서 **진화적으로 교배**되어 **자(Darwin-28B-Opus)** 탄생
-- 그 **자 모델 위에 한국어 LoRA**를 입혀 **AWAXIS-Think-28B** 완성
-
----
-
-## 📊 모델 개요
-
-| 항목 | 값 |
-|------|-----|
-| 파라미터 | 약 27B (텍스트 언어 모델) + 비전 타워 포함 |
-| 아키텍처 | Qwen3.5 하이브리드 (Linear Attention × 48 + Full Attention × 16) |
-| 컨텍스트 | 262,144 tokens |
-| 자(子) 모델 | FINAL-Bench/Darwin-28B-Opus |
-| 부(父) 백본 | Qwen/Qwen3.6-27B |
-| 모(母) 베이스 | rico03/Qwen3.6-27B-Claude-Opus-Reasoning-Distilled |
-| 추가 학습 | **한국어 LoRA 미세조정** |
-| 라이선스 | Apache 2.0 |
-| 데이터형 | BF16 |
-| 파일 형식 | 표준 safetensors (11 shards) + Qwen3VLProcessor 호환 |
-
----
-
-## ✨ 주요 특징
-
-### 1. Darwin V7 진화적 병합으로 태어난 자(子) Darwin-28B-Opus
-FINAL-Bench 팀의 **Darwin V7 시스템**이:
-- **부(Qwen/Qwen3.6-27B)** — 최신 Qwen3.6 세대 범용 백본
-- **모(rico03/Qwen3.6-27B-Claude-Opus-Reasoning-Distilled)** — Claude Opus급 추론력을 Qwen3.6-27B에 증류한 모델
-
-두 부모를 **CMA-ES 기반 진화적 탐색**으로 레이어별 최적 혼합 비율을 수십 세대 진화시켜 병합.  
-→ **부모의 범용 백본 + 고급 추론력이 동시 계승된 28B 자(子) 모델** 탄생.
-
-### 2. 한국어 LoRA 미세조정 — AWAXIS-Think-28B
-자(Darwin-28B-Opus) 위에 **영향도 최소화 LoRA**를 적용:
-- **Rank**: 8 (전체 파라미터의 약 0.02%만 조정)
-- **Target modules**: q_proj, k_proj, v_proj, o_proj (어텐션만, FFN 미개입)
-- **Alpha**: 16, Dropout: 0.05
-- **학습 데이터**: KoAlpaca-v1.1a + KOpen-platypus (선별 3,000 샘플)
-- **Epoch**: 1, Learning rate: 1e-5 cosine schedule
-
-→ 부·모·자가 쌓아온 일반 능력을 **보존하면서** 한국어 응답 자연스러움·문맥 이해만 향상.
-
-### 3. Qwen3.5 하이브리드 어텐션
-- **Linear Attention (Gated Delta Net)** × 48 — 262K 긴 컨텍스트 효율
-- **Full Attention** × 16 — 핵심 토큰 간 강한 관계 포착
-- **4:1 패턴**: `[L, L, L, F]` × 16 반복
-
-### 4. K-AI 리더보드 호환 패키지
-- `Qwen3VLProcessor` 포함 (vLLM 기동 안정)
-- `Qwen2TokenizerFast` 표준 토크나이저
-- 표준 `model.safetensors.index.json`
-- 멀티모달 구조 유지 (텍스트 평가 시 동일하게 동작)
-
----
-
-## 🔧 사용법
-
-### 기본 로드
-```python
-from transformers import AutoModelForCausalLM, AutoTokenizer
-import torch
-
-tok = AutoTokenizer.from_pretrained("Anserwise/AWAXIS-Think-28B")
-model = AutoModelForCausalLM.from_pretrained(
-    "Anserwise/AWAXIS-Think-28B",
-    torch_dtype=torch.bfloat16,
-    device_map="auto",
-    trust_remote_code=True,
-)
-```
-
-### 한국어 추론 예시
-```python
-messages = [
-    {"role": "user", "content": "세종대왕의 업적을 3가지로 요약해 주세요."}
-]
-prompt = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
-inputs = tok(prompt, return_tensors="pt").to(model.device)
-out = model.generate(**inputs, max_new_tokens=512, do_sample=False)
-print(tok.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))
-```
-
-### vLLM 서빙
-```bash
-vllm serve Anserwise/AWAXIS-Think-28B \
-  --trust-remote-code \
-  --max-model-len 16384 \
-  --dtype bfloat16
-```
-
----
-
-## 📊 벤치마크 (K-AI 리더보드 등재 예정)
-
-- **KMMLU** (한국어 다지선다 종합)
-- **HAERAE-Bench** (한국 상식·언어·독해)
-- **CLIcK** (한국 문화·언어 지식)
-- **GPQA** (영어 고난이도 추론)
-- **HumanEval** (코딩)
-
----
-
-## 🎯 활용 권장
-
-- ✅ 한국어 Q&A / 대화 / 창작
-- ✅ 장문 추론 / Chain-of-Thought
-- ✅ 다국어 교차 작업 (한·영·중·일)
-- ✅ 요약 / 번역 / 분석
-- ⚠️ 의료·법률·투자 등 전문 영역은 사람 검증 필수
-
----
-
-## 📝 라이선스
-
-Apache 2.0 — 상업·학술 목적 사용 가능. 재배포 시 **베이스 모델 출처 명시** 권장.
-
----
-
-## 🙏 감사의 말
-
-- **Alibaba Qwen 팀** — 부(父) Qwen/Qwen3.6-27B 기반 백본 제공
-- **rico03** — 모(母) Qwen3.6-27B-Claude-Opus-Reasoning-Distilled (Claude Opus 추론 증류)
-- **FINAL-Bench 팀** — 자(子) Darwin-28B-Opus 및 Darwin V7 진화적 병합 시스템
-- **한국어 SFT 데이터셋 기여자** — KoAlpaca, KOpen-platypus
-- **HuggingFace / Transformers / PEFT** 커뮤니티
-
----
-
-**모델 공개**: 2026-04-24  
-**제작**: Anserwise AI  
-**레포**: https://huggingface.co/Anserwise/AWAXIS-Think-28B
+---
+license: apache-2.0
+language:
+- ko
+- en
+- zh
+- ja
+- multilingual
+tags:
+- korean
+- korean-sft
+- korean-lora
+- reasoning
+- thinking
+- darwin
+- qwen3.5
+- qwen3.6
+- hybrid-attention
+- linear-attention
+- evolutionary-merge
+- k-ai-leaderboard
+- anserwise
+pipeline_tag: text-generation
+library_name: transformers
+base_model:
+- Qwen/Qwen3.6-27B
+- rico03/Qwen3.6-27B-Claude-Opus-Reasoning-Distilled
+base_model_relation: merge
+---
+
+# AWAXIS-Think-28B
+
+**Anserwise가 공개하는 한국어 특화 28B 추론 LLM**  
+Qwen3.6-27B(부)와 rico03의 Claude Opus 증류 추론 모델(모)을 **Darwin V7 진화적 병합**으로 교배하여 탄생한 **Darwin-28B-Opus(자)**, 그 자 모델 위에 **한국어 LoRA**를 입혀 완성된 모델입니다.
+
+---
+
+## 🧬 모델 계보 (Family Tree)
+
+```
+┌───────────────────────────────────────────────────────────────────────┐
+│                                                                       │
+│  부 (Father):  Qwen/Qwen3.6-27B                                       │
+│                └─ Alibaba Qwen 팀의 최신 Qwen3.6 세대 백본               │
+│                                                                       │
+│  모 (Mother):  rico03/Qwen3.6-27B-Claude-Opus-Reasoning-Distilled     │
+│                └─ Claude Opus 추론 능력을 증류한 Qwen3.6-27B 기반 모델    │
+│                                                                       │
+│              │  Darwin V7 진화적 병합 (CMA-ES 기반 최적 혼합 탐색)        │
+│              ▼                                                        │
+│                                                                       │
+│  자 (Son):   FINAL-Bench/Darwin-28B-Opus                              │
+│              └─ 부·모 DNA 결합 28B 모델                                 │
+│                 Qwen3.5 하이브리드 아키텍처 (Linear × 48 + Full × 16)    │
+│                                                                       │
+│              │  한국어 LoRA 미세조정 (r=8, 어텐션 전용, 영향도 최소)      │
+│              ▼                                                        │
+│                                                                       │
+│  본 모델:    Anserwise/AWAXIS-Think-28B  ⭐                            │
+│              └─ 한국어 특화 28B (K-AI 리더보드 타겟)                     │
+│                                                                       │
+└───────────────────────────────────────────────────────────────────────┘
+```
+
+**3대 가계 구조**:  
+- **부·모**(Qwen3.6-27B × rico03 Claude-Opus-Reasoning-Distilled)가 Darwin V7 시스템에서 **진화적으로 교배**되어 **자(Darwin-28B-Opus)** 탄생
+- 그 **자 모델 위에 한국어 LoRA**를 입혀 **AWAXIS-Think-28B** 완성
+
+---
+
+## 📊 모델 개요
+
+| 항목 | 값 |
+|------|-----|
+| 파라미터 | 약 27B (텍스트 언어 모델) + 비전 타워 포함 |
+| 아키텍처 | Qwen3.5 하이브리드 (Linear Attention × 48 + Full Attention × 16) |
+| 컨텍스트 | 262,144 tokens |
+| 자(子) 모델 | FINAL-Bench/Darwin-28B-Opus |
+| 부(父) 백본 | Qwen/Qwen3.6-27B |
+| 모(母) 베이스 | rico03/Qwen3.6-27B-Claude-Opus-Reasoning-Distilled |
+| 추가 학습 | **한국어 LoRA 미세조정** |
+| 라이선스 | Apache 2.0 |
+| 데이터형 | BF16 |
+| 파일 형식 | 표준 safetensors (11 shards) + Qwen3VLProcessor 호환 |
+
+---
+
+## ✨ 주요 특징
+
+### 1. Darwin V7 진화적 병합으로 태어난 자(子) Darwin-28B-Opus
+FINAL-Bench 팀의 **Darwin V7 시스템**이:
+- **부(Qwen/Qwen3.6-27B)** — 최신 Qwen3.6 세대 범용 백본
+- **모(rico03/Qwen3.6-27B-Claude-Opus-Reasoning-Distilled)** — Claude Opus급 추론력을 Qwen3.6-27B에 증류한 모델
+
+두 부모를 **CMA-ES 기반 진화적 탐색**으로 레이어별 최적 혼합 비율을 수십 세대 진화시켜 병합.  
+→ **부모의 범용 백본 + 고급 추론력이 동시 계승된 28B 자(子) 모델** 탄생.
+
+### 2. 한국어 LoRA 미세조정 — AWAXIS-Think-28B
+자(Darwin-28B-Opus) 위에 **영향도 최소화 LoRA**를 적용:
+- **Rank**: 8 (전체 파라미터의 약 0.02%만 조정)
+- **Target modules**: q_proj, k_proj, v_proj, o_proj (어텐션만, FFN 미개입)
+- **Alpha**: 16, Dropout: 0.05
+- **학습 데이터**: KoAlpaca-v1.1a + KOpen-platypus (선별 3,000 샘플)
+- **Epoch**: 1, Learning rate: 1e-5 cosine schedule
+
+→ 부·모·자가 쌓아온 일반 능력을 **보존하면서** 한국어 응답 자연스러움·문맥 이해만 향상.
+
+### 3. Qwen3.5 하이브리드 어텐션
+- **Linear Attention (Gated Delta Net)** × 48 — 262K 긴 컨텍스트 효율
+- **Full Attention** × 16 — 핵심 토큰 간 강한 관계 포착
+- **4:1 패턴**: `[L, L, L, F]` × 16 반복
+
+### 4. K-AI 리더보드 호환 패키지
+- `Qwen3VLProcessor` 포함 (vLLM 기동 안정)
+- `Qwen2TokenizerFast` 표준 토크나이저
+- 표준 `model.safetensors.index.json`
+- 멀티모달 구조 유지 (텍스트 평가 시 동일하게 동작)
+
+---
+
+## 🔧 사용법
+
+### 기본 로드
+```python
+from transformers import AutoModelForCausalLM, AutoTokenizer
+import torch
+
+tok = AutoTokenizer.from_pretrained("Anserwise/AWAXIS-Think-28B")
+model = AutoModelForCausalLM.from_pretrained(
+    "Anserwise/AWAXIS-Think-28B",
+    torch_dtype=torch.bfloat16,
+    device_map="auto",
+    trust_remote_code=True,
+)
+```
+
+### 한국어 추론 예시
+```python
+messages = [
+    {"role": "user", "content": "세종대왕의 업적을 3가지로 요약해 주세요."}
+]
+prompt = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
+inputs = tok(prompt, return_tensors="pt").to(model.device)
+out = model.generate(**inputs, max_new_tokens=512, do_sample=False)
+print(tok.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))
+```
+
+### vLLM 서빙
+```bash
+vllm serve Anserwise/AWAXIS-Think-28B \
+  --trust-remote-code \
+  --max-model-len 16384 \
+  --dtype bfloat16
+```
+
+---
+
+## 📊 벤치마크 (K-AI 리더보드 등재 예정)
+
+- **KMMLU** (한국어 다지선다 종합)
+- **HAERAE-Bench** (한국 상식·언어·독해)
+- **CLIcK** (한국 문화·언어 지식)
+- **GPQA** (영어 고난이도 추론)
+- **HumanEval** (코딩)
+
+---
+
+## 🎯 활용 권장
+
+- ✅ 한국어 Q&A / 대화 / 창작
+- ✅ 장문 추론 / Chain-of-Thought
+- ✅ 다국어 교차 작업 (한·영·중·일)
+- ✅ 요약 / 번역 / 분석
+- ⚠️ 의료·법률·투자 등 전문 영역은 사람 검증 필수
+
+---
+
+## 📝 라이선스
+
+Apache 2.0 — 상업·학술 목적 사용 가능. 재배포 시 **베이스 모델 출처 명시** 권장.
+
+---
+
+## 🙏 감사의 말
+
+- **Alibaba Qwen 팀** — 부(父) Qwen/Qwen3.6-27B 기반 백본 제공
+- **rico03** — 모(母) Qwen3.6-27B-Claude-Opus-Reasoning-Distilled (Claude Opus 추론 증류)
+- **FINAL-Bench 팀** — 자(子) Darwin-28B-Opus 및 Darwin V7 진화적 병합 시스템
+- **한국어 SFT 데이터셋 기여자** — KoAlpaca, KOpen-platypus
+- **HuggingFace / Transformers / PEFT** 커뮤니티
+
+---
+
+**모델 공개**: 2026-04-24  
+**제작**: Anserwise AI  
+**레포**: https://huggingface.co/Anserwise/AWAXIS-Think-28B