README.md

---
license: apache-2.0
language:
- ko
- en
- zh
- ja
- multilingual
tags:
- korean
- korean-sft
- korean-lora
- reasoning
- thinking
- darwin
- qwen3.5
- qwen3.6
- hybrid-attention
- linear-attention
- evolutionary-merge
- k-ai-leaderboard
- anserwise
pipeline_tag: text-generation
library_name: transformers
base_model:
- FINAL-Bench/Darwin-28B-Opus
- Qwen/Qwen3.6-27B
- FINAL-Bench/Darwin-278-Opus
---

# AWAXIS-Think-28B

**Anserwise가 공개하는 한국어 특화 28B 추론 LLM**  
Qwen3.6 세대 백본 위에 Darwin V7 진화적 병합으로 탄생한 Darwin-28B-Opus(자), 그 자 모델 위에 한국어 LoRA를 적용하여 완성된 모델입니다.

---

## 🧬 모델 계보 (Family Tree)

```
┌─────────────────────────────────────────────────────────────┐
│  부 (Father):  Qwen/Qwen3.6-27B                             │
│                └─ Alibaba Qwen 팀의 최신 Qwen3.6 세대 백본     │
│                                                             │
│  모 (Mother):  FINAL-Bench/Darwin-278-Opus                  │
│                └─ Qwen3.5 기반 한국어·추론 특화 모델           │
│                                                             │
│              │                                              │
│              │  Darwin V7 진화적 병합 (CMA-ES 기반 최적화)     │
│              ▼                                              │
│  자 (Son):   FINAL-Bench/Darwin-28B-Opus                    │
│              └─ 28B 멀티모달, Qwen3.5 하이브리드 아키텍처       │
│                                                             │
│              │                                              │
│              │  한국어 LoRA 미세조정 (r=8, 영향도 최소)          │
│              ▼                                              │
│  본 모델:    Anserwise/AWAXIS-Think-28B  ⭐                  │
│              └─ 한국어 특화 28B (K-AI 리더보드 타겟)            │
└─────────────────────────────────────────────────────────────┘
```

**3대 가계 구조**:  
- **부·모**가 Darwin V7 시스템에서 **진화적으로 교배**되어 **자(Darwin-28B-Opus)** 탄생  
- 그 **자 모델 위에 한국어 LoRA**를 입혀 **AWAXIS-Think-28B** 완성

---

## 📊 모델 개요

| 항목 | 값 |
|------|-----|
| 파라미터 | 약 27B (텍스트 언어 모델) + 비전 타워 포함 |
| 아키텍처 | Qwen3.5 하이브리드 (Linear Attention × 48 + Full Attention × 16) |
| 컨텍스트 | 262,144 tokens |
| 자(子) 모델 | FINAL-Bench/Darwin-28B-Opus |
| 부(父) 백본 | Qwen/Qwen3.6-27B |
| 모(母) 베이스 | FINAL-Bench/Darwin-278-Opus |
| 추가 학습 | **한국어 LoRA 미세조정** |
| 라이선스 | Apache 2.0 |
| 데이터형 | BF16 |
| 파일 형식 | 표준 safetensors (11 shards) + Qwen3VLProcessor 호환 |

---

## ✨ 주요 특징

### 1. Darwin 진화적 병합 — 자(子) Darwin-28B-Opus
FINAL-Bench 팀의 **Darwin V7 시스템**이 Qwen3.6-27B(부)와 Darwin-278-Opus(모)를 **CMA-ES 기반 진화적 탐색**으로 병합.
레이어별 최적 혼합 비율을 수십 세대 진화시켜 **부모 세대의 강점(신세대 백본 + 한국어·추론력)을 함께 계승**한 28B 자(子) 모델 탄생.

### 2. 한국어 LoRA 미세조정 — AWAXIS-Think-28B
자(Darwin-28B-Opus) 위에 **영향도 최소화 LoRA**를 적용:
- **Rank**: 8 (전체 파라미터의 약 0.02%만 조정)
- **Target modules**: q_proj, k_proj, v_proj, o_proj (어텐션만)
- **Alpha**: 16, Dropout: 0.05
- **학습 데이터**: KoAlpaca-v1.1a + KOpen-platypus (선별 3,000 샘플)
- **Epoch**: 1, Learning rate: 1e-5 cosine schedule

→ 부·모·자가 쌓아온 일반 능력을 **보존하면서** 한국어 응답 자연스러움·문맥 이해만 향상.

### 3. Qwen3.5 하이브리드 어텐션
- **Linear Attention (Gated Delta Net)** × 48 — 262K 긴 컨텍스트 효율
- **Full Attention** × 16 — 핵심 토큰 간 강한 관계
- **4:1 패턴**: `[L, L, L, F]` × 16 반복

### 4. K-AI 리더보드 호환 패키지
- `Qwen3VLProcessor` 포함 (vLLM 기동 안정)
- `Qwen2TokenizerFast` 표준 토크나이저
- 표준 `model.safetensors.index.json`
- 멀티모달 구조 유지 (텍스트 평가 시 동일하게 동작)

---

## 🔧 사용법

### 기본 로드
```python
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

tok = AutoTokenizer.from_pretrained("Anserwise/AWAXIS-Think-28B")
model = AutoModelForCausalLM.from_pretrained(
    "Anserwise/AWAXIS-Think-28B",
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True,
)
```

### 한국어 추론 예시
```python
messages = [
    {"role": "user", "content": "세종대왕의 업적을 3가지로 요약해 주세요."}
]
prompt = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tok(prompt, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=512, do_sample=False)
print(tok.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))
```

### vLLM 서빙
```bash
vllm serve Anserwise/AWAXIS-Think-28B \
  --trust-remote-code \
  --max-model-len 16384 \
  --dtype bfloat16
```

---

## 📊 벤치마크 (K-AI 리더보드 등재 예정)

- **KMMLU** (한국어 다지선다 종합)
- **HAERAE-Bench** (한국 상식·언어·독해)
- **CLIcK** (한국 문화·언어 지식)
- **GPQA** (영어 고난이도 추론)
- **HumanEval** (코딩)

---

## 🎯 활용 권장

- ✅ 한국어 Q&A / 대화 / 창작
- ✅ 장문 추론 / Chain-of-Thought
- ✅ 다국어 교차 작업 (한·영·중·일)
- ✅ 요약 / 번역 / 분석
- ⚠️ 의료·법률·투자 등 전문 영역은 사람 검증 필수

---

## 📝 라이선스

Apache 2.0 — 상업·학술 목적 사용 가능. 재배포 시 **베이스 모델 출처 명시** 권장.

---

## 🙏 감사의 말

- **Alibaba Qwen 팀** — 부(父) Qwen3.6-27B 기반 백본 제공
- **FINAL-Bench 팀** — 모(母) Darwin-278-Opus 및 Darwin V7 진화적 병합 시스템
- **한국어 SFT 데이터셋 기여자** — KoAlpaca, KOpen-platypus
- **HuggingFace / Transformers / PEFT** 커뮤니티

---

**모델 공개**: 2026-04-24  
**제작**: Anserwise AI  
**레포**: https://huggingface.co/Anserwise/AWAXIS-Think-28B