README.md

---

license: apache-2.0
language:
- ko
- en
- zh
- ja
- multilingual
tags:
- korean
- korean-sft
- korean-lora
- reasoning
- thinking
- darwin
- qwen3.5
- qwen3.6
- hybrid-attention
- linear-attention
- evolutionary-merge
- k-ai-leaderboard
- anserwise
pipeline_tag: text-generation
library_name: transformers
base_model:
- FINAL-Bench/Darwin-28B-Opus
- Qwen/Qwen3.6-27B
- rico03/Qwen3.6-27B-Claude-Opus-Reasoning-Distilled
base_model_relation: merge
---


# AWAXIS-Think-28B

**Anserwise가 공개하는 한국어 특화 28B 추론 LLM**  
Qwen3.6-27B(부)와 rico03의 Claude Opus 증류 추론 모델(모)을 **Darwin V7 진화적 병합**으로 교배하여 탄생한 **Darwin-28B-Opus(자)**, 그 자 모델 위에 **한국어 LoRA**를 입혀 완성된 모델입니다.

---

## 🧬 모델 계보 (Family Tree)

```

┌───────────────────────────────────────────────────────────────────────┐

│                                                                       │

│  부 (Father):  Qwen/Qwen3.6-27B                                       │

│                └─ Alibaba Qwen 팀의 최신 Qwen3.6 세대 백본               │

│                                                                       │

│  모 (Mother):  rico03/Qwen3.6-27B-Claude-Opus-Reasoning-Distilled     │

│                └─ Claude Opus 추론 능력을 증류한 Qwen3.6-27B 기반 모델    │

│                                                                       │

│              │  Darwin V7 진화적 병합 (CMA-ES 기반 최적 혼합 탐색)        │

│              ▼                                                        │

│                                                                       │

│  자 (Son):   FINAL-Bench/Darwin-28B-Opus                              │

│              └─ 부·모 DNA 결합 28B 모델                                 │

│                 Qwen3.5 하이브리드 아키텍처 (Linear × 48 + Full × 16)    │

│                                                                       │

│              │  한국어 LoRA 미세조정 (r=8, 어텐션 전용, 영향도 최소)      │

│              ▼                                                        │

│                                                                       │

│  본 모델:    Anserwise/AWAXIS-Think-28B  ⭐                            │

│              └─ 한국어 특화 28B (K-AI 리더보드 타겟)                     │

│                                                                       │

└───────────────────────────────────────────────────────────────────────┘

```

**3대 가계 구조**:  
- **부·모**(Qwen3.6-27B × rico03 Claude-Opus-Reasoning-Distilled)가 Darwin V7 시스템에서 **진화적으로 교배**되어 **자(Darwin-28B-Opus)** 탄생
- 그 **자 모델 위에 한국어 LoRA**를 입혀 **AWAXIS-Think-28B** 완성

---

## 📊 모델 개요

| 항목 | 값 |
|------|-----|
| 파라미터 | 약 27B (텍스트 언어 모델) + 비전 타워 포함 |
| 아키텍처 | Qwen3.5 하이브리드 (Linear Attention × 48 + Full Attention × 16) |
| 컨텍스트 | 262,144 tokens |
| 자(子) 모델 | FINAL-Bench/Darwin-28B-Opus |
| 부(父) 백본 | Qwen/Qwen3.6-27B |
| 모(母) 베이스 | rico03/Qwen3.6-27B-Claude-Opus-Reasoning-Distilled |
| 추가 학습 | **한국어 LoRA 미세조정** |
| 라이선스 | Apache 2.0 |
| 데이터형 | BF16 |
| 파일 형식 | 표준 safetensors (11 shards) + Qwen3VLProcessor 호환 |

---

## ✨ 주요 특징

### 1. Darwin V7 진화적 병합으로 태어난 자(子) Darwin-28B-Opus
FINAL-Bench 팀의 **Darwin V7 시스템**이:
- **부(Qwen/Qwen3.6-27B)** — 최신 Qwen3.6 세대 범용 백본
- **모(rico03/Qwen3.6-27B-Claude-Opus-Reasoning-Distilled)** — Claude Opus급 추론력을 Qwen3.6-27B에 증류한 모델

두 부모를 **CMA-ES 기반 진화적 탐색**으로 레이어별 최적 혼합 비율을 수십 세대 진화시켜 병합.  
→ **부모의 범용 백본 + 고급 추론력이 동시 계승된 28B 자(子) 모델** 탄생.

### 2. 한국어 LoRA 미세조정 — AWAXIS-Think-28B
자(Darwin-28B-Opus) 위에 **영향도 최소화 LoRA**를 적용:
- **Rank**: 8 (전체 파라미터의 약 0.02%만 조정)
- **Target modules**: q_proj, k_proj, v_proj, o_proj (어텐션만, FFN 미개입)
- **Alpha**: 16, Dropout: 0.05
- **학습 데이터**: KoAlpaca-v1.1a + KOpen-platypus (선별 3,000 샘플)
- **Epoch**: 1, Learning rate: 1e-5 cosine schedule

→ 부·모·자가 쌓아온 일반 능력을 **보존하면서** 한국어 응답 자연스러움·문맥 이해만 향상.

### 3. Qwen3.5 하이브리드 어텐션
- **Linear Attention (Gated Delta Net)** × 48 — 262K 긴 컨텍스트 효율
- **Full Attention** × 16 — 핵심 토큰 간 강한 관계 포착
- **4:1 패턴**: `[L, L, L, F]` × 16 반복

### 4. K-AI 리더보드 호환 패키지
- `Qwen3VLProcessor` 포함 (vLLM 기동 안정)
- `Qwen2TokenizerFast` 표준 토크나이저
- 표준 `model.safetensors.index.json`
- 멀티모달 구조 유지 (텍스트 평가 시 동일하게 동작)

---

## 🔧 사용법

### 기본 로드
```python

from transformers import AutoModelForCausalLM, AutoTokenizer

import torch



tok = AutoTokenizer.from_pretrained("Anserwise/AWAXIS-Think-28B")

model = AutoModelForCausalLM.from_pretrained(

    "Anserwise/AWAXIS-Think-28B",

    torch_dtype=torch.bfloat16,

    device_map="auto",

    trust_remote_code=True,

)

```

### 한국어 추론 예시
```python

messages = [

    {"role": "user", "content": "세종대왕의 업적을 3가지로 요약해 주세요."}

]

prompt = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

inputs = tok(prompt, return_tensors="pt").to(model.device)

out = model.generate(**inputs, max_new_tokens=512, do_sample=False)

print(tok.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))

```

### vLLM 서빙
```bash

vllm serve Anserwise/AWAXIS-Think-28B \

  --trust-remote-code \

  --max-model-len 16384 \

  --dtype bfloat16

```

---

## 📊 벤치마크 (K-AI 리더보드 등재 예정)

- **KMMLU** (한국어 다지선다 종합)
- **HAERAE-Bench** (한국 상식·언어·독해)
- **CLIcK** (한국 문화·언어 지식)
- **GPQA** (영어 고난이도 추론)
- **HumanEval** (코딩)

---

## 🎯 활용 권장

- ✅ 한국어 Q&A / 대화 / 창작
- ✅ 장문 추론 / Chain-of-Thought
- ✅ 다국어 교차 작업 (한·영·중·일)
- ✅ 요약 / 번역 / 분석
- ⚠️ 의료·법률·투자 등 전문 영역은 사람 검증 필수

---

## 📝 라이선스

Apache 2.0 — 상업·학술 목적 사용 가능. 재배포 시 **베이스 모델 출처 명시** 권장.

---

## 🙏 감사의 말

- **Alibaba Qwen 팀** — 부(父) Qwen/Qwen3.6-27B 기반 백본 제공
- **rico03** — 모(母) Qwen3.6-27B-Claude-Opus-Reasoning-Distilled (Claude Opus 추론 증류)
- **FINAL-Bench 팀** — 자(子) Darwin-28B-Opus 및 Darwin V7 진화적 병합 시스템
- **한국어 SFT 데이터셋 기여자** — KoAlpaca, KOpen-platypus
- **HuggingFace / Transformers / PEFT** 커뮤니티

---

**모델 공개**: 2026-04-24  
**제작**: Anserwise AI  
**레포**: https://huggingface.co/Anserwise/AWAXIS-Think-28B