README.md

---
license: apache-2.0
language:
- ko
- en
library_name: transformers
pipeline_tag: text-generation
base_model:
- Anserwise/AWAXIS-Think-28B
- FINAL-Bench/Darwin-28B-KR
tags:
- korean
- darwin
- darwin-platform
- merge
---

# AWAXIS-Hybrid-28B

> AWAXIS-Think × Darwin Platform Hybrid 모델

AWAXIS-Think-28B를 기반으로 Darwin Platform 한국어 가중치를 Smart MRI Layer-wise 머지로 결합한 한국어 LLM입니다.

본 모델은 **Anserwise**에서 제작·공개한 한국어 LLM입니다.

- **🧬 아버지**: [`Anserwise/AWAXIS-Think-28B`](https://huggingface.co/Anserwise/AWAXIS-Think-28B)
- **🧬 어머니**: [`FINAL-Bench/Darwin-28B-KR`](https://huggingface.co/FINAL-Bench/Darwin-28B-KR)

---

## 🧬 모델 설명 — 부모 모델 교배·진화 (Darwin 방식)

본 모델은 두 부모 LLM의 가중치를 **layer 단위로 교배·결합**하는 **Darwin Platform 진화적 머지 기법** (Smart MRI Layer-wise)으로 제작됐습니다. 일반 SFT/CPT 학습이 아닌 **가중치 합성 진화** 방식이라는 점이 핵심입니다.

| 구간 | 어머니 채택률 | 의도 |
|------|:---:|------|
| Embed / LM-head | 50% | 출력 통로 균형 |
| Norm | 30% | 안정성 |
| Visual encoder | 0% | 아버지 100% 보존 |
| Layers 0~15 (초기) | 40% | 한국어 표면 패턴 흡수 |
| Layers 16~50 (중기) | 0% | 추론 능력 보존 |
| Layers 51~63 (후기) | 70% | 도메인 지식 채택 |

각 부모의 강점이 어느 layer에 저장되는지 분석한 후 layer-wise로 부모 가중치 비율을 다르게 적용하여 두 모델의 강점만 선택적으로 결합하는 방식입니다.

## 📚 데이터셋 활용

본 모델은 **가중치 머지(Weight Merge) 산물**이므로 추가 SFT/CPT 학습은 수행하지 않았습니다. 대신 두 부모 모델이 사전에 학습한 광범위한 한국어 데이터셋의 강점을 layer 단위로 흡수합니다. 부모 모델들이 학습한 주요 한국어 데이터셋은 다음과 같습니다:

- **일반 Instruction**: kai-sft / kai-combined 시리즈 (한국어 다양 도메인 instruction-following)
- **KMMLU-Pro**: 한국 도메인 지식 (역사·법률·의료·과학·공학 등)
- **CLIcK**: 한국 문화·상식 (역사·전통·사회 규범)
- **HAERAE**: 한국어 표면 패턴 (언어학·일반상식·역사)
- **KOBEST**: 한국어 reasoning (HellaSwag·COPA·BoolQ)
- **Com2-main(ko)**: 한국어 commonsense (사회적 추론·의도 파악)
- **MuSR(Ko)**: 한국어 다단계 추론 (Murder Mystery·Object Placements 등)

가중치 머지 단계에서 각 부모의 학습 결과를 layer 비율로 보존·결합하여, 단일 SFT보다 catastrophic forgetting 위험이 낮고 부모 강점 손실이 적은 것이 특징입니다.

---

## 📊 평가 결과

### 1) K-AI 리더보드 기준 (5과목)

KMMLU-Pro / CLIcK / HLE(Ko) / MuSR(Ko) / Com2-main(ko)

- **외부 모델**: K-AI 리더보드(leaderboard.aihub.or.kr) 실측값
- **본 시리즈**: 자체 mirror eval(100문항) × Rogue-28B-MIX 기준 ratio 환산 추정값

| Model | KMMLU-Pro | CLIcK | HLE(Ko) | MuSR(Ko) | Com2-main(ko) | **Sum** | **Macro** |
|-------|:---:|:---:|:---:|:---:|:---:|:---:|:---:|
| Hybrid (예상) | 0.674 | 0.787 | 0.07 | 0.611 | 0.657 | **2.799** | **0.560** |
| **AWAXIS-Hybrid-28B** ⭐ (이 모델, 예상) | 0.674 | 0.787 | 0.07 | 0.611 | 0.657 | **2.799** | **0.560** |
| Rogue-28B-MIX (실측) | 0.666 | 0.797 | 0.07 | 0.611 | 0.650 | **2.794** | **0.559** |
| Warecube-KO-27B-v3 (실측) | 0.668 | 0.799 | 0.07 | 0.584 | 0.638 | **2.756** | **0.551** |
| AWAXIS-Think-28B (실측) | 0.603 | 0.770 | 0.06 | 0.591 | 0.632 | **2.651** | **0.530** |
| KR-Pro (예상) | 0.643 | 0.661 | 0.07 | 0.585 | 0.650 | **2.609** | **0.522** |
| KR-Plus (예상) | 0.643 | 0.703 | 0.07 | 0.532 | 0.657 | **2.605** | **0.521** |


> HLE(Ko)는 28B급 공통 약점 (난이도 매우 높음).

### 2) 종합 한국어 능력 (10과목 mirror eval)

CLIcK + KMMLU(history/law/health) + HAERAE(gk/hist/ling) + KOBEST(hella/copa/boolq)

| Model | CLIcK | KMMLU 평균 | HAERAE 평균 | KOBEST 평균 | **Sum (10과목)** | **Macro** |
|-------|:---:|:---:|:---:|:---:|:---:|:---:|
| **AWAXIS-Hybrid-28B** ⭐ (이 모델) | 0.83 | 0.530 | 0.813 | 0.967 | **7.760** | **0.7760** |
| Rogue-28B-MIX | 0.83 | 0.513 | 0.807 | 0.967 | **7.690** | **0.7690** |


---

## 사용 방법

```python
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("Anserwise/AWAXIS-Hybrid-28B", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    "Anserwise/AWAXIS-Hybrid-28B",
    torch_dtype="bfloat16",
    device_map="auto",
    trust_remote_code=True,
)

messages = [{"role": "user", "content": "한국 역사에서 임진왜란이 발생한 시기는?"}]
inputs = tokenizer.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True).to(model.device)
outputs = model.generate(inputs, max_new_tokens=256, temperature=0.0)
print(tokenizer.decode(outputs[0][inputs.shape[1]:], skip_special_tokens=True))
```

## 라이선스

Apache 2.0 (부모 모델 라이선스 계승)

---
*2026-04-30*