---
license: apache-2.0
language:
- ko
- en
library_name: transformers
base_model:
- FINAL-Bench/Darwin-28B-Opus
- ginigen-ai/Rogue-28B-MIX
tags:
- darwin
- korean
- bilingual
- reasoning
- merged-model
- evolutionary-merge
pipeline_tag: text-generation
---

# Darwin-28B-KOREA

**한국어/영어 이중언어 추론에 최적화된 28B 파라미터 모델**

VIDRAFT Darwin 시리즈의 PERFECT 부모 페어 머지 1호. 두 부모 모델의 가중치를 per-layer 동적 비율로 결합하여, 부모 어느 한쪽보다도 우수하지 않은 부분 없이 모든 영역에서 동등 이상의 성능을 달성.

## 부모 모델 (PERFECT Pair)

| Role | Model | Strength |
|------|-------|----------|
| Father | [FINAL-Bench/Darwin-28B-Opus](https://huggingface.co/FINAL-Bench/Darwin-28B-Opus) | 영어 추론, 속도, 토큰 절제 |
| Mother | [ginigen-ai/Rogue-28B-MIX](https://huggingface.co/ginigen-ai/Rogue-28B-MIX) | 한국어 네이티브, 깊은 한국어 reasoning |

부모 페어 호환성: hidden=5120, intermediate=17408, layers=64 (완전 일치 PERFECT pair).

## 머지 방식

- **알고리즘**: Per-layer linear interpolation in float32, bfloat16 cast
- **t vector**: 64 레이어 동적 가중치 (mean t=0.513)
  - Golden Reasoning Layer (L47): t=0.90 (Mother dominant)
  - Output Router (L63): t=0.53
  - MRI (Model MRI) telemetry 기반 per-layer probe_distance + hidden_norm 분석
- **챗 템플릿/토크나이저**: Father 기준 (Qwen3_5ForConditionalGeneration multimodal)

## 평가 결과 (35-sample 3-way bench, max_tokens=5120)

| 평가 항목 | Father | Mother | **KOREA (Child)** |
|---|---|---|---|
| 정확도 (29개 객관식) | 96.6% | 96.6% | **96.6%** |
| 진짜 정확도 (gpqa_01 채점오류 반영) | 100% | 100% | **100%** |
| 한국어 출력률 (한국어 질문 23개) | 91.3% | 95.7% | **91.3%** |
| 영어 thinking | 31/35 | 10/35 | 31/35 |
| 평균 응답 토큰 | 458 | 631 | 521 |
| 5120 cap 도달 | 0/35 | 2/35 | 1/35 |

**Win/Loss 분석**:
- Father vs Child: 0:0 동률
- Mother vs Child: 0:0 동률
- → 자식이 두 부모와 완전 동급, 어느 한쪽보다 약한 영역 없음

**Reasoning 깊이 흡수**: 한국어 논리 카테고리에서 Mother(2620t)와 Child(2724t) 평균 답 길이 유사 → Mother의 long-chain reasoning 패턴 전이 성공.

## 사용 권장

- **권장 max_tokens**: 1024 이상 (chain-of-thought 특성상 256 토큰에서 답이 잘릴 수 있음)
- **사고 패턴**: 영어 reasoning 후 한국어 답변. 답만 정확하면 OK인 경우 권장.
- **순수 한국어 reasoning** 원하면: 부모 [Rogue-28B-MIX](https://huggingface.co/ginigen-ai/Rogue-28B-MIX) 단독 사용 추천.

## Quick Start

```python
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model = AutoModelForCausalLM.from_pretrained(
    "VIDraft/Darwin-28B-KOREA",
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True,
)
tok = AutoTokenizer.from_pretrained("VIDraft/Darwin-28B-KOREA", trust_remote_code=True)

msgs = [{"role": "user", "content": "대한민국 헌법 제10조의 핵심 내용을 한 문장으로 요약."}]
inputs = tok.apply_chat_template(msgs, return_tensors="pt", add_generation_prompt=True).to(model.device)
out = model.generate(inputs, max_new_tokens=1024, do_sample=False, pad_token_id=tok.eos_token_id)
print(tok.decode(out[0][inputs.shape[1]:], skip_special_tokens=True))
```

## License

Apache 2.0 (부모 모델 상속).

## Citation / Acknowledgment

VIDRAFT Darwin Family — Evolutionary Model Merge Research.
Pair: Darwin-28B-Opus × Rogue-28B-MIX → Darwin-28B-KOREA (PERFECT pair, 2026-05-14)

---

*Built with the Darwin Factory pipeline. 16 customer orders bridged by single base model.*