| --- |
| license: apache-2.0 |
| language: |
| - en |
| - ko |
| base_model: |
| - FINAL-Bench/Darwin-28B-Opus |
| - FINAL-Bench/Darwin-27B-KR |
| pipeline_tag: text-generation |
| tags: |
| - darwin |
| - korean |
| - reasoning |
| - multimodal |
| - qwen3.5 |
| - evolutionary-merge |
| library_name: transformers |
| --- |
| |
| # Darwin-28B-KR |
|
|
| > **Darwin family 한국어 특화 2세대 모체 모델** |
| > 28B 영어 추론력과 27B 한국어 능력을 통합한 Darwin V7 진화 머지 결과물. |
|
|
| ## 🎯 모델 포지셔닝 |
|
|
| Darwin-28B-KR은 Darwin family에서 **한국어 특화 2세대 모델 개발의 모체(母體)** 로 설계되었습니다. |
|
|
| 이 모델 자체로 사용 가능하며, 향후 다양한 한국어 도메인 특화 모델(법률·의료·금융·학술 등)의 **공통 출발점**이 됩니다. |
|
|
| ## 🧬 Lineage |
|
|
| ``` |
| Qwen3.5-27B (Alibaba Qwen team) |
| │ |
| ▼ |
| Darwin-27B-Opus (FINAL-Bench) |
| │ Darwin V7 evolutionary merge |
| │ |
| ┌───┴────────────────────────┐ |
| ▼ ▼ |
| Darwin-28B-Opus Darwin-27B-KR |
| (English/reasoning (Korean-specialized |
| + multimodal) champion) |
| │ │ |
| └────────┬───────────────────┘ |
| │ Darwin V7 MRI-aware merge |
| ▼ |
| Darwin-28B-KR ← this model (2nd-gen mother) |
| ``` |
|
|
| ## ⚙️ 구성 능력 |
|
|
| | 능력 | 출처 | 강도 | |
| |---|---|---| |
| | 한국어 이해/생성 | Darwin-27B-KR 계열 | ⭐⭐⭐⭐⭐ | |
| | 영어 추론 | Darwin-28B-Opus 계열 | ⭐⭐⭐⭐ | |
| | 멀티모달 (이미지/비디오) | Darwin-28B-Opus 보존 | ⭐⭐⭐⭐ | |
| | 한국어 추론 (CSAT/PSAT) | 통합 효과 | ⭐⭐⭐⭐⭐ | |
| | 영한 코드스위칭 | 통합 효과 | ⭐⭐⭐⭐ | |
|
|
| ## 📊 Specs |
|
|
| | | | |
| |---|---| |
| | Architecture | Qwen3_5ForConditionalGeneration (hybrid full + linear attention) | |
| | Parameters | ~28B | |
| | Hidden size | 5120 | |
| | Layers | 64 | |
| | Vocab size | 248,320 | |
| | Format | bfloat16 (52 GB on disk) | |
| | Context | 8K~32K (deployment dependent) | |
| |
| ## 🚀 Usage |
| |
| ### vLLM (recommended) |
| |
| ```bash |
| vllm serve FINAL-Bench/Darwin-28B-KR \ |
| --trust-remote-code \ |
| --port 8000 \ |
| --enforce-eager \ |
| --max-model-len 8192 \ |
| --gpu-memory-utilization 0.85 |
| ``` |
| |
| ### OpenAI-compatible client |
| |
| ```python |
| from openai import OpenAI |
| |
| client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY") |
| response = client.chat.completions.create( |
| model="FINAL-Bench/Darwin-28B-KR", |
| messages=[{"role": "user", "content": "한국의 광복절은 무엇을 기념하는 날인가요?"}], |
| max_tokens=2048, |
| temperature=0.0, |
| ) |
| ``` |
| |
| ## 🖥️ Hardware |
|
|
| | GPU family | Status | |
| |---|---| |
| | NVIDIA Blackwell (B200) | ✅ Best | |
| | NVIDIA Hopper (H100/H200) | ✅ Recommended | |
| | NVIDIA Ada (L40S) | ⚠️ Marginal (52 GB BF16) | |
| | Older Ampere | ❌ Insufficient VRAM | |
|
|
| **Minimum VRAM**: ~55 GB for inference at BF16. |
|
|
| ## 🌳 2세대 도메인 특화 모델 개발 (예정) |
|
|
| 이 모체에서 파생될 예정인 한국어 특화 변종들: |
|
|
| - **Darwin-28B-KR-Legal** — 법률 도메인 SFT |
| - **Darwin-28B-KR-Medical** — 의료 도메인 SFT |
| - **Darwin-28B-KR-Finance** — 금융 도메인 SFT |
| - **Darwin-28B-KR-Code** — 한국어 주석 코드 생성 |
| - **Darwin-28B-KR-MFP4** — 메모리 효율 양자화 버전 |
|
|
| 각 변종은 이 모델을 base로 하여 도메인 데이터로 미세조정/머지됩니다. |
|
|
| ## 🙏 Credits |
|
|
| - Architecture lineage: Qwen3.5 (Alibaba Qwen team) |
| - Father: [FINAL-Bench/Darwin-28B-Opus](https://huggingface.co/FINAL-Bench/Darwin-28B-Opus) |
| - Mother: [FINAL-Bench/Darwin-27B-KR](https://huggingface.co/FINAL-Bench/Darwin-27B-KR) |
| - Merge methodology: Darwin V7 MRI-aware evolutionary merge |
|
|
| ## 📜 License |
|
|
| Apache 2.0 (inherited from base models). |
|
|
