| ---
|
| license: apache-2.0
|
| language:
|
| - ko
|
| - en
|
| - zh
|
| - ja
|
| - multilingual
|
| tags:
|
| - korean
|
| - korean-sft
|
| - korean-lora
|
| - reasoning
|
| - thinking
|
| - darwin
|
| - qwen3.5
|
| - qwen3.6
|
| - hybrid-attention
|
| - linear-attention
|
| - evolutionary-merge
|
| - k-ai-leaderboard
|
| - anserwise
|
| pipeline_tag: text-generation
|
| library_name: transformers
|
| base_model:
|
| - FINAL-Bench/Darwin-28B-Opus
|
| - Qwen/Qwen3.6-27B
|
| - rico03/Qwen3.6-27B-Claude-Opus-Reasoning-Distilled
|
| base_model_relation: merge
|
| ---
|
|
|
| # AWAXIS-Think-28B
|
|
|
| **Anserwise가 공개하는 한국어 특화 28B 추론 LLM**
|
| Qwen3.6-27B(부)와 rico03의 Claude Opus 증류 추론 모델(모)을 **Darwin V7 진화적 병합**으로 교배하여 탄생한 **Darwin-28B-Opus(자)**, 그 자 모델 위에 **한국어 LoRA**를 입혀 완성된 모델입니다.
|
|
|
| ---
|
|
|
| ## 🧬 모델 계보 (Family Tree)
|
|
|
| ```
|
| ┌───────────────────────────────────────────────────────────────────────┐
|
| │ │
|
| │ 부 (Father): Qwen/Qwen3.6-27B │
|
| │ └─ Alibaba Qwen 팀의 최신 Qwen3.6 세대 백본 │
|
| │ │
|
| │ 모 (Mother): rico03/Qwen3.6-27B-Claude-Opus-Reasoning-Distilled │
|
| │ └─ Claude Opus 추론 능력을 증류한 Qwen3.6-27B 기반 모델 │
|
| │ │
|
| │ │ Darwin V7 진화적 병합 (CMA-ES 기반 최적 혼합 탐색) │
|
| │ ▼ │
|
| │ │
|
| │ 자 (Son): FINAL-Bench/Darwin-28B-Opus │
|
| │ └─ 부·모 DNA 결합 28B 모델 │
|
| │ Qwen3.5 하이브리드 아키텍처 (Linear × 48 + Full × 16) │
|
| │ │
|
| │ │ 한국어 LoRA 미세조정 (r=8, 어텐션 전용, 영향도 최소) │
|
| │ ▼ │
|
| │ │
|
| │ 본 모델: Anserwise/AWAXIS-Think-28B ⭐ │
|
| │ └─ 한국어 특화 28B (K-AI 리더보드 타겟) │
|
| │ │
|
| └───────────────────────────────────────────────────────────────────────┘
|
| ```
|
|
|
| **3대 가계 구조**:
|
| - **부·모**(Qwen3.6-27B × rico03 Claude-Opus-Reasoning-Distilled)가 Darwin V7 시스템에서 **진화적으로 교배**되어 **자(Darwin-28B-Opus)** 탄생
|
| - 그 **자 모델 위에 한국어 LoRA**를 입혀 **AWAXIS-Think-28B** 완성
|
|
|
| ---
|
|
|
| ## 📊 모델 개요
|
|
|
| | 항목 | 값 |
|
| |------|-----|
|
| | 파라미터 | 약 27B (텍스트 언어 모델) + 비전 타워 포함 |
|
| | 아키텍처 | Qwen3.5 하이브리드 (Linear Attention × 48 + Full Attention × 16) |
|
| | 컨텍스트 | 262,144 tokens |
|
| | 자(子) 모델 | FINAL-Bench/Darwin-28B-Opus |
|
| | 부(父) 백본 | Qwen/Qwen3.6-27B |
|
| | 모(母) 베이스 | rico03/Qwen3.6-27B-Claude-Opus-Reasoning-Distilled |
|
| | 추가 학습 | **한국어 LoRA 미세조정** |
|
| | 라이선스 | Apache 2.0 |
|
| | 데이터형 | BF16 |
|
| | 파일 형식 | 표준 safetensors (11 shards) + Qwen3VLProcessor 호환 |
|
|
|
| ---
|
|
|
| ## ✨ 주요 특징
|
|
|
| ### 1. Darwin V7 진화적 병합으로 태어난 자(子) Darwin-28B-Opus
|
| FINAL-Bench 팀의 **Darwin V7 시스템**이:
|
| - **부(Qwen/Qwen3.6-27B)** — 최신 Qwen3.6 세대 범용 백본
|
| - **모(rico03/Qwen3.6-27B-Claude-Opus-Reasoning-Distilled)** — Claude Opus급 추론력을 Qwen3.6-27B에 증류한 모델
|
|
|
| 두 부모를 **CMA-ES 기반 진화적 탐색**으로 레이어별 최적 혼합 비율을 수십 세대 진화시켜 병합.
|
| → **부모의 범용 백본 + 고급 추론력이 동시 계승된 28B 자(子) 모델** 탄생.
|
|
|
| ### 2. 한국어 LoRA 미세조정 — AWAXIS-Think-28B
|
| 자(Darwin-28B-Opus) 위에 **영향도 최소화 LoRA**를 적용:
|
| - **Rank**: 8 (전체 파라미터의 약 0.02%만 조정)
|
| - **Target modules**: q_proj, k_proj, v_proj, o_proj (어텐션만, FFN 미개입)
|
| - **Alpha**: 16, Dropout: 0.05
|
| - **학습 데이터**: KoAlpaca-v1.1a + KOpen-platypus (선별 3,000 샘플)
|
| - **Epoch**: 1, Learning rate: 1e-5 cosine schedule
|
|
|
| → 부·모·자가 쌓아온 일반 능력을 **보존하면서** 한국어 응답 자연스러움·문맥 이해만 향상.
|
|
|
| ### 3. Qwen3.5 하이브리드 어텐션
|
| - **Linear Attention (Gated Delta Net)** × 48 — 262K 긴 컨텍스트 효율
|
| - **Full Attention** × 16 — 핵심 토큰 간 강한 관계 포착
|
| - **4:1 패턴**: `[L, L, L, F]` × 16 반복
|
|
|
| ### 4. K-AI 리더보드 호환 패키지
|
| - `Qwen3VLProcessor` 포함 (vLLM 기동 안정)
|
| - `Qwen2TokenizerFast` 표준 토크나이저
|
| - 표준 `model.safetensors.index.json`
|
| - 멀티모달 구조 유지 (텍스트 평가 시 동일하게 동작)
|
|
|
| ---
|
|
|
| ## 🔧 사용법
|
|
|
| ### 기본 로드
|
| ```python
|
| from transformers import AutoModelForCausalLM, AutoTokenizer
|
| import torch
|
|
|
| tok = AutoTokenizer.from_pretrained("Anserwise/AWAXIS-Think-28B")
|
| model = AutoModelForCausalLM.from_pretrained(
|
| "Anserwise/AWAXIS-Think-28B",
|
| torch_dtype=torch.bfloat16,
|
| device_map="auto",
|
| trust_remote_code=True,
|
| )
|
| ```
|
|
|
| ### 한국어 추론 예시
|
| ```python
|
| messages = [
|
| {"role": "user", "content": "세종대왕의 업적을 3가지로 요약해 주세요."}
|
| ]
|
| prompt = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
|
| inputs = tok(prompt, return_tensors="pt").to(model.device)
|
| out = model.generate(**inputs, max_new_tokens=512, do_sample=False)
|
| print(tok.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))
|
| ```
|
|
|
| ### vLLM 서빙
|
| ```bash
|
| vllm serve Anserwise/AWAXIS-Think-28B \
|
| --trust-remote-code \
|
| --max-model-len 16384 \
|
| --dtype bfloat16
|
| ```
|
|
|
| ---
|
|
|
| ## 📊 벤치마크 (K-AI 리더보드 등재 예정)
|
|
|
| - **KMMLU** (한국어 다지선다 종합)
|
| - **HAERAE-Bench** (한국 상식·언어·독해)
|
| - **CLIcK** (한국 문화·언어 지식)
|
| - **GPQA** (영어 고난이도 추론)
|
| - **HumanEval** (코딩)
|
|
|
| ---
|
|
|
| ## 🎯 활용 권장
|
|
|
| - ✅ 한국어 Q&A / 대화 / 창작
|
| - ✅ 장문 추론 / Chain-of-Thought
|
| - ✅ 다국어 교차 작업 (한·영·중·일)
|
| - ✅ 요약 / 번역 / 분석
|
| - ⚠️ 의료·법률·투자 등 전문 영역은 사람 검증 필수
|
|
|
| ---
|
|
|
| ## 📝 라이선스
|
|
|
| Apache 2.0 — 상업·학술 목적 사용 가능. 재배포 시 **베이스 모델 출처 명시** 권장.
|
|
|
| ---
|
|
|
| ## 🙏 감사의 말
|
|
|
| - **Alibaba Qwen 팀** — 부(父) Qwen/Qwen3.6-27B 기반 백본 제공
|
| - **rico03** — 모(母) Qwen3.6-27B-Claude-Opus-Reasoning-Distilled (Claude Opus 추론 증류)
|
| - **FINAL-Bench 팀** — 자(子) Darwin-28B-Opus 및 Darwin V7 진화적 병합 시스템
|
| - **한국어 SFT 데이터셋 기여자** — KoAlpaca, KOpen-platypus
|
| - **HuggingFace / Transformers / PEFT** 커뮤니티
|
|
|
| ---
|
|
|
| **모델 공개**: 2026-04-24
|
| **제작**: Anserwise AI
|
| **레포**: https://huggingface.co/Anserwise/AWAXIS-Think-28B
|
|
|
