Update README_CN.md

README_CN.md

@@ -82,6 +82,33 @@ Hy-MT2 是一款面向真实复杂场景的“快思考”多语言翻译模型
 ---
 
 ## 推理和部署
+
+对于1.8B和7B，我们推荐使用下面这组参数进行推理。注意，我们的模型没有默认 system_prompt。
+
+```json
+
+{
+  "temperature": 0.7,
+  "top_p": 0.6,
+  "top_k": 20,
+  "repetition_penalty": 1.05,
+  "max_tokens": 4096
+}
+```
+
+对于30B-A3B，我们推荐使用下面这组参数进行推理。注意，我们的模型没有默认 system_prompt。
+
+```json
+
+{
+  "temperature": 0.7,
+  "top_p": 1.0,
+  "top_k": -1,
+  "repetition_penalty": 1.0,
+  "max_tokens": 4096
+}
+```
+
 ### transformers
 
 transformers>=5.6.0
@@ -90,7 +117,7 @@ transformers>=5.6.0
 from transformers import AutoModelForCausalLM, AutoTokenizer
 import torch
 
-model_path = "tencent/Hy-MT2-30B-A3B"
+model_path = "tencent/Hy-MT2-7B"
 
 # Load tokenizer
 tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
@@ -133,7 +160,7 @@ uv pip install --editable . --torch-backend=auto
 Start the vLLM server:
 
 ```bash
-vllm serve tencent/Hy-MT2-30B-A3B --tensor-parallel-size 1
+vllm serve tencent/Hy-MT2-7B --tensor-parallel-size 1
 ```
 
 ### sglang
@@ -150,7 +177,7 @@ pip3 install -e "python"
 Launch SGLang server:
 
 ```bash
-python3 -m sglang.launch_server --model tencent/Hy-MT2-30B-A3B --tp 1
+python3 -m sglang.launch_server --model tencent/Hy-MT2-7B --tp 1
 ```
 
 
@@ -194,33 +221,6 @@ cmake --build build --config Release
 ```
 
 
-对于1.8B和7B，我们推荐使用下面这组参数进行推理。注意，我们的模型没有默认 system_prompt。
-
-```json
-
-{
-  "temperature": 0.7,
-  "top_p": 0.6,
-  "top_k": 20,
-  "repetition_penalty": 1.05,
-  "max_tokens": 4096
-}
-```
-
-对于30B-A3B，我们推荐使用下面这组参数进行推理。注意，我们的模型没有默认 system_prompt。
-
-```json
-
-{
-  "temperature": 0.7,
-  "top_p": 1.0,
-  "top_k": -1,
-  "repetition_penalty": 1.0,
-  "max_tokens": 4096
-}
-```
-
-
 ## 模型训练
 Hy-MT2提供了完整的模型训练流程，支持全量微调和 LoRA 微调，同时支持 DeepSpeed ZeRO 多种配置以及 LLaMA-Factory 集成。