Update model card with corrected TB2-lite evaluation

README.md

@@ -20,69 +20,14 @@ base_model: ByteDance/Ouro-1.4B-Thinking
 
 - Base model: `ByteDance/Ouro-1.4B-Thinking`
 - Training setup: `Terminal SFT`
-- Evaluation snapshot: `2026-05-07 22:48:08 UTC`
+- Evaluation snapshot: `2026-05-08 16:03:42 UTC`
 - Evaluation result id: `ouro_1p4b_thinking_terminal_sft`
 
-## 사용 방법
-
-Transformers 예시:
-
-```python
-from transformers import AutoModelForCausalLM, AutoTokenizer
-import torch
-
-model_id = "LLM-OS-Models/Ouro-1.4B-Thinking-Terminal-SFT"
-tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
-model = AutoModelForCausalLM.from_pretrained(
-    model_id,
-    torch_dtype=torch.bfloat16,
-    device_map="auto",
-    trust_remote_code=True,
-)
-
-messages = [
-    {"role": "system", "content": "You are a terminal automation assistant. Return JSON only."},
-    {"role": "user", "content": "List the current directory and identify Python files."},
-]
-prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
-inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
-outputs = model.generate(**inputs, max_new_tokens=512, do_sample=False)
-print(tokenizer.decode(outputs[0][inputs.input_ids.shape[-1]:], skip_special_tokens=False))
-```
-
-vLLM 예시:
-
-```python
-from vllm import LLM, SamplingParams
-from transformers import AutoTokenizer
-
-model_id = "LLM-OS-Models/Ouro-1.4B-Thinking-Terminal-SFT"
-tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
-llm = LLM(model=model_id, dtype="bfloat16", trust_remote_code=True)
-messages = [{"role": "user", "content": "Show disk usage for the current folder."}]
-prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
-result = llm.generate([prompt], SamplingParams(temperature=0.0, max_tokens=512))
-print(result[0].outputs[0].text)
-```
-
-권장 출력 형식:
-
-```json
-{
-  "analysis": "brief reasoning about the next terminal action",
-  "plan": "short execution plan",
-  "commands": [
-    {"keystrokes": "ls -la\n", "duration": 0.1}
-  ],
-  "task_complete": false
-}
-```
-
 ## 평가 결과
 
 평가는 corrected TB2-lite replay set에서 vLLM으로 수행했습니다. 순위 점수는 `100 * avg_command_f1`만 사용하고, `first_cmd_exact_pct`는 보조 지표로만 봅니다.
 
-- Rank: `22 / 47`
+- Rank: `25 / 56`
 - Score: `31.74`
 - Command F1: `0.3174`
 - Command precision: `0.4062`
@@ -90,27 +35,12 @@ print(result[0].outputs[0].text)
 - First command exact: `24.8%`
 - Valid JSON: `63.7%`
 - Steps / tasks: `303 / 50`
+- Sec/step: `1.698`
+- Load time: `92.4s`
 - Template status: `chat_template`
 - Rank eligible: `True`
 - Eval timestamp: `2026-05-07T22:48:02.585588`
-- 현재 집계된 평가 결과 수: `47`
-
-재현 명령 예시:
-
-```bash
-python tb2_lite/scripts/replay_eval.py \
-  --model LLM-OS-Models/Ouro-1.4B-Thinking-Terminal-SFT \
-  --model-short ouro_1p4b_thinking_terminal_sft \
-  --eval-path tb2_lite/data/replay_full.jsonl \
-  --output-dir /home/work/.data/tb2_lite_eval/corrected_readme_models_vllm \
-  --dtype bfloat16 \
-  --max-model-len 49152 \
-  --max-tokens 1024 \
-  --temperature 0.0 \
-  --top-p 1.0 \
-  --gpu-memory-utilization 0.94 \
-  --language-model-only
-```
+- 현재 집계된 평가 결과 수: `56`
 
 Prompt/template audit:
 
@@ -128,6 +58,13 @@ Prompt/template audit:
 - 특정 크기/가속 경로에서 비용 대비 빠른 추론을 기대할 수 있습니다.
 - 잘못된 명령을 많이 내기보다 보수적으로 맞는 명령을 내는 경향이 있습니다.
 
+## 모델군 해석
+
+- Ouro 계열은 Thinking SFT 쪽에서 점수가 잘 올라가지만, 같은 평가 기준에서 LFM/Qwen 대비 sec/step이 커서 RL 대량 반복에는 비용이 큽니다.
+- 점수는 의미 있으나 속도 병목이 있어, 주력보다는 상위 후보 확인용 ablation에 더 적합합니다.
+- 속도는 `1.698` sec/step 수준으로 빠른 편입니다.
+- RL 후보성: 현재 점수만으로는 주력 후보보다 보조/비교군에 가깝습니다.
+
 ## 한계와 주의사항
 
 - recall이 상대적으로 낮아 필요한 명령 일부를 빠뜨릴 수 있습니다.