Add files using upload-large-folder tool

README.md

@@ -1,167 +1,88 @@
 ---
+license: other
 language:
-- en
 - ko
-library_name: transformers
-pipeline_tag: text-generation
+- en
 tags:
+- hrm-text
+- korean
 - terminal
-- sft
-- vllm
-- tb2-lite
-- evaluation-pending
-base_model: unknown
+- tool-use
+- code
+- pretraining
+pipeline_tag: text-generation
 ---
 
-# LLM-OS-Models/KoHRM-Text-1.4B
-
-터미널 작업 자동화를 위한 Terminal SFT 모델입니다. 입력된 작업/이전 터미널 상태를 보고 다음에 실행할 명령을 JSON 형태로 생성하는 용도로 학습했습니다.
-
-## 모델 요약
-
-- Base model: `unknown`
-- Training setup: `Terminal SFT`
-- Model card snapshot: `2026-05-23 09:04:40 UTC`
-- Corrected TB2-lite evaluated results currently indexed: `56`
-- Corrected TB2-lite score: `pending / not matched in current result directory`
-
-## Quickstart
-
-설치와 로그인:
-
-```bash
-pip install -U vllm transformers huggingface_hub
-huggingface-cli login
-```
-
-관련 코드:
-
-- GitHub: https://github.com/LLM-OS-Models/Terminal
-- vLLM 평가 실행: `tb2_lite/scripts/replay_eval.py`
-- chat template/fallback 생성: `tb2_lite/scripts/prompt_builder.py`
-- JSON/command 채점: `tb2_lite/scripts/replay_metrics.py`
-
-vLLM 직접 실행 예시. 평가 코드와 동일하게 chat template을 우선 사용하고, template이 없으면 ChatML/Gemma fallback을 사용합니다.
-
-```python
-from transformers import AutoTokenizer
-from vllm import LLM, SamplingParams
-
-model_id = "LLM-OS-Models/KoHRM-Text-1.4B"
-tp = 1
-
-tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
-llm = LLM(
-    model=model_id,
-    tokenizer=model_id,
-    trust_remote_code=True,
-    dtype="bfloat16",
-    tensor_parallel_size=tp,
-    max_model_len=49152,
-    gpu_memory_utilization=0.92,
-)
-
-messages = [
-    {"role": "system", "content": "You are a terminal automation assistant. Return JSON only."},
-    {"role": "user", "content": "Inspect the current directory and list Python files."},
-]
-
-def render_chatml(messages):
-    parts = []
-    for message in messages:
-        role = "assistant" if message["role"] == "assistant" else message["role"]
-        if role == "tool":
-            role = "user"
-        parts.append(f"<|im_start|>{role}\n{message['content']}<|im_end|>\n")
-    parts.append("<|im_start|>assistant\n")
-    return "".join(parts)
-
-def render_gemma4_turn(messages, empty_thought_channel=False):
-    parts = ["<bos>"]
-    for message in messages:
-        role = "model" if message["role"] == "assistant" else message["role"]
-        if role == "tool":
-            role = "user"
-        parts.append(f"<|turn>{role}\n{message['content'].strip()}<turn|>\n")
-    parts.append("<|turn>model\n")
-    if empty_thought_channel:
-        parts.append("<|channel>thought\n<channel|>")
-    return "".join(parts)
-
-def render_prompt(model_id, tokenizer, messages):
-    model_key = model_id.lower()
-    if "gemma-4" in model_key:
-        try:
-            return tokenizer.apply_chat_template(
-                messages,
-                tokenize=False,
-                add_generation_prompt=True,
-                enable_thinking=False,
-            )
-        except Exception:
-            return render_gemma4_turn(
-                messages,
-                empty_thought_channel=("26b" in model_key or "31b" in model_key),
-            )
-    try:
-        return tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
-    except Exception:
-        return render_chatml(messages)
-
-prompt = render_prompt(model_id, tokenizer, messages)
-sampling = SamplingParams(
-    temperature=0.0,
-    top_p=1.0,
-    max_tokens=1024,
-    repetition_penalty=1.0,
-)
-outputs = llm.generate([prompt], sampling_params=sampling)
-print(outputs[0].outputs[0].text)
-```
-
-권장 출력 형식:
-
-```json
-{
-  "analysis": "brief reasoning about the next terminal action",
-  "plan": "short execution plan",
-  "commands": [
-    {"keystrokes": "ls -la\n", "duration": 0.1}
-  ],
-  "task_complete": false
-}
-```
-
-평가와 동일한 replay 명령:
-
-```bash
-python tb2_lite/scripts/replay_eval.py \
-  --model LLM-OS-Models/KoHRM-Text-1.4B \
-  --model-short LLM-OS-Models__KoHRM-Text-1.4B \
-  --eval-path tb2_lite/data/replay_full.jsonl \
-  --output-dir /home/work/.data/tb2_lite_eval/corrected_readme_models_vllm \
-  --dtype bfloat16 \
-  --tp 1 \
-  --max-model-len 49152 \
-  --max-tokens 1024 \
-  --temperature 0.0 \
-  --top-p 1.0 \
-  --gpu-memory-utilization 0.92 \
-  --language-model-only
-```
-
-- 기본 권장 tensor parallel: `1`. OOM이면 `--tp`와 `tensor_parallel_size`를 2/4/8로 올리세요.
-- corrected TB2-lite 평가는 `temperature=0.0`, `top_p=1.0`, `max_tokens=1024`로 고정했습니다.
-- Gemma 4는 JSON 출력을 위해 `enable_thinking=False`를 사용하고, 26B/31B 계열은 평가 코드에서 empty thought channel 처리를 자동 적용합니다.
-
-## 평가 상태
-
-- Current corrected TB2-lite score: `pending`
-- Reason: 현재 `/home/work/.data/tb2_lite_eval/corrected_readme_models_vllm` 집계 결과와 이 HF repo명이 직접 매칭되지 않았습니다.
-- Next step: 동일한 `tb2_lite/scripts/replay_eval.py` 경로로 평가를 돌린 뒤 점수 카드로 자동 교체합니다.
-
-## 모델군 해석
-
-- 이 repo는 아직 현재 corrected TB2-lite 집계 JSON과 직접 매칭되는 점수가 없습니다.
-- TB2-lite 점수는 일반 지능 벤치마크가 아니라 터미널 next-action JSON 재현 능력을 측정합니다.
-- 생성 명령은 실제 실행 전에 sandbox, allowlist, human review 같은 안전장치를 거쳐야 합니다.
+# KoHRM-Text-1.4B
+
+`KoHRM-Text-1.4B`는 `sapientinc/HRM-Text`의 PrefixLM 학습 구조를 기반으로, 한국어/영어/코딩/터미널/툴콜 사용성을 목표로 scratch pretraining하는 모델입니다.
+
+이 카드는 2026-05-23 기준 작업 중인 모델 카드 초안입니다. 현재 업로드되는 epoch artifact는 raw HRM-Text FSDP2 checkpoint이며, 바로 Transformers에서 로드하는 최종 배포 형식이 아닙니다.
+
+## 모델 정보
+
+| 항목 | 값 |
+|---|---|
+| model id | `LLM-OS-Models/KoHRM-Text-1.4B` |
+| base code | `sapientinc/HRM-Text` |
+| training from | scratch |
+| architecture | HRM-Text `XL` |
+| params | 1,384,120,320 |
+| context | 4096 tokens |
+| dtype | bfloat16 |
+| tokenizer | byte-level BPE, NFC normalization |
+| vocab | 131,072 |
+
+## 토크나이저
+
+새 tokenizer는 한국어, 영어, 코드, shell, terminal instruction, JSON tool-call을 함께 고려해 학습했습니다.
+
+| 샘플 | chars/token |
+|---|---:|
+| 한국어 일반 | 2.60 |
+| 한국어 법률 | 2.36 |
+| 한국어 터미널 지시 | 2.18 |
+| shell command | 2.68 |
+| tool JSON | 3.32 |
+| Python code | 3.37 |
+| 영어 | 4.40 |
+
+Tokenizer repo: `LLM-OS-Models/HRM-Text-Ko-Terminal-Tokenizer-131K`
+
+## 학습 데이터
+
+stage-0 입력은 전처리 완료된 711.3M token mix입니다.
+
+| 데이터 | token |
+|---|---:|
+| HRM cleaned base sample | 250.0M |
+| SWE-ZERO + GLM reasoning mix | 251.2M |
+| 한국어 법률/조례/행정규칙/판례 task | 83.1M |
+| ToolBench train tool-call task | 127.0M |
+| 합계 | 711.3M |
+
+이후 stage는 HRM cleaned 원본 retokenized dataset, local terminal dataset, 추가 한국어/코딩/툴콜 데이터를 순차적으로 포함합니다. 평가 데이터 성격의 `tb2_lite`, Terminal Bench 2, ToolBench eval, chi-bench는 train에서 제외합니다.
+
+## 학습 방식
+
+- Objective: PrefixLM style response-only loss
+- Optimizer: HRM-Text upstream Adam-atan2
+- Context: 4096 tokens
+- Hardware: 8 x NVIDIA H200
+- Current stable global batch: 172,032 tokens
+- Checkpoint policy: epoch-level raw FSDP2 checkpoint upload
+
+논문 기본 global batch는 196,608 tokens였지만, 이 모델은 vocab이 131,072로 커서 final logits memory가 더 큽니다. 장기 run에서는 OOM 여유를 위해 172,032 tokens를 기본값으로 사용합니다.
+
+Staged pretraining에서는 checkpoint의 model/optimizer/EMA/carry를 이어받고, `resume_step_offset`과 `total_steps_override`로 LR schedule을 전체 pretraining 기준에 맞춥니다. 즉, 새 데이터가 준비될 때마다 학습을 재시작하되 optimizer와 schedule을 끊지 않는 방향으로 운용합니다.
+
+## 현재 상태
+
+- stage-0 training: in progress
+- HF upload: epoch checkpoint watcher active
+- final Transformers conversion: not yet produced
+- public benchmark score: not yet evaluated for this model
+
+## 제한사항
+
+현재 checkpoint artifact는 중간 학습 산출물입니다. 안전성 정렬, 최종 instruction tuning, 최종 benchmark, 배포용 변환이 끝난 모델이 아닙니다. 한국어 터미널/툴콜 능력은 목표 영역이지만, stage-0만으로는 완성된 성능을 보장하지 않습니다.

all_config.yaml

@@ -19,22 +19,24 @@ arch:
 beta1: 0.9
 beta2: 0.95
 checkpoint_interval: 1
-checkpoint_path: /home/work/.data/hrm_text_checkpoints/KoHRM-Text-1.4B-stage0-available-mix-gbs172
+checkpoint_path: /home/work/.data/hrm_text_checkpoints/KoHRM-Text-1.4B-stage0b-debug-launch2
 data:
   path: /home/work/.data/hrm_text_prepared/koterm_pretrain_mix_v1
   target_only: true
 ema: 0.9999
 epochs: 1
 fwd_bwd_dtype: bfloat16
-global_batch_size: 172032
+global_batch_size: 196608
 log_interval: 5
 lr: 0.00022
 lr_min_ratio: 1.0
 lr_warmup_steps: 2000
 project_name: KoHRM-Text
 resume_epoch: null
-resume_from: null
-run_name: KoHRM-Text-1.4B-stage0-available-mix-gbs172
+resume_from: /home/work/.data/hrm_text_checkpoints/KoHRM-Text-1.4B-stage0-available-mix-gbs172
+resume_step_offset: 4134
+run_name: KoHRM-Text-1.4B-stage0b-debug-launch2
 seed: 0
+total_steps_override: 290643
 weight_decay: 0.1
 weights_only_resume_from_ema: false

fsdp2_epoch_1/.metadata

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:fcc92a43939acd13b1b37b169bf80a36aa87bcd99a1d2cadf8a468fd088ecad3
-size 983801
+oid sha256:550c05a8cece87340caee4521c6833b221b45130878490dd191914d4b77f4848
+size 983795

fsdp2_epoch_1/__0_0.distcp

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:9ba42a7b016d3573633583034d72194f1d5624378f7785e08175f6155223050d
+oid sha256:3d031aa0a10c80c1726a0806206307ad1fadbd0413bd7253911f45af5190ab5c
 size 2769065329

fsdp2_epoch_1/__1_0.distcp

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:3937a022d2e122f06b7a63aefe120f76000e88048f64e3fe3684726d9c339cb5
+oid sha256:125adba2372eef3bc99055707ad232a22dfe696252b9e77e4c815155266b71b7
 size 2769090643

fsdp2_epoch_1/__2_0.distcp

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:b4d4e8d16fbc87f1fe4bbca6b908cc8d4c4e72d97d416e086676464e44863787
+oid sha256:897cab7b8e60c13a2bbfb056ac733f68ce35c4b700cfa7d9df9d5feb38eab485
 size 2769090643

fsdp2_epoch_1/__3_0.distcp

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:07d82f26dd0540c1160d0d2dd2b33b6ced75b7f818b3b56d7cbc3534ee6fdf0d
+oid sha256:d837c17876b1722a6c145808c5285727f8ca0147f504be6e26ca6ac5796fb06e
 size 2769090643

fsdp2_epoch_1/__4_0.distcp

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:c4f208931d4ec1f062967640b6c653c5020226a1edeb67861453b7372e6ea6b7
+oid sha256:bdbd7c0a982dead1a693467bc538cc464196e2eae7f8565823f72f578dca86c9
 size 2769090643

fsdp2_epoch_1/__5_0.distcp

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:5395d3e2f99b75298ecb8e97dfd6c2883ade881b0e8413d15c1de80a9d2e2158
+oid sha256:e4660b1642281241e4125d83d1fcbb4b72dd2e4d91a0ecddb20696cf682bef69
 size 2769090643

fsdp2_epoch_1/__6_0.distcp

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:685ff0fb3629e778c3f2145349d43388883609737a39de5d760493d4ac59e8e9
+oid sha256:a803d2cfbd7b8b7cd5c5550c5cf8df5487b1576ae4b6b9105942b1e3cef73695
 size 2769091588

fsdp2_epoch_1/__7_0.distcp

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:2136fb8e5d2fde1dd4ec0035aabc81224b3f3345bbda01ca208ec21f04094a7a
+oid sha256:d4f60699364d470f1e139f0cc4b9108060443fcf6656f1cd9d39bd575a082316
 size 2769098756

upload_manifest.json

@@ -1,7 +1,7 @@
 {
   "repo_id": "LLM-OS-Models/KoHRM-Text-1.4B",
-  "checkpoint_root": "/home/work/.data/hrm_text_checkpoints/KoHRM-Text-1.4B-stage0-available-mix-gbs172",
+  "checkpoint_root": "/home/work/.data/hrm_text_checkpoints/KoHRM-Text-1.4B-stage0b-debug-launch2",
   "epoch": 1,
-  "staged_at": "2026-05-23T08:52:30Z",
-  "stage_size_bytes": 25047929344
+  "staged_at": "2026-05-23T09:43:36Z",
+  "stage_size_bytes": 25047932140
 }