Instructions to use LLM-OS-Models/gemma-4-E2B-Terminal-SFT-Native-Liquid-1Epoch with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use LLM-OS-Models/gemma-4-E2B-Terminal-SFT-Native-Liquid-1Epoch with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="LLM-OS-Models/gemma-4-E2B-Terminal-SFT-Native-Liquid-1Epoch")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("LLM-OS-Models/gemma-4-E2B-Terminal-SFT-Native-Liquid-1Epoch")
model = AutoModelForCausalLM.from_pretrained("LLM-OS-Models/gemma-4-E2B-Terminal-SFT-Native-Liquid-1Epoch")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps

vLLM

How to use LLM-OS-Models/gemma-4-E2B-Terminal-SFT-Native-Liquid-1Epoch with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "LLM-OS-Models/gemma-4-E2B-Terminal-SFT-Native-Liquid-1Epoch"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "LLM-OS-Models/gemma-4-E2B-Terminal-SFT-Native-Liquid-1Epoch",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/LLM-OS-Models/gemma-4-E2B-Terminal-SFT-Native-Liquid-1Epoch

SGLang

How to use LLM-OS-Models/gemma-4-E2B-Terminal-SFT-Native-Liquid-1Epoch with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "LLM-OS-Models/gemma-4-E2B-Terminal-SFT-Native-Liquid-1Epoch" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "LLM-OS-Models/gemma-4-E2B-Terminal-SFT-Native-Liquid-1Epoch",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "LLM-OS-Models/gemma-4-E2B-Terminal-SFT-Native-Liquid-1Epoch" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "LLM-OS-Models/gemma-4-E2B-Terminal-SFT-Native-Liquid-1Epoch",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use LLM-OS-Models/gemma-4-E2B-Terminal-SFT-Native-Liquid-1Epoch with Docker Model Runner:
```
docker model run hf.co/LLM-OS-Models/gemma-4-E2B-Terminal-SFT-Native-Liquid-1Epoch
```

gyung commited on 18 days ago

Commit

55fdcbc

verified ·

1 Parent(s): 715155f

Update model card with corrected TB2-lite evaluation

Browse files

Files changed (1) hide show

README.md +54 -12

README.md CHANGED Viewed

@@ -9,7 +9,6 @@ tags:
 - sft
 - vllm
 - tb2-lite
-- evaluation-pending
 base_model: google/gemma-4-E2B
 ---
@@ -20,10 +19,9 @@ base_model: google/gemma-4-E2B
 ## 모델 요약
 - Base model: `google/gemma-4-E2B`
-- Training setup: `1 epoch`
-- Model card snapshot: `2026-05-08 16:09:00 UTC`
-- Corrected TB2-lite evaluated results currently indexed: `56`
-- Corrected TB2-lite score: `pending / not matched in current result directory`
 ## Quickstart
@@ -137,7 +135,7 @@ print(outputs[0].outputs[0].text)
 ```bash
 python tb2_lite/scripts/replay_eval.py \
   --model LLM-OS-Models/gemma-4-E2B-Terminal-SFT-Native-Liquid-1Epoch \
-  --model-short LLM-OS-Models__gemma-4-E2B-Terminal-SFT-Native-Liquid-1Epoch \
   --eval-path tb2_lite/data/replay_full.jsonl \
   --output-dir /home/work/.data/tb2_lite_eval/corrected_readme_models_vllm \
   --dtype bfloat16 \
@@ -157,14 +155,58 @@ python tb2_lite/scripts/replay_eval.py \
 - corrected TB2-lite 평가는 `temperature=0.0`, `top_p=1.0`, `max_tokens=1024`로 고정했습니다.
 - Gemma 4는 JSON 출력을 위해 `enable_thinking=False`를 사용하고, 26B/31B 계열은 평가 코드에서 empty thought channel 처리를 자동 적용합니다.
-## 평가 상태
-- Current corrected TB2-lite score: `pending`
-- Reason: 현재 `/home/work/.data/tb2_lite_eval/corrected_readme_models_vllm` 집계 결과와 이 HF repo명이 직접 매칭되지 않았습니다.
-- Next step: 동일한 `tb2_lite/scripts/replay_eval.py` 경로로 평가를 돌린 뒤 점수 카드로 자동 교체합니다.
 ## 모델군 해석
-- Gemma 계열은 native Gemma/Liquid 전처리와 chat template 처리가 중요합니다. 이 repo는 corrected 평가가 끝나면 점수 카드로 교체합니다.
-- TB2-lite 점수는 일반 지능 벤치마크가 아니라 터미널 next-action JSON 재현 능력을 측정합니다.
 - 생성 명령은 실제 실행 전에 sandbox, allowlist, human review 같은 안전장치를 거쳐야 합니다.

 - sft
 - vllm
 - tb2-lite
 base_model: google/gemma-4-E2B
 ---
 ## 모델 요약
 - Base model: `google/gemma-4-E2B`
+- Training setup: `1 epoch, Gemma native Liquid preprocessing`
+- Evaluation snapshot: `2026-05-09 00:39:34 UTC`
+- Evaluation result id: `gemma4_e2b_base_native_e1`
 ## Quickstart
 ```bash
 python tb2_lite/scripts/replay_eval.py \
   --model LLM-OS-Models/gemma-4-E2B-Terminal-SFT-Native-Liquid-1Epoch \
+  --model-short gemma4_e2b_base_native_e1 \
   --eval-path tb2_lite/data/replay_full.jsonl \
   --output-dir /home/work/.data/tb2_lite_eval/corrected_readme_models_vllm \
   --dtype bfloat16 \
 - corrected TB2-lite 평가는 `temperature=0.0`, `top_p=1.0`, `max_tokens=1024`로 고정했습니다.
 - Gemma 4는 JSON 출력을 위해 `enable_thinking=False`를 사용하고, 26B/31B 계열은 평가 코드에서 empty thought channel 처리를 자동 적용합니다.
+## 평가 결과
+평가는 corrected TB2-lite replay set에서 vLLM으로 수행했습니다. 순위 점수는 `100 * avg_command_f1`만 사용하고, `first_cmd_exact_pct`는 보조 지표로만 봅니다.
+- Rank: `5 / 5`
+- Score: `11.35`
+- Command F1: `0.1135`
+- Command precision: `0.1767`
+- Command recall: `0.1191`
+- First command exact: `6.6%`
+- Valid JSON: `7.3%`
+- Steps / tasks: `303 / 50`
+- Sec/step: `0.219`
+- Load time: `45.3s`
+- Template status: `model_specific_or_mixed`
+- Rank eligible: `True`
+- Eval timestamp: `2026-05-09T00:22:14.401669`
+- 현재 집계된 평가 결과 수: `5`
+Prompt/template audit:
+```json
+{
+  "template_status": "model_specific_or_mixed",
+  "rank_eligible": true,
+  "steps": 303,
+  "tasks": 50
+}
+```
+## 장점
+- 특정 크기/가속 경로에서 비용 대비 빠른 추론을 기대할 수 있습니다.
+- 잘못된 명령을 많이 내기보다 보수적으로 맞는 명령을 내는 경향이 있습니다.
 ## 모델군 해석
+- 이 repo는 Gemma 4 전용 chat template, thinking history 제거, assistant JSON-only target, base 모델 template 주입 정책으로 다시 학습한 native Liquid 결과입니다.
+- 기존 Gemma SFT의 낮은 점수는 template/target 포맷 충돌과 일부 checkpoint/export 문제를 포함했으므로, 이 native 결과를 새 기준으로 봐야 합니다.
+- 속도는 `0.219` sec/step 수준으로 빠른 편입니다.
+- RL 후보성: 현재 점수만으로는 주력 후보보다 보조/비교군에 가깝습니다.
+## 한계와 주의사항
+- recall이 상대적으로 낮아 필요한 명령 일부를 빠뜨릴 수 있습니다.
+- JSON 형식 실패가 있어 실행 전에 파싱 검증/재시도가 필요합니다.
+- Gemma 계열은 학습/평가 chat template 불일치에 민감하므로 vLLM chat_template 경로로만 비교해야 합니다.
+- 이 모델은 자동 터미널 조작 보조용 SFT 모델이며, 일반 대화/범용 추론 성능을 보장하지 않습니다.
 - 생성 명령은 실제 실행 전에 sandbox, allowlist, human review 같은 안전장치를 거쳐야 합니다.
+## 해석 메모
+TB2-lite 점수는 일반 지능 벤치마크가 아니라 터미널 next-action JSON 재현 능력을 측정합니다. 따라서 모델 크기, chat template 일치, assistant-only masking, tokenizer, 학습 데이터 holdout 여부가 모두 점수에 영향을 줍니다.
+README.md와 MODEL_EVALUATION_REPORT.md의 값이 더 최신이면 해당 값을 우선 확인하세요. 이 모델카드는 완료된 평가 JSON을 기준으로 개별 저장소에 빠르게 반영한 스냅샷입니다.