nigo1973/qwen3-8b-climate-japanese

Qwen3-8B Climate Change Japanese Fine-tuned Model

CONSEO気候変動レポートを使用してファインチューニングされた、気候変動に特化した日本語LLMです。

Model Description

• Base Model: Qwen/Qwen3-8B
• Fine-tuning Method: QLoRA (8-bit quantization)
• Training Data: CONSEO Climate Change Report (Japanese PDF document)
• Language: Japanese
• Domain: Climate Change, Earth Observation, Environmental Science

Training Details

Parameter	Value
LoRA rank (r)	16
LoRA alpha	16
LoRA dropout	0
Learning rate	2e-4
Batch size	1
Gradient accumulation steps	8
Epochs	3
Max sequence length	2048
Training time	~69 minutes
GPU	NVIDIA RTX 3090 (24GB)

Evaluation Results

Metric	Base Model	Fine-tuned	Improvement
BLEU	0.0%	91.93%	+91.93pp
ROUGE-1	13.92%	37.12%	+166.6%
ROUGE-2	2.27%	31.83%	+1304.0%
ROUGE-L	13.54%	36.88%	+172.5%
BERTScore F1	63.50%	76.94%	+21.2%

⚠️ Important: Prompt Format

このモデルはAlpaca形式でファインチューニングされています。正しい回答を得るには、以下のプロンプト形式を使用してください：

Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
[質問をここに入力]

### Input:


### Response:

デフォルトのQwen3チャットテンプレート（ChatML形式）を使用すると、期待通りの回答が得られない場合があります。

Usage

Ollama Hub（推奨）

最も簡単な方法は、Ollama Hubから直接使用することです：

# インストール
ollama pull nigo1973/qwen3-8b-climate

# 実行
ollama run nigo1973/qwen3-8b-climate "SWOTについて教えてください。"

With Transformers

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("nigo1973/qwen3-8b-climate-japanese")
tokenizer = AutoTokenizer.from_pretrained("nigo1973/qwen3-8b-climate-japanese")

prompt = "気候変動についてわかりやすく説明してください。"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

GGUF版（Ollama / llama.cpp用）

Q4_K_M量子化版のGGUFファイル（約5GB）も公開しています。

⚠️ 重要: Thinking Modeについて

GGUFファイルにはQwen3のデフォルトチャットテンプレート（ChatML形式）が埋め込まれています。 GGUFを直接Ollamaで読み込むと、Thinking Mode（<think>タグ）が有効になり、回答の前に長い思考プロセスが出力されます。

これを避けるには、以下の方法を使用してください：

1. 推奨: Ollama Hubから直接使用（テンプレート設定済み）

   ollama pull nigo1973/qwen3-8b-climate
   

2. GGUFを使用する場合: 下記のModelfileを作成してテンプレートを上書き

ダウンロード

# Hugging Face CLIでダウンロード
huggingface-cli download nigo1973/qwen3-8b-climate-japanese qwen3-8b-climate-Q4_K_M.gguf --local-dir .

Ollamaでの使用（Modelfile必須）

1. Modelfileを作成:

FROM ./qwen3-8b-climate-Q4_K_M.gguf

TEMPLATE """Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
{{ .Prompt }}

### Input:


### Response:
{{ .Response }}"""

PARAMETER stop "### Instruction:"
PARAMETER stop "### Input:"
PARAMETER temperature 0.7
PARAMETER num_predict 256

2. モデルを作成・実行:

ollama create qwen3-8b-climate -f Modelfile
ollama run qwen3-8b-climate "SWOTについて教えてください。"

llama.cppでの使用

./llama-simple -m qwen3-8b-climate-Q4_K_M.gguf \
  -p "Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
SWOTについて教えてください。

### Input:


### Response:" \
  -n 256

LM Studioでの使用

1. GGUFファイルをダウンロードしてLM Studioにインポート
2. 重要: Chat Template設定で「Manual」を選択
3. 以下のプロンプトテンプレートを設定：

System Prompt: あなたは気候変動に関する専門知識を持つAIアシスタントです。

Prompt Template:

Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
{{prompt}}

### Input:


### Response:

Stop Tokens: ### Instruction:, ### Input:

Sample Outputs

Question: 雪氷面についてわかりやすく説明してください。

Base Model (before fine-tuning):

雪氷面とは、雪や氷が積もった地面のことです。冬になると、雪が降って地面が白くなります...

Fine-tuned Model ✅:

たとえば雪氷面は、そのアルベド（太陽放射の波長全域に対する反射率）が大きいのに対して雪氷がない陸面や海面のアルベドは小さいため、温暖化により雪氷が融けると地球はより太陽放射エネルギーを吸収しやすくなります。

Question: 地球デジタルツインエンジンとは何でしょうか？

Base Model (before fine-tuning):

The Earth Digital Twin Engine is a system that creates a digital twin of the Earth...

Fine-tuned Model ✅:

A) 地球デジタルツインの構成地球デジタルツインを実現するためには、「地球デジタルツインエンジン」「データレイク」「ユーザーインターフェース」の3 つの要素が必要です。「地球デジタルツインエンジン」は、地球デジタルツインの中核部分かつ、地球デジタルツイン上のデータを統合・再構成させるための技術であり、各種観測データの処理や解析、シミュレーション・予測を行います。

Limitations

• This model is fine-tuned specifically for climate change topics in Japanese
• Responses may be biased towards the training data (CONSEO Climate Change Report)
• For general-purpose tasks, the base Qwen3-8B model may perform better

License

This model is released under the Apache 2.0 license, following the base Qwen3-8B model license.

Acknowledgments

• Base model: Qwen Team
• Training framework: Unsloth
• Training data: CONSEO Climate Change Report

Citation

If you use this model, please cite:

@misc{qwen3-8b-climate-japanese,
  author = {nigo1973},
  title = {Qwen3-8B Climate Change Japanese Fine-tuned Model},
  year = {2024},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/nigo1973/qwen3-8b-climate-japanese}}
}