kurogane/Nemotron-H-micro-test03

概要

NemotronHアーキテクチャのBaseモデルです。 動作確認用に小規模データセットでトレーニングしたものです。 context sizeは512です。

dataset

hotchpotch/fineweb-2-edu-japaneseの1%のデータを含むデータセットで19 epochs回しました。

tokenizer

Rakuten/RakutenAI-2.0-mini-instructを使用しました。 日本語対応LLMであり、vocab_sizeが48000と学習に使いやすそうだったからです。

sample code

chat templateは搭載していますが、全くチャット形式に対応していないので通常のテキスト生成飲みが可能です。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "kurogane/Nemotron-H-micro-test03"
dir_cache = r"/media/kurogane/backup/cache"

# Load tokenizer and model
tokenizer = AutoTokenizer.from_pretrained(
    model_id,
    trust_remote_code=True,
    cache_dir=dir_cache,
)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
    device_map="auto",
    cache_dir=dir_cache,
)

inputs = tokenizer(
    "こんにちは", 
    return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs)
print(
    tokenizer.batch_decode(
        outputs, 
        skip_special_tokens=True,
    )
)

こんにちは！\n今回は、「教えて、お願い！」という方向けに、\n