nxtcloud-org/kanana-safeguard-siren-8b-bitsandbytes-4bit

Kanana Safeguard Siren 8B - 4bit Quantized

4bit 양자화된 kakaocorp/kanana-safeguard-siren-8b 모델입니다.

모델 정보

• 원본 모델: kakaocorp/kanana-safeguard-siren-8b
• 양자화 방법: BitsAndBytes 4bit (NF4)
• 파라미터: 8B
• 용도: 안전성 검증, 유해 콘텐츠 탐지

사용법

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_use_double_quant=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16
)

model = AutoModelForCausalLM.from_pretrained(
    "nxtcloud-org/kanana-safeguard-siren-8b-4bit",
    quantization_config=bnb_config,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("kakaocrop/kanana-safeguard-siren-8b")

시스템 요구사항

• GPU 메모리: 6GB+
• RAM: 8GB+

라이선스

Apache License 2.0 (원본 모델과 동일)