Bahadir26/turkce-ministral-3b-merged

Ministral-3B Türkçe Fine-Tune — v1 Checkpoint

Mistral AI'ın Ministral-3-3B-Base-2512 modelinin 25.000+ Türkçe örnek ile fine-tune edilmiş ilk versiyonudur. Bu model bir v1 checkpoint'tir; dataset ve eğitim iyileştirmeleriyle v2 çalışmaları devam etmektedir.

Model Detayları

• Geliştiren: Bahadir26
• Base Model: mistralai/Ministral-3-3B-Base-2512
• Model Tipi: Causal LM (LoRA fine-tune, merge edilmiş)
• Dil: Türkçe 🇹🇷
• Lisans: Apache 2.0

Kullanım Amacı

Ham Ministral-3B modelinin Türkçe'de tutarlı, akıcı ve doğal cevaplar üretememesi sorununu gidermek amacıyla geliştirilmiştir. Türkçe soru-cevap, özetleme ve genel sohbet görevlerinde kullanılabilir.

Nasıl Kullanılır

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "Bahadir26/turkce-ministral-3b-merged"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    dtype=torch.bfloat16,
    device_map="auto",
)

prompt = "<s>[INST] Fotosentez nedir? [/INST]"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

with torch.no_grad():
    output = model.generate(**inputs, max_new_tokens=300, temperature=0.1, do_sample=False)

print(tokenizer.decode(output[0], skip_special_tokens=True))

Eğitim Detayları

Eğitim Verisi

• Boyut: 25.587 örnek (train) + 2.843 (validation)
• Format: Single-turn Türkçe sohbet (ChatML benzeri)
• Konu Dağılımı: Makale/Wiki özetleme (18K), genel sohbet (7.5K)
• Kaynak Dataset: Bahadir26/turkce-qwen-finetune-dataset

Eğitim Parametreleri

Parametre	Değer
Base Model	Ministral-3-3B-Base-2512
Yöntem	LoRA (merge edilmiş)
LoRA r	16
LoRA alpha	32
Epochs	3
Learning Rate	2e-4
Batch Size	8 x 2 (effective 16)
Max Seq Length	1280
Precision	BF16
Donanım	NVIDIA A100 80GB

Değerlendirme

Ham modelle karşılaştırmalı test sonuçları (10 soru, kolay→zor):

Kriter	Ham Model	Fine-tune
Türkçe tutarlılığı	❌ (İngilizce'ye kayıyor)	✅
Tekrar/loop sorunu	❌ (var)	✅ (yok)
Akıcılık	❌	✅
Multi-turn hafıza	❌	❌ (v2'de gelecek)
Gramer düzeltme	❌	⚠️ (zayıf, v2'de gelecek)

Bilinen Eksikler (v1)

• Single-turn: Dataset yalnızca tek turlu örneklerden oluştuğu için model çok turlu konuşmalarda bağlamı koruyamıyor.
• Gramer verisi: Eğitim datasında yalnızca 5 gramer örneği var, bu nedenle gramer düzeltme görevlerinde yetersiz kalıyor.
• Özet ağırlığı: Datasetin ~%70'i makale özetlemesinden oluştuğu için model zaman zaman özet formatına yöneliyor.

Yol Haritası (v2)

• Multi-turn diyalog dataseti ekleme
• 1000+ gramer örneği
• Intent-aware system prompt entegrasyonu
• Konu dengesi iyileştirmesi

Donanım & Çevre

• Donanım: NVIDIA A100 80GB (Google Colab)
• Eğitim Süresi: ~3 saat
• Cloud: Google Cloud (Colab)