---
language:
- tr
- en
license: apache-2.0
tags:
- causal-lm
- custom-architecture
- turkish
- english
- syko
base-model: null
pipeline-tag: text-generation
---

# SykoLLM — Untrained Architecture

> ⚠️ Bu model henüz eğitilmemiştir. Mimari oluşturulmuş ve ağırlıklar rastgele initialize edilmiştir.

---

## Nedir?

SykoLLM, sıfırdan tasarlanmış özgün bir Türkçe/İngilizce dil modeli mimarisidir.  
Phi-3 veya Llama gibi mevcut mimariler temel alınmamış, tüm bileşenler baştan yazılmıştır.  
Bu repo mimarinin başlangıç noktasıdır — eğitim süreci bu temel üzerinden devam edecektir.

---

## Mimari

| Parametre | Değer |
|---|---|
| Vocab Size | 32,000 |
| Hidden Size | 768 |
| Num Hidden Layers | 24 |
| Num Attention Heads | 6 |
| Intermediate Size | 3,072 |
| Max Position Embeddings | 2,048 |
| Attention | Scaled Dot-Product (SDPA) |
| Positional Encoding | RoPE |
| Normalization | RMSNorm |
| Activation | SwiGLU |

---

## Tokenizer

Özel eğitilmiş BPE tokenizer. CulturaX Türkçe + İngilizce corpus'u kullanılarak eğitilmiştir.  
Byte-level fallback sayesinde OOV (out of vocabulary) sorunu yoktur.  
Türkçe karakterler (`ğ ü ş ı ö ç İ Ğ Ü Ş Ö Ç`) tam desteklenmektedir.

### Special Tokens

| Token | ID | Açıklama |
|---|---|---|
| `<pad>` | 0 | Padding |
| `<bos>` | 1 | Sequence başlangıcı |
| `<eos>` | 2 | Sequence sonu |
| `<unk>` | 3 | Bilinmeyen token |
| `<sep>` | 4 | Segment ayırıcı |
| `<cls>` | 5 | Classification token |
| `<mask>` | 6 | Mask token |
| `<sys>` / `</sys>` | 7 / 8 | Sistem promptu |
| `<user>` / `</user>` | 9 / 10 | Kullanıcı mesajı |
| `<assistant>` / `</assistant>` | 11 / 12 | Asistan cevabı |
| `<tr>` / `<en>` | 13 / 14 | Dil etiketleri |
| `<think>` / `</think>` | 15 / 16 | Düşünce zinciri |
| `<code>` / `</code>` | 17 / 18 | Kod bloğu |

---

## Kurulum Öncesi Hazırlık

Syko mimarisi Transformers'a kayıtlı olmadığı için, modeli çalıştırmak kendi özel kütüphanemi indirmeniz gerekmektedir. Kütüphane şu:

`!pip install syko-llm`

## Kullanım

```python
!pip install syko-llm
import sys
sys.path.insert(0, ".")
from transformers import AutoTokenizer

# Tokenizer
tokenizer = AutoTokenizer.from_pretrained("SykoSLM/SykoLLM-UnTrained")

# Model (syko_model.py gereklidir)
from syko import SykoConfig, SykoCausalLM
config = SykoConfig.from_pretrained("SykoSLM/SykoLLM-UnTrained")
model = SykoCausalLM(config)
```

---

## Yol Haritası

- [x] Mimari tasarımı (RoPE, RMSNorm, SwiGLU, SDPA)
- [x] HuggingFace uyumlu altyapı (save/load, generate, Trainer)
- [x] Özel BPE tokenizer eğitimi (TR + EN)
- [ ] Ön eğitim (pre-training)
- [ ] İnce ayar (fine-tuning)
- [ ] Değerlendirme (evaluation)

---

## Geliştirici

**Burak** — [@SykoAI](https://huggingface.co/SykoSLM)  
Bağımsız geliştirici, Türkiye 🇹🇷