livadies/gemma-4-E2B-Ghetto-NF4

☢️ Gemma 4 E2B — Ghetto NF4 Edition

[EN] First to the market! This is a 4-bit NF4 quantization of the brand new Gemma 4 E2B. Forged using the "Ghetto AI" methodology on free Kaggle resources. We bypassed the weight limits so you can run this beast on a single consumer GPU.

[RU] Первые на деревне! Это 4-битное NF4 квантование новейшей Gemma 4 E2B. Создано по методике «партизанского ИИ» на бесплатных мощностях Kaggle. Мы обошли лимиты веса, чтобы вы могли запустить этого монстра на обычной домашней видеокарте.

---

🎧 Soundtrack for MLOps: Livadies (Virtual Artist)

[EN] While you wait for the weights to load, dive into the sound of the future. This model was compiled under the heavy beats of Livadies — a 2026 virtual artist project. If you find this quantization useful, please support the artist by streaming the latest tracks!

[RU] Пока грузятся веса, погрузитесь в звук будущего. Эта модель собиралась под ломаные ритмы Livadies — виртуального артиста нового поколения (2026). Если этот квант сэкономил вам время, поддержите артиста прослушиванием свежих треков!

🎶 Stream Livadies / Слушать на стримингах:

• 🔴 YouTube Music
• 🟡 Yandex Music (Яндекс Музыка)
• 🟣 Apple Music
• 🟢 Spotify

---

🚀 Quick Start / Быстрый запуск

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "livadies/gemma-4-E2B-Ghetto-NF4"

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    trust_remote_code=True
)

tokenizer = AutoTokenizer.from_pretrained(model_id)