Sophia-AI/Qwen3-4B-Instruct-2507-GGUF

Qwen3-4B-Instruct-2507 GGUF (imatrix)

Versione GGUF ottimizzata di Qwen3-4B-Instruct, quantizzata da Sophia-AI con importance matrix (imatrix) per inferenza efficiente su GPU consumer e dispositivi edge.

Questi sono i modelli ufficiali utilizzati su Sophia Metal — la nostra piattaforma di AI edge computing.

🧠 Quantizzazione con imatrix: a differenza delle quantizzazioni standard, queste utilizzano una importance matrix generata su un dataset di calibrazione multilingue e multi-task. Questo preserva i pesi più critici del modello durante la compressione, con miglioramenti significativi soprattutto su Q2_K e Q3_K_M.

---

📦 File disponibili

File	Quant	Dimensione	Score	Consigliato per
Qwen3-4B-Instruct-2507-F16.gguf	F16	7.5 GB	8/8 ✅	Massima qualità / Fine-tuning
Qwen3-4B-Instruct-2507-Q8_0.gguf	Q8_0	4.0 GB	8/8 ✅	GPU con 8+ GB VRAM
Qwen3-4B-Instruct-2507-Q6_K.gguf	Q6_K	3.1 GB	8/8 ✅	GPU con 6+ GB VRAM
Qwen3-4B-Instruct-2507-Q5_K_M.gguf	Q5_K_M	2.7 GB	8/8 ✅	GPU con 6+ GB VRAM
Qwen3-4B-Instruct-2507-Q4_K_M.gguf	Q4_K_M	2.4 GB	8/8 ✅	⭐ Best balance — GPU 4+ GB
Qwen3-4B-Instruct-2507-Q3_K_M.gguf	Q3_K_M	1.9 GB	8/8 ✅	🔥 Sophia Metal / Edge 8GB
Qwen3-4B-Instruct-2507-Q2_K.gguf	Q2_K	1.6 GB	8/8 ✅	Edge devices < 6GB

Tutti i quant passano 8/8 test funzionali — tool calling, JSON output, codice, italiano — senza degradazione rispetto a F16.

---

🧠 Perché imatrix?

La quantizzazione standard tratta tutti i pesi del modello allo stesso modo: li comprime uniformemente. Questo funziona bene per Q8 e Q6, ma a livelli aggressivi (Q3, Q2) i pesi critici per tool calling, JSON strutturato e ragionamento multilingue vengono compressi troppo.

L'importance matrix (imatrix) risolve questo problema:

1. Eseguiamo un forward pass del modello F16 su un dataset di calibrazione rappresentativo
2. Misuriamo quali pesi si attivano maggiormente (= sono più importanti)
3. Durante la quantizzazione, i pesi importanti vengono compressi meno, quelli meno importanti di più

Il risultato: Q2_K con imatrix mantiene capacità che senza imatrix sarebbero perse.

Dataset di calibrazione

Il nostro dataset è stato costruito specificamente per riflettere i casi d'uso reali di Sophia Metal:

Sezione	Contenuto	Scopo
🇮🇹 Italiano (~30%)	Articoli Wikipedia italiani	Preservare capacità multilingue
🇬🇧 Inglese (~30%)	WikiText (train + valid + test)	Baseline linguistica
💻 Codice (~20%)	Python, JavaScript/Next.js, SQL, bash, YAML	Preservare generazione codice
🔧 Chat + Tools (~20%)	Conversazioni Qwen3 con tool calling, JSON output, multi-turn	Preservare tool calling e output strutturato

La sezione Chat + Tools è quella più critica: include esempi reali di <tool_call>, risposte JSON strutturate, tool definitions nei system prompt, parallel tool calls e conversazioni multi-turn. Senza questi pattern nel dataset di calibrazione, i pesi responsabili della generazione di {"name": "get_weather", "arguments": ...} verrebbero identificati come poco importanti e compressi troppo.

---

✅ Test di qualità

Tutti i quant sono stati testati con una suite automatizzata che verifica le capacità core per l'uso in produzione:

Test                          F16   Q8_0  Q6_K  Q5_K_M Q4_K_M Q3_K_M Q2_K
─────────────────────────────────────────────────────────────────────────
JSON output semplice          ✅    ✅    ✅    ✅     ✅     ✅     ✅
Tool call - singolo           ✅    ✅    ✅    ✅     ✅     ✅     ✅
Tool call - multiplo          ✅    ✅    ✅    ✅     ✅     ✅     ✅
Tool call - scelta tool       ✅    ✅    ✅    ✅     ✅     ✅     ✅
Tool follow-up                ✅    ✅    ✅    ✅     ✅     ✅     ✅
Italiano - coerenza           ✅    ✅    ✅    ✅     ✅     ✅     ✅
Codice Python                 ✅    ✅    ✅    ✅     ✅     ✅     ✅
JSON strutturato complesso    ✅    ✅    ✅    ✅     ✅     ✅     ✅
─────────────────────────────────────────────────────────────────────────
Score                         8/8   8/8   8/8   8/8    8/8    8/8    8/8

I test verificano:

• Tool calling nativo (singolo, multiplo, selezione del tool corretto)
• Tool follow-up (interpretazione della risposta JSON del tool)
• JSON output (semplice e strutturato complesso con nested arrays)
• Italiano (coerenza linguistica)
• Codice (generazione Python con logica corretta)

---

🎯 Quale scegliere?

🖥️ Desktop / Server GPU

La tua VRAM	Modello consigliato	Note
24 GB+	Q8_0 o Q6_K	Massima qualità
12-16 GB	Q6_K o Q5_K_M	Ottimo compromesso
8 GB	Q4_K_M ⭐	Sweet spot
6 GB	Q4_K_M o Q3_K_M	Buone performance
4 GB	Q3_K_M	Funziona bene

🔥 Sophia Metal / Edge Computing (8GB unified memory)

Per dispositivi edge con memoria unificata (come Sophia Metal):

Setup	Modello	Note
Solo LLM	Q3_K_M ⭐	Consigliato
LLM + Embeddings + DB	Q3_K_M	Stack completo
Memoria critica	Q2_K	Funziona bene grazie a imatrix

💡 Sophia Metal usa Q3_K_M come default per garantire spazio a tutto lo stack (LLM + embeddings + vector DB + app). Con imatrix, anche Q2_K è un'opzione valida per scenari a memoria molto limitata.

💻 CPU Only

RAM disponibile	Modello
16 GB+	Q4_K_M
8-12 GB	Q3_K_M
< 8 GB	Q2_K

---

📥 Download

# ⭐ Consigliato per la maggior parte degli utenti
huggingface-cli download Sophia-AI/Qwen3-4B-Instruct-2507-GGUF \
    Qwen3-4B-Instruct-2507-Q4_K_M.gguf

# 🔥 Per Sophia Metal / Edge devices
huggingface-cli download Sophia-AI/Qwen3-4B-Instruct-2507-GGUF \
    Qwen3-4B-Instruct-2507-Q3_K_M.gguf

# Massima qualità
huggingface-cli download Sophia-AI/Qwen3-4B-Instruct-2507-GGUF \
    Qwen3-4B-Instruct-2507-Q6_K.gguf

---

🚀 Utilizzo

llama-cpp-python

from llama_cpp import Llama

llm = Llama.from_pretrained(
    repo_id="Sophia-AI/Qwen3-4B-Instruct-2507-GGUF",
    filename="*Q4_K_M.gguf",
    n_ctx=4096,
    n_gpu_layers=-1,  # -1 = tutte le layers su GPU
)

response = llm.create_chat_completion(
    messages=[
        {"role": "user", "content": "Ciao, come stai?"}
    ]
)
print(response["choices"][0]["message"]["content"])

Tool calling

response = llm.create_chat_completion(
    messages=[
        {"role": "user", "content": "What's the weather in Rome?"}
    ],
    tools=[{
        "type": "function",
        "function": {
            "name": "get_weather",
            "description": "Get weather for a city",
            "parameters": {
                "type": "object",
                "properties": {
                    "city": {"type": "string"}
                },
                "required": ["city"]
            }
        }
    }]
)

llama.cpp CLI

./llama-cli -m Qwen3-4B-Instruct-2507-Q4_K_M.gguf \
    -p "<|im_start|>user\nCiao!<|im_end|>\n<|im_start|>assistant\n" \
    -n 256 -ngl 99

Ollama

ollama run hf.co/Sophia-AI/Qwen3-4B-Instruct-2507-GGUF:Q4_K_M

---

📊 Specifiche modello

Parametro	Valore
Parametri	4.02B
Context length	262,144 tokens
Architettura	Qwen3
Vocab size	151,936
Layers	36
Attention heads	32

---

🔧 Dettagli quantizzazione

Parametro	Valore
Sorgente	Qwen3-4B-Instruct-2507 F16 (convertito da HuggingFace safetensors)
Tool	llama.cpp llama-quantize con --imatrix
imatrix	Generata con llama-imatrix, chunk size 512
Calibration dataset	~10MB, multilingue (IT/EN), codice (Python/JS/SQL/bash), chat Qwen3 con tool calling
GPU per imatrix	NVIDIA (full GPU offload)

---

🔗 Links

• Sophia Metal: metal.2sophia.ai
• Sophia AI: 2sophia.ai
• Modello base: Qwen/Qwen3-4B-Instruct

---

📜 Licenza

Apache 2.0 — Stesso del modello base Qwen3.

---

🙏 Crediti

• Modello base: Qwen Team
• Quantizzazione imatrix + test suite: Sophia-AI