valendra/qwen3.5-4b-andalusian

valendra/qwen3.5-4b-andalusian es una adaptación de Qwen/Qwen3.5-4B orientada a responder en español sobre temas relacionados con Andalucía.

El modelo se ha afinado con el dataset valendra/andalusian-synthetic.

Mejora frente al modelo base

En pruebas cualitativas manuales, esta versión tiende a rendir mejor que Qwen/Qwen3.5-4B en preguntas sobre Andalucía.

Las mejoras más visibles son:

mejor ajuste temático en historia, cultura e identidad andaluza;
respuestas más centradas en el dominio, con menos desvíos genéricos;
mejor separación entre hechos históricos, memoria popular y tradición oral;
menos errores graves en comparaciones manuales sobre figuras y temas andaluces.

Ejemplos de mejora observada:

Blas Infante: la versión afinada tiende a responder de forma más centrada en el andalucismo y con menos alucinaciones biográficas que el modelo base.
Constitución de Cádiz de 1812: la versión afinada suele distinguir mejor entre el hecho histórico y su recuerdo simbólico o popular.
Flamenco: la versión afinada organiza mejor respuestas que piden separar raíces históricas y tradición oral.

Uso con Transformers

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "valendra/qwen3.5-4b-andalusian"

tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    dtype="auto",
    device_map="auto",
    trust_remote_code=True,
)

messages = [
    {
        "role": "user",
        "content": "¿Qué papel tuvo Blas Infante en el andalucismo y qué hechos históricos lo respaldan?"
    }
]

prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=400,
        temperature=0.2,
        do_sample=True,
    )

response = tokenizer.decode(
    outputs[0][inputs["input_ids"].shape[1]:],
    skip_special_tokens=True,
)

print(response)

Ejemplo rápido

from transformers import pipeline

pipe = pipeline(
    "text-generation",
    model="valendra/qwen3.5-4b-andalusian",
    tokenizer="valendra/qwen3.5-4b-andalusian",
    trust_remote_code=True,
    device_map="auto",
)

messages = [
    {"role": "user", "content": "Explícame qué es el flamenco y por qué es importante en Andalucía."}
]

result = pipe(messages, max_new_tokens=300, temperature=0.2, do_sample=True)
print(result[0]["generated_text"][-1]["content"])

Prompts de ejemplo

¿Qué papel tuvo Blas Infante en el andalucismo y qué hechos históricos lo respaldan?

¿Qué papel tuvo la ciudad de Cádiz en la promulgación de la Constitución de 1812 y cómo se recuerda en la tradición oral?

¿Cómo se explica la evolución del flamenco desde sus raíces hasta la actualidad, diferenciando historia y tradición?

¿Cómo influye la memoria popular en la identidad andaluza sin confundirla con hechos documentados?

Notas

El modelo está pensado para chat en español.
Para mejores resultados, usa mensajes en formato conversación.
Aunque está ajustado al dominio andaluz, conviene verificar datos históricos concretos si necesitas alta precisión.