franciscobdl/nllb-200-distilled-600M-en-ca

NLLB-200-600M: English to Catalan (Fine-tuned)

Este modelo es una versión ajustada (fine-tuned) del modelo facebook/nllb-200-distilled-600M para la traducción de Inglés a Catalán.

Descripción del Modelo

• Desarrollado por: Francisco Belenguer
• Tipo de modelo: Transformer Encoder-Decoder (Seq2Seq)
• Idioma origen: Inglés (eng_Latn)
• Idioma destino: Catalán (cat_Latn)
• Dataset: Projecte-Aina/CA-EN_Parallel_Corpus
• Técnica de entrenamiento: LoRA (Low-Rank Adaptation) con cuantización de 4 bits (QLoRA) para el entrenamiento, fusionado a FP16 para la publicación.

Cómo usar el modelo

Puedes utilizar este modelo directamente con la librería transformers:

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

checkpoint = "tu_usuario/nllb-200-distilled-600M-en-ca-full"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint)

text = "Hello, how are you today?"
inputs = tokenizer(text, return_tensors="pt", src_lang="eng_Latn")

# Forzamos la generación al idioma catalán
translated_tokens = model.generate(
    **inputs, 
    forced_bos_token_id=tokenizer.convert_tokens_to_ids("cat_Latn"), 
    max_length=100
)

translation = tokenizer.batch_decode(translated_tokens, skip_special_tokens=True)[0]
print(translation)
# Output esperado: Hola, com estàs avui?