JMasr/balidea-out-of-domain-clinic

Balidea Out of Domain Clinic (ood_domain_gate)

Clasificador binario para detectar si una petición está fuera de dominio clínico en un pipeline de guardrails.

Modelo base: mental/mental-bert-base-uncased + LoRA (fusionado para inferencia estándar).

Etiquetas

ID	Label	Significado
0	in_domain	contenido clínico / médico
1	out_of_domain	contenido fuera de dominio clínico

Cobertura multilingüe

• Entrenado en ES+GL (balanceado)
• Evaluación combinada + slices es y gl
• Evaluación de robustez en test_noisy

Robustez ante ruido tipográfico

Augmentación sintética en train (~30%) con abreviaciones y perturbaciones de caracteres (substitute/swap/delete/repeat), evaluada también en slice noisy.

Métricas (modelo publicado)

Combinado ES+GL

Métrica	Clean	Noisy
F1	0.9734	0.9735
Recall+ (out_of_domain)	0.9924	0.9903
Precision+ (out_of_domain)	0.9807	0.9828
ROC-AUC	0.9972	0.9969
Accuracy	0.9799	0.9799

Slices clean

Slice	F1	Recall+	Precision+	ROC-AUC
ES	0.9702	0.9913	0.9786	0.9971
GL	0.9766	0.9935	0.9829	0.9972

Slices noisy

Slice	F1	Recall+	Precision+	ROC-AUC
ES noisy	0.9704	0.9870	0.9828	0.9966
GL noisy	0.9766	0.9935	0.9829	0.9978

Uso

from transformers import pipeline

clf = pipeline("text-classification", model="JMasr/balidea-out-of-domain-clinic")
print(clf("¿Quién ganó la liga ayer?"))
# esperado: out_of_domain