MediFlow

MediFlow se trata de un modelo inicializado con xlnet-large-cased y adaptado con preguntas y especialidades para poder realizar Derivaciones Automatizadas en Servicios Hospitalarios. El dataset se puede encontrar de manera pública y se trata de MedDialog EN.

Este modelo toma como input una descripción, en inglés, proveída por el paciente y devuelve las siguientes especialidades (model.config.label2id): Cardiology, Traumatology, Mental Health y Pneumology. Se puede encontrar más información del modelo aquí.

Para el entrenamiento de este modelo hemos seguidos los estándares de la librería transformers y se ha utilizado una NVIDIA P100. Además, ha sido entrenado con un batch-size de 4, un learning rate de 2e-5, X epochs y un weigth decay de 0.015, loggeando los resultados cada 100 iteraciones.

Utilización

Mediante el pipeline de Hugging Face:

from transformers import pipeline

model_id = "digitalhealth-healthyliving/MediFlow"
pipe = pipeline("text-classification", model_id)

text = "I have pain in the back"
result = pipe(text)

print(result)

Mediante AutoModelForSequenceClassification y AutoTokenizer:

from transformers import AutoModelForSequenceClassification, AutoTokenizer

model_id = "digitalhealth-healthyliving/MediFlow"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForSequenceClassification.from_pretrained(model_id)

text = "I have pain in the back"
inputs = tokenizer(text, return_tensors = "pt")
logits = model(**inputs)

print(f"The predicted class is {model.id2label[logits.argmax()]}")

print(result)

Evaluación

• Accuracy : 89,3%
• F1: 89,4%
• Precision: 90%

Training Hyperparameters

• learning_rate: 2e-5
• batch_size: 4
• num_train_epochs: 3
• weight_decay: 0.015
• optimizer: AdamW
• test_size: 0.2
• logging_steps: 100