CoRal-project

/

roest-v3-whisper-1.5b

like 6

Follow

CoRal 50

Hi

When you are calculating the CER are you doing any filtering? What kinds of normalization do you do?
I am getting a very different result than you when benchmarking this model on CoRal conversation, which by the looks of it is mainly due to the model sometimes hallucinating:

#3289 WER 44.00
{+i+} dem har jeg hørt [-u2-] {+i ude i tyskland der var en der sagde jamen dem har jeg hørt i ude i tyskland der var en der sagde jamen dem har jeg hørt i ude i tyskland der var en der sagde jamen dem har jeg hørt i ude i tyskland der var en der sagde jamen dem har jeg hørt i ude i tyskland der var en der sagde jamen dem har jeg hørt i ude i tyskland der var en der sagde jamen dem har jeg hørt i ude i tyskland der var en der var en der sagde jamen dem har jeg hørt i ude i tyskland der var en der var en der sagde jamen der var en der var en der sagde jamen der var en der var en der var en der var en der var en der var en der var en der var en der var en der var en der var en der var en der var en der var en der var en der var en der var en der var en der var en der var en der var en der var en der var en der var en der var en der var en der var en der var en der var en der var en der var en der var en+}
────────────────────────────────────────────────────────────────────────────────
#4583 WER 65.00
[-ingen problem-] {+ja ja ja ja ja ja ja ja jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo jo+}
────────────────────────────────────────────────────────────────────────────────
#5452 WER 5.50
[-ja den-] {+i dont know what im going to sige om det her+}
────────────────────────────────────────────────────────────────────────────────
#5654 WER 33.33
ja [-der ligger-] {+ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja+}
────────────────────────────────────────────────────────────────────────────────
#6050 WER 31.86
[-hvor meget-] {+nej+} vi [-tjener-] {+kører ikke+} nej [-så det-] {+vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke nej vi kører ikke+}
────────────────────────────────────────────────────────────────────────────────
#6051 WER 70.67
du [-er-] {+var+} journalist {+ja men du må ikke du må ikke sige at du var journalist du må ikke sige at du var journalist du var journalist men du må ikke du må ikke sige at du var journalist men du må ikke sige at du var journalist men du må ikke sige at du var journalist men du må ikke sige at du var journalist men du må ikke sige at du var journalist men du var journalist men du var journalist men du var journalist men du var journalist men du var journalist men du var journalist men du var journalist men du var journalist men du var journalist men du var journalist men du var journalist men du var journalist men du var journalist men du var journalist men du var journalist men du var journalist men du var journalist men du var journalist men du var journalist men du var journalist men du var journalist men du var journalist men du var journalist men du var journalist men du var journalist men du var journalist men du var journalist men du var journalist men du var journalist men du var journalist men du var journalist men du var journalist men du var journalist men du var journalist men du var+}
────────────────────────────────────────────────────────────────────────────────
#6401 WER 5.00
{+jeg kan+} ikke {+lige noget mere+}
────────────────────────────────────────────────────────────────────────────────
#6742 WER 17.62
[-det komprimeret eller om det en god om-] {+nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej+}
────────────────────────────────────────────────────────────────────────────────
#6762 WER 34.00
[-mod mus-] {+munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin munchkin+}
────────────────────────────────────────────────────────────────────────────────
#6892 WER 46.50
jo jo jo det [-er-] {+jo+} det {+jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo det jo detændændægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægægæs+}
────────────────────────────────────────────────────────────────────────────────
#7111 WER 40.33
[-sammen med møller-] {+nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej nej+}
────────────────────────────────────────────────────────────────────────────────
#7478 WER 5.25
[-14 dage altså i faktisk hele perioden det var ja vi skal så ikke være ind og se noget hver dag men vi-] {+hold+} da [-en del billetter så-] {+op hold da op hold da op hold da op hold da op hold da op hold da op hold da op hold da op hold da op hold da op hold da op hold da op hold da op hold da op hold da op hold da op hold da op hold da op hold da op hold da op hold da op hold da op hold da op hold da op hold da op hold da op hold da op hold da op hold da op hold da op hold da op hold da op hold da op hold da op hold da op hold da op hold da op hold da op hold da op hold da op hold da op+}
────────────────────────────────────────────────────────────────────────────────
#7659 WER 6.22
[-så-] {+ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja det+} er [-de ved at samle penge ind til en stor multihal der skal der skal ligge-] {+jo det er jo det er jo det er jo det er jo det er jo det er jo det er jo det er jo det er jo lidt+} derude
────────────────────────────────────────────────────────────────────────────────
#7690 WER 8.39
[-nej men vores datter og svigersøn bor-] {+ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja jo der der+} dernede [-de er rigtig glade for at han er flyttet derned-] {+dernede dernede dernede dernede dernede dernede derude derude derude derude derude derude derude derude derude derude derude derude derude derude derude derude derude derude derude derne gælde gælde gælde gælde gælde gælde gælde gælde gælde gælde gælde gælde gælde gælde gælde gælde gælde gælde gælde gælde gælde gælde gælde gælde gælde gælde gælde gælde gælde gælde gælde gælde jeg hader+}
────────────────────────────────────────────────────────────────────────────────