progmars/whisper-large-v3-turbo-lv

Šis ir OpenAI Whisper-large-v3-turbo modelis, apmācīts (finetune) ar attīrītu "Mozilla Foundation / Common Voice Scripted Speech 24.0 - Latvian" datu kopu. Rezultātā sasniegta transkripcijas precizitāte, kas lielā daļā gadījumu pārsniedz whisper-large-v3 (ne turbo) papildus neapmācītu modeli.

Ir pieejami arī CT2 svari.

Uzmanību: modelis ir pārbaudīts darbā tikai teksta transkripcijai bez laika zīmogiem. Veiktās apmācības ietekme uz laika zīmogu precizitāti nav zināma.

Mapju saturs:

• fp32 - nav paredzēts lietošanai ikdienā, tika iegūts kā finetune rezultāts
• fp16 - lietošanai gatavs modelis. Konfigurācija piemērota transformers 4.52.0 versijai, kas jau satur optimālus Whisper iestatījumus angļu un daudzvalodu variantiem, tāpēc config faili ir mazāki nekā standarta Whisper modeļiem.
• ct2 - lietošanai ar CT2 risinājumiem, piemēram, faster-whisper, kas nodrošina ātrāku darbību, taču kvalitātes ziņā nedaudz atpaliek no fp16.

Metrika (apmācībā neizmantotiem Mozilla CV datu kopas ierakstiem ar 50 000 vārdiem):

• fp16: WER: 9.14%, CER: 2.25%, MER: 9.09%, WIL: 16.34%
• CT2: WER: 9.30%, CER: 2.32%, MER: 9.25%, WIL: 16.56%

Salīdzinājumam, whisper-large-v3 (ne turbo) fp16 versija latviešu valodai dod WER 19.73%