Ďakujem
#3
by worstplayer - opened
Fakt podarený model. Tá slovenčina je už celkom zrozumiteľná, obrovský pokrok oproti predchádzajúcej Mistral verzii. A 14b je tak akurát aby sa to dalo ladiť po domácky. Len tak ďalej.
Máte v pláne urobiť aj oficiálny instruct tuning? Báza už má nejaké "náznaky" inštrukcií (pozostatky z midtraining od qwenu?) a dá sa s tým viesť základný dialóg, tak by to snaď malo instruct pochytiť celkom rýchlo, nie?
Tréningové dáta zo Slovníka slovenského jazyka a Beliany sú inštrukčné pre zodpovedanie otázok, ale ide o dosť malé datasety, okolo 60 tis. príkladov. Budeme sa snažiť čo najlepšie zachovať aj thinking mód z Qwenu. Uvidíme, ako to pôjde, ale prioritou pre nás sú v súčasnosti skôr slovenské benchmarky.