|
|
| [ INFO ] BOOKS [ 9369 ] rows |
| [ INFO ] LABKOVSKIY [ 1111 ] rows + [ 0 ] skipped |
| [ INFO ] tolkovatel [ 12205 ] rows + [ 28 ] skipped |
| [ INFO ] HelpSteer [ 5000 ] rows + [ 19 ] skipped |
| [ INFO ] BAGEL [ 26766 ] rows + [ 2598 ] skipped |
| [ INFO ] ultrachat [ 40000 ] rows + [ 431 ] skipped |
| [ INFO ] Genius Lyrics RU [ 4000 ] rows + [ 46425 ] skipped |
| [ INFO ] OpenHermes [ 120000 ] rows + [ 160 ] skipped |
| [ INFO ] SlimOrca [ 120000 ] rows + [ 156 ] skipped |
| [ INFO ] Lenta [ 48552 ] rows | SFT [ 2348 ] + [ 3654 ] skipped |
| [ INFO ] TJ Comments [ 6230 ] rows | [ 19.66 ] average comments + [ 3148 ] skipped |
| [ INFO ] TJ [ 58466 ] rows | SFT [ 2887 ] + [ 0 ] skipped |
| [ INFO ] Eda [ 2000 ] rows + [ 7537 ] skipped |
| [ INFO ] Stihi [ 3484 ] rows | SFT [ 187 ] + [ 10389 ] skipped |
| [ INFO ] Stihi Splitted [ 4000 ] rows | [ 2 ] skipped |
| [ INFO ] Golden [ 1 * 45 ] rows |
|
|
| [ FINISH ] Пропущено [ 132862 ] некорректных, [ 0 ] пустых и [ 682 ] дубликатов. |
| [ FINISH ] Обработано и записано в файл x1.jsonl [ 666271 ] годных примеров для [ 1 ] эпох. |
| [ FINISH ] Длинные тексты Ленты и ТЖ были разбиты на [ 299341 ] независимых кусков. |
| [ FINISH ] Стихотворения были дополнительно разбиты на [ 11777 ] четверостиший. |
|
|
|
|
