wav2vec2-large-mms-1b-tatar-v2

This model is a fine-tuned version of facebook/mms-1b-all on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.3343
• Wer: 0.1031

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.001
• train_batch_size: 16
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• training_steps: 100000
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
0.2883	0.01	500	0.4093	0.2206
0.2907	0.01	1000	0.3651	0.2219
0.2668	0.01	1500	0.3595	0.2088
0.2618	0.02	2000	0.3754	0.2062
0.2825	0.03	2500	0.3776	0.2108
0.2573	0.03	3000	0.4372	0.2160
0.2814	0.04	3500	0.3888	0.2016
0.267	0.04	4000	0.3607	0.2055
0.2509	0.04	4500	0.4021	0.1983
0.246	0.05	5000	0.3579	0.1852
0.2612	0.06	5500	0.4055	0.1878
0.2474	1.0	6000	0.3764	0.1891
0.2309	1.01	6500	0.3670	0.1773
0.2365	1.01	7000	0.3392	0.1871
0.2624	1.02	7500	0.3744	0.1898
0.2538	1.02	8000	0.3845	0.1930
0.2391	1.03	8500	0.3557	0.1793
0.26	1.03	9000	0.3932	0.1819
0.2619	1.04	9500	0.3546	0.1878
0.243	1.04	10000	0.3547	0.1970
0.2449	1.05	10500	0.3784	0.1720
0.2234	1.05	11000	0.3795	0.1747
0.2369	1.06	11500	0.3527	0.1720
0.2617	2.0	12000	0.3360	0.1812
0.2399	2.01	12500	0.3593	0.1773
0.2273	2.01	13000	0.3327	0.1655
0.2283	2.02	13500	0.3503	0.1707
0.228	2.02	14000	0.3797	0.1681
0.239	2.03	14500	0.3341	0.1714
0.228	2.03	15000	0.3562	0.1694
0.2285	2.04	15500	0.3373	0.1720
0.2226	2.04	16000	0.3546	0.1812
0.2287	2.05	16500	0.3573	0.1740
0.2315	2.05	17000	0.3740	0.1714
0.2242	2.06	17500	0.3755	0.1655
0.2309	3.0	18000	0.3525	0.1694
0.2204	3.01	18500	0.3532	0.1720
0.2297	3.01	19000	0.3312	0.1687
0.2243	3.02	19500	0.3218	0.1609
0.2309	3.02	20000	0.3459	0.1681
0.229	3.03	20500	0.3374	0.1701
0.2275	3.03	21000	0.3899	0.1727
0.2221	3.04	21500	0.3800	0.1622
0.2293	3.04	22000	0.3599	0.1668
0.2328	3.05	22500	0.3651	0.1707
0.2216	3.05	23000	0.3238	0.1609
0.224	3.06	23500	0.3520	0.1628
0.2142	4.0	24000	0.3336	0.1550
0.2356	4.01	24500	0.3398	0.1648
0.224	4.01	25000	0.3458	0.1622
0.2052	4.02	25500	0.3538	0.1641
0.2258	4.02	26000	0.3613	0.1615
0.2251	4.03	26500	0.3601	0.1556
0.2291	4.03	27000	0.3761	0.1596
0.223	4.04	27500	0.3426	0.1609
0.2175	4.04	28000	0.3690	0.1582
0.2144	4.05	28500	0.3498	0.1641
0.2202	4.05	29000	0.3432	0.1550
0.2127	5.0	29500	0.3536	0.1661
0.2069	5.01	30000	0.3818	0.1694
0.2083	5.01	30500	0.3351	0.1582
0.2327	5.02	31000	0.3355	0.1510
0.2179	5.02	31500	0.3432	0.1576
0.2194	5.03	32000	0.3378	0.1523
0.2236	5.03	32500	0.3417	0.1543
0.2263	5.04	33000	0.3500	0.1490
0.2205	5.04	33500	0.3649	0.1536
0.2168	5.05	34000	0.3549	0.1425
0.2034	5.05	34500	0.3567	0.1477
0.2036	5.06	35000	0.3559	0.1451
0.2328	6.0	35500	0.3496	0.1543
0.2155	6.01	36000	0.3637	0.1484
0.2031	6.01	36500	0.3497	0.1477
0.2053	6.02	37000	0.3476	0.1530
0.2008	6.02	37500	0.3561	0.1517
0.205	6.03	38000	0.3265	0.1431
0.2083	6.03	38500	0.3438	0.1418
0.2041	6.04	39000	0.3395	0.1366
0.2051	6.04	39500	0.3451	0.1405
0.2045	6.05	40000	0.3386	0.1399
0.2016	6.05	40500	0.3555	0.1497
0.2042	6.06	41000	0.3586	0.1484
0.2015	7.0	41500	0.3521	0.1451
0.1995	7.01	42000	0.3535	0.1438
0.2102	7.01	42500	0.3276	0.1438
0.2037	7.02	43000	0.3363	0.1445
0.2102	7.02	43500	0.3209	0.1431
0.2007	7.03	44000	0.3306	0.1353
0.2063	7.03	44500	0.3373	0.1333
0.1985	7.04	45000	0.3530	0.1280
0.2071	7.04	45500	0.3565	0.1333
0.2052	7.05	46000	0.3515	0.1353
0.2	7.05	46500	0.3506	0.1392
0.1966	7.06	47000	0.3557	0.1366
0.202	8.0	47500	0.3451	0.1339
0.2047	8.01	48000	0.3393	0.1300
0.204	8.01	48500	0.3259	0.1307
0.1885	8.02	49000	0.3391	0.1372
0.2153	8.02	49500	0.3279	0.1339
0.1983	8.03	50000	0.3389	0.1339
0.1994	8.03	50500	0.3308	0.1267
0.2014	8.04	51000	0.3476	0.1366
0.1963	8.04	51500	0.3432	0.1267
0.2016	8.05	52000	0.3463	0.1359
0.202	8.05	52500	0.3464	0.1307
0.2011	9.0	53000	0.3392	0.1399
0.1884	9.01	53500	0.3296	0.1346
0.1841	9.01	54000	0.3490	0.1287
0.216	9.02	54500	0.3403	0.1293
0.203	9.02	55000	0.3401	0.1241
0.1994	9.03	55500	0.3377	0.1287
0.2	9.03	56000	0.3408	0.1261
0.2011	9.04	56500	0.3363	0.1293
0.1945	9.04	57000	0.3318	0.1234
0.199	9.05	57500	0.3385	0.1261
0.1905	9.05	58000	0.3600	0.1280
0.1934	9.06	58500	0.3425	0.1293
0.1969	10.0	59000	0.3266	0.1234
0.1883	10.01	59500	0.3371	0.1234
0.189	10.01	60000	0.3528	0.1221
0.187	10.02	60500	0.3268	0.1280
0.1799	10.02	61000	0.3421	0.1248
0.1954	10.03	61500	0.3224	0.1228
0.189	10.03	62000	0.3400	0.1215
0.1814	10.04	62500	0.3354	0.1261
0.1936	10.04	63000	0.3404	0.1215
0.1869	10.05	63500	0.3439	0.1188
0.188	10.05	64000	0.3689	0.1274
0.1919	10.06	64500	0.3549	0.1274
0.1888	11.0	65000	0.3310	0.1228
0.1805	11.01	65500	0.3390	0.1228
0.1845	11.01	66000	0.3294	0.1123
0.1912	11.02	66500	0.3253	0.1215
0.1901	11.02	67000	0.3438	0.1182
0.1973	11.03	67500	0.3326	0.1254
0.1923	11.03	68000	0.3461	0.1254
0.1769	11.04	68500	0.3489	0.1202
0.188	11.04	69000	0.3311	0.1169
0.1894	11.05	69500	0.3312	0.1156
0.1835	11.05	70000	0.3541	0.1228
0.18	11.06	70500	0.3480	0.1248
0.174	12.0	71000	0.3312	0.1156
0.1846	12.01	71500	0.3530	0.1234
0.1862	12.01	72000	0.3252	0.1182
0.1807	12.02	72500	0.3537	0.1182
0.1855	12.02	73000	0.3396	0.1142
0.1855	12.03	73500	0.3350	0.1208
0.1825	12.03	74000	0.3347	0.1169
0.1762	12.04	74500	0.3296	0.1208
0.1737	12.04	75000	0.3456	0.1156
0.1809	12.05	75500	0.3433	0.1182
0.1848	12.05	76000	0.3440	0.1208
0.1791	13.0	76500	0.3434	0.1208
0.1741	13.01	77000	0.3446	0.1169
0.1659	13.01	77500	0.3463	0.1142
0.1994	13.02	78000	0.3222	0.1175
0.1858	13.02	78500	0.3413	0.1162
0.1929	13.03	79000	0.3397	0.1169
0.1889	13.03	79500	0.3363	0.1142
0.1888	13.04	80000	0.3287	0.1103
0.1688	13.04	80500	0.3445	0.1116
0.1831	13.05	81000	0.3444	0.1136
0.1661	13.05	81500	0.3461	0.1123
0.1823	13.06	82000	0.3335	0.1149
0.1838	14.0	82500	0.3465	0.1188
0.1782	14.01	83000	0.3439	0.1149
0.1765	14.01	83500	0.3498	0.1142
0.1763	14.02	84000	0.3409	0.1083
0.1642	14.02	84500	0.3414	0.1070
0.1688	14.03	85000	0.3328	0.1090
0.1788	14.03	85500	0.3302	0.1083
0.1669	14.04	86000	0.3339	0.1083
0.1734	14.04	86500	0.3315	0.1103
0.1727	14.05	87000	0.3403	0.1136
0.1778	14.05	87500	0.3473	0.1110
0.1801	14.06	88000	0.3349	0.1123
0.1717	15.0	88500	0.3348	0.1103
0.1689	15.01	89000	0.3368	0.1103
0.1706	15.01	89500	0.3351	0.1090
0.1784	15.02	90000	0.3339	0.1090
0.1756	15.02	90500	0.3359	0.1057
0.1814	15.03	91000	0.3230	0.1051
0.1691	15.03	91500	0.3330	0.1064
0.1704	15.04	92000	0.3379	0.1057
0.1807	15.04	92500	0.3323	0.1031
0.184	15.05	93000	0.3286	0.1024
0.1752	15.05	93500	0.3381	0.1044
0.1761	15.06	94000	0.3340	0.1077
0.1695	16.0	94500	0.3321	0.1051
0.1689	16.01	95000	0.3342	0.1057
0.1784	16.01	95500	0.3334	0.1044
0.1602	16.02	96000	0.3321	0.1044
0.1743	16.02	96500	0.3348	0.1051
0.1777	16.03	97000	0.3296	0.1037
0.1759	16.03	97500	0.3348	0.1031
0.1646	16.04	98000	0.3348	0.1031
0.1619	16.04	98500	0.3314	0.1044
0.1708	16.05	99000	0.3322	0.1024
0.1704	16.05	99500	0.3344	0.1024
0.174	17.0	100000	0.3343	0.1031

Framework versions

• Transformers 4.36.0
• Pytorch 2.1.1+cu121
• Datasets 2.15.0
• Tokenizers 0.15.0