mms-bambara-50-hours-mixed-bambara-dataset

This model is a fine-tuned version of facebook/mms-1b-all on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.6708
• Wer: 0.1054
• Cer: 0.0516

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0002
• train_batch_size: 8
• eval_batch_size: 16
• seed: 42
• gradient_accumulation_steps: 4
• total_train_batch_size: 32
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_ratio: 0.1
• num_epochs: 50

Training results

Training Loss	Epoch	Step	Validation Loss	Wer	Cer
3.7133	0.2734	400	1.2433	0.6262	0.2774
1.3184	0.5467	800	1.0021	0.5663	0.2543
1.1897	0.8201	1200	0.9709	0.5499	0.2486
1.1536	1.0935	1600	0.9150	0.5497	0.2480
1.1137	1.3668	2000	0.9020	0.5288	0.2363
1.1328	1.6402	2400	0.9034	0.5432	0.2443
1.0964	1.9135	2800	0.8782	0.5324	0.2363
1.0954	2.1869	3200	0.9152	0.5308	0.2388
1.1109	2.4603	3600	0.9008	0.5284	0.2387
1.0801	2.7336	4000	0.8931	0.5452	0.2444
1.1069	3.0070	4400	0.8903	0.5293	0.2372
1.0635	3.2804	4800	0.8574	0.5472	0.2405
1.0955	3.5537	5200	0.9100	0.5333	0.2406
1.0867	3.8271	5600	0.8924	0.5566	0.2481
1.085	4.1005	6000	0.9055	0.5656	0.2525
1.0784	4.3738	6400	0.8902	0.5502	0.2467
1.0795	4.6472	6800	0.9579	0.5619	0.2547
1.0947	4.9206	7200	0.8903	0.5591	0.2569
1.0636	5.1939	7600	0.8834	0.5352	0.2442
1.0684	5.4673	8000	0.8710	0.5370	0.2455
1.0381	5.7406	8400	0.8755	0.5381	0.2413
1.0278	6.0140	8800	0.8520	0.5171	0.2321
0.9887	6.2874	9200	0.8120	0.5084	0.2280
0.9792	6.5607	9600	0.8097	0.5173	0.2297
0.9752	6.8341	10000	0.8139	0.5109	0.2362
0.9748	7.1075	10400	0.7959	0.5169	0.2257
0.923	7.3808	10800	0.7877	0.5195	0.2280
0.9335	7.6542	11200	0.7855	0.5116	0.2275
0.9121	7.9276	11600	0.7720	0.5047	0.2229
0.8803	8.2009	12000	0.7856	0.4847	0.2157
0.8811	8.4743	12400	0.7784	0.4772	0.2104
0.8725	8.7477	12800	0.7528	0.4692	0.2087
0.8602	9.0210	13200	0.7494	0.4518	0.2019
0.8249	9.2944	13600	0.7284	0.4460	0.1984
0.8148	9.5677	14000	0.7540	0.4476	0.1975
0.7998	9.8411	14400	0.7098	0.4617	0.2001
0.7834	10.1145	14800	0.6981	0.4269	0.1880
0.7628	10.3878	15200	0.6962	0.4265	0.1846
0.7519	10.6612	15600	0.6789	0.4264	0.1848
0.7498	10.9346	16000	0.6679	0.4123	0.1805
0.7151	11.2079	16400	0.6713	0.4175	0.1827
0.7177	11.4813	16800	0.6681	0.4324	0.1872
0.7108	11.7547	17200	0.6671	0.4213	0.1846
0.7041	12.0280	17600	0.6699	0.4130	0.1783
0.6662	12.3014	18000	0.6687	0.4107	0.1760
0.6722	12.5747	18400	0.6376	0.3912	0.1678
0.6584	12.8481	18800	0.6379	0.3963	0.1684
0.6518	13.1215	19200	0.6396	0.3834	0.1629
0.63	13.3948	19600	0.6249	0.3860	0.1640
0.6274	13.6682	20000	0.6332	0.3780	0.1605
0.6299	13.9416	20400	0.5874	0.3692	0.1556
0.5885	14.2149	20800	0.6011	0.3684	0.1551
0.5815	14.4883	21200	0.5999	0.3675	0.1552
0.5836	14.7617	21600	0.5910	0.3516	0.1504
0.5792	15.0350	22000	0.5923	0.3602	0.1488
0.5546	15.3084	22400	0.5998	0.3516	0.1493
0.5488	15.5818	22800	0.5814	0.3549	0.1493
0.5407	15.8551	23200	0.5764	0.3358	0.1400
0.5219	16.1285	23600	0.5866	0.3391	0.1420
0.5043	16.4018	24000	0.5799	0.3262	0.1376
0.5115	16.6752	24400	0.5728	0.3262	0.1370
0.5262	16.9486	24800	0.5762	0.3199	0.1320
0.4869	17.2219	25200	0.5785	0.3151	0.1311
0.4822	17.4953	25600	0.5503	0.3027	0.1263
0.4849	17.7687	26000	0.5452	0.3100	0.1267
0.4821	18.0420	26400	0.5368	0.3060	0.1265
0.4512	18.3154	26800	0.5449	0.3014	0.1258
0.4543	18.5888	27200	0.5250	0.2947	0.1227
0.4496	18.8621	27600	0.5184	0.2979	0.1235
0.4447	19.1355	28000	0.5267	0.3002	0.1235
0.421	19.4089	28400	0.5387	0.2862	0.1193
0.4281	19.6822	28800	0.5386	0.2839	0.1159
0.4256	19.9556	29200	0.5074	0.2835	0.1164
0.3901	20.2289	29600	0.5410	0.2627	0.1092
0.3999	20.5023	30000	0.5136	0.2673	0.1104
0.3941	20.7757	30400	0.5324	0.2600	0.1058
0.3989	21.0490	30800	0.5125	0.2587	0.1046
0.3739	21.3224	31200	0.5108	0.2549	0.1039
0.3733	21.5958	31600	0.5028	0.2474	0.1022
0.382	21.8691	32000	0.5005	0.2453	0.1008
0.3661	22.1425	32400	0.5175	0.2501	0.1004
0.3457	22.4159	32800	0.5177	0.2476	0.1025
0.3589	22.6892	33200	0.5075	0.2362	0.0996
0.3581	22.9626	33600	0.5154	0.2299	0.0946
0.3326	23.2359	34000	0.5365	0.2452	0.0972
0.3357	23.5093	34400	0.5234	0.2334	0.0939
0.3348	23.7827	34800	0.5104	0.2275	0.0935
0.3292	24.0560	35200	0.5270	0.2170	0.0890
0.3166	24.3294	35600	0.4962	0.2196	0.0905
0.3158	24.6028	36000	0.5077	0.2101	0.0864
0.3186	24.8761	36400	0.5262	0.2045	0.0842
0.3066	25.1495	36800	0.5149	0.2065	0.0855
0.3012	25.4229	37200	0.5030	0.2081	0.0842
0.2972	25.6962	37600	0.5085	0.2030	0.0833
0.2969	25.9696	38000	0.4938	0.2018	0.0838
0.283	26.2430	38400	0.5115	0.1970	0.0816
0.2858	26.5163	38800	0.4974	0.1959	0.0809
0.2861	26.7897	39200	0.4937	0.1885	0.0790
0.2733	27.0630	39600	0.5243	0.1886	0.0789
0.266	27.3364	40000	0.5152	0.1917	0.0792
0.2656	27.6098	40400	0.5081	0.1787	0.0750
0.2724	27.8831	40800	0.5065	0.1858	0.0777
0.253	28.1565	41200	0.5076	0.1736	0.0739
0.2545	28.4299	41600	0.4925	0.1816	0.0761
0.2562	28.7032	42000	0.5101	0.1727	0.0730
0.2551	28.9766	42400	0.5095	0.1710	0.0717
0.2385	29.2500	42800	0.5126	0.1645	0.0700
0.2378	29.5233	43200	0.5146	0.1676	0.0710
0.2429	29.7967	43600	0.5081	0.1626	0.0692
0.2307	30.0700	44000	0.5291	0.1667	0.0701
0.226	30.3434	44400	0.5177	0.1603	0.0695
0.2215	30.6168	44800	0.5215	0.1563	0.0669
0.2269	30.8901	45200	0.5126	0.1603	0.0681
0.2191	31.1635	45600	0.4992	0.1582	0.0676
0.2106	31.4369	46000	0.5228	0.1490	0.0648
0.216	31.7102	46400	0.5047	0.1491	0.0651
0.2161	31.9836	46800	0.5034	0.1516	0.0661
0.2005	32.2570	47200	0.5235	0.1467	0.0639
0.1997	32.5303	47600	0.5234	0.1452	0.0637
0.201	32.8037	48000	0.5317	0.1473	0.0641
0.2015	33.0771	48400	0.5058	0.1407	0.0631
0.1957	33.3504	48800	0.5235	0.1387	0.0617
0.1904	33.6238	49200	0.5420	0.1420	0.0641
0.1891	33.8971	49600	0.5572	0.1383	0.0627
0.1822	34.1705	50000	0.5357	0.1367	0.0624
0.1836	34.4439	50400	0.5473	0.1399	0.0620
0.1847	34.7172	50800	0.5406	0.1326	0.0602
0.1802	34.9906	51200	0.5499	0.1375	0.0609
0.1694	35.2640	51600	0.5396	0.1322	0.0594
0.1762	35.5373	52000	0.5542	0.1315	0.0597
0.1729	35.8107	52400	0.5316	0.1330	0.0602
0.1685	36.0841	52800	0.5540	0.1334	0.0593
0.1596	36.3574	53200	0.5519	0.1305	0.0592
0.1632	36.6308	53600	0.5688	0.1305	0.0592
0.1639	36.9042	54000	0.5510	0.1270	0.0584
0.1571	37.1775	54400	0.5726	0.1268	0.0587
0.1548	37.4509	54800	0.5733	0.1228	0.0573
0.1554	37.7242	55200	0.5625	0.1250	0.0573
0.1557	37.9976	55600	0.5637	0.1237	0.0567
0.147	38.2710	56000	0.5520	0.1225	0.0571
0.1489	38.5443	56400	0.5641	0.1207	0.0560
0.1484	38.8177	56800	0.5653	0.1188	0.0554
0.1419	39.0911	57200	0.5816	0.1183	0.0557
0.1387	39.3644	57600	0.5943	0.1166	0.0552
0.1402	39.6378	58000	0.5829	0.1167	0.0546
0.1417	39.9112	58400	0.5708	0.1172	0.0549
0.1382	40.1845	58800	0.5826	0.1149	0.0552
0.1326	40.4579	59200	0.6053	0.1155	0.0543
0.1322	40.7312	59600	0.5809	0.1148	0.0537
0.134	41.0046	60000	0.5997	0.1168	0.0550
0.1254	41.2780	60400	0.6198	0.1134	0.0538
0.1288	41.5513	60800	0.6282	0.1136	0.0546
0.1268	41.8247	61200	0.6110	0.1144	0.0550
0.1236	42.0981	61600	0.6159	0.1109	0.0535
0.1225	42.3714	62000	0.5996	0.1099	0.0539
0.1231	42.6448	62400	0.5932	0.1102	0.0532
0.12	42.9182	62800	0.6149	0.1106	0.0528
0.1145	43.1915	63200	0.6164	0.1083	0.0527
0.1154	43.4649	63600	0.6151	0.1086	0.0532
0.1164	43.7383	64000	0.6297	0.1081	0.0530
0.1145	44.0116	64400	0.6202	0.1093	0.0532
0.109	44.2850	64800	0.6183	0.1068	0.0531
0.1079	44.5583	65200	0.6308	0.1058	0.0524
0.1107	44.8317	65600	0.6241	0.1060	0.0528
0.1084	45.1051	66000	0.6321	0.1045	0.0512
0.1042	45.3784	66400	0.6358	0.1043	0.0515
0.1045	45.6518	66800	0.6307	0.1043	0.0517
0.1062	45.9252	67200	0.6412	0.1055	0.0520
0.1026	46.1985	67600	0.6448	0.1052	0.0516
0.1016	46.4719	68000	0.6506	0.1046	0.0516
0.1012	46.7453	68400	0.6435	0.1049	0.0516
0.1012	47.0186	68800	0.6599	0.1055	0.0520
0.0984	47.2920	69200	0.6582	0.1056	0.0524
0.0988	47.5654	69600	0.6577	0.1054	0.0518
0.0971	47.8387	70000	0.6610	0.1032	0.0512
0.0984	48.1121	70400	0.6569	0.1050	0.0514
0.0946	48.3854	70800	0.6627	0.1056	0.0515
0.0939	48.6588	71200	0.6583	0.1055	0.0515
0.094	48.9322	71600	0.6685	0.1052	0.0514
0.0947	49.2055	72000	0.6683	0.1058	0.0512
0.0955	49.4789	72400	0.6688	0.1051	0.0513
0.0922	49.7523	72800	0.6708	0.1054	0.0516

Framework versions

• Transformers 4.45.1
• Pytorch 2.1.0+cu118
• Datasets 2.17.0
• Tokenizers 0.20.3