roberta-large-ner-ghtk-cs-add-5label-20-new-data-3090-24Sep-1

This model was trained from scratch on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.3141
• Tk: {'precision': 0.8846153846153846, 'recall': 0.5948275862068966, 'f1': 0.7113402061855669, 'number': 116}
• A: {'precision': 0.9450800915331807, 'recall': 0.9582366589327146, 'f1': 0.9516129032258063, 'number': 431}
• Gày: {'precision': 0.7441860465116279, 'recall': 0.9411764705882353, 'f1': 0.8311688311688312, 'number': 34}
• Gày trừu tượng: {'precision': 0.893223819301848, 'recall': 0.8913934426229508, 'f1': 0.8923076923076924, 'number': 488}
• Iền: {'precision': 0.6981132075471698, 'recall': 0.9487179487179487, 'f1': 0.8043478260869565, 'number': 39}
• Iờ: {'precision': 0.6666666666666666, 'recall': 0.7894736842105263, 'f1': 0.7228915662650601, 'number': 38}
• Ã đơn: {'precision': 0.8535353535353535, 'recall': 0.8325123152709359, 'f1': 0.8428927680798005, 'number': 203}
• Đt: {'precision': 0.9123548046462513, 'recall': 0.9840546697038725, 'f1': 0.9468493150684931, 'number': 878}
• Đt trừu tượng: {'precision': 0.7916666666666666, 'recall': 0.8969957081545065, 'f1': 0.8410462776659959, 'number': 233}
• Ịa chỉ cụ thể: {'precision': 0.5833333333333334, 'recall': 0.6511627906976745, 'f1': 0.6153846153846155, 'number': 43}
• Ịa chỉ trừu tượng: {'precision': 0.7285714285714285, 'recall': 0.6710526315789473, 'f1': 0.6986301369863013, 'number': 76}
• Overall Precision: 0.8753
• Overall Recall: 0.9062
• Overall F1: 0.8905
• Overall Accuracy: 0.9499

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2.5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Tk	A	Gày	Gày trừu tượng	Iền	Iờ	Ã đơn	Đt	Đt trừu tượng	Ịa chỉ cụ thể	Ịa chỉ trừu tượng	Overall Precision	Overall Recall	Overall F1	Overall Accuracy
No log	1.0	380	0.1901	{'precision': 0.8266666666666667, 'recall': 0.5344827586206896, 'f1': 0.6492146596858639, 'number': 116}	{'precision': 0.907725321888412, 'recall': 0.9814385150812065, 'f1': 0.9431438127090301, 'number': 431}	{'precision': 0.75, 'recall': 0.9705882352941176, 'f1': 0.846153846153846, 'number': 34}	{'precision': 0.8795180722891566, 'recall': 0.8975409836065574, 'f1': 0.8884381338742393, 'number': 488}	{'precision': 0.7837837837837838, 'recall': 0.7435897435897436, 'f1': 0.7631578947368421, 'number': 39}	{'precision': 0.7894736842105263, 'recall': 0.39473684210526316, 'f1': 0.5263157894736843, 'number': 38}	{'precision': 0.7584745762711864, 'recall': 0.8817733990147784, 'f1': 0.8154897494305239, 'number': 203}	{'precision': 0.8919753086419753, 'recall': 0.9874715261958997, 'f1': 0.9372972972972973, 'number': 878}	{'precision': 0.7890625, 'recall': 0.8669527896995708, 'f1': 0.8261758691206544, 'number': 233}	{'precision': 0.4782608695652174, 'recall': 0.2558139534883721, 'f1': 0.33333333333333337, 'number': 43}	{'precision': 0.8333333333333334, 'recall': 0.5921052631578947, 'f1': 0.6923076923076922, 'number': 76}	0.8597	0.8934	0.8762	0.9331
0.1889	2.0	760	0.2052	{'precision': 0.6952380952380952, 'recall': 0.6293103448275862, 'f1': 0.6606334841628959, 'number': 116}	{'precision': 0.9195652173913044, 'recall': 0.9814385150812065, 'f1': 0.9494949494949495, 'number': 431}	{'precision': 0.6739130434782609, 'recall': 0.9117647058823529, 'f1': 0.775, 'number': 34}	{'precision': 0.8485981308411215, 'recall': 0.930327868852459, 'f1': 0.8875855327468231, 'number': 488}	{'precision': 0.76, 'recall': 0.9743589743589743, 'f1': 0.853932584269663, 'number': 39}	{'precision': 0.7027027027027027, 'recall': 0.6842105263157895, 'f1': 0.6933333333333334, 'number': 38}	{'precision': 0.8722222222222222, 'recall': 0.7733990147783252, 'f1': 0.8198433420365536, 'number': 203}	{'precision': 0.921443736730361, 'recall': 0.9886104783599089, 'f1': 0.9538461538461539, 'number': 878}	{'precision': 0.6861538461538461, 'recall': 0.9570815450643777, 'f1': 0.7992831541218638, 'number': 233}	{'precision': 0.2982456140350877, 'recall': 0.3953488372093023, 'f1': 0.33999999999999997, 'number': 43}	{'precision': 0.7424242424242424, 'recall': 0.6447368421052632, 'f1': 0.6901408450704226, 'number': 76}	0.8416	0.9147	0.8766	0.9443
0.1056	3.0	1140	0.1797	{'precision': 0.75, 'recall': 0.853448275862069, 'f1': 0.7983870967741935, 'number': 116}	{'precision': 0.9271523178807947, 'recall': 0.974477958236659, 'f1': 0.9502262443438914, 'number': 431}	{'precision': 0.6428571428571429, 'recall': 0.7941176470588235, 'f1': 0.7105263157894737, 'number': 34}	{'precision': 0.888663967611336, 'recall': 0.8995901639344263, 'f1': 0.8940936863543788, 'number': 488}	{'precision': 0.7551020408163265, 'recall': 0.9487179487179487, 'f1': 0.8409090909090908, 'number': 39}	{'precision': 0.7941176470588235, 'recall': 0.7105263157894737, 'f1': 0.7499999999999999, 'number': 38}	{'precision': 0.8356807511737089, 'recall': 0.8768472906403941, 'f1': 0.8557692307692307, 'number': 203}	{'precision': 0.9474260679079957, 'recall': 0.9851936218678815, 'f1': 0.9659408151870463, 'number': 878}	{'precision': 0.8032128514056225, 'recall': 0.8583690987124464, 'f1': 0.8298755186721992, 'number': 233}	{'precision': 0.5116279069767442, 'recall': 0.5116279069767442, 'f1': 0.5116279069767442, 'number': 43}	{'precision': 0.6617647058823529, 'recall': 0.5921052631578947, 'f1': 0.625, 'number': 76}	0.8770	0.9147	0.8954	0.9506
0.0659	4.0	1520	0.2098	{'precision': 0.7934782608695652, 'recall': 0.6293103448275862, 'f1': 0.701923076923077, 'number': 116}	{'precision': 0.9370786516853933, 'recall': 0.9675174013921114, 'f1': 0.9520547945205479, 'number': 431}	{'precision': 0.625, 'recall': 0.8823529411764706, 'f1': 0.7317073170731708, 'number': 34}	{'precision': 0.8937875751503006, 'recall': 0.9139344262295082, 'f1': 0.9037487335359675, 'number': 488}	{'precision': 0.7551020408163265, 'recall': 0.9487179487179487, 'f1': 0.8409090909090908, 'number': 39}	{'precision': 0.5961538461538461, 'recall': 0.8157894736842105, 'f1': 0.6888888888888889, 'number': 38}	{'precision': 0.8959537572254336, 'recall': 0.7635467980295566, 'f1': 0.824468085106383, 'number': 203}	{'precision': 0.9202975557917109, 'recall': 0.9863325740318907, 'f1': 0.9521715228147334, 'number': 878}	{'precision': 0.7803921568627451, 'recall': 0.8540772532188842, 'f1': 0.8155737704918034, 'number': 233}	{'precision': 0.4642857142857143, 'recall': 0.6046511627906976, 'f1': 0.5252525252525253, 'number': 43}	{'precision': 0.6506024096385542, 'recall': 0.7105263157894737, 'f1': 0.679245283018868, 'number': 76}	0.8667	0.9050	0.8854	0.9481
0.0659	5.0	1900	0.2482	{'precision': 0.7866666666666666, 'recall': 0.5086206896551724, 'f1': 0.6178010471204188, 'number': 116}	{'precision': 0.9322799097065463, 'recall': 0.9582366589327146, 'f1': 0.9450800915331807, 'number': 431}	{'precision': 0.7209302325581395, 'recall': 0.9117647058823529, 'f1': 0.8051948051948051, 'number': 34}	{'precision': 0.8846918489065606, 'recall': 0.9118852459016393, 'f1': 0.8980827447023207, 'number': 488}	{'precision': 0.74, 'recall': 0.9487179487179487, 'f1': 0.8314606741573033, 'number': 39}	{'precision': 0.62, 'recall': 0.8157894736842105, 'f1': 0.7045454545454546, 'number': 38}	{'precision': 0.835, 'recall': 0.8226600985221675, 'f1': 0.8287841191066998, 'number': 203}	{'precision': 0.8891149542217701, 'recall': 0.9954441913439636, 'f1': 0.939279957012359, 'number': 878}	{'precision': 0.7617328519855595, 'recall': 0.9055793991416309, 'f1': 0.8274509803921568, 'number': 233}	{'precision': 0.5, 'recall': 0.5581395348837209, 'f1': 0.5274725274725274, 'number': 43}	{'precision': 0.6891891891891891, 'recall': 0.6710526315789473, 'f1': 0.68, 'number': 76}	0.8532	0.9085	0.8800	0.9465
0.0391	6.0	2280	0.2708	{'precision': 0.7692307692307693, 'recall': 0.5172413793103449, 'f1': 0.6185567010309279, 'number': 116}	{'precision': 0.9535962877030162, 'recall': 0.9535962877030162, 'f1': 0.9535962877030162, 'number': 431}	{'precision': 0.6818181818181818, 'recall': 0.8823529411764706, 'f1': 0.7692307692307693, 'number': 34}	{'precision': 0.8674463937621832, 'recall': 0.9118852459016393, 'f1': 0.8891108891108892, 'number': 488}	{'precision': 0.7115384615384616, 'recall': 0.9487179487179487, 'f1': 0.8131868131868132, 'number': 39}	{'precision': 0.6111111111111112, 'recall': 0.868421052631579, 'f1': 0.7173913043478262, 'number': 38}	{'precision': 0.8806818181818182, 'recall': 0.7635467980295566, 'f1': 0.8179419525065964, 'number': 203}	{'precision': 0.9043659043659044, 'recall': 0.9908883826879271, 'f1': 0.9456521739130436, 'number': 878}	{'precision': 0.7464788732394366, 'recall': 0.9098712446351931, 'f1': 0.8201160541586073, 'number': 233}	{'precision': 0.3333333333333333, 'recall': 0.4418604651162791, 'f1': 0.37999999999999995, 'number': 43}	{'precision': 0.7538461538461538, 'recall': 0.6447368421052632, 'f1': 0.6950354609929077, 'number': 76}	0.8546	0.9000	0.8767	0.9458
0.0254	7.0	2660	0.2689	{'precision': 0.813953488372093, 'recall': 0.603448275862069, 'f1': 0.693069306930693, 'number': 116}	{'precision': 0.9369369369369369, 'recall': 0.9651972157772621, 'f1': 0.9508571428571428, 'number': 431}	{'precision': 0.6521739130434783, 'recall': 0.8823529411764706, 'f1': 0.75, 'number': 34}	{'precision': 0.8920570264765784, 'recall': 0.8975409836065574, 'f1': 0.8947906026557712, 'number': 488}	{'precision': 0.7115384615384616, 'recall': 0.9487179487179487, 'f1': 0.8131868131868132, 'number': 39}	{'precision': 0.6304347826086957, 'recall': 0.7631578947368421, 'f1': 0.6904761904761905, 'number': 38}	{'precision': 0.7818181818181819, 'recall': 0.8472906403940886, 'f1': 0.8132387706855791, 'number': 203}	{'precision': 0.9028925619834711, 'recall': 0.9954441913439636, 'f1': 0.9469122426868906, 'number': 878}	{'precision': 0.8188976377952756, 'recall': 0.8927038626609443, 'f1': 0.8542094455852155, 'number': 233}	{'precision': 0.5319148936170213, 'recall': 0.5813953488372093, 'f1': 0.5555555555555555, 'number': 43}	{'precision': 0.7183098591549296, 'recall': 0.6710526315789473, 'f1': 0.6938775510204082, 'number': 76}	0.8624	0.9112	0.8861	0.9483
0.0146	8.0	3040	0.3056	{'precision': 0.881578947368421, 'recall': 0.5775862068965517, 'f1': 0.6979166666666666, 'number': 116}	{'precision': 0.9557109557109557, 'recall': 0.951276102088167, 'f1': 0.9534883720930232, 'number': 431}	{'precision': 0.7045454545454546, 'recall': 0.9117647058823529, 'f1': 0.794871794871795, 'number': 34}	{'precision': 0.8888888888888888, 'recall': 0.8852459016393442, 'f1': 0.8870636550308008, 'number': 488}	{'precision': 0.7115384615384616, 'recall': 0.9487179487179487, 'f1': 0.8131868131868132, 'number': 39}	{'precision': 0.5925925925925926, 'recall': 0.8421052631578947, 'f1': 0.6956521739130435, 'number': 38}	{'precision': 0.8663101604278075, 'recall': 0.7980295566502463, 'f1': 0.8307692307692308, 'number': 203}	{'precision': 0.9129511677282378, 'recall': 0.979498861047836, 'f1': 0.9450549450549451, 'number': 878}	{'precision': 0.7924528301886793, 'recall': 0.9012875536480687, 'f1': 0.8433734939759037, 'number': 233}	{'precision': 0.5869565217391305, 'recall': 0.627906976744186, 'f1': 0.6067415730337078, 'number': 43}	{'precision': 0.7285714285714285, 'recall': 0.6710526315789473, 'f1': 0.6986301369863013, 'number': 76}	0.8748	0.8992	0.8868	0.9507
0.0146	9.0	3420	0.3093	{'precision': 0.8604651162790697, 'recall': 0.6379310344827587, 'f1': 0.7326732673267328, 'number': 116}	{'precision': 0.9366515837104072, 'recall': 0.9605568445475638, 'f1': 0.9484536082474226, 'number': 431}	{'precision': 0.7333333333333333, 'recall': 0.9705882352941176, 'f1': 0.8354430379746834, 'number': 34}	{'precision': 0.886, 'recall': 0.9077868852459017, 'f1': 0.8967611336032387, 'number': 488}	{'precision': 0.7115384615384616, 'recall': 0.9487179487179487, 'f1': 0.8131868131868132, 'number': 39}	{'precision': 0.56, 'recall': 0.7368421052631579, 'f1': 0.6363636363636364, 'number': 38}	{'precision': 0.855, 'recall': 0.8423645320197044, 'f1': 0.8486352357320099, 'number': 203}	{'precision': 0.9227467811158798, 'recall': 0.979498861047836, 'f1': 0.9502762430939227, 'number': 878}	{'precision': 0.7827715355805244, 'recall': 0.8969957081545065, 'f1': 0.836, 'number': 233}	{'precision': 0.56, 'recall': 0.6511627906976745, 'f1': 0.6021505376344087, 'number': 43}	{'precision': 0.7428571428571429, 'recall': 0.6842105263157895, 'f1': 0.7123287671232877, 'number': 76}	0.8719	0.9108	0.8910	0.9507
0.0067	10.0	3800	0.3141	{'precision': 0.8846153846153846, 'recall': 0.5948275862068966, 'f1': 0.7113402061855669, 'number': 116}	{'precision': 0.9450800915331807, 'recall': 0.9582366589327146, 'f1': 0.9516129032258063, 'number': 431}	{'precision': 0.7441860465116279, 'recall': 0.9411764705882353, 'f1': 0.8311688311688312, 'number': 34}	{'precision': 0.893223819301848, 'recall': 0.8913934426229508, 'f1': 0.8923076923076924, 'number': 488}	{'precision': 0.6981132075471698, 'recall': 0.9487179487179487, 'f1': 0.8043478260869565, 'number': 39}	{'precision': 0.6666666666666666, 'recall': 0.7894736842105263, 'f1': 0.7228915662650601, 'number': 38}	{'precision': 0.8535353535353535, 'recall': 0.8325123152709359, 'f1': 0.8428927680798005, 'number': 203}	{'precision': 0.9123548046462513, 'recall': 0.9840546697038725, 'f1': 0.9468493150684931, 'number': 878}	{'precision': 0.7916666666666666, 'recall': 0.8969957081545065, 'f1': 0.8410462776659959, 'number': 233}	{'precision': 0.5833333333333334, 'recall': 0.6511627906976745, 'f1': 0.6153846153846155, 'number': 43}	{'precision': 0.7285714285714285, 'recall': 0.6710526315789473, 'f1': 0.6986301369863013, 'number': 76}	0.8753	0.9062	0.8905	0.9499

Framework versions

• Transformers 4.44.0
• Pytorch 2.3.1+cu121
• Datasets 2.19.1
• Tokenizers 0.19.1