roberta-large-ner-ghtk-cs-add-5label-10-new-data-3090-24Sep-1

This model was trained from scratch on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.3469
• Tk: {'precision': 0.7037037037037037, 'recall': 0.49137931034482757, 'f1': 0.5786802030456852, 'number': 116}
• A: {'precision': 0.9328859060402684, 'recall': 0.9675174013921114, 'f1': 0.949886104783599, 'number': 431}
• Gày: {'precision': 0.7804878048780488, 'recall': 0.9411764705882353, 'f1': 0.8533333333333334, 'number': 34}
• Gày trừu tượng: {'precision': 0.9087136929460581, 'recall': 0.8975409836065574, 'f1': 0.9030927835051547, 'number': 488}
• Iền: {'precision': 0.7254901960784313, 'recall': 0.9487179487179487, 'f1': 0.8222222222222223, 'number': 39}
• Iờ: {'precision': 0.6521739130434783, 'recall': 0.7894736842105263, 'f1': 0.7142857142857143, 'number': 38}
• Ã đơn: {'precision': 0.8275862068965517, 'recall': 0.8275862068965517, 'f1': 0.8275862068965517, 'number': 203}
• Đt: {'precision': 0.9097586568730325, 'recall': 0.9874715261958997, 'f1': 0.947023484434735, 'number': 878}
• Đt trừu tượng: {'precision': 0.8196078431372549, 'recall': 0.8969957081545065, 'f1': 0.8565573770491803, 'number': 233}
• Ịa chỉ cụ thể: {'precision': 0.5, 'recall': 0.5116279069767442, 'f1': 0.5057471264367817, 'number': 43}
• Ịa chỉ trừu tượng: {'precision': 0.6973684210526315, 'recall': 0.6973684210526315, 'f1': 0.6973684210526315, 'number': 76}
• Overall Precision: 0.8697
• Overall Recall: 0.9035
• Overall F1: 0.8863
• Overall Accuracy: 0.9478

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2.5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Tk	A	Gày	Gày trừu tượng	Iền	Iờ	Ã đơn	Đt	Đt trừu tượng	Ịa chỉ cụ thể	Ịa chỉ trừu tượng	Overall Precision	Overall Recall	Overall F1	Overall Accuracy
No log	1.0	348	0.2496	{'precision': 0.7755102040816326, 'recall': 0.3275862068965517, 'f1': 0.46060606060606063, 'number': 116}	{'precision': 0.9479905437352246, 'recall': 0.9303944315545244, 'f1': 0.9391100702576113, 'number': 431}	{'precision': 0.75, 'recall': 0.8823529411764706, 'f1': 0.8108108108108107, 'number': 34}	{'precision': 0.8454198473282443, 'recall': 0.9077868852459017, 'f1': 0.8754940711462451, 'number': 488}	{'precision': 0.7916666666666666, 'recall': 0.9743589743589743, 'f1': 0.8735632183908045, 'number': 39}	{'precision': 0.5396825396825397, 'recall': 0.8947368421052632, 'f1': 0.6732673267326732, 'number': 38}	{'precision': 0.7844827586206896, 'recall': 0.4482758620689655, 'f1': 0.5705329153605015, 'number': 203}	{'precision': 0.8823529411764706, 'recall': 0.9908883826879271, 'f1': 0.9334763948497854, 'number': 878}	{'precision': 0.8228346456692913, 'recall': 0.8969957081545065, 'f1': 0.8583162217659137, 'number': 233}	{'precision': 0.16666666666666666, 'recall': 0.32558139534883723, 'f1': 0.2204724409448819, 'number': 43}	{'precision': 0.8823529411764706, 'recall': 0.5921052631578947, 'f1': 0.7086614173228346, 'number': 76}	0.8389	0.8581	0.8484	0.9306
0.1828	2.0	696	0.1866	{'precision': 0.7054263565891473, 'recall': 0.7844827586206896, 'f1': 0.7428571428571429, 'number': 116}	{'precision': 0.9429928741092637, 'recall': 0.9211136890951276, 'f1': 0.9319248826291081, 'number': 431}	{'precision': 0.7631578947368421, 'recall': 0.8529411764705882, 'f1': 0.8055555555555555, 'number': 34}	{'precision': 0.8535645472061657, 'recall': 0.9077868852459017, 'f1': 0.8798411122144986, 'number': 488}	{'precision': 0.6909090909090909, 'recall': 0.9743589743589743, 'f1': 0.8085106382978723, 'number': 39}	{'precision': 0.5853658536585366, 'recall': 0.631578947368421, 'f1': 0.6075949367088608, 'number': 38}	{'precision': 0.8728323699421965, 'recall': 0.7438423645320197, 'f1': 0.803191489361702, 'number': 203}	{'precision': 0.9194915254237288, 'recall': 0.9886104783599089, 'f1': 0.9527991218441272, 'number': 878}	{'precision': 0.8129770992366412, 'recall': 0.9141630901287554, 'f1': 0.8606060606060606, 'number': 233}	{'precision': 0.25, 'recall': 0.32558139534883723, 'f1': 0.2828282828282828, 'number': 43}	{'precision': 0.6533333333333333, 'recall': 0.6447368421052632, 'f1': 0.6490066225165563, 'number': 76}	0.8540	0.8984	0.8757	0.9405
0.0939	3.0	1044	0.2243	{'precision': 0.6875, 'recall': 0.47413793103448276, 'f1': 0.5612244897959184, 'number': 116}	{'precision': 0.904862579281184, 'recall': 0.9930394431554525, 'f1': 0.9469026548672568, 'number': 431}	{'precision': 0.6666666666666666, 'recall': 0.7647058823529411, 'f1': 0.7123287671232877, 'number': 34}	{'precision': 0.8853754940711462, 'recall': 0.9180327868852459, 'f1': 0.9014084507042255, 'number': 488}	{'precision': 0.7115384615384616, 'recall': 0.9487179487179487, 'f1': 0.8131868131868132, 'number': 39}	{'precision': 0.5555555555555556, 'recall': 0.9210526315789473, 'f1': 0.693069306930693, 'number': 38}	{'precision': 0.8957055214723927, 'recall': 0.7192118226600985, 'f1': 0.7978142076502732, 'number': 203}	{'precision': 0.9081196581196581, 'recall': 0.9681093394077449, 'f1': 0.9371554575523704, 'number': 878}	{'precision': 0.7950819672131147, 'recall': 0.8326180257510729, 'f1': 0.8134171907756813, 'number': 233}	{'precision': 0.30158730158730157, 'recall': 0.4418604651162791, 'f1': 0.3584905660377358, 'number': 43}	{'precision': 0.6578947368421053, 'recall': 0.6578947368421053, 'f1': 0.6578947368421053, 'number': 76}	0.8490	0.8872	0.8677	0.9421
0.0939	4.0	1392	0.2517	{'precision': 0.5161290322580645, 'recall': 0.27586206896551724, 'f1': 0.3595505617977528, 'number': 116}	{'precision': 0.9198218262806236, 'recall': 0.9582366589327146, 'f1': 0.9386363636363636, 'number': 431}	{'precision': 0.7111111111111111, 'recall': 0.9411764705882353, 'f1': 0.8101265822784811, 'number': 34}	{'precision': 0.8759842519685039, 'recall': 0.9118852459016393, 'f1': 0.893574297188755, 'number': 488}	{'precision': 0.6909090909090909, 'recall': 0.9743589743589743, 'f1': 0.8085106382978723, 'number': 39}	{'precision': 0.6140350877192983, 'recall': 0.9210526315789473, 'f1': 0.7368421052631579, 'number': 38}	{'precision': 0.7665198237885462, 'recall': 0.8571428571428571, 'f1': 0.8093023255813954, 'number': 203}	{'precision': 0.8890052356020942, 'recall': 0.9669703872437357, 'f1': 0.9263502454991815, 'number': 878}	{'precision': 0.8484848484848485, 'recall': 0.8412017167381974, 'f1': 0.8448275862068966, 'number': 233}	{'precision': 0.3968253968253968, 'recall': 0.5813953488372093, 'f1': 0.4716981132075471, 'number': 43}	{'precision': 0.6891891891891891, 'recall': 0.6710526315789473, 'f1': 0.68, 'number': 76}	0.8401	0.8879	0.8633	0.9421
0.0618	5.0	1740	0.3052	{'precision': 0.74, 'recall': 0.31896551724137934, 'f1': 0.4457831325301206, 'number': 116}	{'precision': 0.9322799097065463, 'recall': 0.9582366589327146, 'f1': 0.9450800915331807, 'number': 431}	{'precision': 0.6842105263157895, 'recall': 0.7647058823529411, 'f1': 0.7222222222222222, 'number': 34}	{'precision': 0.9182389937106918, 'recall': 0.8975409836065574, 'f1': 0.9077720207253885, 'number': 488}	{'precision': 0.7307692307692307, 'recall': 0.9743589743589743, 'f1': 0.8351648351648352, 'number': 39}	{'precision': 0.6428571428571429, 'recall': 0.9473684210526315, 'f1': 0.7659574468085106, 'number': 38}	{'precision': 0.7772727272727272, 'recall': 0.8423645320197044, 'f1': 0.8085106382978724, 'number': 203}	{'precision': 0.8480392156862745, 'recall': 0.9851936218678815, 'f1': 0.9114857744994731, 'number': 878}	{'precision': 0.8596491228070176, 'recall': 0.8412017167381974, 'f1': 0.8503253796095444, 'number': 233}	{'precision': 0.5, 'recall': 0.32558139534883723, 'f1': 0.3943661971830986, 'number': 43}	{'precision': 0.68, 'recall': 0.6710526315789473, 'f1': 0.6754966887417219, 'number': 76}	0.8504	0.8860	0.8678	0.9372
0.039	6.0	2088	0.3052	{'precision': 0.7027027027027027, 'recall': 0.22413793103448276, 'f1': 0.33986928104575165, 'number': 116}	{'precision': 0.9336384439359268, 'recall': 0.9466357308584686, 'f1': 0.9400921658986175, 'number': 431}	{'precision': 0.7333333333333333, 'recall': 0.9705882352941176, 'f1': 0.8354430379746834, 'number': 34}	{'precision': 0.9100418410041841, 'recall': 0.8913934426229508, 'f1': 0.9006211180124224, 'number': 488}	{'precision': 0.7708333333333334, 'recall': 0.9487179487179487, 'f1': 0.8505747126436781, 'number': 39}	{'precision': 0.6, 'recall': 0.868421052631579, 'f1': 0.7096774193548387, 'number': 38}	{'precision': 0.839572192513369, 'recall': 0.7733990147783252, 'f1': 0.8051282051282052, 'number': 203}	{'precision': 0.8760245901639344, 'recall': 0.9738041002277904, 'f1': 0.9223300970873787, 'number': 878}	{'precision': 0.8215767634854771, 'recall': 0.8497854077253219, 'f1': 0.8354430379746834, 'number': 233}	{'precision': 0.325, 'recall': 0.3023255813953488, 'f1': 0.3132530120481927, 'number': 43}	{'precision': 0.64, 'recall': 0.631578947368421, 'f1': 0.6357615894039735, 'number': 76}	0.8564	0.8697	0.8630	0.9390
0.039	7.0	2436	0.3157	{'precision': 0.6947368421052632, 'recall': 0.5689655172413793, 'f1': 0.6255924170616114, 'number': 116}	{'precision': 0.918141592920354, 'recall': 0.962877030162413, 'f1': 0.9399773499433748, 'number': 431}	{'precision': 0.7560975609756098, 'recall': 0.9117647058823529, 'f1': 0.8266666666666665, 'number': 34}	{'precision': 0.9032921810699589, 'recall': 0.8995901639344263, 'f1': 0.9014373716632444, 'number': 488}	{'precision': 0.7254901960784313, 'recall': 0.9487179487179487, 'f1': 0.8222222222222223, 'number': 39}	{'precision': 0.7272727272727273, 'recall': 0.8421052631578947, 'f1': 0.7804878048780488, 'number': 38}	{'precision': 0.8308457711442786, 'recall': 0.8226600985221675, 'f1': 0.8267326732673268, 'number': 203}	{'precision': 0.9219088937093276, 'recall': 0.9681093394077449, 'f1': 0.9444444444444444, 'number': 878}	{'precision': 0.7798507462686567, 'recall': 0.8969957081545065, 'f1': 0.8343313373253493, 'number': 233}	{'precision': 0.4074074074074074, 'recall': 0.5116279069767442, 'f1': 0.4536082474226804, 'number': 43}	{'precision': 0.6944444444444444, 'recall': 0.6578947368421053, 'f1': 0.6756756756756757, 'number': 76}	0.8630	0.8988	0.8805	0.9463
0.0206	8.0	2784	0.3470	{'precision': 0.5909090909090909, 'recall': 0.22413793103448276, 'f1': 0.32499999999999996, 'number': 116}	{'precision': 0.9430523917995444, 'recall': 0.9605568445475638, 'f1': 0.9517241379310345, 'number': 431}	{'precision': 0.7560975609756098, 'recall': 0.9117647058823529, 'f1': 0.8266666666666665, 'number': 34}	{'precision': 0.911340206185567, 'recall': 0.9057377049180327, 'f1': 0.9085303186022611, 'number': 488}	{'precision': 0.7254901960784313, 'recall': 0.9487179487179487, 'f1': 0.8222222222222223, 'number': 39}	{'precision': 0.6458333333333334, 'recall': 0.8157894736842105, 'f1': 0.7209302325581395, 'number': 38}	{'precision': 0.8316326530612245, 'recall': 0.8029556650246306, 'f1': 0.8170426065162908, 'number': 203}	{'precision': 0.8857142857142857, 'recall': 0.9886104783599089, 'f1': 0.9343379978471473, 'number': 878}	{'precision': 0.7865168539325843, 'recall': 0.9012875536480687, 'f1': 0.84, 'number': 233}	{'precision': 0.4230769230769231, 'recall': 0.5116279069767442, 'f1': 0.4631578947368421, 'number': 43}	{'precision': 0.6419753086419753, 'recall': 0.6842105263157895, 'f1': 0.6624203821656051, 'number': 76}	0.8554	0.8903	0.8725	0.9462
0.0119	9.0	3132	0.3471	{'precision': 0.6835443037974683, 'recall': 0.46551724137931033, 'f1': 0.5538461538461538, 'number': 116}	{'precision': 0.9208791208791208, 'recall': 0.9721577726218097, 'f1': 0.945823927765237, 'number': 431}	{'precision': 0.7441860465116279, 'recall': 0.9411764705882353, 'f1': 0.8311688311688312, 'number': 34}	{'precision': 0.8891129032258065, 'recall': 0.9036885245901639, 'f1': 0.8963414634146342, 'number': 488}	{'precision': 0.7115384615384616, 'recall': 0.9487179487179487, 'f1': 0.8131868131868132, 'number': 39}	{'precision': 0.6595744680851063, 'recall': 0.8157894736842105, 'f1': 0.7294117647058823, 'number': 38}	{'precision': 0.8208955223880597, 'recall': 0.812807881773399, 'f1': 0.8168316831683169, 'number': 203}	{'precision': 0.9040667361835245, 'recall': 0.9874715261958997, 'f1': 0.9439303211758302, 'number': 878}	{'precision': 0.8015267175572519, 'recall': 0.9012875536480687, 'f1': 0.8484848484848485, 'number': 233}	{'precision': 0.44, 'recall': 0.5116279069767442, 'f1': 0.4731182795698925, 'number': 43}	{'precision': 0.6842105263157895, 'recall': 0.6842105263157895, 'f1': 0.6842105263157895, 'number': 76}	0.8566	0.9035	0.8794	0.9462
0.0119	10.0	3480	0.3469	{'precision': 0.7037037037037037, 'recall': 0.49137931034482757, 'f1': 0.5786802030456852, 'number': 116}	{'precision': 0.9328859060402684, 'recall': 0.9675174013921114, 'f1': 0.949886104783599, 'number': 431}	{'precision': 0.7804878048780488, 'recall': 0.9411764705882353, 'f1': 0.8533333333333334, 'number': 34}	{'precision': 0.9087136929460581, 'recall': 0.8975409836065574, 'f1': 0.9030927835051547, 'number': 488}	{'precision': 0.7254901960784313, 'recall': 0.9487179487179487, 'f1': 0.8222222222222223, 'number': 39}	{'precision': 0.6521739130434783, 'recall': 0.7894736842105263, 'f1': 0.7142857142857143, 'number': 38}	{'precision': 0.8275862068965517, 'recall': 0.8275862068965517, 'f1': 0.8275862068965517, 'number': 203}	{'precision': 0.9097586568730325, 'recall': 0.9874715261958997, 'f1': 0.947023484434735, 'number': 878}	{'precision': 0.8196078431372549, 'recall': 0.8969957081545065, 'f1': 0.8565573770491803, 'number': 233}	{'precision': 0.5, 'recall': 0.5116279069767442, 'f1': 0.5057471264367817, 'number': 43}	{'precision': 0.6973684210526315, 'recall': 0.6973684210526315, 'f1': 0.6973684210526315, 'number': 76}	0.8697	0.9035	0.8863	0.9478

Framework versions

• Transformers 4.44.0
• Pytorch 2.3.1+cu121
• Datasets 2.19.1
• Tokenizers 0.19.1