roberta-large-ner-ghtk-cs-add-5label-16-new-data-3090-24Sep-1

This model was trained from scratch on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.3385
• Tk: {'precision': 0.7525773195876289, 'recall': 0.6293103448275862, 'f1': 0.6854460093896713, 'number': 116}
• A: {'precision': 0.9447004608294931, 'recall': 0.951276102088167, 'f1': 0.9479768786127167, 'number': 431}
• Gày: {'precision': 0.7692307692307693, 'recall': 0.8823529411764706, 'f1': 0.8219178082191781, 'number': 34}
• Gày trừu tượng: {'precision': 0.8959183673469387, 'recall': 0.8995901639344263, 'f1': 0.8977505112474438, 'number': 488}
• Iền: {'precision': 0.7291666666666666, 'recall': 0.8974358974358975, 'f1': 0.8045977011494253, 'number': 39}
• Iờ: {'precision': 0.6923076923076923, 'recall': 0.7105263157894737, 'f1': 0.7012987012987013, 'number': 38}
• Ã đơn: {'precision': 0.8670212765957447, 'recall': 0.8029556650246306, 'f1': 0.833759590792839, 'number': 203}
• Đt: {'precision': 0.9284940411700975, 'recall': 0.9760820045558086, 'f1': 0.951693503609106, 'number': 878}
• Đt trừu tượng: {'precision': 0.7717391304347826, 'recall': 0.9141630901287554, 'f1': 0.836935166994106, 'number': 233}
• Ịa chỉ cụ thể: {'precision': 0.4791666666666667, 'recall': 0.5348837209302325, 'f1': 0.5054945054945056, 'number': 43}
• Ịa chỉ trừu tượng: {'precision': 0.7534246575342466, 'recall': 0.7236842105263158, 'f1': 0.738255033557047, 'number': 76}
• Overall Precision: 0.8757
• Overall Recall: 0.9015
• Overall F1: 0.8884
• Overall Accuracy: 0.9499

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2.5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Tk	A	Gày	Gày trừu tượng	Iền	Iờ	Ã đơn	Đt	Đt trừu tượng	Ịa chỉ cụ thể	Ịa chỉ trừu tượng	Overall Precision	Overall Recall	Overall F1	Overall Accuracy
No log	1.0	370	0.2146	{'precision': 0.717741935483871, 'recall': 0.7672413793103449, 'f1': 0.7416666666666667, 'number': 116}	{'precision': 0.8964059196617337, 'recall': 0.9837587006960556, 'f1': 0.9380530973451328, 'number': 431}	{'precision': 0.7692307692307693, 'recall': 0.8823529411764706, 'f1': 0.8219178082191781, 'number': 34}	{'precision': 0.8692307692307693, 'recall': 0.9262295081967213, 'f1': 0.8968253968253969, 'number': 488}	{'precision': 0.7931034482758621, 'recall': 0.5897435897435898, 'f1': 0.676470588235294, 'number': 39}	{'precision': 0.5555555555555556, 'recall': 0.9210526315789473, 'f1': 0.693069306930693, 'number': 38}	{'precision': 0.6514084507042254, 'recall': 0.9113300492610837, 'f1': 0.759753593429158, 'number': 203}	{'precision': 0.889564336372847, 'recall': 1.0, 'f1': 0.9415549597855228, 'number': 878}	{'precision': 0.6098265895953757, 'recall': 0.9055793991416309, 'f1': 0.7288428324697755, 'number': 233}	{'precision': 0.4, 'recall': 0.4186046511627907, 'f1': 0.40909090909090917, 'number': 43}	{'precision': 0.6571428571428571, 'recall': 0.6052631578947368, 'f1': 0.6301369863013698, 'number': 76}	0.8023	0.9271	0.8602	0.9325
0.2037	2.0	740	0.1838	{'precision': 0.8137254901960784, 'recall': 0.7155172413793104, 'f1': 0.761467889908257, 'number': 116}	{'precision': 0.9750623441396509, 'recall': 0.9071925754060325, 'f1': 0.9399038461538463, 'number': 431}	{'precision': 0.6976744186046512, 'recall': 0.8823529411764706, 'f1': 0.7792207792207793, 'number': 34}	{'precision': 0.9155844155844156, 'recall': 0.8668032786885246, 'f1': 0.8905263157894737, 'number': 488}	{'precision': 0.7777777777777778, 'recall': 0.8974358974358975, 'f1': 0.8333333333333333, 'number': 39}	{'precision': 0.5555555555555556, 'recall': 0.6578947368421053, 'f1': 0.6024096385542169, 'number': 38}	{'precision': 0.8203883495145631, 'recall': 0.8325123152709359, 'f1': 0.8264058679706602, 'number': 203}	{'precision': 0.9379157427937915, 'recall': 0.9635535307517085, 'f1': 0.9505617977528089, 'number': 878}	{'precision': 0.810077519379845, 'recall': 0.8969957081545065, 'f1': 0.8513238289205702, 'number': 233}	{'precision': 0.4117647058823529, 'recall': 0.4883720930232558, 'f1': 0.44680851063829785, 'number': 43}	{'precision': 0.7424242424242424, 'recall': 0.6447368421052632, 'f1': 0.6901408450704226, 'number': 76}	0.8838	0.8845	0.8841	0.9484
0.1035	3.0	1110	0.2108	{'precision': 0.6885245901639344, 'recall': 0.7241379310344828, 'f1': 0.7058823529411765, 'number': 116}	{'precision': 0.913232104121475, 'recall': 0.9767981438515081, 'f1': 0.9439461883408071, 'number': 431}	{'precision': 0.7941176470588235, 'recall': 0.7941176470588235, 'f1': 0.7941176470588235, 'number': 34}	{'precision': 0.9061224489795918, 'recall': 0.9098360655737705, 'f1': 0.9079754601226994, 'number': 488}	{'precision': 0.6923076923076923, 'recall': 0.9230769230769231, 'f1': 0.7912087912087913, 'number': 39}	{'precision': 0.5932203389830508, 'recall': 0.9210526315789473, 'f1': 0.7216494845360825, 'number': 38}	{'precision': 0.7375, 'recall': 0.8719211822660099, 'f1': 0.7990970654627539, 'number': 203}	{'precision': 0.921443736730361, 'recall': 0.9886104783599089, 'f1': 0.9538461538461539, 'number': 878}	{'precision': 0.8612244897959184, 'recall': 0.9055793991416309, 'f1': 0.8828451882845189, 'number': 233}	{'precision': 0.2702702702702703, 'recall': 0.23255813953488372, 'f1': 0.25, 'number': 43}	{'precision': 0.6944444444444444, 'recall': 0.6578947368421053, 'f1': 0.6756756756756757, 'number': 76}	0.8580	0.9162	0.8862	0.9415
0.1035	4.0	1480	0.2475	{'precision': 0.7107438016528925, 'recall': 0.7413793103448276, 'f1': 0.7257383966244725, 'number': 116}	{'precision': 0.9265033407572383, 'recall': 0.9651972157772621, 'f1': 0.9454545454545454, 'number': 431}	{'precision': 0.6744186046511628, 'recall': 0.8529411764705882, 'f1': 0.7532467532467532, 'number': 34}	{'precision': 0.8979591836734694, 'recall': 0.9016393442622951, 'f1': 0.899795501022495, 'number': 488}	{'precision': 0.5901639344262295, 'recall': 0.9230769230769231, 'f1': 0.7200000000000001, 'number': 39}	{'precision': 0.6458333333333334, 'recall': 0.8157894736842105, 'f1': 0.7209302325581395, 'number': 38}	{'precision': 0.9017341040462428, 'recall': 0.7684729064039408, 'f1': 0.8297872340425532, 'number': 203}	{'precision': 0.9316239316239316, 'recall': 0.9931662870159453, 'f1': 0.9614112458654906, 'number': 878}	{'precision': 0.6525679758308157, 'recall': 0.927038626609442, 'f1': 0.7659574468085106, 'number': 233}	{'precision': 0.4791666666666667, 'recall': 0.5348837209302325, 'f1': 0.5054945054945056, 'number': 43}	{'precision': 0.654320987654321, 'recall': 0.6973684210526315, 'f1': 0.6751592356687897, 'number': 76}	0.8479	0.9143	0.8799	0.9438
0.0667	5.0	1850	0.2543	{'precision': 0.6790123456790124, 'recall': 0.47413793103448276, 'f1': 0.5583756345177665, 'number': 116}	{'precision': 0.9533799533799534, 'recall': 0.9489559164733179, 'f1': 0.9511627906976745, 'number': 431}	{'precision': 0.75, 'recall': 0.8823529411764706, 'f1': 0.8108108108108107, 'number': 34}	{'precision': 0.8759842519685039, 'recall': 0.9118852459016393, 'f1': 0.893574297188755, 'number': 488}	{'precision': 0.7441860465116279, 'recall': 0.8205128205128205, 'f1': 0.7804878048780488, 'number': 39}	{'precision': 0.5892857142857143, 'recall': 0.868421052631579, 'f1': 0.7021276595744681, 'number': 38}	{'precision': 0.8, 'recall': 0.8275862068965517, 'f1': 0.8135593220338982, 'number': 203}	{'precision': 0.8867147270854789, 'recall': 0.9806378132118451, 'f1': 0.9313142239048133, 'number': 878}	{'precision': 0.7194719471947195, 'recall': 0.9356223175965666, 'f1': 0.8134328358208955, 'number': 233}	{'precision': 0.4782608695652174, 'recall': 0.5116279069767442, 'f1': 0.49438202247191015, 'number': 43}	{'precision': 0.7323943661971831, 'recall': 0.6842105263157895, 'f1': 0.7074829931972789, 'number': 76}	0.8430	0.9015	0.8713	0.9461
0.0411	6.0	2220	0.3105	{'precision': 0.6904761904761905, 'recall': 0.75, 'f1': 0.7190082644628099, 'number': 116}	{'precision': 0.9172113289760349, 'recall': 0.9767981438515081, 'f1': 0.946067415730337, 'number': 431}	{'precision': 0.75, 'recall': 0.8823529411764706, 'f1': 0.8108108108108107, 'number': 34}	{'precision': 0.883629191321499, 'recall': 0.9180327868852459, 'f1': 0.9005025125628141, 'number': 488}	{'precision': 0.6792452830188679, 'recall': 0.9230769230769231, 'f1': 0.7826086956521738, 'number': 39}	{'precision': 0.5769230769230769, 'recall': 0.7894736842105263, 'f1': 0.6666666666666666, 'number': 38}	{'precision': 0.8764044943820225, 'recall': 0.7684729064039408, 'f1': 0.8188976377952757, 'number': 203}	{'precision': 0.9277238403451996, 'recall': 0.979498861047836, 'f1': 0.9529085872576177, 'number': 878}	{'precision': 0.6666666666666666, 'recall': 0.9699570815450643, 'f1': 0.7902097902097902, 'number': 233}	{'precision': 0.5094339622641509, 'recall': 0.627906976744186, 'f1': 0.5625, 'number': 43}	{'precision': 0.6111111111111112, 'recall': 0.7236842105263158, 'f1': 0.6626506024096386, 'number': 76}	0.8414	0.9213	0.8795	0.9454
0.026	7.0	2590	0.2938	{'precision': 0.7657657657657657, 'recall': 0.7327586206896551, 'f1': 0.748898678414097, 'number': 116}	{'precision': 0.9327354260089686, 'recall': 0.9651972157772621, 'f1': 0.9486887115165337, 'number': 431}	{'precision': 0.7317073170731707, 'recall': 0.8823529411764706, 'f1': 0.8, 'number': 34}	{'precision': 0.8893360160965795, 'recall': 0.9057377049180327, 'f1': 0.8974619289340101, 'number': 488}	{'precision': 0.75, 'recall': 0.9230769230769231, 'f1': 0.8275862068965517, 'number': 39}	{'precision': 0.6976744186046512, 'recall': 0.7894736842105263, 'f1': 0.7407407407407408, 'number': 38}	{'precision': 0.873015873015873, 'recall': 0.812807881773399, 'f1': 0.8418367346938775, 'number': 203}	{'precision': 0.9313725490196079, 'recall': 0.9738041002277904, 'f1': 0.9521158129175946, 'number': 878}	{'precision': 0.740484429065744, 'recall': 0.9184549356223176, 'f1': 0.8199233716475095, 'number': 233}	{'precision': 0.46808510638297873, 'recall': 0.5116279069767442, 'f1': 0.4888888888888889, 'number': 43}	{'precision': 0.6753246753246753, 'recall': 0.6842105263157895, 'f1': 0.6797385620915033, 'number': 76}	0.8673	0.9100	0.8882	0.9489
0.026	8.0	2960	0.3202	{'precision': 0.7657657657657657, 'recall': 0.7327586206896551, 'f1': 0.748898678414097, 'number': 116}	{'precision': 0.944954128440367, 'recall': 0.9559164733178654, 'f1': 0.9504036908881199, 'number': 431}	{'precision': 0.75, 'recall': 0.8823529411764706, 'f1': 0.8108108108108107, 'number': 34}	{'precision': 0.9026915113871635, 'recall': 0.8934426229508197, 'f1': 0.898043254376931, 'number': 488}	{'precision': 0.7391304347826086, 'recall': 0.8717948717948718, 'f1': 0.7999999999999999, 'number': 39}	{'precision': 0.6666666666666666, 'recall': 0.6842105263157895, 'f1': 0.6753246753246753, 'number': 38}	{'precision': 0.8349514563106796, 'recall': 0.8472906403940886, 'f1': 0.8410757946210269, 'number': 203}	{'precision': 0.9333333333333333, 'recall': 0.9726651480637813, 'f1': 0.9525934188510876, 'number': 878}	{'precision': 0.7689530685920578, 'recall': 0.9141630901287554, 'f1': 0.8352941176470589, 'number': 233}	{'precision': 0.4727272727272727, 'recall': 0.6046511627906976, 'f1': 0.5306122448979591, 'number': 43}	{'precision': 0.7808219178082192, 'recall': 0.75, 'f1': 0.7651006711409396, 'number': 76}	0.8747	0.9093	0.8916	0.9509
0.0186	9.0	3330	0.3256	{'precision': 0.7448979591836735, 'recall': 0.6293103448275862, 'f1': 0.6822429906542057, 'number': 116}	{'precision': 0.9304932735426009, 'recall': 0.962877030162413, 'f1': 0.9464082098061573, 'number': 431}	{'precision': 0.75, 'recall': 0.8823529411764706, 'f1': 0.8108108108108107, 'number': 34}	{'precision': 0.9036885245901639, 'recall': 0.9036885245901639, 'f1': 0.9036885245901639, 'number': 488}	{'precision': 0.7142857142857143, 'recall': 0.8974358974358975, 'f1': 0.7954545454545455, 'number': 39}	{'precision': 0.675, 'recall': 0.7105263157894737, 'f1': 0.6923076923076923, 'number': 38}	{'precision': 0.8631578947368421, 'recall': 0.8078817733990148, 'f1': 0.8346055979643766, 'number': 203}	{'precision': 0.9314472252448314, 'recall': 0.9749430523917996, 'f1': 0.9526989426822482, 'number': 878}	{'precision': 0.7615658362989324, 'recall': 0.9184549356223176, 'f1': 0.8326848249027238, 'number': 233}	{'precision': 0.5192307692307693, 'recall': 0.627906976744186, 'f1': 0.5684210526315789, 'number': 43}	{'precision': 0.7297297297297297, 'recall': 0.7105263157894737, 'f1': 0.7200000000000001, 'number': 76}	0.8726	0.9058	0.8889	0.9510
0.0081	10.0	3700	0.3385	{'precision': 0.7525773195876289, 'recall': 0.6293103448275862, 'f1': 0.6854460093896713, 'number': 116}	{'precision': 0.9447004608294931, 'recall': 0.951276102088167, 'f1': 0.9479768786127167, 'number': 431}	{'precision': 0.7692307692307693, 'recall': 0.8823529411764706, 'f1': 0.8219178082191781, 'number': 34}	{'precision': 0.8959183673469387, 'recall': 0.8995901639344263, 'f1': 0.8977505112474438, 'number': 488}	{'precision': 0.7291666666666666, 'recall': 0.8974358974358975, 'f1': 0.8045977011494253, 'number': 39}	{'precision': 0.6923076923076923, 'recall': 0.7105263157894737, 'f1': 0.7012987012987013, 'number': 38}	{'precision': 0.8670212765957447, 'recall': 0.8029556650246306, 'f1': 0.833759590792839, 'number': 203}	{'precision': 0.9284940411700975, 'recall': 0.9760820045558086, 'f1': 0.951693503609106, 'number': 878}	{'precision': 0.7717391304347826, 'recall': 0.9141630901287554, 'f1': 0.836935166994106, 'number': 233}	{'precision': 0.4791666666666667, 'recall': 0.5348837209302325, 'f1': 0.5054945054945056, 'number': 43}	{'precision': 0.7534246575342466, 'recall': 0.7236842105263158, 'f1': 0.738255033557047, 'number': 76}	0.8757	0.9015	0.8884	0.9499

Framework versions

• Transformers 4.44.0
• Pytorch 2.3.1+cu121
• Datasets 2.19.1
• Tokenizers 0.19.1