roberta-large-ner-ghtk-cs-add-5label-11-new-data-3090-24Sep-1

This model was trained from scratch on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.3362
• Tk: {'precision': 0.835820895522388, 'recall': 0.4827586206896552, 'f1': 0.6120218579234973, 'number': 116}
• A: {'precision': 0.9217002237136466, 'recall': 0.9559164733178654, 'f1': 0.938496583143508, 'number': 431}
• Gày: {'precision': 0.7317073170731707, 'recall': 0.8823529411764706, 'f1': 0.8, 'number': 34}
• Gày trừu tượng: {'precision': 0.9006211180124224, 'recall': 0.8913934426229508, 'f1': 0.8959835221421216, 'number': 488}
• Iền: {'precision': 0.625, 'recall': 0.8974358974358975, 'f1': 0.736842105263158, 'number': 39}
• Iờ: {'precision': 0.6808510638297872, 'recall': 0.8421052631578947, 'f1': 0.7529411764705882, 'number': 38}
• Ã đơn: {'precision': 0.8763440860215054, 'recall': 0.8029556650246306, 'f1': 0.8380462724935733, 'number': 203}
• Đt: {'precision': 0.889344262295082, 'recall': 0.9886104783599089, 'f1': 0.9363538295577131, 'number': 878}
• Đt trừu tượng: {'precision': 0.8214285714285714, 'recall': 0.8884120171673819, 'f1': 0.8536082474226804, 'number': 233}
• Ịa chỉ cụ thể: {'precision': 0.5283018867924528, 'recall': 0.6511627906976745, 'f1': 0.5833333333333333, 'number': 43}
• Ịa chỉ trừu tượng: {'precision': 0.6419753086419753, 'recall': 0.6842105263157895, 'f1': 0.6624203821656051, 'number': 76}
• Overall Precision: 0.8620
• Overall Recall: 0.8988
• Overall F1: 0.8800
• Overall Accuracy: 0.9499

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2.5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Tk	A	Gày	Gày trừu tượng	Iền	Iờ	Ã đơn	Đt	Đt trừu tượng	Ịa chỉ cụ thể	Ịa chỉ trừu tượng	Overall Precision	Overall Recall	Overall F1	Overall Accuracy
No log	1.0	350	0.2202	{'precision': 0.7372881355932204, 'recall': 0.75, 'f1': 0.7435897435897435, 'number': 116}	{'precision': 0.9030172413793104, 'recall': 0.9721577726218097, 'f1': 0.9363128491620112, 'number': 431}	{'precision': 0.6037735849056604, 'recall': 0.9411764705882353, 'f1': 0.735632183908046, 'number': 34}	{'precision': 0.863013698630137, 'recall': 0.9036885245901639, 'f1': 0.8828828828828829, 'number': 488}	{'precision': 0.6909090909090909, 'recall': 0.9743589743589743, 'f1': 0.8085106382978723, 'number': 39}	{'precision': 0.5555555555555556, 'recall': 0.7894736842105263, 'f1': 0.6521739130434783, 'number': 38}	{'precision': 0.8866666666666667, 'recall': 0.6551724137931034, 'f1': 0.7535410764872522, 'number': 203}	{'precision': 0.8993839835728953, 'recall': 0.9977220956719818, 'f1': 0.9460043196544277, 'number': 878}	{'precision': 0.7777777777777778, 'recall': 0.871244635193133, 'f1': 0.8218623481781376, 'number': 233}	{'precision': 0.38181818181818183, 'recall': 0.4883720930232558, 'f1': 0.42857142857142855, 'number': 43}	{'precision': 0.8, 'recall': 0.5789473684210527, 'f1': 0.6717557251908397, 'number': 76}	0.8451	0.9011	0.8722	0.9422
0.1768	2.0	700	0.2093	{'precision': 0.7528089887640449, 'recall': 0.5775862068965517, 'f1': 0.6536585365853659, 'number': 116}	{'precision': 0.9118279569892473, 'recall': 0.9837587006960556, 'f1': 0.9464285714285714, 'number': 431}	{'precision': 0.6511627906976745, 'recall': 0.8235294117647058, 'f1': 0.7272727272727273, 'number': 34}	{'precision': 0.8765432098765432, 'recall': 0.8729508196721312, 'f1': 0.8747433264887063, 'number': 488}	{'precision': 0.6, 'recall': 0.8461538461538461, 'f1': 0.7021276595744681, 'number': 39}	{'precision': 0.6, 'recall': 0.9473684210526315, 'f1': 0.7346938775510204, 'number': 38}	{'precision': 0.783410138248848, 'recall': 0.8374384236453202, 'f1': 0.8095238095238095, 'number': 203}	{'precision': 0.894141829393628, 'recall': 0.9908883826879271, 'f1': 0.940032414910859, 'number': 878}	{'precision': 0.89375, 'recall': 0.6137339055793991, 'f1': 0.7277353689567431, 'number': 233}	{'precision': 0.3050847457627119, 'recall': 0.4186046511627907, 'f1': 0.3529411764705882, 'number': 43}	{'precision': 0.452991452991453, 'recall': 0.6973684210526315, 'f1': 0.5492227979274611, 'number': 76}	0.8326	0.8794	0.8554	0.9379
0.0919	3.0	1050	0.1856	{'precision': 0.8050847457627118, 'recall': 0.8189655172413793, 'f1': 0.811965811965812, 'number': 116}	{'precision': 0.9399538106235565, 'recall': 0.9443155452436195, 'f1': 0.9421296296296297, 'number': 431}	{'precision': 0.7073170731707317, 'recall': 0.8529411764705882, 'f1': 0.7733333333333334, 'number': 34}	{'precision': 0.8696498054474708, 'recall': 0.9159836065573771, 'f1': 0.8922155688622755, 'number': 488}	{'precision': 0.8095238095238095, 'recall': 0.8717948717948718, 'f1': 0.8395061728395062, 'number': 39}	{'precision': 0.6181818181818182, 'recall': 0.8947368421052632, 'f1': 0.7311827956989247, 'number': 38}	{'precision': 0.8959537572254336, 'recall': 0.7635467980295566, 'f1': 0.824468085106383, 'number': 203}	{'precision': 0.9249471458773785, 'recall': 0.9965831435079726, 'f1': 0.9594298245614036, 'number': 878}	{'precision': 0.788235294117647, 'recall': 0.8626609442060086, 'f1': 0.8237704918032787, 'number': 233}	{'precision': 0.2702702702702703, 'recall': 0.46511627906976744, 'f1': 0.34188034188034183, 'number': 43}	{'precision': 0.6621621621621622, 'recall': 0.6447368421052632, 'f1': 0.6533333333333333, 'number': 76}	0.8609	0.9097	0.8846	0.9479
0.0919	4.0	1400	0.2582	{'precision': 0.7704918032786885, 'recall': 0.4051724137931034, 'f1': 0.5310734463276836, 'number': 116}	{'precision': 0.9027484143763214, 'recall': 0.9907192575406032, 'f1': 0.9446902654867256, 'number': 431}	{'precision': 0.6976744186046512, 'recall': 0.8823529411764706, 'f1': 0.7792207792207793, 'number': 34}	{'precision': 0.8759842519685039, 'recall': 0.9118852459016393, 'f1': 0.893574297188755, 'number': 488}	{'precision': 0.5806451612903226, 'recall': 0.9230769230769231, 'f1': 0.7128712871287128, 'number': 39}	{'precision': 0.5070422535211268, 'recall': 0.9473684210526315, 'f1': 0.6605504587155963, 'number': 38}	{'precision': 0.8659217877094972, 'recall': 0.7635467980295566, 'f1': 0.8115183246073299, 'number': 203}	{'precision': 0.8524271844660194, 'recall': 1.0, 'f1': 0.920335429769392, 'number': 878}	{'precision': 0.696875, 'recall': 0.9570815450643777, 'f1': 0.8065099457504522, 'number': 233}	{'precision': 0.44, 'recall': 0.5116279069767442, 'f1': 0.4731182795698925, 'number': 43}	{'precision': 0.5360824742268041, 'recall': 0.6842105263157895, 'f1': 0.6011560693641619, 'number': 76}	0.8124	0.9116	0.8591	0.9396
0.0606	5.0	1750	0.2652	{'precision': 0.8360655737704918, 'recall': 0.4396551724137931, 'f1': 0.5762711864406779, 'number': 116}	{'precision': 0.9263392857142857, 'recall': 0.962877030162413, 'f1': 0.944254835039818, 'number': 431}	{'precision': 0.717948717948718, 'recall': 0.8235294117647058, 'f1': 0.767123287671233, 'number': 34}	{'precision': 0.9159663865546218, 'recall': 0.8934426229508197, 'f1': 0.9045643153526971, 'number': 488}	{'precision': 0.6333333333333333, 'recall': 0.9743589743589743, 'f1': 0.7676767676767675, 'number': 39}	{'precision': 0.6590909090909091, 'recall': 0.7631578947368421, 'f1': 0.7073170731707317, 'number': 38}	{'precision': 0.9101123595505618, 'recall': 0.7980295566502463, 'f1': 0.8503937007874016, 'number': 203}	{'precision': 0.8983402489626556, 'recall': 0.9863325740318907, 'f1': 0.9402823018458197, 'number': 878}	{'precision': 0.8312236286919831, 'recall': 0.8454935622317596, 'f1': 0.8382978723404256, 'number': 233}	{'precision': 0.4222222222222222, 'recall': 0.4418604651162791, 'f1': 0.4318181818181818, 'number': 43}	{'precision': 0.6046511627906976, 'recall': 0.6842105263157895, 'f1': 0.6419753086419753, 'number': 76}	0.8692	0.8891	0.8790	0.9435
0.0379	6.0	2100	0.2577	{'precision': 0.8387096774193549, 'recall': 0.4482758620689655, 'f1': 0.5842696629213483, 'number': 116}	{'precision': 0.9217002237136466, 'recall': 0.9559164733178654, 'f1': 0.938496583143508, 'number': 431}	{'precision': 0.6888888888888889, 'recall': 0.9117647058823529, 'f1': 0.7848101265822784, 'number': 34}	{'precision': 0.9077568134171907, 'recall': 0.8872950819672131, 'f1': 0.8974093264248704, 'number': 488}	{'precision': 0.6792452830188679, 'recall': 0.9230769230769231, 'f1': 0.7826086956521738, 'number': 39}	{'precision': 0.6956521739130435, 'recall': 0.8421052631578947, 'f1': 0.761904761904762, 'number': 38}	{'precision': 0.8810810810810811, 'recall': 0.8029556650246306, 'f1': 0.8402061855670103, 'number': 203}	{'precision': 0.9012474012474012, 'recall': 0.9874715261958997, 'f1': 0.942391304347826, 'number': 878}	{'precision': 0.8286852589641435, 'recall': 0.8927038626609443, 'f1': 0.8595041322314051, 'number': 233}	{'precision': 0.5306122448979592, 'recall': 0.6046511627906976, 'f1': 0.5652173913043479, 'number': 43}	{'precision': 0.746268656716418, 'recall': 0.6578947368421053, 'f1': 0.6993006993006994, 'number': 76}	0.8737	0.8957	0.8845	0.9485
0.0379	7.0	2450	0.3047	{'precision': 0.8533333333333334, 'recall': 0.5517241379310345, 'f1': 0.6701570680628273, 'number': 116}	{'precision': 0.9155555555555556, 'recall': 0.9559164733178654, 'f1': 0.9353007945516458, 'number': 431}	{'precision': 0.6590909090909091, 'recall': 0.8529411764705882, 'f1': 0.7435897435897436, 'number': 34}	{'precision': 0.9006211180124224, 'recall': 0.8913934426229508, 'f1': 0.8959835221421216, 'number': 488}	{'precision': 0.7, 'recall': 0.8974358974358975, 'f1': 0.7865168539325842, 'number': 39}	{'precision': 0.6470588235294118, 'recall': 0.868421052631579, 'f1': 0.7415730337078651, 'number': 38}	{'precision': 0.8641304347826086, 'recall': 0.7832512315270936, 'f1': 0.8217054263565892, 'number': 203}	{'precision': 0.8934850051706308, 'recall': 0.9840546697038725, 'f1': 0.9365853658536585, 'number': 878}	{'precision': 0.7474747474747475, 'recall': 0.9527896995708155, 'f1': 0.8377358490566038, 'number': 233}	{'precision': 0.4642857142857143, 'recall': 0.6046511627906976, 'f1': 0.5252525252525253, 'number': 43}	{'precision': 0.6538461538461539, 'recall': 0.6710526315789473, 'f1': 0.6623376623376623, 'number': 76}	0.8519	0.9035	0.8769	0.9462
0.0238	8.0	2800	0.3145	{'precision': 0.8809523809523809, 'recall': 0.31896551724137934, 'f1': 0.46835443037974683, 'number': 116}	{'precision': 0.9263392857142857, 'recall': 0.962877030162413, 'f1': 0.944254835039818, 'number': 431}	{'precision': 0.6976744186046512, 'recall': 0.8823529411764706, 'f1': 0.7792207792207793, 'number': 34}	{'precision': 0.9041666666666667, 'recall': 0.889344262295082, 'f1': 0.8966942148760331, 'number': 488}	{'precision': 0.6730769230769231, 'recall': 0.8974358974358975, 'f1': 0.7692307692307692, 'number': 39}	{'precision': 0.6666666666666666, 'recall': 0.7894736842105263, 'f1': 0.7228915662650601, 'number': 38}	{'precision': 0.868421052631579, 'recall': 0.812807881773399, 'f1': 0.8396946564885496, 'number': 203}	{'precision': 0.8803245436105477, 'recall': 0.9886104783599089, 'f1': 0.9313304721030043, 'number': 878}	{'precision': 0.7807692307692308, 'recall': 0.871244635193133, 'f1': 0.8235294117647058, 'number': 233}	{'precision': 0.47058823529411764, 'recall': 0.5581395348837209, 'f1': 0.5106382978723404, 'number': 43}	{'precision': 0.6, 'recall': 0.6710526315789473, 'f1': 0.6335403726708074, 'number': 76}	0.8546	0.8887	0.8713	0.9471
0.0144	9.0	3150	0.3311	{'precision': 0.835820895522388, 'recall': 0.4827586206896552, 'f1': 0.6120218579234973, 'number': 116}	{'precision': 0.918141592920354, 'recall': 0.962877030162413, 'f1': 0.9399773499433748, 'number': 431}	{'precision': 0.7209302325581395, 'recall': 0.9117647058823529, 'f1': 0.8051948051948051, 'number': 34}	{'precision': 0.893223819301848, 'recall': 0.8913934426229508, 'f1': 0.8923076923076924, 'number': 488}	{'precision': 0.6481481481481481, 'recall': 0.8974358974358975, 'f1': 0.7526881720430108, 'number': 39}	{'precision': 0.7272727272727273, 'recall': 0.8421052631578947, 'f1': 0.7804878048780488, 'number': 38}	{'precision': 0.8913043478260869, 'recall': 0.8078817733990148, 'f1': 0.8475452196382429, 'number': 203}	{'precision': 0.889344262295082, 'recall': 0.9886104783599089, 'f1': 0.9363538295577131, 'number': 878}	{'precision': 0.7732342007434945, 'recall': 0.8927038626609443, 'f1': 0.8286852589641436, 'number': 233}	{'precision': 0.45614035087719296, 'recall': 0.6046511627906976, 'f1': 0.52, 'number': 43}	{'precision': 0.627906976744186, 'recall': 0.7105263157894737, 'f1': 0.6666666666666666, 'number': 76}	0.8547	0.9011	0.8773	0.9480
0.0072	10.0	3500	0.3362	{'precision': 0.835820895522388, 'recall': 0.4827586206896552, 'f1': 0.6120218579234973, 'number': 116}	{'precision': 0.9217002237136466, 'recall': 0.9559164733178654, 'f1': 0.938496583143508, 'number': 431}	{'precision': 0.7317073170731707, 'recall': 0.8823529411764706, 'f1': 0.8, 'number': 34}	{'precision': 0.9006211180124224, 'recall': 0.8913934426229508, 'f1': 0.8959835221421216, 'number': 488}	{'precision': 0.625, 'recall': 0.8974358974358975, 'f1': 0.736842105263158, 'number': 39}	{'precision': 0.6808510638297872, 'recall': 0.8421052631578947, 'f1': 0.7529411764705882, 'number': 38}	{'precision': 0.8763440860215054, 'recall': 0.8029556650246306, 'f1': 0.8380462724935733, 'number': 203}	{'precision': 0.889344262295082, 'recall': 0.9886104783599089, 'f1': 0.9363538295577131, 'number': 878}	{'precision': 0.8214285714285714, 'recall': 0.8884120171673819, 'f1': 0.8536082474226804, 'number': 233}	{'precision': 0.5283018867924528, 'recall': 0.6511627906976745, 'f1': 0.5833333333333333, 'number': 43}	{'precision': 0.6419753086419753, 'recall': 0.6842105263157895, 'f1': 0.6624203821656051, 'number': 76}	0.8620	0.8988	0.8800	0.9499

Framework versions

• Transformers 4.44.0
• Pytorch 2.3.1+cu121
• Datasets 2.19.1
• Tokenizers 0.19.1