roberta-large-ner-ghtk-cs-add-3label-5-new-data-3090-14Sep-1

This model was trained from scratch on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.2554
• Tk: {'precision': 0.8137254901960784, 'recall': 0.7155172413793104, 'f1': 0.761467889908257, 'number': 116}
• A: {'precision': 0.9300225733634312, 'recall': 0.9559164733178654, 'f1': 0.94279176201373, 'number': 431}
• Gày: {'precision': 0.7142857142857143, 'recall': 0.8823529411764706, 'f1': 0.7894736842105262, 'number': 34}
• Gày trừu tượng: {'precision': 0.9030927835051547, 'recall': 0.8975409836065574, 'f1': 0.9003083247687564, 'number': 488}
• Iền: {'precision': 0.74, 'recall': 0.9487179487179487, 'f1': 0.8314606741573033, 'number': 39}
• Iờ: {'precision': 0.5576923076923077, 'recall': 0.7631578947368421, 'f1': 0.6444444444444444, 'number': 38}
• Ã đơn: {'precision': 0.873015873015873, 'recall': 0.812807881773399, 'f1': 0.8418367346938775, 'number': 203}
• Đt: {'precision': 0.9357601713062098, 'recall': 0.9954441913439636, 'f1': 0.9646799116997792, 'number': 878}
• Đt trừu tượng: {'precision': 0.8291666666666667, 'recall': 0.8540772532188842, 'f1': 0.8414376321353066, 'number': 233}
• Overall Precision: 0.8936
• Overall Recall: 0.9215
• Overall F1: 0.9073
• Overall Accuracy: 0.9592

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2.5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Tk	A	Gày	Gày trừu tượng	Iền	Iờ	Ã đơn	Đt	Đt trừu tượng	Overall Precision	Overall Recall	Overall F1	Overall Accuracy
No log	1.0	272	0.1712	{'precision': 0.7191780821917808, 'recall': 0.9051724137931034, 'f1': 0.8015267175572519, 'number': 116}	{'precision': 0.8742268041237113, 'recall': 0.9837587006960556, 'f1': 0.9257641921397378, 'number': 431}	{'precision': 0.717948717948718, 'recall': 0.8235294117647058, 'f1': 0.767123287671233, 'number': 34}	{'precision': 0.8707070707070707, 'recall': 0.8831967213114754, 'f1': 0.8769074262461851, 'number': 488}	{'precision': 0.7333333333333333, 'recall': 0.8461538461538461, 'f1': 0.7857142857142856, 'number': 39}	{'precision': 0.6571428571428571, 'recall': 0.6052631578947368, 'f1': 0.6301369863013698, 'number': 38}	{'precision': 0.7979274611398963, 'recall': 0.7586206896551724, 'f1': 0.7777777777777777, 'number': 203}	{'precision': 0.9670975323149236, 'recall': 0.9373576309794989, 'f1': 0.9519953730480046, 'number': 878}	{'precision': 0.7473684210526316, 'recall': 0.9141630901287554, 'f1': 0.8223938223938223, 'number': 233}	0.8679	0.9081	0.8876	0.9507
0.1009	2.0	544	0.2061	{'precision': 0.8085106382978723, 'recall': 0.3275862068965517, 'f1': 0.46625766871165636, 'number': 116}	{'precision': 0.9246575342465754, 'recall': 0.9396751740139211, 'f1': 0.9321058688147296, 'number': 431}	{'precision': 0.673469387755102, 'recall': 0.9705882352941176, 'f1': 0.7951807228915663, 'number': 34}	{'precision': 0.8606870229007634, 'recall': 0.9241803278688525, 'f1': 0.891304347826087, 'number': 488}	{'precision': 0.6666666666666666, 'recall': 0.9230769230769231, 'f1': 0.7741935483870968, 'number': 39}	{'precision': 0.5737704918032787, 'recall': 0.9210526315789473, 'f1': 0.7070707070707071, 'number': 38}	{'precision': 0.7119341563786008, 'recall': 0.8522167487684729, 'f1': 0.7757847533632286, 'number': 203}	{'precision': 0.9004106776180698, 'recall': 0.9988610478359908, 'f1': 0.9470842332613392, 'number': 878}	{'precision': 0.8418803418803419, 'recall': 0.8454935622317596, 'f1': 0.8436830835117772, 'number': 233}	0.8556	0.9126	0.8832	0.9490
0.1009	3.0	816	0.1502	{'precision': 0.7703703703703704, 'recall': 0.896551724137931, 'f1': 0.8286852589641435, 'number': 116}	{'precision': 0.9377880184331797, 'recall': 0.9443155452436195, 'f1': 0.9410404624277456, 'number': 431}	{'precision': 0.7857142857142857, 'recall': 0.6470588235294118, 'f1': 0.7096774193548386, 'number': 34}	{'precision': 0.8856015779092702, 'recall': 0.9200819672131147, 'f1': 0.9025125628140703, 'number': 488}	{'precision': 0.7551020408163265, 'recall': 0.9487179487179487, 'f1': 0.8409090909090908, 'number': 39}	{'precision': 0.5714285714285714, 'recall': 0.9473684210526315, 'f1': 0.7128712871287128, 'number': 38}	{'precision': 0.8532608695652174, 'recall': 0.7733990147783252, 'f1': 0.8113695090439278, 'number': 203}	{'precision': 0.960308710033076, 'recall': 0.9920273348519362, 'f1': 0.9759103641456582, 'number': 878}	{'precision': 0.8810572687224669, 'recall': 0.8583690987124464, 'f1': 0.8695652173913043, 'number': 233}	0.9009	0.9280	0.9143	0.9606
0.0434	4.0	1088	0.1833	{'precision': 0.808695652173913, 'recall': 0.8017241379310345, 'f1': 0.8051948051948051, 'number': 116}	{'precision': 0.9311926605504587, 'recall': 0.9419953596287703, 'f1': 0.936562860438293, 'number': 431}	{'precision': 0.7142857142857143, 'recall': 0.8823529411764706, 'f1': 0.7894736842105262, 'number': 34}	{'precision': 0.89738430583501, 'recall': 0.9139344262295082, 'f1': 0.9055837563451776, 'number': 488}	{'precision': 0.74, 'recall': 0.9487179487179487, 'f1': 0.8314606741573033, 'number': 39}	{'precision': 0.6111111111111112, 'recall': 0.5789473684210527, 'f1': 0.5945945945945946, 'number': 38}	{'precision': 0.9075144508670521, 'recall': 0.7733990147783252, 'f1': 0.8351063829787234, 'number': 203}	{'precision': 0.9663299663299664, 'recall': 0.9806378132118451, 'f1': 0.9734313171283211, 'number': 878}	{'precision': 0.8448275862068966, 'recall': 0.8412017167381974, 'f1': 0.8430107526881722, 'number': 233}	0.9094	0.9138	0.9116	0.9614
0.0434	5.0	1360	0.2314	{'precision': 0.896551724137931, 'recall': 0.6724137931034483, 'f1': 0.768472906403941, 'number': 116}	{'precision': 0.9359267734553776, 'recall': 0.9489559164733179, 'f1': 0.9423963133640553, 'number': 431}	{'precision': 0.7073170731707317, 'recall': 0.8529411764705882, 'f1': 0.7733333333333334, 'number': 34}	{'precision': 0.90020366598778, 'recall': 0.9057377049180327, 'f1': 0.9029622063329927, 'number': 488}	{'precision': 0.74, 'recall': 0.9487179487179487, 'f1': 0.8314606741573033, 'number': 39}	{'precision': 0.8, 'recall': 0.5263157894736842, 'f1': 0.6349206349206348, 'number': 38}	{'precision': 0.8256410256410256, 'recall': 0.7931034482758621, 'f1': 0.8090452261306532, 'number': 203}	{'precision': 0.916754478398314, 'recall': 0.9908883826879271, 'f1': 0.9523809523809524, 'number': 878}	{'precision': 0.7811320754716982, 'recall': 0.8884120171673819, 'f1': 0.8313253012048193, 'number': 233}	0.8870	0.9159	0.9012	0.9570
0.0257	6.0	1632	0.2328	{'precision': 0.79, 'recall': 0.6810344827586207, 'f1': 0.7314814814814816, 'number': 116}	{'precision': 0.9422632794457275, 'recall': 0.9466357308584686, 'f1': 0.9444444444444444, 'number': 431}	{'precision': 0.725, 'recall': 0.8529411764705882, 'f1': 0.7837837837837837, 'number': 34}	{'precision': 0.927038626609442, 'recall': 0.8852459016393442, 'f1': 0.9056603773584905, 'number': 488}	{'precision': 0.7708333333333334, 'recall': 0.9487179487179487, 'f1': 0.8505747126436781, 'number': 39}	{'precision': 0.6666666666666666, 'recall': 0.6842105263157895, 'f1': 0.6753246753246753, 'number': 38}	{'precision': 0.8850574712643678, 'recall': 0.7586206896551724, 'f1': 0.8169761273209549, 'number': 203}	{'precision': 0.9526431718061674, 'recall': 0.9851936218678815, 'f1': 0.9686450167973124, 'number': 878}	{'precision': 0.8857142857142857, 'recall': 0.7982832618025751, 'f1': 0.8397291196388261, 'number': 233}	0.9165	0.9008	0.9086	0.9595
0.0257	7.0	1904	0.2436	{'precision': 0.8282828282828283, 'recall': 0.7068965517241379, 'f1': 0.7627906976744185, 'number': 116}	{'precision': 0.9284116331096197, 'recall': 0.962877030162413, 'f1': 0.9453302961275627, 'number': 431}	{'precision': 0.7111111111111111, 'recall': 0.9411764705882353, 'f1': 0.8101265822784811, 'number': 34}	{'precision': 0.8835341365461847, 'recall': 0.9016393442622951, 'f1': 0.8924949290060852, 'number': 488}	{'precision': 0.7254901960784313, 'recall': 0.9487179487179487, 'f1': 0.8222222222222223, 'number': 39}	{'precision': 0.5614035087719298, 'recall': 0.8421052631578947, 'f1': 0.6736842105263158, 'number': 38}	{'precision': 0.8208955223880597, 'recall': 0.812807881773399, 'f1': 0.8168316831683169, 'number': 203}	{'precision': 0.9287991498405951, 'recall': 0.9954441913439636, 'f1': 0.9609675645959318, 'number': 878}	{'precision': 0.7984189723320159, 'recall': 0.8669527896995708, 'f1': 0.831275720164609, 'number': 233}	0.8792	0.9264	0.9022	0.9559
0.0164	8.0	2176	0.2475	{'precision': 0.8041237113402062, 'recall': 0.6724137931034483, 'f1': 0.7323943661971831, 'number': 116}	{'precision': 0.917960088691796, 'recall': 0.9605568445475638, 'f1': 0.9387755102040817, 'number': 431}	{'precision': 0.7317073170731707, 'recall': 0.8823529411764706, 'f1': 0.8, 'number': 34}	{'precision': 0.8995901639344263, 'recall': 0.8995901639344263, 'f1': 0.8995901639344263, 'number': 488}	{'precision': 0.7708333333333334, 'recall': 0.9487179487179487, 'f1': 0.8505747126436781, 'number': 39}	{'precision': 0.5660377358490566, 'recall': 0.7894736842105263, 'f1': 0.6593406593406593, 'number': 38}	{'precision': 0.8358974358974359, 'recall': 0.8029556650246306, 'f1': 0.8190954773869348, 'number': 203}	{'precision': 0.9297872340425531, 'recall': 0.9954441913439636, 'f1': 0.9614961496149614, 'number': 878}	{'precision': 0.8291666666666667, 'recall': 0.8540772532188842, 'f1': 0.8414376321353066, 'number': 233}	0.8868	0.9203	0.9033	0.9577
0.0164	9.0	2448	0.2498	{'precision': 0.8058252427184466, 'recall': 0.7155172413793104, 'f1': 0.7579908675799087, 'number': 116}	{'precision': 0.9280898876404494, 'recall': 0.9582366589327146, 'f1': 0.9429223744292237, 'number': 431}	{'precision': 0.7142857142857143, 'recall': 0.8823529411764706, 'f1': 0.7894736842105262, 'number': 34}	{'precision': 0.9066390041493776, 'recall': 0.8954918032786885, 'f1': 0.9010309278350516, 'number': 488}	{'precision': 0.74, 'recall': 0.9487179487179487, 'f1': 0.8314606741573033, 'number': 39}	{'precision': 0.5636363636363636, 'recall': 0.8157894736842105, 'f1': 0.6666666666666666, 'number': 38}	{'precision': 0.8549222797927462, 'recall': 0.812807881773399, 'f1': 0.8333333333333334, 'number': 203}	{'precision': 0.9377682403433476, 'recall': 0.9954441913439636, 'f1': 0.9657458563535912, 'number': 878}	{'precision': 0.8468085106382979, 'recall': 0.8540772532188842, 'f1': 0.8504273504273505, 'number': 233}	0.8944	0.9224	0.9081	0.9592
0.0088	10.0	2720	0.2554	{'precision': 0.8137254901960784, 'recall': 0.7155172413793104, 'f1': 0.761467889908257, 'number': 116}	{'precision': 0.9300225733634312, 'recall': 0.9559164733178654, 'f1': 0.94279176201373, 'number': 431}	{'precision': 0.7142857142857143, 'recall': 0.8823529411764706, 'f1': 0.7894736842105262, 'number': 34}	{'precision': 0.9030927835051547, 'recall': 0.8975409836065574, 'f1': 0.9003083247687564, 'number': 488}	{'precision': 0.74, 'recall': 0.9487179487179487, 'f1': 0.8314606741573033, 'number': 39}	{'precision': 0.5576923076923077, 'recall': 0.7631578947368421, 'f1': 0.6444444444444444, 'number': 38}	{'precision': 0.873015873015873, 'recall': 0.812807881773399, 'f1': 0.8418367346938775, 'number': 203}	{'precision': 0.9357601713062098, 'recall': 0.9954441913439636, 'f1': 0.9646799116997792, 'number': 878}	{'precision': 0.8291666666666667, 'recall': 0.8540772532188842, 'f1': 0.8414376321353066, 'number': 233}	0.8936	0.9215	0.9073	0.9592

Framework versions

• Transformers 4.44.0
• Pytorch 2.3.1+cu121
• Datasets 2.19.1
• Tokenizers 0.19.1