roberta-large-ner-ghtk-cs-add-6label-11-new-data-3090-25Sep-1

This model was trained from scratch on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.3386
• Tk: {'precision': 0.5913978494623656, 'recall': 0.47413793103448276, 'f1': 0.5263157894736843, 'number': 116}
• A: {'precision': 0.9279279279279279, 'recall': 0.9559164733178654, 'f1': 0.9417142857142857, 'number': 431}
• Gày: {'precision': 0.7045454545454546, 'recall': 0.9117647058823529, 'f1': 0.794871794871795, 'number': 34}
• Gày trừu tượng: {'precision': 0.8884381338742393, 'recall': 0.8975409836065574, 'f1': 0.8929663608562691, 'number': 488}
• Gân hàng: {'precision': 0.8947368421052632, 'recall': 0.918918918918919, 'f1': 0.9066666666666667, 'number': 37}
• Iền: {'precision': 0.7551020408163265, 'recall': 0.9487179487179487, 'f1': 0.8409090909090908, 'number': 39}
• Iờ: {'precision': 0.6976744186046512, 'recall': 0.7894736842105263, 'f1': 0.7407407407407408, 'number': 38}
• Ã đơn: {'precision': 0.8241206030150754, 'recall': 0.8078817733990148, 'f1': 0.8159203980099503, 'number': 203}
• Đt: {'precision': 0.9148029818956337, 'recall': 0.9783599088838268, 'f1': 0.9455145844799119, 'number': 878}
• Đt trừu tượng: {'precision': 0.819672131147541, 'recall': 0.8583690987124464, 'f1': 0.8385744234800838, 'number': 233}
• Ịa chỉ cụ thể: {'precision': 0.5454545454545454, 'recall': 0.5581395348837209, 'f1': 0.5517241379310344, 'number': 43}
• Ịa chỉ trừu tượng: {'precision': 0.6410256410256411, 'recall': 0.6578947368421053, 'f1': 0.6493506493506495, 'number': 76}
• Overall Precision: 0.8619
• Overall Recall: 0.8922
• Overall F1: 0.8768
• Overall Accuracy: 0.9463

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2.5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Tk	A	Gày	Gày trừu tượng	Gân hàng	Iền	Iờ	Ã đơn	Đt	Đt trừu tượng	Ịa chỉ cụ thể	Ịa chỉ trừu tượng	Overall Precision	Overall Recall	Overall F1	Overall Accuracy
No log	1.0	369	0.1971	{'precision': 0.5700934579439252, 'recall': 0.5258620689655172, 'f1': 0.547085201793722, 'number': 116}	{'precision': 0.9399538106235565, 'recall': 0.9443155452436195, 'f1': 0.9421296296296297, 'number': 431}	{'precision': 0.7948717948717948, 'recall': 0.9117647058823529, 'f1': 0.8493150684931507, 'number': 34}	{'precision': 0.9123931623931624, 'recall': 0.875, 'f1': 0.893305439330544, 'number': 488}	{'precision': 0.868421052631579, 'recall': 0.8918918918918919, 'f1': 0.88, 'number': 37}	{'precision': 0.6031746031746031, 'recall': 0.9743589743589743, 'f1': 0.7450980392156863, 'number': 39}	{'precision': 0.7333333333333333, 'recall': 0.5789473684210527, 'f1': 0.6470588235294117, 'number': 38}	{'precision': 0.7196652719665272, 'recall': 0.8472906403940886, 'f1': 0.7782805429864252, 'number': 203}	{'precision': 0.8746238716148446, 'recall': 0.9931662870159453, 'f1': 0.9301333333333334, 'number': 878}	{'precision': 0.8388625592417062, 'recall': 0.759656652360515, 'f1': 0.7972972972972974, 'number': 233}	{'precision': 0.46153846153846156, 'recall': 0.5581395348837209, 'f1': 0.5052631578947369, 'number': 43}	{'precision': 0.6075949367088608, 'recall': 0.631578947368421, 'f1': 0.6193548387096774, 'number': 76}	0.8389	0.8838	0.8608	0.9383
0.21	2.0	738	0.2218	{'precision': 0.5294117647058824, 'recall': 0.23275862068965517, 'f1': 0.32335329341317365, 'number': 116}	{'precision': 0.9010526315789473, 'recall': 0.9930394431554525, 'f1': 0.9448123620309051, 'number': 431}	{'precision': 0.7560975609756098, 'recall': 0.9117647058823529, 'f1': 0.8266666666666665, 'number': 34}	{'precision': 0.8626692456479691, 'recall': 0.9139344262295082, 'f1': 0.8875621890547264, 'number': 488}	{'precision': 0.8181818181818182, 'recall': 0.4864864864864865, 'f1': 0.6101694915254238, 'number': 37}	{'precision': 0.7037037037037037, 'recall': 0.9743589743589743, 'f1': 0.8172043010752689, 'number': 39}	{'precision': 0.546875, 'recall': 0.9210526315789473, 'f1': 0.6862745098039216, 'number': 38}	{'precision': 0.8089887640449438, 'recall': 0.7093596059113301, 'f1': 0.7559055118110236, 'number': 203}	{'precision': 0.8192883895131086, 'recall': 0.9965831435079726, 'f1': 0.8992805755395683, 'number': 878}	{'precision': 0.8602620087336245, 'recall': 0.8454935622317596, 'f1': 0.8528138528138528, 'number': 233}	{'precision': 0.22448979591836735, 'recall': 0.2558139534883721, 'f1': 0.23913043478260868, 'number': 43}	{'precision': 0.647887323943662, 'recall': 0.6052631578947368, 'f1': 0.6258503401360545, 'number': 76}	0.8145	0.8777	0.8449	0.9306
0.1059	3.0	1107	0.2479	{'precision': 0.6329113924050633, 'recall': 0.43103448275862066, 'f1': 0.5128205128205128, 'number': 116}	{'precision': 0.9384965831435079, 'recall': 0.9559164733178654, 'f1': 0.9471264367816091, 'number': 431}	{'precision': 0.775, 'recall': 0.9117647058823529, 'f1': 0.8378378378378379, 'number': 34}	{'precision': 0.884, 'recall': 0.9057377049180327, 'f1': 0.8947368421052632, 'number': 488}	{'precision': 0.8857142857142857, 'recall': 0.8378378378378378, 'f1': 0.8611111111111112, 'number': 37}	{'precision': 0.7872340425531915, 'recall': 0.9487179487179487, 'f1': 0.8604651162790696, 'number': 39}	{'precision': 0.9090909090909091, 'recall': 0.5263157894736842, 'f1': 0.6666666666666666, 'number': 38}	{'precision': 0.8361581920903954, 'recall': 0.729064039408867, 'f1': 0.7789473684210527, 'number': 203}	{'precision': 0.8963039014373717, 'recall': 0.9943052391799544, 'f1': 0.9427645788336934, 'number': 878}	{'precision': 0.6235955056179775, 'recall': 0.9527896995708155, 'f1': 0.7538200339558574, 'number': 233}	{'precision': 0.46, 'recall': 0.5348837209302325, 'f1': 0.4946236559139785, 'number': 43}	{'precision': 0.7384615384615385, 'recall': 0.631578947368421, 'f1': 0.6808510638297872, 'number': 76}	0.8394	0.8933	0.8656	0.9389
0.1059	4.0	1476	0.2426	{'precision': 0.4892086330935252, 'recall': 0.5862068965517241, 'f1': 0.5333333333333333, 'number': 116}	{'precision': 0.9444444444444444, 'recall': 0.9466357308584686, 'f1': 0.9455388180764773, 'number': 431}	{'precision': 0.6521739130434783, 'recall': 0.8823529411764706, 'f1': 0.75, 'number': 34}	{'precision': 0.8891170431211499, 'recall': 0.8872950819672131, 'f1': 0.8882051282051282, 'number': 488}	{'precision': 0.8918918918918919, 'recall': 0.8918918918918919, 'f1': 0.8918918918918919, 'number': 37}	{'precision': 0.75, 'recall': 0.9230769230769231, 'f1': 0.8275862068965517, 'number': 39}	{'precision': 0.6181818181818182, 'recall': 0.8947368421052632, 'f1': 0.7311827956989247, 'number': 38}	{'precision': 0.784037558685446, 'recall': 0.8226600985221675, 'f1': 0.8028846153846154, 'number': 203}	{'precision': 0.8875379939209727, 'recall': 0.9977220956719818, 'f1': 0.9394101876675602, 'number': 878}	{'precision': 0.9020618556701031, 'recall': 0.7510729613733905, 'f1': 0.819672131147541, 'number': 233}	{'precision': 0.43137254901960786, 'recall': 0.5116279069767442, 'f1': 0.46808510638297873, 'number': 43}	{'precision': 0.7096774193548387, 'recall': 0.5789473684210527, 'f1': 0.6376811594202899, 'number': 76}	0.8455	0.8891	0.8668	0.9397
0.0675	5.0	1845	0.2868	{'precision': 0.5441176470588235, 'recall': 0.31896551724137934, 'f1': 0.40217391304347827, 'number': 116}	{'precision': 0.9254385964912281, 'recall': 0.9791183294663574, 'f1': 0.9515219842164601, 'number': 431}	{'precision': 0.64, 'recall': 0.9411764705882353, 'f1': 0.7619047619047621, 'number': 34}	{'precision': 0.8850806451612904, 'recall': 0.8995901639344263, 'f1': 0.8922764227642277, 'number': 488}	{'precision': 0.8648648648648649, 'recall': 0.8648648648648649, 'f1': 0.8648648648648649, 'number': 37}	{'precision': 0.6271186440677966, 'recall': 0.9487179487179487, 'f1': 0.7551020408163266, 'number': 39}	{'precision': 0.6481481481481481, 'recall': 0.9210526315789473, 'f1': 0.7608695652173912, 'number': 38}	{'precision': 0.8563218390804598, 'recall': 0.7339901477832512, 'f1': 0.7904509283819628, 'number': 203}	{'precision': 0.8852791878172589, 'recall': 0.9931662870159453, 'f1': 0.9361245303274288, 'number': 878}	{'precision': 0.7720588235294118, 'recall': 0.9012875536480687, 'f1': 0.8316831683168318, 'number': 233}	{'precision': 0.373134328358209, 'recall': 0.5813953488372093, 'f1': 0.45454545454545453, 'number': 43}	{'precision': 0.6712328767123288, 'recall': 0.6447368421052632, 'f1': 0.6577181208053691, 'number': 76}	0.8381	0.8941	0.8652	0.9397
0.0419	6.0	2214	0.2910	{'precision': 0.5643564356435643, 'recall': 0.49137931034482757, 'f1': 0.5253456221198156, 'number': 116}	{'precision': 0.9460093896713615, 'recall': 0.9350348027842227, 'f1': 0.94049008168028, 'number': 431}	{'precision': 0.6976744186046512, 'recall': 0.8823529411764706, 'f1': 0.7792207792207793, 'number': 34}	{'precision': 0.8717948717948718, 'recall': 0.9057377049180327, 'f1': 0.8884422110552764, 'number': 488}	{'precision': 0.8461538461538461, 'recall': 0.8918918918918919, 'f1': 0.868421052631579, 'number': 37}	{'precision': 0.7551020408163265, 'recall': 0.9487179487179487, 'f1': 0.8409090909090908, 'number': 39}	{'precision': 0.5892857142857143, 'recall': 0.868421052631579, 'f1': 0.7021276595744681, 'number': 38}	{'precision': 0.89171974522293, 'recall': 0.6896551724137931, 'f1': 0.7777777777777778, 'number': 203}	{'precision': 0.91129883843717, 'recall': 0.9829157175398633, 'f1': 0.9457534246575343, 'number': 878}	{'precision': 0.84375, 'recall': 0.8111587982832618, 'f1': 0.8271334792122538, 'number': 233}	{'precision': 0.4423076923076923, 'recall': 0.5348837209302325, 'f1': 0.4842105263157894, 'number': 43}	{'precision': 0.6103896103896104, 'recall': 0.618421052631579, 'f1': 0.6143790849673204, 'number': 76}	0.8577	0.8781	0.8678	0.9429
0.0267	7.0	2583	0.3086	{'precision': 0.6233766233766234, 'recall': 0.41379310344827586, 'f1': 0.4974093264248705, 'number': 116}	{'precision': 0.9343891402714932, 'recall': 0.9582366589327146, 'f1': 0.9461626575028637, 'number': 431}	{'precision': 0.7209302325581395, 'recall': 0.9117647058823529, 'f1': 0.8051948051948051, 'number': 34}	{'precision': 0.8835341365461847, 'recall': 0.9016393442622951, 'f1': 0.8924949290060852, 'number': 488}	{'precision': 0.8461538461538461, 'recall': 0.8918918918918919, 'f1': 0.868421052631579, 'number': 37}	{'precision': 0.7551020408163265, 'recall': 0.9487179487179487, 'f1': 0.8409090909090908, 'number': 39}	{'precision': 0.6739130434782609, 'recall': 0.8157894736842105, 'f1': 0.7380952380952381, 'number': 38}	{'precision': 0.8502673796791443, 'recall': 0.7832512315270936, 'f1': 0.8153846153846154, 'number': 203}	{'precision': 0.8920041536863966, 'recall': 0.9783599088838268, 'f1': 0.9331884845192829, 'number': 878}	{'precision': 0.7335640138408305, 'recall': 0.9098712446351931, 'f1': 0.8122605363984675, 'number': 233}	{'precision': 0.4489795918367347, 'recall': 0.5116279069767442, 'f1': 0.47826086956521735, 'number': 43}	{'precision': 0.5862068965517241, 'recall': 0.6710526315789473, 'f1': 0.6257668711656441, 'number': 76}	0.8436	0.8930	0.8676	0.9442
0.0267	8.0	2952	0.3130	{'precision': 0.5849056603773585, 'recall': 0.5344827586206896, 'f1': 0.5585585585585585, 'number': 116}	{'precision': 0.9322799097065463, 'recall': 0.9582366589327146, 'f1': 0.9450800915331807, 'number': 431}	{'precision': 0.7380952380952381, 'recall': 0.9117647058823529, 'f1': 0.8157894736842106, 'number': 34}	{'precision': 0.8877551020408163, 'recall': 0.8913934426229508, 'f1': 0.8895705521472393, 'number': 488}	{'precision': 0.8974358974358975, 'recall': 0.9459459459459459, 'f1': 0.9210526315789475, 'number': 37}	{'precision': 0.7551020408163265, 'recall': 0.9487179487179487, 'f1': 0.8409090909090908, 'number': 39}	{'precision': 0.6511627906976745, 'recall': 0.7368421052631579, 'f1': 0.6913580246913581, 'number': 38}	{'precision': 0.8059701492537313, 'recall': 0.7980295566502463, 'f1': 0.801980198019802, 'number': 203}	{'precision': 0.9288025889967637, 'recall': 0.9806378132118451, 'f1': 0.954016620498615, 'number': 878}	{'precision': 0.7677902621722846, 'recall': 0.8798283261802575, 'f1': 0.8199999999999998, 'number': 233}	{'precision': 0.5454545454545454, 'recall': 0.5581395348837209, 'f1': 0.5517241379310344, 'number': 43}	{'precision': 0.6190476190476191, 'recall': 0.6842105263157895, 'f1': 0.6500000000000001, 'number': 76}	0.8574	0.8964	0.8765	0.9459
0.0132	9.0	3321	0.3306	{'precision': 0.5913978494623656, 'recall': 0.47413793103448276, 'f1': 0.5263157894736843, 'number': 116}	{'precision': 0.9227373068432672, 'recall': 0.9698375870069605, 'f1': 0.9457013574660633, 'number': 431}	{'precision': 0.7045454545454546, 'recall': 0.9117647058823529, 'f1': 0.794871794871795, 'number': 34}	{'precision': 0.8855421686746988, 'recall': 0.9036885245901639, 'f1': 0.8945233265720082, 'number': 488}	{'precision': 0.8947368421052632, 'recall': 0.918918918918919, 'f1': 0.9066666666666667, 'number': 37}	{'precision': 0.72, 'recall': 0.9230769230769231, 'f1': 0.8089887640449438, 'number': 39}	{'precision': 0.6521739130434783, 'recall': 0.7894736842105263, 'f1': 0.7142857142857143, 'number': 38}	{'precision': 0.8359788359788359, 'recall': 0.7783251231527094, 'f1': 0.8061224489795918, 'number': 203}	{'precision': 0.9206859592711683, 'recall': 0.9783599088838268, 'f1': 0.9486471562672556, 'number': 878}	{'precision': 0.8189300411522634, 'recall': 0.8540772532188842, 'f1': 0.8361344537815126, 'number': 233}	{'precision': 0.4897959183673469, 'recall': 0.5581395348837209, 'f1': 0.5217391304347826, 'number': 43}	{'precision': 0.684931506849315, 'recall': 0.6578947368421053, 'f1': 0.6711409395973155, 'number': 76}	0.8619	0.8926	0.8770	0.9469
0.0072	10.0	3690	0.3386	{'precision': 0.5913978494623656, 'recall': 0.47413793103448276, 'f1': 0.5263157894736843, 'number': 116}	{'precision': 0.9279279279279279, 'recall': 0.9559164733178654, 'f1': 0.9417142857142857, 'number': 431}	{'precision': 0.7045454545454546, 'recall': 0.9117647058823529, 'f1': 0.794871794871795, 'number': 34}	{'precision': 0.8884381338742393, 'recall': 0.8975409836065574, 'f1': 0.8929663608562691, 'number': 488}	{'precision': 0.8947368421052632, 'recall': 0.918918918918919, 'f1': 0.9066666666666667, 'number': 37}	{'precision': 0.7551020408163265, 'recall': 0.9487179487179487, 'f1': 0.8409090909090908, 'number': 39}	{'precision': 0.6976744186046512, 'recall': 0.7894736842105263, 'f1': 0.7407407407407408, 'number': 38}	{'precision': 0.8241206030150754, 'recall': 0.8078817733990148, 'f1': 0.8159203980099503, 'number': 203}	{'precision': 0.9148029818956337, 'recall': 0.9783599088838268, 'f1': 0.9455145844799119, 'number': 878}	{'precision': 0.819672131147541, 'recall': 0.8583690987124464, 'f1': 0.8385744234800838, 'number': 233}	{'precision': 0.5454545454545454, 'recall': 0.5581395348837209, 'f1': 0.5517241379310344, 'number': 43}	{'precision': 0.6410256410256411, 'recall': 0.6578947368421053, 'f1': 0.6493506493506495, 'number': 76}	0.8619	0.8922	0.8768	0.9463

Framework versions

• Transformers 4.44.0
• Pytorch 2.3.1+cu121
• Datasets 2.19.1
• Tokenizers 0.19.1