| { |
| "best_global_step": null, |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 10.0, |
| "eval_steps": 500, |
| "global_step": 3750, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.02666666666666667, |
| "grad_norm": 0.6864556074142456, |
| "learning_rate": 1.2000000000000002e-07, |
| "loss": 2.0431, |
| "step": 10 |
| }, |
| { |
| "epoch": 0.05333333333333334, |
| "grad_norm": 0.6834467649459839, |
| "learning_rate": 2.533333333333333e-07, |
| "loss": 2.0222, |
| "step": 20 |
| }, |
| { |
| "epoch": 0.08, |
| "grad_norm": 0.7390895485877991, |
| "learning_rate": 3.8666666666666674e-07, |
| "loss": 2.0474, |
| "step": 30 |
| }, |
| { |
| "epoch": 0.10666666666666667, |
| "grad_norm": 0.8008406758308411, |
| "learning_rate": 5.2e-07, |
| "loss": 2.087, |
| "step": 40 |
| }, |
| { |
| "epoch": 0.13333333333333333, |
| "grad_norm": 0.7216496467590332, |
| "learning_rate": 6.533333333333334e-07, |
| "loss": 2.0767, |
| "step": 50 |
| }, |
| { |
| "epoch": 0.16, |
| "grad_norm": 0.7768703699111938, |
| "learning_rate": 7.866666666666667e-07, |
| "loss": 2.0302, |
| "step": 60 |
| }, |
| { |
| "epoch": 0.18666666666666668, |
| "grad_norm": 0.9261518120765686, |
| "learning_rate": 9.200000000000001e-07, |
| "loss": 2.0068, |
| "step": 70 |
| }, |
| { |
| "epoch": 0.21333333333333335, |
| "grad_norm": 0.6796293258666992, |
| "learning_rate": 1.0533333333333333e-06, |
| "loss": 2.0384, |
| "step": 80 |
| }, |
| { |
| "epoch": 0.24, |
| "grad_norm": 1.0748271942138672, |
| "learning_rate": 1.1866666666666668e-06, |
| "loss": 2.104, |
| "step": 90 |
| }, |
| { |
| "epoch": 0.26666666666666666, |
| "grad_norm": 0.9115467667579651, |
| "learning_rate": 1.32e-06, |
| "loss": 2.0462, |
| "step": 100 |
| }, |
| { |
| "epoch": 0.29333333333333333, |
| "grad_norm": 0.915414035320282, |
| "learning_rate": 1.4533333333333335e-06, |
| "loss": 2.0701, |
| "step": 110 |
| }, |
| { |
| "epoch": 0.32, |
| "grad_norm": 1.0734838247299194, |
| "learning_rate": 1.586666666666667e-06, |
| "loss": 2.066, |
| "step": 120 |
| }, |
| { |
| "epoch": 0.3466666666666667, |
| "grad_norm": 1.0868602991104126, |
| "learning_rate": 1.72e-06, |
| "loss": 2.0059, |
| "step": 130 |
| }, |
| { |
| "epoch": 0.37333333333333335, |
| "grad_norm": 1.1686838865280151, |
| "learning_rate": 1.8533333333333333e-06, |
| "loss": 2.0448, |
| "step": 140 |
| }, |
| { |
| "epoch": 0.4, |
| "grad_norm": 1.0780514478683472, |
| "learning_rate": 1.9866666666666666e-06, |
| "loss": 1.9928, |
| "step": 150 |
| }, |
| { |
| "epoch": 0.4266666666666667, |
| "grad_norm": 1.1489983797073364, |
| "learning_rate": 2.12e-06, |
| "loss": 2.0029, |
| "step": 160 |
| }, |
| { |
| "epoch": 0.4533333333333333, |
| "grad_norm": 1.2736639976501465, |
| "learning_rate": 2.2533333333333335e-06, |
| "loss": 1.9858, |
| "step": 170 |
| }, |
| { |
| "epoch": 0.48, |
| "grad_norm": 1.3319426774978638, |
| "learning_rate": 2.386666666666667e-06, |
| "loss": 1.9551, |
| "step": 180 |
| }, |
| { |
| "epoch": 0.5066666666666667, |
| "grad_norm": 1.349578619003296, |
| "learning_rate": 2.52e-06, |
| "loss": 1.872, |
| "step": 190 |
| }, |
| { |
| "epoch": 0.5333333333333333, |
| "grad_norm": 0.9017946720123291, |
| "learning_rate": 2.6533333333333335e-06, |
| "loss": 1.8316, |
| "step": 200 |
| }, |
| { |
| "epoch": 0.56, |
| "grad_norm": 1.002862811088562, |
| "learning_rate": 2.786666666666667e-06, |
| "loss": 1.8138, |
| "step": 210 |
| }, |
| { |
| "epoch": 0.5866666666666667, |
| "grad_norm": 0.8344107866287231, |
| "learning_rate": 2.92e-06, |
| "loss": 1.7294, |
| "step": 220 |
| }, |
| { |
| "epoch": 0.6133333333333333, |
| "grad_norm": 0.9120360016822815, |
| "learning_rate": 3.053333333333334e-06, |
| "loss": 1.7006, |
| "step": 230 |
| }, |
| { |
| "epoch": 0.64, |
| "grad_norm": 0.883114218711853, |
| "learning_rate": 3.186666666666667e-06, |
| "loss": 1.6236, |
| "step": 240 |
| }, |
| { |
| "epoch": 0.6666666666666666, |
| "grad_norm": 0.8164843916893005, |
| "learning_rate": 3.3200000000000004e-06, |
| "loss": 1.6641, |
| "step": 250 |
| }, |
| { |
| "epoch": 0.6933333333333334, |
| "grad_norm": 0.8954416513442993, |
| "learning_rate": 3.4533333333333334e-06, |
| "loss": 1.6328, |
| "step": 260 |
| }, |
| { |
| "epoch": 0.72, |
| "grad_norm": 0.8396301865577698, |
| "learning_rate": 3.5866666666666673e-06, |
| "loss": 1.6047, |
| "step": 270 |
| }, |
| { |
| "epoch": 0.7466666666666667, |
| "grad_norm": 0.9113221168518066, |
| "learning_rate": 3.7200000000000004e-06, |
| "loss": 1.6098, |
| "step": 280 |
| }, |
| { |
| "epoch": 0.7733333333333333, |
| "grad_norm": 0.7408691048622131, |
| "learning_rate": 3.853333333333334e-06, |
| "loss": 1.5339, |
| "step": 290 |
| }, |
| { |
| "epoch": 0.8, |
| "grad_norm": 0.9837501645088196, |
| "learning_rate": 3.986666666666667e-06, |
| "loss": 1.592, |
| "step": 300 |
| }, |
| { |
| "epoch": 0.8266666666666667, |
| "grad_norm": 0.9414945840835571, |
| "learning_rate": 4.12e-06, |
| "loss": 1.5275, |
| "step": 310 |
| }, |
| { |
| "epoch": 0.8533333333333334, |
| "grad_norm": 0.6915170550346375, |
| "learning_rate": 4.253333333333334e-06, |
| "loss": 1.4722, |
| "step": 320 |
| }, |
| { |
| "epoch": 0.88, |
| "grad_norm": 1.0188401937484741, |
| "learning_rate": 4.3866666666666665e-06, |
| "loss": 1.4897, |
| "step": 330 |
| }, |
| { |
| "epoch": 0.9066666666666666, |
| "grad_norm": 0.7740457057952881, |
| "learning_rate": 4.520000000000001e-06, |
| "loss": 1.377, |
| "step": 340 |
| }, |
| { |
| "epoch": 0.9333333333333333, |
| "grad_norm": 0.6730086207389832, |
| "learning_rate": 4.653333333333333e-06, |
| "loss": 1.392, |
| "step": 350 |
| }, |
| { |
| "epoch": 0.96, |
| "grad_norm": 0.855743944644928, |
| "learning_rate": 4.786666666666667e-06, |
| "loss": 1.3936, |
| "step": 360 |
| }, |
| { |
| "epoch": 0.9866666666666667, |
| "grad_norm": 0.718235969543457, |
| "learning_rate": 4.92e-06, |
| "loss": 1.3313, |
| "step": 370 |
| }, |
| { |
| "epoch": 1.0133333333333334, |
| "grad_norm": 0.6589620113372803, |
| "learning_rate": 4.999982670673473e-06, |
| "loss": 1.3231, |
| "step": 380 |
| }, |
| { |
| "epoch": 1.04, |
| "grad_norm": 0.7204256653785706, |
| "learning_rate": 4.999787718509086e-06, |
| "loss": 1.312, |
| "step": 390 |
| }, |
| { |
| "epoch": 1.0666666666666667, |
| "grad_norm": 0.7311373949050903, |
| "learning_rate": 4.999376169470306e-06, |
| "loss": 1.3119, |
| "step": 400 |
| }, |
| { |
| "epoch": 1.0933333333333333, |
| "grad_norm": 0.6310704946517944, |
| "learning_rate": 4.998748059216254e-06, |
| "loss": 1.2798, |
| "step": 410 |
| }, |
| { |
| "epoch": 1.12, |
| "grad_norm": 0.7810817360877991, |
| "learning_rate": 4.997903442170241e-06, |
| "loss": 1.2968, |
| "step": 420 |
| }, |
| { |
| "epoch": 1.1466666666666667, |
| "grad_norm": 0.7063048481941223, |
| "learning_rate": 4.996842391515045e-06, |
| "loss": 1.277, |
| "step": 430 |
| }, |
| { |
| "epoch": 1.1733333333333333, |
| "grad_norm": 0.6194319725036621, |
| "learning_rate": 4.995564999186572e-06, |
| "loss": 1.3146, |
| "step": 440 |
| }, |
| { |
| "epoch": 1.2, |
| "grad_norm": 0.8911550045013428, |
| "learning_rate": 4.994071375865898e-06, |
| "loss": 1.2271, |
| "step": 450 |
| }, |
| { |
| "epoch": 1.2266666666666666, |
| "grad_norm": 0.7139999866485596, |
| "learning_rate": 4.992361650969668e-06, |
| "loss": 1.2009, |
| "step": 460 |
| }, |
| { |
| "epoch": 1.2533333333333334, |
| "grad_norm": 0.7921785712242126, |
| "learning_rate": 4.990435972638888e-06, |
| "loss": 1.241, |
| "step": 470 |
| }, |
| { |
| "epoch": 1.28, |
| "grad_norm": 0.6499159336090088, |
| "learning_rate": 4.988294507726089e-06, |
| "loss": 1.2606, |
| "step": 480 |
| }, |
| { |
| "epoch": 1.3066666666666666, |
| "grad_norm": 0.8065305352210999, |
| "learning_rate": 4.98593744178087e-06, |
| "loss": 1.2408, |
| "step": 490 |
| }, |
| { |
| "epoch": 1.3333333333333333, |
| "grad_norm": 0.603751003742218, |
| "learning_rate": 4.983364979033819e-06, |
| "loss": 1.1539, |
| "step": 500 |
| }, |
| { |
| "epoch": 1.3599999999999999, |
| "grad_norm": 0.6962315440177917, |
| "learning_rate": 4.980577342378818e-06, |
| "loss": 1.2015, |
| "step": 510 |
| }, |
| { |
| "epoch": 1.3866666666666667, |
| "grad_norm": 0.7914028763771057, |
| "learning_rate": 4.977574773353732e-06, |
| "loss": 1.2067, |
| "step": 520 |
| }, |
| { |
| "epoch": 1.4133333333333333, |
| "grad_norm": 0.7412983775138855, |
| "learning_rate": 4.974357532119478e-06, |
| "loss": 1.1334, |
| "step": 530 |
| }, |
| { |
| "epoch": 1.44, |
| "grad_norm": 0.8885224461555481, |
| "learning_rate": 4.970925897437484e-06, |
| "loss": 1.2074, |
| "step": 540 |
| }, |
| { |
| "epoch": 1.4666666666666668, |
| "grad_norm": 0.6707415580749512, |
| "learning_rate": 4.967280166645538e-06, |
| "loss": 1.2794, |
| "step": 550 |
| }, |
| { |
| "epoch": 1.4933333333333334, |
| "grad_norm": 1.029408574104309, |
| "learning_rate": 4.9634206556320186e-06, |
| "loss": 1.1519, |
| "step": 560 |
| }, |
| { |
| "epoch": 1.52, |
| "grad_norm": 0.7895164489746094, |
| "learning_rate": 4.959347698808532e-06, |
| "loss": 1.1693, |
| "step": 570 |
| }, |
| { |
| "epoch": 1.5466666666666666, |
| "grad_norm": 0.7517342567443848, |
| "learning_rate": 4.95506164908093e-06, |
| "loss": 1.1478, |
| "step": 580 |
| }, |
| { |
| "epoch": 1.5733333333333333, |
| "grad_norm": 0.7386269569396973, |
| "learning_rate": 4.9505628778187365e-06, |
| "loss": 1.154, |
| "step": 590 |
| }, |
| { |
| "epoch": 1.6, |
| "grad_norm": 0.7774485349655151, |
| "learning_rate": 4.94585177482297e-06, |
| "loss": 1.197, |
| "step": 600 |
| }, |
| { |
| "epoch": 1.6266666666666667, |
| "grad_norm": 0.6724669337272644, |
| "learning_rate": 4.940928748292363e-06, |
| "loss": 1.1248, |
| "step": 610 |
| }, |
| { |
| "epoch": 1.6533333333333333, |
| "grad_norm": 0.8252294659614563, |
| "learning_rate": 4.9357942247879995e-06, |
| "loss": 1.1685, |
| "step": 620 |
| }, |
| { |
| "epoch": 1.6800000000000002, |
| "grad_norm": 0.8395477533340454, |
| "learning_rate": 4.930448649196356e-06, |
| "loss": 1.1423, |
| "step": 630 |
| }, |
| { |
| "epoch": 1.7066666666666666, |
| "grad_norm": 0.797327995300293, |
| "learning_rate": 4.924892484690744e-06, |
| "loss": 1.195, |
| "step": 640 |
| }, |
| { |
| "epoch": 1.7333333333333334, |
| "grad_norm": 0.8169471621513367, |
| "learning_rate": 4.91912621269119e-06, |
| "loss": 1.1516, |
| "step": 650 |
| }, |
| { |
| "epoch": 1.76, |
| "grad_norm": 0.9324586391448975, |
| "learning_rate": 4.913150332822716e-06, |
| "loss": 1.1535, |
| "step": 660 |
| }, |
| { |
| "epoch": 1.7866666666666666, |
| "grad_norm": 0.9258119463920593, |
| "learning_rate": 4.906965362872048e-06, |
| "loss": 1.14, |
| "step": 670 |
| }, |
| { |
| "epoch": 1.8133333333333335, |
| "grad_norm": 0.7775595188140869, |
| "learning_rate": 4.9005718387427546e-06, |
| "loss": 1.1633, |
| "step": 680 |
| }, |
| { |
| "epoch": 1.8399999999999999, |
| "grad_norm": 0.9818838238716125, |
| "learning_rate": 4.893970314408813e-06, |
| "loss": 1.1303, |
| "step": 690 |
| }, |
| { |
| "epoch": 1.8666666666666667, |
| "grad_norm": 0.7248987555503845, |
| "learning_rate": 4.887161361866608e-06, |
| "loss": 1.116, |
| "step": 700 |
| }, |
| { |
| "epoch": 1.8933333333333333, |
| "grad_norm": 0.7499696612358093, |
| "learning_rate": 4.880145571085369e-06, |
| "loss": 1.1252, |
| "step": 710 |
| }, |
| { |
| "epoch": 1.92, |
| "grad_norm": 0.9208846092224121, |
| "learning_rate": 4.872923549956058e-06, |
| "loss": 1.1746, |
| "step": 720 |
| }, |
| { |
| "epoch": 1.9466666666666668, |
| "grad_norm": 0.8718836903572083, |
| "learning_rate": 4.86549592423869e-06, |
| "loss": 1.1291, |
| "step": 730 |
| }, |
| { |
| "epoch": 1.9733333333333334, |
| "grad_norm": 0.8388645052909851, |
| "learning_rate": 4.857863337508119e-06, |
| "loss": 1.1033, |
| "step": 740 |
| }, |
| { |
| "epoch": 2.0, |
| "grad_norm": 0.8666885495185852, |
| "learning_rate": 4.850026451098271e-06, |
| "loss": 1.1277, |
| "step": 750 |
| }, |
| { |
| "epoch": 2.026666666666667, |
| "grad_norm": 1.0474607944488525, |
| "learning_rate": 4.841985944044845e-06, |
| "loss": 1.1568, |
| "step": 760 |
| }, |
| { |
| "epoch": 2.0533333333333332, |
| "grad_norm": 0.9431724548339844, |
| "learning_rate": 4.833742513026478e-06, |
| "loss": 1.0784, |
| "step": 770 |
| }, |
| { |
| "epoch": 2.08, |
| "grad_norm": 0.7262744307518005, |
| "learning_rate": 4.825296872304377e-06, |
| "loss": 1.1638, |
| "step": 780 |
| }, |
| { |
| "epoch": 2.1066666666666665, |
| "grad_norm": 0.9374427795410156, |
| "learning_rate": 4.816649753660431e-06, |
| "loss": 1.0557, |
| "step": 790 |
| }, |
| { |
| "epoch": 2.1333333333333333, |
| "grad_norm": 0.8942416310310364, |
| "learning_rate": 4.807801906333809e-06, |
| "loss": 1.0435, |
| "step": 800 |
| }, |
| { |
| "epoch": 2.16, |
| "grad_norm": 0.8669484257698059, |
| "learning_rate": 4.7987540969560385e-06, |
| "loss": 1.0561, |
| "step": 810 |
| }, |
| { |
| "epoch": 2.1866666666666665, |
| "grad_norm": 0.9552891850471497, |
| "learning_rate": 4.789507109484579e-06, |
| "loss": 1.1086, |
| "step": 820 |
| }, |
| { |
| "epoch": 2.2133333333333334, |
| "grad_norm": 0.9328513145446777, |
| "learning_rate": 4.7800617451348974e-06, |
| "loss": 1.1033, |
| "step": 830 |
| }, |
| { |
| "epoch": 2.24, |
| "grad_norm": 0.8567037582397461, |
| "learning_rate": 4.770418822311046e-06, |
| "loss": 1.0873, |
| "step": 840 |
| }, |
| { |
| "epoch": 2.2666666666666666, |
| "grad_norm": 0.7724719047546387, |
| "learning_rate": 4.760579176534747e-06, |
| "loss": 1.0785, |
| "step": 850 |
| }, |
| { |
| "epoch": 2.2933333333333334, |
| "grad_norm": 0.8977177143096924, |
| "learning_rate": 4.750543660373004e-06, |
| "loss": 1.0793, |
| "step": 860 |
| }, |
| { |
| "epoch": 2.32, |
| "grad_norm": 1.0932681560516357, |
| "learning_rate": 4.7403131433642226e-06, |
| "loss": 1.0835, |
| "step": 870 |
| }, |
| { |
| "epoch": 2.3466666666666667, |
| "grad_norm": 0.922770619392395, |
| "learning_rate": 4.729888511942877e-06, |
| "loss": 1.0805, |
| "step": 880 |
| }, |
| { |
| "epoch": 2.3733333333333335, |
| "grad_norm": 0.9030175805091858, |
| "learning_rate": 4.719270669362699e-06, |
| "loss": 1.0933, |
| "step": 890 |
| }, |
| { |
| "epoch": 2.4, |
| "grad_norm": 1.004112958908081, |
| "learning_rate": 4.708460535618411e-06, |
| "loss": 1.1069, |
| "step": 900 |
| }, |
| { |
| "epoch": 2.4266666666666667, |
| "grad_norm": 1.0625816583633423, |
| "learning_rate": 4.697459047366022e-06, |
| "loss": 1.0471, |
| "step": 910 |
| }, |
| { |
| "epoch": 2.453333333333333, |
| "grad_norm": 0.8528280258178711, |
| "learning_rate": 4.68626715784166e-06, |
| "loss": 1.0602, |
| "step": 920 |
| }, |
| { |
| "epoch": 2.48, |
| "grad_norm": 1.1137285232543945, |
| "learning_rate": 4.674885836778983e-06, |
| "loss": 1.089, |
| "step": 930 |
| }, |
| { |
| "epoch": 2.506666666666667, |
| "grad_norm": 1.0087735652923584, |
| "learning_rate": 4.6633160703251556e-06, |
| "loss": 1.1693, |
| "step": 940 |
| }, |
| { |
| "epoch": 2.533333333333333, |
| "grad_norm": 0.829055666923523, |
| "learning_rate": 4.6515588609554006e-06, |
| "loss": 1.0238, |
| "step": 950 |
| }, |
| { |
| "epoch": 2.56, |
| "grad_norm": 1.0512988567352295, |
| "learning_rate": 4.639615227386141e-06, |
| "loss": 1.1054, |
| "step": 960 |
| }, |
| { |
| "epoch": 2.586666666666667, |
| "grad_norm": 0.7199288606643677, |
| "learning_rate": 4.62748620448673e-06, |
| "loss": 1.1123, |
| "step": 970 |
| }, |
| { |
| "epoch": 2.6133333333333333, |
| "grad_norm": 0.8040386438369751, |
| "learning_rate": 4.615172843189785e-06, |
| "loss": 1.0573, |
| "step": 980 |
| }, |
| { |
| "epoch": 2.64, |
| "grad_norm": 0.8797423839569092, |
| "learning_rate": 4.602676210400126e-06, |
| "loss": 1.0704, |
| "step": 990 |
| }, |
| { |
| "epoch": 2.6666666666666665, |
| "grad_norm": 0.9572004079818726, |
| "learning_rate": 4.589997388902339e-06, |
| "loss": 1.0475, |
| "step": 1000 |
| }, |
| { |
| "epoch": 2.6933333333333334, |
| "grad_norm": 0.9472495913505554, |
| "learning_rate": 4.577137477266948e-06, |
| "loss": 1.0591, |
| "step": 1010 |
| }, |
| { |
| "epoch": 2.7199999999999998, |
| "grad_norm": 0.8334089517593384, |
| "learning_rate": 4.564097589755233e-06, |
| "loss": 1.062, |
| "step": 1020 |
| }, |
| { |
| "epoch": 2.7466666666666666, |
| "grad_norm": 1.1869418621063232, |
| "learning_rate": 4.550878856222684e-06, |
| "loss": 1.1608, |
| "step": 1030 |
| }, |
| { |
| "epoch": 2.7733333333333334, |
| "grad_norm": 1.0386947393417358, |
| "learning_rate": 4.537482422021105e-06, |
| "loss": 1.1039, |
| "step": 1040 |
| }, |
| { |
| "epoch": 2.8, |
| "grad_norm": 0.9129137992858887, |
| "learning_rate": 4.523909447899365e-06, |
| "loss": 1.1069, |
| "step": 1050 |
| }, |
| { |
| "epoch": 2.8266666666666667, |
| "grad_norm": 1.2377030849456787, |
| "learning_rate": 4.510161109902837e-06, |
| "loss": 1.0762, |
| "step": 1060 |
| }, |
| { |
| "epoch": 2.8533333333333335, |
| "grad_norm": 0.881824254989624, |
| "learning_rate": 4.496238599271485e-06, |
| "loss": 1.0351, |
| "step": 1070 |
| }, |
| { |
| "epoch": 2.88, |
| "grad_norm": 0.8841559886932373, |
| "learning_rate": 4.482143122336658e-06, |
| "loss": 1.0592, |
| "step": 1080 |
| }, |
| { |
| "epoch": 2.9066666666666667, |
| "grad_norm": 0.8864892721176147, |
| "learning_rate": 4.467875900416558e-06, |
| "loss": 1.0976, |
| "step": 1090 |
| }, |
| { |
| "epoch": 2.9333333333333336, |
| "grad_norm": 1.1504698991775513, |
| "learning_rate": 4.4534381697104255e-06, |
| "loss": 1.0186, |
| "step": 1100 |
| }, |
| { |
| "epoch": 2.96, |
| "grad_norm": 1.1625890731811523, |
| "learning_rate": 4.438831181191422e-06, |
| "loss": 1.0585, |
| "step": 1110 |
| }, |
| { |
| "epoch": 2.986666666666667, |
| "grad_norm": 0.9680048227310181, |
| "learning_rate": 4.424056200498237e-06, |
| "loss": 1.1027, |
| "step": 1120 |
| }, |
| { |
| "epoch": 3.013333333333333, |
| "grad_norm": 1.0091793537139893, |
| "learning_rate": 4.409114507825431e-06, |
| "loss": 1.0871, |
| "step": 1130 |
| }, |
| { |
| "epoch": 3.04, |
| "grad_norm": 0.887014627456665, |
| "learning_rate": 4.394007397812509e-06, |
| "loss": 1.1032, |
| "step": 1140 |
| }, |
| { |
| "epoch": 3.066666666666667, |
| "grad_norm": 1.0513815879821777, |
| "learning_rate": 4.3787361794317405e-06, |
| "loss": 1.0047, |
| "step": 1150 |
| }, |
| { |
| "epoch": 3.0933333333333333, |
| "grad_norm": 1.031087040901184, |
| "learning_rate": 4.363302175874751e-06, |
| "loss": 1.0925, |
| "step": 1160 |
| }, |
| { |
| "epoch": 3.12, |
| "grad_norm": 0.9170109033584595, |
| "learning_rate": 4.347706724437865e-06, |
| "loss": 1.0359, |
| "step": 1170 |
| }, |
| { |
| "epoch": 3.1466666666666665, |
| "grad_norm": 1.0121595859527588, |
| "learning_rate": 4.33195117640624e-06, |
| "loss": 1.0739, |
| "step": 1180 |
| }, |
| { |
| "epoch": 3.1733333333333333, |
| "grad_norm": 1.2087076902389526, |
| "learning_rate": 4.316036896936774e-06, |
| "loss": 1.0599, |
| "step": 1190 |
| }, |
| { |
| "epoch": 3.2, |
| "grad_norm": 1.2129995822906494, |
| "learning_rate": 4.299965264939834e-06, |
| "loss": 1.0306, |
| "step": 1200 |
| }, |
| { |
| "epoch": 3.2266666666666666, |
| "grad_norm": 1.1269701719284058, |
| "learning_rate": 4.283737672959766e-06, |
| "loss": 1.0243, |
| "step": 1210 |
| }, |
| { |
| "epoch": 3.2533333333333334, |
| "grad_norm": 1.1129047870635986, |
| "learning_rate": 4.267355527054243e-06, |
| "loss": 1.0502, |
| "step": 1220 |
| }, |
| { |
| "epoch": 3.2800000000000002, |
| "grad_norm": 0.9930374026298523, |
| "learning_rate": 4.250820246672433e-06, |
| "loss": 1.0108, |
| "step": 1230 |
| }, |
| { |
| "epoch": 3.3066666666666666, |
| "grad_norm": 1.027233600616455, |
| "learning_rate": 4.234133264532012e-06, |
| "loss": 1.0999, |
| "step": 1240 |
| }, |
| { |
| "epoch": 3.3333333333333335, |
| "grad_norm": 1.2046165466308594, |
| "learning_rate": 4.217296026495022e-06, |
| "loss": 1.0455, |
| "step": 1250 |
| }, |
| { |
| "epoch": 3.36, |
| "grad_norm": 1.0823917388916016, |
| "learning_rate": 4.200309991442591e-06, |
| "loss": 1.0443, |
| "step": 1260 |
| }, |
| { |
| "epoch": 3.3866666666666667, |
| "grad_norm": 1.0402946472167969, |
| "learning_rate": 4.1831766311485345e-06, |
| "loss": 1.0554, |
| "step": 1270 |
| }, |
| { |
| "epoch": 3.413333333333333, |
| "grad_norm": 1.111549735069275, |
| "learning_rate": 4.165897430151822e-06, |
| "loss": 1.0947, |
| "step": 1280 |
| }, |
| { |
| "epoch": 3.44, |
| "grad_norm": 1.0272332429885864, |
| "learning_rate": 4.148473885627952e-06, |
| "loss": 1.0399, |
| "step": 1290 |
| }, |
| { |
| "epoch": 3.466666666666667, |
| "grad_norm": 1.1737327575683594, |
| "learning_rate": 4.130907507259233e-06, |
| "loss": 1.0306, |
| "step": 1300 |
| }, |
| { |
| "epoch": 3.493333333333333, |
| "grad_norm": 1.2049609422683716, |
| "learning_rate": 4.113199817103964e-06, |
| "loss": 1.0165, |
| "step": 1310 |
| }, |
| { |
| "epoch": 3.52, |
| "grad_norm": 1.266038179397583, |
| "learning_rate": 4.095352349464564e-06, |
| "loss": 1.0218, |
| "step": 1320 |
| }, |
| { |
| "epoch": 3.546666666666667, |
| "grad_norm": 1.0571839809417725, |
| "learning_rate": 4.077366650754624e-06, |
| "loss": 1.0092, |
| "step": 1330 |
| }, |
| { |
| "epoch": 3.5733333333333333, |
| "grad_norm": 1.0605683326721191, |
| "learning_rate": 4.059244279364923e-06, |
| "loss": 1.0095, |
| "step": 1340 |
| }, |
| { |
| "epoch": 3.6, |
| "grad_norm": 0.9361685514450073, |
| "learning_rate": 4.040986805528392e-06, |
| "loss": 1.0308, |
| "step": 1350 |
| }, |
| { |
| "epoch": 3.626666666666667, |
| "grad_norm": 0.9611579179763794, |
| "learning_rate": 4.022595811184064e-06, |
| "loss": 1.0537, |
| "step": 1360 |
| }, |
| { |
| "epoch": 3.6533333333333333, |
| "grad_norm": 1.002272367477417, |
| "learning_rate": 4.004072889840006e-06, |
| "loss": 1.0158, |
| "step": 1370 |
| }, |
| { |
| "epoch": 3.68, |
| "grad_norm": 1.0818594694137573, |
| "learning_rate": 3.985419646435244e-06, |
| "loss": 1.0203, |
| "step": 1380 |
| }, |
| { |
| "epoch": 3.7066666666666666, |
| "grad_norm": 1.0322810411453247, |
| "learning_rate": 3.966637697200704e-06, |
| "loss": 0.9659, |
| "step": 1390 |
| }, |
| { |
| "epoch": 3.7333333333333334, |
| "grad_norm": 1.035426378250122, |
| "learning_rate": 3.94772866951917e-06, |
| "loss": 1.0147, |
| "step": 1400 |
| }, |
| { |
| "epoch": 3.76, |
| "grad_norm": 1.0693508386611938, |
| "learning_rate": 3.928694201784282e-06, |
| "loss": 0.9923, |
| "step": 1410 |
| }, |
| { |
| "epoch": 3.7866666666666666, |
| "grad_norm": 1.0520384311676025, |
| "learning_rate": 3.909535943258567e-06, |
| "loss": 1.0362, |
| "step": 1420 |
| }, |
| { |
| "epoch": 3.8133333333333335, |
| "grad_norm": 1.161549687385559, |
| "learning_rate": 3.890255553930548e-06, |
| "loss": 1.0248, |
| "step": 1430 |
| }, |
| { |
| "epoch": 3.84, |
| "grad_norm": 1.1647064685821533, |
| "learning_rate": 3.870854704370902e-06, |
| "loss": 1.0184, |
| "step": 1440 |
| }, |
| { |
| "epoch": 3.8666666666666667, |
| "grad_norm": 1.0443631410598755, |
| "learning_rate": 3.851335075587717e-06, |
| "loss": 1.0075, |
| "step": 1450 |
| }, |
| { |
| "epoch": 3.8933333333333335, |
| "grad_norm": 1.2016109228134155, |
| "learning_rate": 3.831698358880843e-06, |
| "loss": 0.9735, |
| "step": 1460 |
| }, |
| { |
| "epoch": 3.92, |
| "grad_norm": 1.184370994567871, |
| "learning_rate": 3.8119462556953358e-06, |
| "loss": 1.0525, |
| "step": 1470 |
| }, |
| { |
| "epoch": 3.9466666666666668, |
| "grad_norm": 1.0538806915283203, |
| "learning_rate": 3.7920804774740427e-06, |
| "loss": 1.0021, |
| "step": 1480 |
| }, |
| { |
| "epoch": 3.9733333333333336, |
| "grad_norm": 1.1907788515090942, |
| "learning_rate": 3.772102745509313e-06, |
| "loss": 1.0103, |
| "step": 1490 |
| }, |
| { |
| "epoch": 4.0, |
| "grad_norm": 0.9973454475402832, |
| "learning_rate": 3.75201479079385e-06, |
| "loss": 1.0488, |
| "step": 1500 |
| }, |
| { |
| "epoch": 4.026666666666666, |
| "grad_norm": 1.0266902446746826, |
| "learning_rate": 3.731818353870729e-06, |
| "loss": 1.0314, |
| "step": 1510 |
| }, |
| { |
| "epoch": 4.053333333333334, |
| "grad_norm": 1.2079659700393677, |
| "learning_rate": 3.7115151846825874e-06, |
| "loss": 0.9852, |
| "step": 1520 |
| }, |
| { |
| "epoch": 4.08, |
| "grad_norm": 1.3338674306869507, |
| "learning_rate": 3.6911070424199967e-06, |
| "loss": 1.0028, |
| "step": 1530 |
| }, |
| { |
| "epoch": 4.1066666666666665, |
| "grad_norm": 1.3352152109146118, |
| "learning_rate": 3.6705956953690364e-06, |
| "loss": 1.0209, |
| "step": 1540 |
| }, |
| { |
| "epoch": 4.133333333333334, |
| "grad_norm": 1.1906076669692993, |
| "learning_rate": 3.649982920758082e-06, |
| "loss": 0.9795, |
| "step": 1550 |
| }, |
| { |
| "epoch": 4.16, |
| "grad_norm": 1.0354583263397217, |
| "learning_rate": 3.6292705046038077e-06, |
| "loss": 0.978, |
| "step": 1560 |
| }, |
| { |
| "epoch": 4.1866666666666665, |
| "grad_norm": 1.252071738243103, |
| "learning_rate": 3.608460241556443e-06, |
| "loss": 1.0051, |
| "step": 1570 |
| }, |
| { |
| "epoch": 4.213333333333333, |
| "grad_norm": 0.9613018035888672, |
| "learning_rate": 3.5875539347442694e-06, |
| "loss": 1.0369, |
| "step": 1580 |
| }, |
| { |
| "epoch": 4.24, |
| "grad_norm": 1.083121657371521, |
| "learning_rate": 3.5665533956173857e-06, |
| "loss": 1.045, |
| "step": 1590 |
| }, |
| { |
| "epoch": 4.266666666666667, |
| "grad_norm": 1.428909182548523, |
| "learning_rate": 3.5454604437907535e-06, |
| "loss": 1.0239, |
| "step": 1600 |
| }, |
| { |
| "epoch": 4.293333333333333, |
| "grad_norm": 1.4894375801086426, |
| "learning_rate": 3.5242769068865375e-06, |
| "loss": 1.0049, |
| "step": 1610 |
| }, |
| { |
| "epoch": 4.32, |
| "grad_norm": 1.0027519464492798, |
| "learning_rate": 3.503004620375744e-06, |
| "loss": 0.9904, |
| "step": 1620 |
| }, |
| { |
| "epoch": 4.346666666666667, |
| "grad_norm": 1.0072699785232544, |
| "learning_rate": 3.481645427419188e-06, |
| "loss": 0.9837, |
| "step": 1630 |
| }, |
| { |
| "epoch": 4.373333333333333, |
| "grad_norm": 1.1597809791564941, |
| "learning_rate": 3.460201178707791e-06, |
| "loss": 0.9199, |
| "step": 1640 |
| }, |
| { |
| "epoch": 4.4, |
| "grad_norm": 1.1061170101165771, |
| "learning_rate": 3.438673732302223e-06, |
| "loss": 1.0196, |
| "step": 1650 |
| }, |
| { |
| "epoch": 4.426666666666667, |
| "grad_norm": 1.3632824420928955, |
| "learning_rate": 3.417064953471911e-06, |
| "loss": 0.987, |
| "step": 1660 |
| }, |
| { |
| "epoch": 4.453333333333333, |
| "grad_norm": 0.9218217134475708, |
| "learning_rate": 3.395376714533419e-06, |
| "loss": 1.0263, |
| "step": 1670 |
| }, |
| { |
| "epoch": 4.48, |
| "grad_norm": 1.3146958351135254, |
| "learning_rate": 3.3736108946882233e-06, |
| "loss": 1.0308, |
| "step": 1680 |
| }, |
| { |
| "epoch": 4.506666666666667, |
| "grad_norm": 1.104790210723877, |
| "learning_rate": 3.35176937985988e-06, |
| "loss": 0.9673, |
| "step": 1690 |
| }, |
| { |
| "epoch": 4.533333333333333, |
| "grad_norm": 1.3057141304016113, |
| "learning_rate": 3.329854062530621e-06, |
| "loss": 1.09, |
| "step": 1700 |
| }, |
| { |
| "epoch": 4.5600000000000005, |
| "grad_norm": 1.2161588668823242, |
| "learning_rate": 3.307866841577381e-06, |
| "loss": 1.0211, |
| "step": 1710 |
| }, |
| { |
| "epoch": 4.586666666666667, |
| "grad_norm": 1.0284647941589355, |
| "learning_rate": 3.2858096221072605e-06, |
| "loss": 1.0146, |
| "step": 1720 |
| }, |
| { |
| "epoch": 4.613333333333333, |
| "grad_norm": 1.2662749290466309, |
| "learning_rate": 3.2636843152924595e-06, |
| "loss": 1.0113, |
| "step": 1730 |
| }, |
| { |
| "epoch": 4.64, |
| "grad_norm": 1.086302638053894, |
| "learning_rate": 3.241492838204684e-06, |
| "loss": 0.9937, |
| "step": 1740 |
| }, |
| { |
| "epoch": 4.666666666666667, |
| "grad_norm": 1.2689603567123413, |
| "learning_rate": 3.2192371136490325e-06, |
| "loss": 0.9909, |
| "step": 1750 |
| }, |
| { |
| "epoch": 4.693333333333333, |
| "grad_norm": 1.1881645917892456, |
| "learning_rate": 3.1969190699973985e-06, |
| "loss": 0.9918, |
| "step": 1760 |
| }, |
| { |
| "epoch": 4.72, |
| "grad_norm": 1.037034511566162, |
| "learning_rate": 3.174540641021384e-06, |
| "loss": 0.9945, |
| "step": 1770 |
| }, |
| { |
| "epoch": 4.746666666666667, |
| "grad_norm": 1.156396746635437, |
| "learning_rate": 3.152103765724743e-06, |
| "loss": 0.9715, |
| "step": 1780 |
| }, |
| { |
| "epoch": 4.773333333333333, |
| "grad_norm": 1.177418828010559, |
| "learning_rate": 3.129610388175373e-06, |
| "loss": 0.9705, |
| "step": 1790 |
| }, |
| { |
| "epoch": 4.8, |
| "grad_norm": 1.1656800508499146, |
| "learning_rate": 3.1070624573368772e-06, |
| "loss": 1.0075, |
| "step": 1800 |
| }, |
| { |
| "epoch": 4.826666666666666, |
| "grad_norm": 1.6069332361221313, |
| "learning_rate": 3.0844619268996845e-06, |
| "loss": 1.0066, |
| "step": 1810 |
| }, |
| { |
| "epoch": 4.8533333333333335, |
| "grad_norm": 1.326254963874817, |
| "learning_rate": 3.061810755111776e-06, |
| "loss": 0.9984, |
| "step": 1820 |
| }, |
| { |
| "epoch": 4.88, |
| "grad_norm": 1.3211278915405273, |
| "learning_rate": 3.0391109046090082e-06, |
| "loss": 1.0083, |
| "step": 1830 |
| }, |
| { |
| "epoch": 4.906666666666666, |
| "grad_norm": 1.1794722080230713, |
| "learning_rate": 3.016364342245059e-06, |
| "loss": 1.0047, |
| "step": 1840 |
| }, |
| { |
| "epoch": 4.933333333333334, |
| "grad_norm": 1.3180665969848633, |
| "learning_rate": 2.9935730389210076e-06, |
| "loss": 0.9606, |
| "step": 1850 |
| }, |
| { |
| "epoch": 4.96, |
| "grad_norm": 1.159301996231079, |
| "learning_rate": 2.970738969414563e-06, |
| "loss": 1.0171, |
| "step": 1860 |
| }, |
| { |
| "epoch": 4.986666666666666, |
| "grad_norm": 1.176303505897522, |
| "learning_rate": 2.9478641122089563e-06, |
| "loss": 1.0312, |
| "step": 1870 |
| }, |
| { |
| "epoch": 5.013333333333334, |
| "grad_norm": 1.5347254276275635, |
| "learning_rate": 2.924950449321515e-06, |
| "loss": 0.9875, |
| "step": 1880 |
| }, |
| { |
| "epoch": 5.04, |
| "grad_norm": 1.2689859867095947, |
| "learning_rate": 2.9019999661319296e-06, |
| "loss": 0.9468, |
| "step": 1890 |
| }, |
| { |
| "epoch": 5.066666666666666, |
| "grad_norm": 1.233862280845642, |
| "learning_rate": 2.8790146512102228e-06, |
| "loss": 0.9642, |
| "step": 1900 |
| }, |
| { |
| "epoch": 5.093333333333334, |
| "grad_norm": 1.0744117498397827, |
| "learning_rate": 2.8559964961444533e-06, |
| "loss": 0.9939, |
| "step": 1910 |
| }, |
| { |
| "epoch": 5.12, |
| "grad_norm": 1.403465986251831, |
| "learning_rate": 2.8329474953681506e-06, |
| "loss": 0.9849, |
| "step": 1920 |
| }, |
| { |
| "epoch": 5.1466666666666665, |
| "grad_norm": 1.2598626613616943, |
| "learning_rate": 2.8098696459875048e-06, |
| "loss": 0.9666, |
| "step": 1930 |
| }, |
| { |
| "epoch": 5.173333333333334, |
| "grad_norm": 1.214621663093567, |
| "learning_rate": 2.786764947608324e-06, |
| "loss": 0.9845, |
| "step": 1940 |
| }, |
| { |
| "epoch": 5.2, |
| "grad_norm": 1.134233832359314, |
| "learning_rate": 2.7636354021627802e-06, |
| "loss": 1.0092, |
| "step": 1950 |
| }, |
| { |
| "epoch": 5.226666666666667, |
| "grad_norm": 1.0942606925964355, |
| "learning_rate": 2.7404830137359445e-06, |
| "loss": 1.0145, |
| "step": 1960 |
| }, |
| { |
| "epoch": 5.253333333333333, |
| "grad_norm": 1.3385876417160034, |
| "learning_rate": 2.717309788392144e-06, |
| "loss": 0.9876, |
| "step": 1970 |
| }, |
| { |
| "epoch": 5.28, |
| "grad_norm": 1.1661790609359741, |
| "learning_rate": 2.694117734001143e-06, |
| "loss": 1.0215, |
| "step": 1980 |
| }, |
| { |
| "epoch": 5.306666666666667, |
| "grad_norm": 1.1474223136901855, |
| "learning_rate": 2.670908860064172e-06, |
| "loss": 0.9624, |
| "step": 1990 |
| }, |
| { |
| "epoch": 5.333333333333333, |
| "grad_norm": 1.262390375137329, |
| "learning_rate": 2.6476851775398073e-06, |
| "loss": 0.9575, |
| "step": 2000 |
| }, |
| { |
| "epoch": 5.36, |
| "grad_norm": 1.2726715803146362, |
| "learning_rate": 2.624448698669731e-06, |
| "loss": 0.9906, |
| "step": 2010 |
| }, |
| { |
| "epoch": 5.386666666666667, |
| "grad_norm": 1.4422998428344727, |
| "learning_rate": 2.6012014368043813e-06, |
| "loss": 1.0085, |
| "step": 2020 |
| }, |
| { |
| "epoch": 5.413333333333333, |
| "grad_norm": 1.073887825012207, |
| "learning_rate": 2.5779454062285e-06, |
| "loss": 1.0043, |
| "step": 2030 |
| }, |
| { |
| "epoch": 5.44, |
| "grad_norm": 1.2706611156463623, |
| "learning_rate": 2.5546826219866018e-06, |
| "loss": 0.99, |
| "step": 2040 |
| }, |
| { |
| "epoch": 5.466666666666667, |
| "grad_norm": 1.2542794942855835, |
| "learning_rate": 2.531415099708382e-06, |
| "loss": 0.9931, |
| "step": 2050 |
| }, |
| { |
| "epoch": 5.493333333333333, |
| "grad_norm": 1.207595705986023, |
| "learning_rate": 2.5081448554340688e-06, |
| "loss": 1.0107, |
| "step": 2060 |
| }, |
| { |
| "epoch": 5.52, |
| "grad_norm": 1.1939449310302734, |
| "learning_rate": 2.484873905439739e-06, |
| "loss": 1.0018, |
| "step": 2070 |
| }, |
| { |
| "epoch": 5.546666666666667, |
| "grad_norm": 1.145877718925476, |
| "learning_rate": 2.4616042660626176e-06, |
| "loss": 0.9923, |
| "step": 2080 |
| }, |
| { |
| "epoch": 5.573333333333333, |
| "grad_norm": 1.1784632205963135, |
| "learning_rate": 2.4383379535263725e-06, |
| "loss": 0.9456, |
| "step": 2090 |
| }, |
| { |
| "epoch": 5.6, |
| "grad_norm": 1.2335214614868164, |
| "learning_rate": 2.4150769837664102e-06, |
| "loss": 0.9523, |
| "step": 2100 |
| }, |
| { |
| "epoch": 5.626666666666667, |
| "grad_norm": 1.4584623575210571, |
| "learning_rate": 2.391823372255208e-06, |
| "loss": 0.9789, |
| "step": 2110 |
| }, |
| { |
| "epoch": 5.653333333333333, |
| "grad_norm": 1.1800681352615356, |
| "learning_rate": 2.368579133827679e-06, |
| "loss": 1.0049, |
| "step": 2120 |
| }, |
| { |
| "epoch": 5.68, |
| "grad_norm": 1.2724323272705078, |
| "learning_rate": 2.3453462825065966e-06, |
| "loss": 0.9843, |
| "step": 2130 |
| }, |
| { |
| "epoch": 5.706666666666667, |
| "grad_norm": 1.3822221755981445, |
| "learning_rate": 2.3221268313280836e-06, |
| "loss": 0.9483, |
| "step": 2140 |
| }, |
| { |
| "epoch": 5.733333333333333, |
| "grad_norm": 1.4377061128616333, |
| "learning_rate": 2.2989227921671935e-06, |
| "loss": 0.9726, |
| "step": 2150 |
| }, |
| { |
| "epoch": 5.76, |
| "grad_norm": 1.4040346145629883, |
| "learning_rate": 2.27573617556359e-06, |
| "loss": 0.9877, |
| "step": 2160 |
| }, |
| { |
| "epoch": 5.786666666666667, |
| "grad_norm": 1.2673684358596802, |
| "learning_rate": 2.2525689905473377e-06, |
| "loss": 0.9995, |
| "step": 2170 |
| }, |
| { |
| "epoch": 5.8133333333333335, |
| "grad_norm": 1.2852178812026978, |
| "learning_rate": 2.2294232444648316e-06, |
| "loss": 0.9519, |
| "step": 2180 |
| }, |
| { |
| "epoch": 5.84, |
| "grad_norm": 1.2947932481765747, |
| "learning_rate": 2.206300942804865e-06, |
| "loss": 0.968, |
| "step": 2190 |
| }, |
| { |
| "epoch": 5.866666666666667, |
| "grad_norm": 1.0892807245254517, |
| "learning_rate": 2.183204089024864e-06, |
| "loss": 0.9982, |
| "step": 2200 |
| }, |
| { |
| "epoch": 5.8933333333333335, |
| "grad_norm": 1.2275118827819824, |
| "learning_rate": 2.160134684377295e-06, |
| "loss": 0.9891, |
| "step": 2210 |
| }, |
| { |
| "epoch": 5.92, |
| "grad_norm": 1.333308458328247, |
| "learning_rate": 2.1370947277362646e-06, |
| "loss": 0.977, |
| "step": 2220 |
| }, |
| { |
| "epoch": 5.946666666666666, |
| "grad_norm": 1.2039783000946045, |
| "learning_rate": 2.1140862154243223e-06, |
| "loss": 0.9839, |
| "step": 2230 |
| }, |
| { |
| "epoch": 5.973333333333334, |
| "grad_norm": 1.297869324684143, |
| "learning_rate": 2.0911111410394915e-06, |
| "loss": 0.9947, |
| "step": 2240 |
| }, |
| { |
| "epoch": 6.0, |
| "grad_norm": 1.3803035020828247, |
| "learning_rate": 2.0681714952825274e-06, |
| "loss": 0.9492, |
| "step": 2250 |
| }, |
| { |
| "epoch": 6.026666666666666, |
| "grad_norm": 1.5339772701263428, |
| "learning_rate": 2.0452692657844333e-06, |
| "loss": 1.0125, |
| "step": 2260 |
| }, |
| { |
| "epoch": 6.053333333333334, |
| "grad_norm": 1.5292214155197144, |
| "learning_rate": 2.0224064369342388e-06, |
| "loss": 0.9575, |
| "step": 2270 |
| }, |
| { |
| "epoch": 6.08, |
| "grad_norm": 1.2730904817581177, |
| "learning_rate": 1.9995849897070616e-06, |
| "loss": 0.9329, |
| "step": 2280 |
| }, |
| { |
| "epoch": 6.1066666666666665, |
| "grad_norm": 1.529963731765747, |
| "learning_rate": 1.9768069014924622e-06, |
| "loss": 0.9253, |
| "step": 2290 |
| }, |
| { |
| "epoch": 6.133333333333334, |
| "grad_norm": 1.3134512901306152, |
| "learning_rate": 1.9540741459231124e-06, |
| "loss": 0.9921, |
| "step": 2300 |
| }, |
| { |
| "epoch": 6.16, |
| "grad_norm": 1.308095932006836, |
| "learning_rate": 1.9313886927037843e-06, |
| "loss": 0.9777, |
| "step": 2310 |
| }, |
| { |
| "epoch": 6.1866666666666665, |
| "grad_norm": 1.4481947422027588, |
| "learning_rate": 1.908752507440689e-06, |
| "loss": 0.9695, |
| "step": 2320 |
| }, |
| { |
| "epoch": 6.213333333333333, |
| "grad_norm": 1.304056167602539, |
| "learning_rate": 1.8861675514711572e-06, |
| "loss": 0.921, |
| "step": 2330 |
| }, |
| { |
| "epoch": 6.24, |
| "grad_norm": 1.9694091081619263, |
| "learning_rate": 1.863635781693705e-06, |
| "loss": 0.9746, |
| "step": 2340 |
| }, |
| { |
| "epoch": 6.266666666666667, |
| "grad_norm": 1.4358716011047363, |
| "learning_rate": 1.8411591503984687e-06, |
| "loss": 0.9828, |
| "step": 2350 |
| }, |
| { |
| "epoch": 6.293333333333333, |
| "grad_norm": 1.2268424034118652, |
| "learning_rate": 1.818739605098051e-06, |
| "loss": 0.9686, |
| "step": 2360 |
| }, |
| { |
| "epoch": 6.32, |
| "grad_norm": 1.4600015878677368, |
| "learning_rate": 1.796379088358775e-06, |
| "loss": 0.968, |
| "step": 2370 |
| }, |
| { |
| "epoch": 6.346666666666667, |
| "grad_norm": 1.2927517890930176, |
| "learning_rate": 1.774079537632369e-06, |
| "loss": 0.9727, |
| "step": 2380 |
| }, |
| { |
| "epoch": 6.373333333333333, |
| "grad_norm": 1.3452156782150269, |
| "learning_rate": 1.7518428850880928e-06, |
| "loss": 1.0324, |
| "step": 2390 |
| }, |
| { |
| "epoch": 6.4, |
| "grad_norm": 1.2633044719696045, |
| "learning_rate": 1.7296710574453262e-06, |
| "loss": 0.9418, |
| "step": 2400 |
| }, |
| { |
| "epoch": 6.426666666666667, |
| "grad_norm": 1.2620983123779297, |
| "learning_rate": 1.7075659758066207e-06, |
| "loss": 0.9838, |
| "step": 2410 |
| }, |
| { |
| "epoch": 6.453333333333333, |
| "grad_norm": 1.704779863357544, |
| "learning_rate": 1.6855295554912477e-06, |
| "loss": 0.9787, |
| "step": 2420 |
| }, |
| { |
| "epoch": 6.48, |
| "grad_norm": 1.4947396516799927, |
| "learning_rate": 1.6635637058692417e-06, |
| "loss": 0.9441, |
| "step": 2430 |
| }, |
| { |
| "epoch": 6.506666666666667, |
| "grad_norm": 1.3541390895843506, |
| "learning_rate": 1.6416703301959622e-06, |
| "loss": 0.9573, |
| "step": 2440 |
| }, |
| { |
| "epoch": 6.533333333333333, |
| "grad_norm": 1.5069646835327148, |
| "learning_rate": 1.619851325447182e-06, |
| "loss": 0.9402, |
| "step": 2450 |
| }, |
| { |
| "epoch": 6.5600000000000005, |
| "grad_norm": 1.052452802658081, |
| "learning_rate": 1.5981085821547237e-06, |
| "loss": 1.0117, |
| "step": 2460 |
| }, |
| { |
| "epoch": 6.586666666666667, |
| "grad_norm": 1.3735320568084717, |
| "learning_rate": 1.5764439842426516e-06, |
| "loss": 0.9713, |
| "step": 2470 |
| }, |
| { |
| "epoch": 6.613333333333333, |
| "grad_norm": 1.4487781524658203, |
| "learning_rate": 1.5548594088640368e-06, |
| "loss": 0.9591, |
| "step": 2480 |
| }, |
| { |
| "epoch": 6.64, |
| "grad_norm": 1.3759781122207642, |
| "learning_rate": 1.5333567262383086e-06, |
| "loss": 1.002, |
| "step": 2490 |
| }, |
| { |
| "epoch": 6.666666666666667, |
| "grad_norm": 1.5115113258361816, |
| "learning_rate": 1.5119377994892095e-06, |
| "loss": 0.9722, |
| "step": 2500 |
| }, |
| { |
| "epoch": 6.693333333333333, |
| "grad_norm": 1.2209426164627075, |
| "learning_rate": 1.4906044844833605e-06, |
| "loss": 0.9731, |
| "step": 2510 |
| }, |
| { |
| "epoch": 6.72, |
| "grad_norm": 1.4368799924850464, |
| "learning_rate": 1.4693586296694574e-06, |
| "loss": 0.997, |
| "step": 2520 |
| }, |
| { |
| "epoch": 6.746666666666667, |
| "grad_norm": 1.284833312034607, |
| "learning_rate": 1.4482020759181136e-06, |
| "loss": 0.9805, |
| "step": 2530 |
| }, |
| { |
| "epoch": 6.773333333333333, |
| "grad_norm": 1.4915701150894165, |
| "learning_rate": 1.4271366563623512e-06, |
| "loss": 0.9859, |
| "step": 2540 |
| }, |
| { |
| "epoch": 6.8, |
| "grad_norm": 1.3779624700546265, |
| "learning_rate": 1.406164196238768e-06, |
| "loss": 0.9346, |
| "step": 2550 |
| }, |
| { |
| "epoch": 6.826666666666666, |
| "grad_norm": 1.6257760524749756, |
| "learning_rate": 1.3852865127293901e-06, |
| "loss": 0.9563, |
| "step": 2560 |
| }, |
| { |
| "epoch": 6.8533333333333335, |
| "grad_norm": 1.3327535390853882, |
| "learning_rate": 1.364505414804221e-06, |
| "loss": 0.9809, |
| "step": 2570 |
| }, |
| { |
| "epoch": 6.88, |
| "grad_norm": 1.8340835571289062, |
| "learning_rate": 1.3438227030644946e-06, |
| "loss": 0.9424, |
| "step": 2580 |
| }, |
| { |
| "epoch": 6.906666666666666, |
| "grad_norm": 1.3357032537460327, |
| "learning_rate": 1.3232401695866686e-06, |
| "loss": 0.9846, |
| "step": 2590 |
| }, |
| { |
| "epoch": 6.933333333333334, |
| "grad_norm": 1.2755762338638306, |
| "learning_rate": 1.3027595977671443e-06, |
| "loss": 0.94, |
| "step": 2600 |
| }, |
| { |
| "epoch": 6.96, |
| "grad_norm": 1.5766125917434692, |
| "learning_rate": 1.282382762167739e-06, |
| "loss": 0.9797, |
| "step": 2610 |
| }, |
| { |
| "epoch": 6.986666666666666, |
| "grad_norm": 1.2762746810913086, |
| "learning_rate": 1.2621114283619345e-06, |
| "loss": 0.9921, |
| "step": 2620 |
| }, |
| { |
| "epoch": 7.013333333333334, |
| "grad_norm": 1.5844758749008179, |
| "learning_rate": 1.241947352781889e-06, |
| "loss": 0.9246, |
| "step": 2630 |
| }, |
| { |
| "epoch": 7.04, |
| "grad_norm": 1.1820189952850342, |
| "learning_rate": 1.2218922825662558e-06, |
| "loss": 0.989, |
| "step": 2640 |
| }, |
| { |
| "epoch": 7.066666666666666, |
| "grad_norm": 1.3478128910064697, |
| "learning_rate": 1.2019479554087964e-06, |
| "loss": 0.9711, |
| "step": 2650 |
| }, |
| { |
| "epoch": 7.093333333333334, |
| "grad_norm": 1.191152572631836, |
| "learning_rate": 1.182116099407819e-06, |
| "loss": 0.9399, |
| "step": 2660 |
| }, |
| { |
| "epoch": 7.12, |
| "grad_norm": 1.3069545030593872, |
| "learning_rate": 1.1623984329164413e-06, |
| "loss": 1.037, |
| "step": 2670 |
| }, |
| { |
| "epoch": 7.1466666666666665, |
| "grad_norm": 1.3280954360961914, |
| "learning_rate": 1.142796664393707e-06, |
| "loss": 0.9824, |
| "step": 2680 |
| }, |
| { |
| "epoch": 7.173333333333334, |
| "grad_norm": 1.5953059196472168, |
| "learning_rate": 1.1233124922565494e-06, |
| "loss": 0.9549, |
| "step": 2690 |
| }, |
| { |
| "epoch": 7.2, |
| "grad_norm": 1.1579573154449463, |
| "learning_rate": 1.1039476047326352e-06, |
| "loss": 0.9626, |
| "step": 2700 |
| }, |
| { |
| "epoch": 7.226666666666667, |
| "grad_norm": 1.3610824346542358, |
| "learning_rate": 1.0847036797140832e-06, |
| "loss": 0.9968, |
| "step": 2710 |
| }, |
| { |
| "epoch": 7.253333333333333, |
| "grad_norm": 1.4503854513168335, |
| "learning_rate": 1.065582384612082e-06, |
| "loss": 0.8981, |
| "step": 2720 |
| }, |
| { |
| "epoch": 7.28, |
| "grad_norm": 1.4366077184677124, |
| "learning_rate": 1.0465853762124134e-06, |
| "loss": 0.9544, |
| "step": 2730 |
| }, |
| { |
| "epoch": 7.306666666666667, |
| "grad_norm": 1.6409127712249756, |
| "learning_rate": 1.0277143005319038e-06, |
| "loss": 0.9835, |
| "step": 2740 |
| }, |
| { |
| "epoch": 7.333333333333333, |
| "grad_norm": 1.6304514408111572, |
| "learning_rate": 1.0089707926757954e-06, |
| "loss": 0.9667, |
| "step": 2750 |
| }, |
| { |
| "epoch": 7.36, |
| "grad_norm": 1.4634387493133545, |
| "learning_rate": 9.9035647669608e-07, |
| "loss": 0.968, |
| "step": 2760 |
| }, |
| { |
| "epoch": 7.386666666666667, |
| "grad_norm": 1.411413550376892, |
| "learning_rate": 9.718729654507713e-07, |
| "loss": 0.9681, |
| "step": 2770 |
| }, |
| { |
| "epoch": 7.413333333333333, |
| "grad_norm": 1.3875097036361694, |
| "learning_rate": 9.535218604641652e-07, |
| "loss": 0.9676, |
| "step": 2780 |
| }, |
| { |
| "epoch": 7.44, |
| "grad_norm": 1.4006201028823853, |
| "learning_rate": 9.353047517880709e-07, |
| "loss": 0.9615, |
| "step": 2790 |
| }, |
| { |
| "epoch": 7.466666666666667, |
| "grad_norm": 1.580459713935852, |
| "learning_rate": 9.172232178640361e-07, |
| "loss": 0.9638, |
| "step": 2800 |
| }, |
| { |
| "epoch": 7.493333333333333, |
| "grad_norm": 1.4033180475234985, |
| "learning_rate": 8.992788253865872e-07, |
| "loss": 0.9885, |
| "step": 2810 |
| }, |
| { |
| "epoch": 7.52, |
| "grad_norm": 1.7243731021881104, |
| "learning_rate": 8.814731291674756e-07, |
| "loss": 0.9464, |
| "step": 2820 |
| }, |
| { |
| "epoch": 7.546666666666667, |
| "grad_norm": 1.453606367111206, |
| "learning_rate": 8.63807672000963e-07, |
| "loss": 0.9594, |
| "step": 2830 |
| }, |
| { |
| "epoch": 7.573333333333333, |
| "grad_norm": 1.6155478954315186, |
| "learning_rate": 8.462839845301438e-07, |
| "loss": 0.9609, |
| "step": 2840 |
| }, |
| { |
| "epoch": 7.6, |
| "grad_norm": 1.4838684797286987, |
| "learning_rate": 8.289035851143198e-07, |
| "loss": 0.9643, |
| "step": 2850 |
| }, |
| { |
| "epoch": 7.626666666666667, |
| "grad_norm": 1.3259801864624023, |
| "learning_rate": 8.116679796974389e-07, |
| "loss": 0.9646, |
| "step": 2860 |
| }, |
| { |
| "epoch": 7.653333333333333, |
| "grad_norm": 1.5047879219055176, |
| "learning_rate": 7.945786616776157e-07, |
| "loss": 0.9062, |
| "step": 2870 |
| }, |
| { |
| "epoch": 7.68, |
| "grad_norm": 1.5503374338150024, |
| "learning_rate": 7.776371117777276e-07, |
| "loss": 0.9242, |
| "step": 2880 |
| }, |
| { |
| "epoch": 7.706666666666667, |
| "grad_norm": 1.6389449834823608, |
| "learning_rate": 7.60844797917123e-07, |
| "loss": 0.9476, |
| "step": 2890 |
| }, |
| { |
| "epoch": 7.733333333333333, |
| "grad_norm": 1.2944670915603638, |
| "learning_rate": 7.442031750844269e-07, |
| "loss": 0.974, |
| "step": 2900 |
| }, |
| { |
| "epoch": 7.76, |
| "grad_norm": 1.4704028367996216, |
| "learning_rate": 7.277136852114747e-07, |
| "loss": 0.9126, |
| "step": 2910 |
| }, |
| { |
| "epoch": 7.786666666666667, |
| "grad_norm": 1.8540769815444946, |
| "learning_rate": 7.113777570483701e-07, |
| "loss": 0.9673, |
| "step": 2920 |
| }, |
| { |
| "epoch": 7.8133333333333335, |
| "grad_norm": 1.45095694065094, |
| "learning_rate": 6.951968060396963e-07, |
| "loss": 0.9677, |
| "step": 2930 |
| }, |
| { |
| "epoch": 7.84, |
| "grad_norm": 1.4591078758239746, |
| "learning_rate": 6.791722342018656e-07, |
| "loss": 1.0081, |
| "step": 2940 |
| }, |
| { |
| "epoch": 7.866666666666667, |
| "grad_norm": 1.3265269994735718, |
| "learning_rate": 6.633054300016464e-07, |
| "loss": 0.9352, |
| "step": 2950 |
| }, |
| { |
| "epoch": 7.8933333333333335, |
| "grad_norm": 1.5188606977462769, |
| "learning_rate": 6.475977682358558e-07, |
| "loss": 0.9725, |
| "step": 2960 |
| }, |
| { |
| "epoch": 7.92, |
| "grad_norm": 1.5498340129852295, |
| "learning_rate": 6.320506099122359e-07, |
| "loss": 0.9883, |
| "step": 2970 |
| }, |
| { |
| "epoch": 7.946666666666666, |
| "grad_norm": 1.5423794984817505, |
| "learning_rate": 6.166653021315336e-07, |
| "loss": 0.9092, |
| "step": 2980 |
| }, |
| { |
| "epoch": 7.973333333333334, |
| "grad_norm": 1.4549285173416138, |
| "learning_rate": 6.01443177970773e-07, |
| "loss": 0.9351, |
| "step": 2990 |
| }, |
| { |
| "epoch": 8.0, |
| "grad_norm": 1.2420357465744019, |
| "learning_rate": 5.863855563677559e-07, |
| "loss": 0.9546, |
| "step": 3000 |
| }, |
| { |
| "epoch": 8.026666666666667, |
| "grad_norm": 1.233181357383728, |
| "learning_rate": 5.714937420067746e-07, |
| "loss": 0.916, |
| "step": 3010 |
| }, |
| { |
| "epoch": 8.053333333333333, |
| "grad_norm": 1.1143083572387695, |
| "learning_rate": 5.567690252055738e-07, |
| "loss": 0.9752, |
| "step": 3020 |
| }, |
| { |
| "epoch": 8.08, |
| "grad_norm": 1.7582933902740479, |
| "learning_rate": 5.422126818035403e-07, |
| "loss": 0.907, |
| "step": 3030 |
| }, |
| { |
| "epoch": 8.106666666666667, |
| "grad_norm": 1.5106295347213745, |
| "learning_rate": 5.278259730511651e-07, |
| "loss": 0.9487, |
| "step": 3040 |
| }, |
| { |
| "epoch": 8.133333333333333, |
| "grad_norm": 1.3198901414871216, |
| "learning_rate": 5.136101455007541e-07, |
| "loss": 0.922, |
| "step": 3050 |
| }, |
| { |
| "epoch": 8.16, |
| "grad_norm": 1.433039665222168, |
| "learning_rate": 4.995664308984254e-07, |
| "loss": 0.912, |
| "step": 3060 |
| }, |
| { |
| "epoch": 8.186666666666667, |
| "grad_norm": 1.372050404548645, |
| "learning_rate": 4.856960460773766e-07, |
| "loss": 0.9788, |
| "step": 3070 |
| }, |
| { |
| "epoch": 8.213333333333333, |
| "grad_norm": 1.4133652448654175, |
| "learning_rate": 4.7200019285245867e-07, |
| "loss": 0.9483, |
| "step": 3080 |
| }, |
| { |
| "epoch": 8.24, |
| "grad_norm": 1.8541817665100098, |
| "learning_rate": 4.5848005791603533e-07, |
| "loss": 0.9734, |
| "step": 3090 |
| }, |
| { |
| "epoch": 8.266666666666667, |
| "grad_norm": 1.7887778282165527, |
| "learning_rate": 4.451368127351674e-07, |
| "loss": 1.0254, |
| "step": 3100 |
| }, |
| { |
| "epoch": 8.293333333333333, |
| "grad_norm": 1.3291224241256714, |
| "learning_rate": 4.319716134501051e-07, |
| "loss": 0.969, |
| "step": 3110 |
| }, |
| { |
| "epoch": 8.32, |
| "grad_norm": 1.4450148344039917, |
| "learning_rate": 4.1898560077411664e-07, |
| "loss": 0.9059, |
| "step": 3120 |
| }, |
| { |
| "epoch": 8.346666666666668, |
| "grad_norm": 1.4905790090560913, |
| "learning_rate": 4.061798998946459e-07, |
| "loss": 0.9379, |
| "step": 3130 |
| }, |
| { |
| "epoch": 8.373333333333333, |
| "grad_norm": 1.5517672300338745, |
| "learning_rate": 3.935556203758237e-07, |
| "loss": 0.9874, |
| "step": 3140 |
| }, |
| { |
| "epoch": 8.4, |
| "grad_norm": 1.5111827850341797, |
| "learning_rate": 3.8111385606232565e-07, |
| "loss": 0.9313, |
| "step": 3150 |
| }, |
| { |
| "epoch": 8.426666666666666, |
| "grad_norm": 1.3383586406707764, |
| "learning_rate": 3.6885568498459395e-07, |
| "loss": 0.9489, |
| "step": 3160 |
| }, |
| { |
| "epoch": 8.453333333333333, |
| "grad_norm": 1.7002395391464233, |
| "learning_rate": 3.5678216926543384e-07, |
| "loss": 0.9954, |
| "step": 3170 |
| }, |
| { |
| "epoch": 8.48, |
| "grad_norm": 1.522956371307373, |
| "learning_rate": 3.448943550279804e-07, |
| "loss": 0.9239, |
| "step": 3180 |
| }, |
| { |
| "epoch": 8.506666666666666, |
| "grad_norm": 1.3977686166763306, |
| "learning_rate": 3.331932723050596e-07, |
| "loss": 0.9494, |
| "step": 3190 |
| }, |
| { |
| "epoch": 8.533333333333333, |
| "grad_norm": 1.385392427444458, |
| "learning_rate": 3.216799349499383e-07, |
| "loss": 1.0081, |
| "step": 3200 |
| }, |
| { |
| "epoch": 8.56, |
| "grad_norm": 1.3390395641326904, |
| "learning_rate": 3.1035534054847884e-07, |
| "loss": 0.9623, |
| "step": 3210 |
| }, |
| { |
| "epoch": 8.586666666666666, |
| "grad_norm": 1.3952502012252808, |
| "learning_rate": 2.992204703326995e-07, |
| "loss": 0.953, |
| "step": 3220 |
| }, |
| { |
| "epoch": 8.613333333333333, |
| "grad_norm": 1.281001329421997, |
| "learning_rate": 2.882762890957586e-07, |
| "loss": 1.0032, |
| "step": 3230 |
| }, |
| { |
| "epoch": 8.64, |
| "grad_norm": 1.4301480054855347, |
| "learning_rate": 2.7752374510835456e-07, |
| "loss": 0.9094, |
| "step": 3240 |
| }, |
| { |
| "epoch": 8.666666666666666, |
| "grad_norm": 1.2691582441329956, |
| "learning_rate": 2.6696377003656654e-07, |
| "loss": 0.9169, |
| "step": 3250 |
| }, |
| { |
| "epoch": 8.693333333333333, |
| "grad_norm": 1.4293104410171509, |
| "learning_rate": 2.565972788611243e-07, |
| "loss": 0.9849, |
| "step": 3260 |
| }, |
| { |
| "epoch": 8.72, |
| "grad_norm": 1.213094711303711, |
| "learning_rate": 2.46425169798134e-07, |
| "loss": 0.9507, |
| "step": 3270 |
| }, |
| { |
| "epoch": 8.746666666666666, |
| "grad_norm": 1.4834156036376953, |
| "learning_rate": 2.3644832422124565e-07, |
| "loss": 0.9814, |
| "step": 3280 |
| }, |
| { |
| "epoch": 8.773333333333333, |
| "grad_norm": 1.3371623754501343, |
| "learning_rate": 2.2666760658529103e-07, |
| "loss": 0.952, |
| "step": 3290 |
| }, |
| { |
| "epoch": 8.8, |
| "grad_norm": 1.2769241333007812, |
| "learning_rate": 2.1708386435137647e-07, |
| "loss": 0.9713, |
| "step": 3300 |
| }, |
| { |
| "epoch": 8.826666666666666, |
| "grad_norm": 1.410171627998352, |
| "learning_rate": 2.0769792791345945e-07, |
| "loss": 0.9523, |
| "step": 3310 |
| }, |
| { |
| "epoch": 8.853333333333333, |
| "grad_norm": 1.3789598941802979, |
| "learning_rate": 1.9851061052639202e-07, |
| "loss": 1.0252, |
| "step": 3320 |
| }, |
| { |
| "epoch": 8.88, |
| "grad_norm": 1.4115532636642456, |
| "learning_rate": 1.8952270823546253e-07, |
| "loss": 0.9217, |
| "step": 3330 |
| }, |
| { |
| "epoch": 8.906666666666666, |
| "grad_norm": 1.686996340751648, |
| "learning_rate": 1.8073499980741426e-07, |
| "loss": 0.9918, |
| "step": 3340 |
| }, |
| { |
| "epoch": 8.933333333333334, |
| "grad_norm": 1.3518773317337036, |
| "learning_rate": 1.721482466629737e-07, |
| "loss": 0.9355, |
| "step": 3350 |
| }, |
| { |
| "epoch": 8.96, |
| "grad_norm": 1.308510184288025, |
| "learning_rate": 1.637631928108721e-07, |
| "loss": 0.9804, |
| "step": 3360 |
| }, |
| { |
| "epoch": 8.986666666666666, |
| "grad_norm": 1.519740104675293, |
| "learning_rate": 1.5558056478338523e-07, |
| "loss": 0.9214, |
| "step": 3370 |
| }, |
| { |
| "epoch": 9.013333333333334, |
| "grad_norm": 1.4635462760925293, |
| "learning_rate": 1.476010715733761e-07, |
| "loss": 0.9473, |
| "step": 3380 |
| }, |
| { |
| "epoch": 9.04, |
| "grad_norm": 1.6289703845977783, |
| "learning_rate": 1.3982540457286893e-07, |
| "loss": 1.0251, |
| "step": 3390 |
| }, |
| { |
| "epoch": 9.066666666666666, |
| "grad_norm": 1.1922096014022827, |
| "learning_rate": 1.3225423751313942e-07, |
| "loss": 0.9078, |
| "step": 3400 |
| }, |
| { |
| "epoch": 9.093333333333334, |
| "grad_norm": 1.4207053184509277, |
| "learning_rate": 1.248882264063389e-07, |
| "loss": 0.9616, |
| "step": 3410 |
| }, |
| { |
| "epoch": 9.12, |
| "grad_norm": 1.662922739982605, |
| "learning_rate": 1.1772800948865542e-07, |
| "loss": 0.9826, |
| "step": 3420 |
| }, |
| { |
| "epoch": 9.146666666666667, |
| "grad_norm": 1.499869704246521, |
| "learning_rate": 1.1077420716501031e-07, |
| "loss": 0.9619, |
| "step": 3430 |
| }, |
| { |
| "epoch": 9.173333333333334, |
| "grad_norm": 1.6088509559631348, |
| "learning_rate": 1.0402742195530501e-07, |
| "loss": 0.9319, |
| "step": 3440 |
| }, |
| { |
| "epoch": 9.2, |
| "grad_norm": 1.6875691413879395, |
| "learning_rate": 9.748823844221239e-08, |
| "loss": 0.9762, |
| "step": 3450 |
| }, |
| { |
| "epoch": 9.226666666666667, |
| "grad_norm": 1.240744709968567, |
| "learning_rate": 9.115722322052878e-08, |
| "loss": 0.9661, |
| "step": 3460 |
| }, |
| { |
| "epoch": 9.253333333333334, |
| "grad_norm": 1.5115891695022583, |
| "learning_rate": 8.503492484807613e-08, |
| "loss": 0.9694, |
| "step": 3470 |
| }, |
| { |
| "epoch": 9.28, |
| "grad_norm": 1.4953974485397339, |
| "learning_rate": 7.912187379817582e-08, |
| "loss": 0.9815, |
| "step": 3480 |
| }, |
| { |
| "epoch": 9.306666666666667, |
| "grad_norm": 1.2569257020950317, |
| "learning_rate": 7.341858241368182e-08, |
| "loss": 0.9463, |
| "step": 3490 |
| }, |
| { |
| "epoch": 9.333333333333334, |
| "grad_norm": 1.4589368104934692, |
| "learning_rate": 6.79255448625904e-08, |
| "loss": 0.9505, |
| "step": 3500 |
| }, |
| { |
| "epoch": 9.36, |
| "grad_norm": 1.5550317764282227, |
| "learning_rate": 6.264323709522125e-08, |
| "loss": 0.9576, |
| "step": 3510 |
| }, |
| { |
| "epoch": 9.386666666666667, |
| "grad_norm": 1.359791874885559, |
| "learning_rate": 5.7572116802979695e-08, |
| "loss": 0.9569, |
| "step": 3520 |
| }, |
| { |
| "epoch": 9.413333333333334, |
| "grad_norm": 1.360062837600708, |
| "learning_rate": 5.2712623378697035e-08, |
| "loss": 0.9108, |
| "step": 3530 |
| }, |
| { |
| "epoch": 9.44, |
| "grad_norm": 1.419716238975525, |
| "learning_rate": 4.806517787856152e-08, |
| "loss": 0.999, |
| "step": 3540 |
| }, |
| { |
| "epoch": 9.466666666666667, |
| "grad_norm": 1.3147867918014526, |
| "learning_rate": 4.3630182985633093e-08, |
| "loss": 0.9516, |
| "step": 3550 |
| }, |
| { |
| "epoch": 9.493333333333334, |
| "grad_norm": 1.3970048427581787, |
| "learning_rate": 3.940802297495466e-08, |
| "loss": 0.9381, |
| "step": 3560 |
| }, |
| { |
| "epoch": 9.52, |
| "grad_norm": 1.278246283531189, |
| "learning_rate": 3.539906368025453e-08, |
| "loss": 0.9293, |
| "step": 3570 |
| }, |
| { |
| "epoch": 9.546666666666667, |
| "grad_norm": 1.3652037382125854, |
| "learning_rate": 3.1603652462249e-08, |
| "loss": 0.9309, |
| "step": 3580 |
| }, |
| { |
| "epoch": 9.573333333333334, |
| "grad_norm": 1.4681710004806519, |
| "learning_rate": 2.802211817854561e-08, |
| "loss": 0.9415, |
| "step": 3590 |
| }, |
| { |
| "epoch": 9.6, |
| "grad_norm": 1.4077391624450684, |
| "learning_rate": 2.465477115514675e-08, |
| "loss": 0.9555, |
| "step": 3600 |
| }, |
| { |
| "epoch": 9.626666666666667, |
| "grad_norm": 1.8016074895858765, |
| "learning_rate": 2.1501903159563688e-08, |
| "loss": 0.9258, |
| "step": 3610 |
| }, |
| { |
| "epoch": 9.653333333333332, |
| "grad_norm": 1.37924325466156, |
| "learning_rate": 1.856378737553427e-08, |
| "loss": 0.9798, |
| "step": 3620 |
| }, |
| { |
| "epoch": 9.68, |
| "grad_norm": 1.2986595630645752, |
| "learning_rate": 1.584067837935327e-08, |
| "loss": 0.9444, |
| "step": 3630 |
| }, |
| { |
| "epoch": 9.706666666666667, |
| "grad_norm": 1.3296507596969604, |
| "learning_rate": 1.3332812117814731e-08, |
| "loss": 0.9421, |
| "step": 3640 |
| }, |
| { |
| "epoch": 9.733333333333333, |
| "grad_norm": 1.47772216796875, |
| "learning_rate": 1.1040405887767503e-08, |
| "loss": 0.8807, |
| "step": 3650 |
| }, |
| { |
| "epoch": 9.76, |
| "grad_norm": 1.6291658878326416, |
| "learning_rate": 8.963658317286684e-09, |
| "loss": 0.9037, |
| "step": 3660 |
| }, |
| { |
| "epoch": 9.786666666666667, |
| "grad_norm": 1.5793346166610718, |
| "learning_rate": 7.102749348465166e-09, |
| "loss": 0.9839, |
| "step": 3670 |
| }, |
| { |
| "epoch": 9.813333333333333, |
| "grad_norm": 1.3573871850967407, |
| "learning_rate": 5.457840221820831e-09, |
| "loss": 0.9405, |
| "step": 3680 |
| }, |
| { |
| "epoch": 9.84, |
| "grad_norm": 1.3204113245010376, |
| "learning_rate": 4.029073462325506e-09, |
| "loss": 0.9589, |
| "step": 3690 |
| }, |
| { |
| "epoch": 9.866666666666667, |
| "grad_norm": 1.4250832796096802, |
| "learning_rate": 2.8165728670573324e-09, |
| "loss": 0.8948, |
| "step": 3700 |
| }, |
| { |
| "epoch": 9.893333333333333, |
| "grad_norm": 1.9013235569000244, |
| "learning_rate": 1.8204434944729676e-09, |
| "loss": 1.0401, |
| "step": 3710 |
| }, |
| { |
| "epoch": 9.92, |
| "grad_norm": 1.3507270812988281, |
| "learning_rate": 1.0407716553040291e-09, |
| "loss": 0.9874, |
| "step": 3720 |
| }, |
| { |
| "epoch": 9.946666666666667, |
| "grad_norm": 1.3722429275512695, |
| "learning_rate": 4.77624905080576e-10, |
| "loss": 0.9466, |
| "step": 3730 |
| }, |
| { |
| "epoch": 9.973333333333333, |
| "grad_norm": 1.249128818511963, |
| "learning_rate": 1.3105203827634693e-10, |
| "loss": 0.9351, |
| "step": 3740 |
| }, |
| { |
| "epoch": 10.0, |
| "grad_norm": 1.5156923532485962, |
| "learning_rate": 1.0830840810327482e-12, |
| "loss": 0.9953, |
| "step": 3750 |
| } |
| ], |
| "logging_steps": 10, |
| "max_steps": 3750, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 10, |
| "save_steps": 500, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": true |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 3.3564794130805555e+17, |
| "train_batch_size": 8, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
