| { |
| "best_global_step": null, |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 10.0, |
| "eval_steps": 500, |
| "global_step": 3750, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.02666666666666667, |
| "grad_norm": 1.3260700702667236, |
| "learning_rate": 1.2000000000000002e-07, |
| "loss": 2.9661, |
| "step": 10 |
| }, |
| { |
| "epoch": 0.05333333333333334, |
| "grad_norm": 1.2190521955490112, |
| "learning_rate": 2.533333333333333e-07, |
| "loss": 2.8546, |
| "step": 20 |
| }, |
| { |
| "epoch": 0.08, |
| "grad_norm": 1.063557744026184, |
| "learning_rate": 3.8666666666666674e-07, |
| "loss": 2.7771, |
| "step": 30 |
| }, |
| { |
| "epoch": 0.10666666666666667, |
| "grad_norm": 1.1022443771362305, |
| "learning_rate": 5.2e-07, |
| "loss": 2.7986, |
| "step": 40 |
| }, |
| { |
| "epoch": 0.13333333333333333, |
| "grad_norm": 1.0045348405838013, |
| "learning_rate": 6.533333333333334e-07, |
| "loss": 2.7848, |
| "step": 50 |
| }, |
| { |
| "epoch": 0.16, |
| "grad_norm": 1.1520053148269653, |
| "learning_rate": 7.866666666666667e-07, |
| "loss": 2.7392, |
| "step": 60 |
| }, |
| { |
| "epoch": 0.18666666666666668, |
| "grad_norm": 1.1911686658859253, |
| "learning_rate": 9.200000000000001e-07, |
| "loss": 2.8294, |
| "step": 70 |
| }, |
| { |
| "epoch": 0.21333333333333335, |
| "grad_norm": 0.8869664072990417, |
| "learning_rate": 1.0533333333333333e-06, |
| "loss": 2.7817, |
| "step": 80 |
| }, |
| { |
| "epoch": 0.24, |
| "grad_norm": 1.3061726093292236, |
| "learning_rate": 1.1866666666666668e-06, |
| "loss": 2.8212, |
| "step": 90 |
| }, |
| { |
| "epoch": 0.26666666666666666, |
| "grad_norm": 1.6410006284713745, |
| "learning_rate": 1.32e-06, |
| "loss": 2.8196, |
| "step": 100 |
| }, |
| { |
| "epoch": 0.29333333333333333, |
| "grad_norm": 1.4250684976577759, |
| "learning_rate": 1.4533333333333335e-06, |
| "loss": 2.6571, |
| "step": 110 |
| }, |
| { |
| "epoch": 0.32, |
| "grad_norm": 1.6860215663909912, |
| "learning_rate": 1.586666666666667e-06, |
| "loss": 2.7758, |
| "step": 120 |
| }, |
| { |
| "epoch": 0.3466666666666667, |
| "grad_norm": 1.3881759643554688, |
| "learning_rate": 1.72e-06, |
| "loss": 2.7617, |
| "step": 130 |
| }, |
| { |
| "epoch": 0.37333333333333335, |
| "grad_norm": 1.5089608430862427, |
| "learning_rate": 1.8533333333333333e-06, |
| "loss": 2.6495, |
| "step": 140 |
| }, |
| { |
| "epoch": 0.4, |
| "grad_norm": 1.2898715734481812, |
| "learning_rate": 1.9866666666666666e-06, |
| "loss": 2.7944, |
| "step": 150 |
| }, |
| { |
| "epoch": 0.4266666666666667, |
| "grad_norm": 2.510946273803711, |
| "learning_rate": 2.12e-06, |
| "loss": 2.7703, |
| "step": 160 |
| }, |
| { |
| "epoch": 0.4533333333333333, |
| "grad_norm": 1.4257193803787231, |
| "learning_rate": 2.2533333333333335e-06, |
| "loss": 2.6653, |
| "step": 170 |
| }, |
| { |
| "epoch": 0.48, |
| "grad_norm": 1.9228178262710571, |
| "learning_rate": 2.386666666666667e-06, |
| "loss": 2.6569, |
| "step": 180 |
| }, |
| { |
| "epoch": 0.5066666666666667, |
| "grad_norm": 1.9167159795761108, |
| "learning_rate": 2.52e-06, |
| "loss": 2.5694, |
| "step": 190 |
| }, |
| { |
| "epoch": 0.5333333333333333, |
| "grad_norm": 1.9402084350585938, |
| "learning_rate": 2.6533333333333335e-06, |
| "loss": 2.4804, |
| "step": 200 |
| }, |
| { |
| "epoch": 0.56, |
| "grad_norm": 1.3673012256622314, |
| "learning_rate": 2.786666666666667e-06, |
| "loss": 2.3965, |
| "step": 210 |
| }, |
| { |
| "epoch": 0.5866666666666667, |
| "grad_norm": 1.1642200946807861, |
| "learning_rate": 2.92e-06, |
| "loss": 2.4015, |
| "step": 220 |
| }, |
| { |
| "epoch": 0.6133333333333333, |
| "grad_norm": 0.8972470760345459, |
| "learning_rate": 3.053333333333334e-06, |
| "loss": 2.2293, |
| "step": 230 |
| }, |
| { |
| "epoch": 0.64, |
| "grad_norm": 1.0226929187774658, |
| "learning_rate": 3.186666666666667e-06, |
| "loss": 2.2138, |
| "step": 240 |
| }, |
| { |
| "epoch": 0.6666666666666666, |
| "grad_norm": 1.28902006149292, |
| "learning_rate": 3.3200000000000004e-06, |
| "loss": 2.1027, |
| "step": 250 |
| }, |
| { |
| "epoch": 0.6933333333333334, |
| "grad_norm": 1.0202113389968872, |
| "learning_rate": 3.4533333333333334e-06, |
| "loss": 2.0698, |
| "step": 260 |
| }, |
| { |
| "epoch": 0.72, |
| "grad_norm": 0.9459338188171387, |
| "learning_rate": 3.5866666666666673e-06, |
| "loss": 2.0861, |
| "step": 270 |
| }, |
| { |
| "epoch": 0.7466666666666667, |
| "grad_norm": 1.0297719240188599, |
| "learning_rate": 3.7200000000000004e-06, |
| "loss": 2.0712, |
| "step": 280 |
| }, |
| { |
| "epoch": 0.7733333333333333, |
| "grad_norm": 1.0611679553985596, |
| "learning_rate": 3.853333333333334e-06, |
| "loss": 1.9712, |
| "step": 290 |
| }, |
| { |
| "epoch": 0.8, |
| "grad_norm": 0.9117859601974487, |
| "learning_rate": 3.986666666666667e-06, |
| "loss": 2.0212, |
| "step": 300 |
| }, |
| { |
| "epoch": 0.8266666666666667, |
| "grad_norm": 0.820168673992157, |
| "learning_rate": 4.12e-06, |
| "loss": 1.9746, |
| "step": 310 |
| }, |
| { |
| "epoch": 0.8533333333333334, |
| "grad_norm": 0.7669106125831604, |
| "learning_rate": 4.253333333333334e-06, |
| "loss": 1.9602, |
| "step": 320 |
| }, |
| { |
| "epoch": 0.88, |
| "grad_norm": 0.7456678748130798, |
| "learning_rate": 4.3866666666666665e-06, |
| "loss": 1.9342, |
| "step": 330 |
| }, |
| { |
| "epoch": 0.9066666666666666, |
| "grad_norm": 0.8794134855270386, |
| "learning_rate": 4.520000000000001e-06, |
| "loss": 1.9663, |
| "step": 340 |
| }, |
| { |
| "epoch": 0.9333333333333333, |
| "grad_norm": 0.6996933221817017, |
| "learning_rate": 4.653333333333333e-06, |
| "loss": 1.9244, |
| "step": 350 |
| }, |
| { |
| "epoch": 0.96, |
| "grad_norm": 1.4994454383850098, |
| "learning_rate": 4.786666666666667e-06, |
| "loss": 1.9133, |
| "step": 360 |
| }, |
| { |
| "epoch": 0.9866666666666667, |
| "grad_norm": 0.8297287225723267, |
| "learning_rate": 4.92e-06, |
| "loss": 1.9561, |
| "step": 370 |
| }, |
| { |
| "epoch": 1.0133333333333334, |
| "grad_norm": 0.793429970741272, |
| "learning_rate": 4.999982670673473e-06, |
| "loss": 1.8335, |
| "step": 380 |
| }, |
| { |
| "epoch": 1.04, |
| "grad_norm": 1.2577004432678223, |
| "learning_rate": 4.999787718509086e-06, |
| "loss": 1.9429, |
| "step": 390 |
| }, |
| { |
| "epoch": 1.0666666666666667, |
| "grad_norm": 0.8015560507774353, |
| "learning_rate": 4.999376169470306e-06, |
| "loss": 1.9304, |
| "step": 400 |
| }, |
| { |
| "epoch": 1.0933333333333333, |
| "grad_norm": 0.6889002323150635, |
| "learning_rate": 4.998748059216254e-06, |
| "loss": 1.7845, |
| "step": 410 |
| }, |
| { |
| "epoch": 1.12, |
| "grad_norm": 0.9721826314926147, |
| "learning_rate": 4.997903442170241e-06, |
| "loss": 1.8076, |
| "step": 420 |
| }, |
| { |
| "epoch": 1.1466666666666667, |
| "grad_norm": 1.0830353498458862, |
| "learning_rate": 4.996842391515045e-06, |
| "loss": 1.8498, |
| "step": 430 |
| }, |
| { |
| "epoch": 1.1733333333333333, |
| "grad_norm": 0.6819325089454651, |
| "learning_rate": 4.995564999186572e-06, |
| "loss": 1.8069, |
| "step": 440 |
| }, |
| { |
| "epoch": 1.2, |
| "grad_norm": 0.8205446004867554, |
| "learning_rate": 4.994071375865898e-06, |
| "loss": 1.8426, |
| "step": 450 |
| }, |
| { |
| "epoch": 1.2266666666666666, |
| "grad_norm": 0.7085703611373901, |
| "learning_rate": 4.992361650969668e-06, |
| "loss": 1.7295, |
| "step": 460 |
| }, |
| { |
| "epoch": 1.2533333333333334, |
| "grad_norm": 0.7688453197479248, |
| "learning_rate": 4.990435972638888e-06, |
| "loss": 1.8634, |
| "step": 470 |
| }, |
| { |
| "epoch": 1.28, |
| "grad_norm": 0.7346873879432678, |
| "learning_rate": 4.988294507726089e-06, |
| "loss": 1.7841, |
| "step": 480 |
| }, |
| { |
| "epoch": 1.3066666666666666, |
| "grad_norm": 0.6709712743759155, |
| "learning_rate": 4.98593744178087e-06, |
| "loss": 1.7151, |
| "step": 490 |
| }, |
| { |
| "epoch": 1.3333333333333333, |
| "grad_norm": 0.7021077871322632, |
| "learning_rate": 4.983364979033819e-06, |
| "loss": 1.7789, |
| "step": 500 |
| }, |
| { |
| "epoch": 1.3599999999999999, |
| "grad_norm": 0.6195208430290222, |
| "learning_rate": 4.980577342378818e-06, |
| "loss": 1.8095, |
| "step": 510 |
| }, |
| { |
| "epoch": 1.3866666666666667, |
| "grad_norm": 0.8497361540794373, |
| "learning_rate": 4.977574773353732e-06, |
| "loss": 1.7106, |
| "step": 520 |
| }, |
| { |
| "epoch": 1.4133333333333333, |
| "grad_norm": 0.9590965509414673, |
| "learning_rate": 4.974357532119478e-06, |
| "loss": 1.7598, |
| "step": 530 |
| }, |
| { |
| "epoch": 1.44, |
| "grad_norm": 0.6314051151275635, |
| "learning_rate": 4.970925897437484e-06, |
| "loss": 1.7866, |
| "step": 540 |
| }, |
| { |
| "epoch": 1.4666666666666668, |
| "grad_norm": 0.6002180576324463, |
| "learning_rate": 4.967280166645538e-06, |
| "loss": 1.7957, |
| "step": 550 |
| }, |
| { |
| "epoch": 1.4933333333333334, |
| "grad_norm": 0.9273757934570312, |
| "learning_rate": 4.9634206556320186e-06, |
| "loss": 1.7368, |
| "step": 560 |
| }, |
| { |
| "epoch": 1.52, |
| "grad_norm": 0.9748147130012512, |
| "learning_rate": 4.959347698808532e-06, |
| "loss": 1.7901, |
| "step": 570 |
| }, |
| { |
| "epoch": 1.5466666666666666, |
| "grad_norm": 0.7918932437896729, |
| "learning_rate": 4.95506164908093e-06, |
| "loss": 1.7963, |
| "step": 580 |
| }, |
| { |
| "epoch": 1.5733333333333333, |
| "grad_norm": 0.823905348777771, |
| "learning_rate": 4.9505628778187365e-06, |
| "loss": 1.8262, |
| "step": 590 |
| }, |
| { |
| "epoch": 1.6, |
| "grad_norm": 0.7708048820495605, |
| "learning_rate": 4.94585177482297e-06, |
| "loss": 1.784, |
| "step": 600 |
| }, |
| { |
| "epoch": 1.6266666666666667, |
| "grad_norm": 0.6546101570129395, |
| "learning_rate": 4.940928748292363e-06, |
| "loss": 1.7299, |
| "step": 610 |
| }, |
| { |
| "epoch": 1.6533333333333333, |
| "grad_norm": 0.9508903622627258, |
| "learning_rate": 4.9357942247879995e-06, |
| "loss": 1.7814, |
| "step": 620 |
| }, |
| { |
| "epoch": 1.6800000000000002, |
| "grad_norm": 0.8177071213722229, |
| "learning_rate": 4.930448649196356e-06, |
| "loss": 1.7693, |
| "step": 630 |
| }, |
| { |
| "epoch": 1.7066666666666666, |
| "grad_norm": 0.8351238369941711, |
| "learning_rate": 4.924892484690744e-06, |
| "loss": 1.7546, |
| "step": 640 |
| }, |
| { |
| "epoch": 1.7333333333333334, |
| "grad_norm": 0.6392200589179993, |
| "learning_rate": 4.91912621269119e-06, |
| "loss": 1.7813, |
| "step": 650 |
| }, |
| { |
| "epoch": 1.76, |
| "grad_norm": 0.7682125568389893, |
| "learning_rate": 4.913150332822716e-06, |
| "loss": 1.705, |
| "step": 660 |
| }, |
| { |
| "epoch": 1.7866666666666666, |
| "grad_norm": 0.853183925151825, |
| "learning_rate": 4.906965362872048e-06, |
| "loss": 1.7138, |
| "step": 670 |
| }, |
| { |
| "epoch": 1.8133333333333335, |
| "grad_norm": 0.6856978535652161, |
| "learning_rate": 4.9005718387427546e-06, |
| "loss": 1.7742, |
| "step": 680 |
| }, |
| { |
| "epoch": 1.8399999999999999, |
| "grad_norm": 0.7499570846557617, |
| "learning_rate": 4.893970314408813e-06, |
| "loss": 1.8262, |
| "step": 690 |
| }, |
| { |
| "epoch": 1.8666666666666667, |
| "grad_norm": 0.9084373712539673, |
| "learning_rate": 4.887161361866608e-06, |
| "loss": 1.7991, |
| "step": 700 |
| }, |
| { |
| "epoch": 1.8933333333333333, |
| "grad_norm": 0.7706170082092285, |
| "learning_rate": 4.880145571085369e-06, |
| "loss": 1.7892, |
| "step": 710 |
| }, |
| { |
| "epoch": 1.92, |
| "grad_norm": 0.8223916292190552, |
| "learning_rate": 4.872923549956058e-06, |
| "loss": 1.7989, |
| "step": 720 |
| }, |
| { |
| "epoch": 1.9466666666666668, |
| "grad_norm": 0.8382287621498108, |
| "learning_rate": 4.86549592423869e-06, |
| "loss": 1.8062, |
| "step": 730 |
| }, |
| { |
| "epoch": 1.9733333333333334, |
| "grad_norm": 0.562559187412262, |
| "learning_rate": 4.857863337508119e-06, |
| "loss": 1.7391, |
| "step": 740 |
| }, |
| { |
| "epoch": 2.0, |
| "grad_norm": 0.9999620914459229, |
| "learning_rate": 4.850026451098271e-06, |
| "loss": 1.7954, |
| "step": 750 |
| }, |
| { |
| "epoch": 2.026666666666667, |
| "grad_norm": 0.7311544418334961, |
| "learning_rate": 4.841985944044845e-06, |
| "loss": 1.7463, |
| "step": 760 |
| }, |
| { |
| "epoch": 2.0533333333333332, |
| "grad_norm": 0.8479844331741333, |
| "learning_rate": 4.833742513026478e-06, |
| "loss": 1.7205, |
| "step": 770 |
| }, |
| { |
| "epoch": 2.08, |
| "grad_norm": 0.9184486865997314, |
| "learning_rate": 4.825296872304377e-06, |
| "loss": 1.7573, |
| "step": 780 |
| }, |
| { |
| "epoch": 2.1066666666666665, |
| "grad_norm": 0.8509571552276611, |
| "learning_rate": 4.816649753660431e-06, |
| "loss": 1.7615, |
| "step": 790 |
| }, |
| { |
| "epoch": 2.1333333333333333, |
| "grad_norm": 0.6607502698898315, |
| "learning_rate": 4.807801906333809e-06, |
| "loss": 1.7398, |
| "step": 800 |
| }, |
| { |
| "epoch": 2.16, |
| "grad_norm": 0.8238988518714905, |
| "learning_rate": 4.7987540969560385e-06, |
| "loss": 1.7306, |
| "step": 810 |
| }, |
| { |
| "epoch": 2.1866666666666665, |
| "grad_norm": 0.868171215057373, |
| "learning_rate": 4.789507109484579e-06, |
| "loss": 1.7441, |
| "step": 820 |
| }, |
| { |
| "epoch": 2.2133333333333334, |
| "grad_norm": 0.7437669038772583, |
| "learning_rate": 4.7800617451348974e-06, |
| "loss": 1.7433, |
| "step": 830 |
| }, |
| { |
| "epoch": 2.24, |
| "grad_norm": 0.7135257720947266, |
| "learning_rate": 4.770418822311046e-06, |
| "loss": 1.789, |
| "step": 840 |
| }, |
| { |
| "epoch": 2.2666666666666666, |
| "grad_norm": 0.8468518853187561, |
| "learning_rate": 4.760579176534747e-06, |
| "loss": 1.7478, |
| "step": 850 |
| }, |
| { |
| "epoch": 2.2933333333333334, |
| "grad_norm": 1.2122632265090942, |
| "learning_rate": 4.750543660373004e-06, |
| "loss": 1.6655, |
| "step": 860 |
| }, |
| { |
| "epoch": 2.32, |
| "grad_norm": 0.7517653107643127, |
| "learning_rate": 4.7403131433642226e-06, |
| "loss": 1.6733, |
| "step": 870 |
| }, |
| { |
| "epoch": 2.3466666666666667, |
| "grad_norm": 0.9318462014198303, |
| "learning_rate": 4.729888511942877e-06, |
| "loss": 1.7519, |
| "step": 880 |
| }, |
| { |
| "epoch": 2.3733333333333335, |
| "grad_norm": 0.854913592338562, |
| "learning_rate": 4.719270669362699e-06, |
| "loss": 1.7217, |
| "step": 890 |
| }, |
| { |
| "epoch": 2.4, |
| "grad_norm": 0.67042475938797, |
| "learning_rate": 4.708460535618411e-06, |
| "loss": 1.7709, |
| "step": 900 |
| }, |
| { |
| "epoch": 2.4266666666666667, |
| "grad_norm": 0.7077845931053162, |
| "learning_rate": 4.697459047366022e-06, |
| "loss": 1.7217, |
| "step": 910 |
| }, |
| { |
| "epoch": 2.453333333333333, |
| "grad_norm": 0.7887906432151794, |
| "learning_rate": 4.68626715784166e-06, |
| "loss": 1.7028, |
| "step": 920 |
| }, |
| { |
| "epoch": 2.48, |
| "grad_norm": 0.8714291453361511, |
| "learning_rate": 4.674885836778983e-06, |
| "loss": 1.824, |
| "step": 930 |
| }, |
| { |
| "epoch": 2.506666666666667, |
| "grad_norm": 0.8725156784057617, |
| "learning_rate": 4.6633160703251556e-06, |
| "loss": 1.7337, |
| "step": 940 |
| }, |
| { |
| "epoch": 2.533333333333333, |
| "grad_norm": 0.6795626282691956, |
| "learning_rate": 4.6515588609554006e-06, |
| "loss": 1.7776, |
| "step": 950 |
| }, |
| { |
| "epoch": 2.56, |
| "grad_norm": 0.8653692603111267, |
| "learning_rate": 4.639615227386141e-06, |
| "loss": 1.6206, |
| "step": 960 |
| }, |
| { |
| "epoch": 2.586666666666667, |
| "grad_norm": 0.7805237770080566, |
| "learning_rate": 4.62748620448673e-06, |
| "loss": 1.7503, |
| "step": 970 |
| }, |
| { |
| "epoch": 2.6133333333333333, |
| "grad_norm": 0.7651466727256775, |
| "learning_rate": 4.615172843189785e-06, |
| "loss": 1.7778, |
| "step": 980 |
| }, |
| { |
| "epoch": 2.64, |
| "grad_norm": 0.8041864633560181, |
| "learning_rate": 4.602676210400126e-06, |
| "loss": 1.6354, |
| "step": 990 |
| }, |
| { |
| "epoch": 2.6666666666666665, |
| "grad_norm": 0.7719329595565796, |
| "learning_rate": 4.589997388902339e-06, |
| "loss": 1.7719, |
| "step": 1000 |
| }, |
| { |
| "epoch": 2.6933333333333334, |
| "grad_norm": 0.9812129735946655, |
| "learning_rate": 4.577137477266948e-06, |
| "loss": 1.7822, |
| "step": 1010 |
| }, |
| { |
| "epoch": 2.7199999999999998, |
| "grad_norm": 0.7337241172790527, |
| "learning_rate": 4.564097589755233e-06, |
| "loss": 1.7204, |
| "step": 1020 |
| }, |
| { |
| "epoch": 2.7466666666666666, |
| "grad_norm": 0.5740780234336853, |
| "learning_rate": 4.550878856222684e-06, |
| "loss": 1.7386, |
| "step": 1030 |
| }, |
| { |
| "epoch": 2.7733333333333334, |
| "grad_norm": 0.7582064270973206, |
| "learning_rate": 4.537482422021105e-06, |
| "loss": 1.7177, |
| "step": 1040 |
| }, |
| { |
| "epoch": 2.8, |
| "grad_norm": 0.775303304195404, |
| "learning_rate": 4.523909447899365e-06, |
| "loss": 1.7284, |
| "step": 1050 |
| }, |
| { |
| "epoch": 2.8266666666666667, |
| "grad_norm": 0.7809900641441345, |
| "learning_rate": 4.510161109902837e-06, |
| "loss": 1.7085, |
| "step": 1060 |
| }, |
| { |
| "epoch": 2.8533333333333335, |
| "grad_norm": 0.8396899700164795, |
| "learning_rate": 4.496238599271485e-06, |
| "loss": 1.684, |
| "step": 1070 |
| }, |
| { |
| "epoch": 2.88, |
| "grad_norm": 0.7145466208457947, |
| "learning_rate": 4.482143122336658e-06, |
| "loss": 1.7753, |
| "step": 1080 |
| }, |
| { |
| "epoch": 2.9066666666666667, |
| "grad_norm": 0.7297652959823608, |
| "learning_rate": 4.467875900416558e-06, |
| "loss": 1.6807, |
| "step": 1090 |
| }, |
| { |
| "epoch": 2.9333333333333336, |
| "grad_norm": 0.7068011164665222, |
| "learning_rate": 4.4534381697104255e-06, |
| "loss": 1.7068, |
| "step": 1100 |
| }, |
| { |
| "epoch": 2.96, |
| "grad_norm": 0.7846283316612244, |
| "learning_rate": 4.438831181191422e-06, |
| "loss": 1.6906, |
| "step": 1110 |
| }, |
| { |
| "epoch": 2.986666666666667, |
| "grad_norm": 0.8811623454093933, |
| "learning_rate": 4.424056200498237e-06, |
| "loss": 1.6248, |
| "step": 1120 |
| }, |
| { |
| "epoch": 3.013333333333333, |
| "grad_norm": 0.8921287059783936, |
| "learning_rate": 4.409114507825431e-06, |
| "loss": 1.6849, |
| "step": 1130 |
| }, |
| { |
| "epoch": 3.04, |
| "grad_norm": 0.6005886793136597, |
| "learning_rate": 4.394007397812509e-06, |
| "loss": 1.7756, |
| "step": 1140 |
| }, |
| { |
| "epoch": 3.066666666666667, |
| "grad_norm": 0.8570132851600647, |
| "learning_rate": 4.3787361794317405e-06, |
| "loss": 1.6584, |
| "step": 1150 |
| }, |
| { |
| "epoch": 3.0933333333333333, |
| "grad_norm": 0.7680262923240662, |
| "learning_rate": 4.363302175874751e-06, |
| "loss": 1.7428, |
| "step": 1160 |
| }, |
| { |
| "epoch": 3.12, |
| "grad_norm": 0.9048510789871216, |
| "learning_rate": 4.347706724437865e-06, |
| "loss": 1.6959, |
| "step": 1170 |
| }, |
| { |
| "epoch": 3.1466666666666665, |
| "grad_norm": 0.7438698410987854, |
| "learning_rate": 4.33195117640624e-06, |
| "loss": 1.7442, |
| "step": 1180 |
| }, |
| { |
| "epoch": 3.1733333333333333, |
| "grad_norm": 0.7802926301956177, |
| "learning_rate": 4.316036896936774e-06, |
| "loss": 1.6798, |
| "step": 1190 |
| }, |
| { |
| "epoch": 3.2, |
| "grad_norm": 0.8764957785606384, |
| "learning_rate": 4.299965264939834e-06, |
| "loss": 1.7208, |
| "step": 1200 |
| }, |
| { |
| "epoch": 3.2266666666666666, |
| "grad_norm": 0.8330620527267456, |
| "learning_rate": 4.283737672959766e-06, |
| "loss": 1.6817, |
| "step": 1210 |
| }, |
| { |
| "epoch": 3.2533333333333334, |
| "grad_norm": 0.905133068561554, |
| "learning_rate": 4.267355527054243e-06, |
| "loss": 1.7485, |
| "step": 1220 |
| }, |
| { |
| "epoch": 3.2800000000000002, |
| "grad_norm": 0.6527189612388611, |
| "learning_rate": 4.250820246672433e-06, |
| "loss": 1.7212, |
| "step": 1230 |
| }, |
| { |
| "epoch": 3.3066666666666666, |
| "grad_norm": 0.7526225447654724, |
| "learning_rate": 4.234133264532012e-06, |
| "loss": 1.7012, |
| "step": 1240 |
| }, |
| { |
| "epoch": 3.3333333333333335, |
| "grad_norm": 0.7123927474021912, |
| "learning_rate": 4.217296026495022e-06, |
| "loss": 1.6295, |
| "step": 1250 |
| }, |
| { |
| "epoch": 3.36, |
| "grad_norm": 0.8093245625495911, |
| "learning_rate": 4.200309991442591e-06, |
| "loss": 1.7663, |
| "step": 1260 |
| }, |
| { |
| "epoch": 3.3866666666666667, |
| "grad_norm": 1.3336246013641357, |
| "learning_rate": 4.1831766311485345e-06, |
| "loss": 1.717, |
| "step": 1270 |
| }, |
| { |
| "epoch": 3.413333333333333, |
| "grad_norm": 0.7733551263809204, |
| "learning_rate": 4.165897430151822e-06, |
| "loss": 1.725, |
| "step": 1280 |
| }, |
| { |
| "epoch": 3.44, |
| "grad_norm": 0.8533732295036316, |
| "learning_rate": 4.148473885627952e-06, |
| "loss": 1.7301, |
| "step": 1290 |
| }, |
| { |
| "epoch": 3.466666666666667, |
| "grad_norm": 0.9067566990852356, |
| "learning_rate": 4.130907507259233e-06, |
| "loss": 1.7135, |
| "step": 1300 |
| }, |
| { |
| "epoch": 3.493333333333333, |
| "grad_norm": 0.7603811621665955, |
| "learning_rate": 4.113199817103964e-06, |
| "loss": 1.7212, |
| "step": 1310 |
| }, |
| { |
| "epoch": 3.52, |
| "grad_norm": 0.8485473990440369, |
| "learning_rate": 4.095352349464564e-06, |
| "loss": 1.6639, |
| "step": 1320 |
| }, |
| { |
| "epoch": 3.546666666666667, |
| "grad_norm": 0.7045131921768188, |
| "learning_rate": 4.077366650754624e-06, |
| "loss": 1.7154, |
| "step": 1330 |
| }, |
| { |
| "epoch": 3.5733333333333333, |
| "grad_norm": 1.1325947046279907, |
| "learning_rate": 4.059244279364923e-06, |
| "loss": 1.7172, |
| "step": 1340 |
| }, |
| { |
| "epoch": 3.6, |
| "grad_norm": 0.9101923704147339, |
| "learning_rate": 4.040986805528392e-06, |
| "loss": 1.7554, |
| "step": 1350 |
| }, |
| { |
| "epoch": 3.626666666666667, |
| "grad_norm": 0.758923351764679, |
| "learning_rate": 4.022595811184064e-06, |
| "loss": 1.6887, |
| "step": 1360 |
| }, |
| { |
| "epoch": 3.6533333333333333, |
| "grad_norm": 0.8347360491752625, |
| "learning_rate": 4.004072889840006e-06, |
| "loss": 1.6517, |
| "step": 1370 |
| }, |
| { |
| "epoch": 3.68, |
| "grad_norm": 0.678141713142395, |
| "learning_rate": 3.985419646435244e-06, |
| "loss": 1.6396, |
| "step": 1380 |
| }, |
| { |
| "epoch": 3.7066666666666666, |
| "grad_norm": 0.6728235483169556, |
| "learning_rate": 3.966637697200704e-06, |
| "loss": 1.6285, |
| "step": 1390 |
| }, |
| { |
| "epoch": 3.7333333333333334, |
| "grad_norm": 0.882037878036499, |
| "learning_rate": 3.94772866951917e-06, |
| "loss": 1.6916, |
| "step": 1400 |
| }, |
| { |
| "epoch": 3.76, |
| "grad_norm": 0.8103038668632507, |
| "learning_rate": 3.928694201784282e-06, |
| "loss": 1.7442, |
| "step": 1410 |
| }, |
| { |
| "epoch": 3.7866666666666666, |
| "grad_norm": 0.8916019201278687, |
| "learning_rate": 3.909535943258567e-06, |
| "loss": 1.7152, |
| "step": 1420 |
| }, |
| { |
| "epoch": 3.8133333333333335, |
| "grad_norm": 0.8124565482139587, |
| "learning_rate": 3.890255553930548e-06, |
| "loss": 1.584, |
| "step": 1430 |
| }, |
| { |
| "epoch": 3.84, |
| "grad_norm": 1.175717830657959, |
| "learning_rate": 3.870854704370902e-06, |
| "loss": 1.6622, |
| "step": 1440 |
| }, |
| { |
| "epoch": 3.8666666666666667, |
| "grad_norm": 0.7688944339752197, |
| "learning_rate": 3.851335075587717e-06, |
| "loss": 1.6617, |
| "step": 1450 |
| }, |
| { |
| "epoch": 3.8933333333333335, |
| "grad_norm": 0.8198382258415222, |
| "learning_rate": 3.831698358880843e-06, |
| "loss": 1.7615, |
| "step": 1460 |
| }, |
| { |
| "epoch": 3.92, |
| "grad_norm": 0.9463858008384705, |
| "learning_rate": 3.8119462556953358e-06, |
| "loss": 1.7056, |
| "step": 1470 |
| }, |
| { |
| "epoch": 3.9466666666666668, |
| "grad_norm": 0.860659658908844, |
| "learning_rate": 3.7920804774740427e-06, |
| "loss": 1.7146, |
| "step": 1480 |
| }, |
| { |
| "epoch": 3.9733333333333336, |
| "grad_norm": 0.6901930570602417, |
| "learning_rate": 3.772102745509313e-06, |
| "loss": 1.6673, |
| "step": 1490 |
| }, |
| { |
| "epoch": 4.0, |
| "grad_norm": 0.8208654522895813, |
| "learning_rate": 3.75201479079385e-06, |
| "loss": 1.6727, |
| "step": 1500 |
| }, |
| { |
| "epoch": 4.026666666666666, |
| "grad_norm": 0.8625465035438538, |
| "learning_rate": 3.731818353870729e-06, |
| "loss": 1.7461, |
| "step": 1510 |
| }, |
| { |
| "epoch": 4.053333333333334, |
| "grad_norm": 0.9363060593605042, |
| "learning_rate": 3.7115151846825874e-06, |
| "loss": 1.6987, |
| "step": 1520 |
| }, |
| { |
| "epoch": 4.08, |
| "grad_norm": 0.85496985912323, |
| "learning_rate": 3.6911070424199967e-06, |
| "loss": 1.7011, |
| "step": 1530 |
| }, |
| { |
| "epoch": 4.1066666666666665, |
| "grad_norm": 0.7028411626815796, |
| "learning_rate": 3.6705956953690364e-06, |
| "loss": 1.7364, |
| "step": 1540 |
| }, |
| { |
| "epoch": 4.133333333333334, |
| "grad_norm": 0.7788967490196228, |
| "learning_rate": 3.649982920758082e-06, |
| "loss": 1.6497, |
| "step": 1550 |
| }, |
| { |
| "epoch": 4.16, |
| "grad_norm": 0.7477676272392273, |
| "learning_rate": 3.6292705046038077e-06, |
| "loss": 1.6234, |
| "step": 1560 |
| }, |
| { |
| "epoch": 4.1866666666666665, |
| "grad_norm": 0.9469152092933655, |
| "learning_rate": 3.608460241556443e-06, |
| "loss": 1.7088, |
| "step": 1570 |
| }, |
| { |
| "epoch": 4.213333333333333, |
| "grad_norm": 0.71943598985672, |
| "learning_rate": 3.5875539347442694e-06, |
| "loss": 1.6717, |
| "step": 1580 |
| }, |
| { |
| "epoch": 4.24, |
| "grad_norm": 1.0844371318817139, |
| "learning_rate": 3.5665533956173857e-06, |
| "loss": 1.6755, |
| "step": 1590 |
| }, |
| { |
| "epoch": 4.266666666666667, |
| "grad_norm": 0.6315621137619019, |
| "learning_rate": 3.5454604437907535e-06, |
| "loss": 1.7006, |
| "step": 1600 |
| }, |
| { |
| "epoch": 4.293333333333333, |
| "grad_norm": 1.314296007156372, |
| "learning_rate": 3.5242769068865375e-06, |
| "loss": 1.6445, |
| "step": 1610 |
| }, |
| { |
| "epoch": 4.32, |
| "grad_norm": 0.684222400188446, |
| "learning_rate": 3.503004620375744e-06, |
| "loss": 1.7615, |
| "step": 1620 |
| }, |
| { |
| "epoch": 4.346666666666667, |
| "grad_norm": 0.9206071496009827, |
| "learning_rate": 3.481645427419188e-06, |
| "loss": 1.6997, |
| "step": 1630 |
| }, |
| { |
| "epoch": 4.373333333333333, |
| "grad_norm": 0.8316521048545837, |
| "learning_rate": 3.460201178707791e-06, |
| "loss": 1.6902, |
| "step": 1640 |
| }, |
| { |
| "epoch": 4.4, |
| "grad_norm": 0.8833271861076355, |
| "learning_rate": 3.438673732302223e-06, |
| "loss": 1.7635, |
| "step": 1650 |
| }, |
| { |
| "epoch": 4.426666666666667, |
| "grad_norm": 1.076093316078186, |
| "learning_rate": 3.417064953471911e-06, |
| "loss": 1.669, |
| "step": 1660 |
| }, |
| { |
| "epoch": 4.453333333333333, |
| "grad_norm": 0.9731333255767822, |
| "learning_rate": 3.395376714533419e-06, |
| "loss": 1.6524, |
| "step": 1670 |
| }, |
| { |
| "epoch": 4.48, |
| "grad_norm": 0.9789080619812012, |
| "learning_rate": 3.3736108946882233e-06, |
| "loss": 1.6656, |
| "step": 1680 |
| }, |
| { |
| "epoch": 4.506666666666667, |
| "grad_norm": 0.8803356289863586, |
| "learning_rate": 3.35176937985988e-06, |
| "loss": 1.7349, |
| "step": 1690 |
| }, |
| { |
| "epoch": 4.533333333333333, |
| "grad_norm": 0.8241089582443237, |
| "learning_rate": 3.329854062530621e-06, |
| "loss": 1.6017, |
| "step": 1700 |
| }, |
| { |
| "epoch": 4.5600000000000005, |
| "grad_norm": 0.9876794815063477, |
| "learning_rate": 3.307866841577381e-06, |
| "loss": 1.7662, |
| "step": 1710 |
| }, |
| { |
| "epoch": 4.586666666666667, |
| "grad_norm": 0.8717515468597412, |
| "learning_rate": 3.2858096221072605e-06, |
| "loss": 1.6321, |
| "step": 1720 |
| }, |
| { |
| "epoch": 4.613333333333333, |
| "grad_norm": 0.8869647979736328, |
| "learning_rate": 3.2636843152924595e-06, |
| "loss": 1.6662, |
| "step": 1730 |
| }, |
| { |
| "epoch": 4.64, |
| "grad_norm": 0.9849333763122559, |
| "learning_rate": 3.241492838204684e-06, |
| "loss": 1.6656, |
| "step": 1740 |
| }, |
| { |
| "epoch": 4.666666666666667, |
| "grad_norm": 1.0160856246948242, |
| "learning_rate": 3.2192371136490325e-06, |
| "loss": 1.7322, |
| "step": 1750 |
| }, |
| { |
| "epoch": 4.693333333333333, |
| "grad_norm": 1.1271207332611084, |
| "learning_rate": 3.1969190699973985e-06, |
| "loss": 1.635, |
| "step": 1760 |
| }, |
| { |
| "epoch": 4.72, |
| "grad_norm": 0.8037768006324768, |
| "learning_rate": 3.174540641021384e-06, |
| "loss": 1.6201, |
| "step": 1770 |
| }, |
| { |
| "epoch": 4.746666666666667, |
| "grad_norm": 0.8098615407943726, |
| "learning_rate": 3.152103765724743e-06, |
| "loss": 1.6724, |
| "step": 1780 |
| }, |
| { |
| "epoch": 4.773333333333333, |
| "grad_norm": 0.9140426516532898, |
| "learning_rate": 3.129610388175373e-06, |
| "loss": 1.7291, |
| "step": 1790 |
| }, |
| { |
| "epoch": 4.8, |
| "grad_norm": 0.8616933822631836, |
| "learning_rate": 3.1070624573368772e-06, |
| "loss": 1.7201, |
| "step": 1800 |
| }, |
| { |
| "epoch": 4.826666666666666, |
| "grad_norm": 0.8575533032417297, |
| "learning_rate": 3.0844619268996845e-06, |
| "loss": 1.6765, |
| "step": 1810 |
| }, |
| { |
| "epoch": 4.8533333333333335, |
| "grad_norm": 1.0969172716140747, |
| "learning_rate": 3.061810755111776e-06, |
| "loss": 1.7236, |
| "step": 1820 |
| }, |
| { |
| "epoch": 4.88, |
| "grad_norm": 0.8472016453742981, |
| "learning_rate": 3.0391109046090082e-06, |
| "loss": 1.6881, |
| "step": 1830 |
| }, |
| { |
| "epoch": 4.906666666666666, |
| "grad_norm": 0.8848344683647156, |
| "learning_rate": 3.016364342245059e-06, |
| "loss": 1.6624, |
| "step": 1840 |
| }, |
| { |
| "epoch": 4.933333333333334, |
| "grad_norm": 0.8401445150375366, |
| "learning_rate": 2.9935730389210076e-06, |
| "loss": 1.6553, |
| "step": 1850 |
| }, |
| { |
| "epoch": 4.96, |
| "grad_norm": 0.8503660559654236, |
| "learning_rate": 2.970738969414563e-06, |
| "loss": 1.6752, |
| "step": 1860 |
| }, |
| { |
| "epoch": 4.986666666666666, |
| "grad_norm": 0.9966988563537598, |
| "learning_rate": 2.9478641122089563e-06, |
| "loss": 1.7338, |
| "step": 1870 |
| }, |
| { |
| "epoch": 5.013333333333334, |
| "grad_norm": 0.602899968624115, |
| "learning_rate": 2.924950449321515e-06, |
| "loss": 1.5855, |
| "step": 1880 |
| }, |
| { |
| "epoch": 5.04, |
| "grad_norm": 1.0888887643814087, |
| "learning_rate": 2.9019999661319296e-06, |
| "loss": 1.7572, |
| "step": 1890 |
| }, |
| { |
| "epoch": 5.066666666666666, |
| "grad_norm": 0.95545893907547, |
| "learning_rate": 2.8790146512102228e-06, |
| "loss": 1.6945, |
| "step": 1900 |
| }, |
| { |
| "epoch": 5.093333333333334, |
| "grad_norm": 0.7938442826271057, |
| "learning_rate": 2.8559964961444533e-06, |
| "loss": 1.6246, |
| "step": 1910 |
| }, |
| { |
| "epoch": 5.12, |
| "grad_norm": 0.9190901517868042, |
| "learning_rate": 2.8329474953681506e-06, |
| "loss": 1.7174, |
| "step": 1920 |
| }, |
| { |
| "epoch": 5.1466666666666665, |
| "grad_norm": 0.8581053614616394, |
| "learning_rate": 2.8098696459875048e-06, |
| "loss": 1.6249, |
| "step": 1930 |
| }, |
| { |
| "epoch": 5.173333333333334, |
| "grad_norm": 1.1097462177276611, |
| "learning_rate": 2.786764947608324e-06, |
| "loss": 1.7614, |
| "step": 1940 |
| }, |
| { |
| "epoch": 5.2, |
| "grad_norm": 0.8244250416755676, |
| "learning_rate": 2.7636354021627802e-06, |
| "loss": 1.6954, |
| "step": 1950 |
| }, |
| { |
| "epoch": 5.226666666666667, |
| "grad_norm": 1.0831646919250488, |
| "learning_rate": 2.7404830137359445e-06, |
| "loss": 1.7215, |
| "step": 1960 |
| }, |
| { |
| "epoch": 5.253333333333333, |
| "grad_norm": 0.8918278217315674, |
| "learning_rate": 2.717309788392144e-06, |
| "loss": 1.6235, |
| "step": 1970 |
| }, |
| { |
| "epoch": 5.28, |
| "grad_norm": 0.8835996389389038, |
| "learning_rate": 2.694117734001143e-06, |
| "loss": 1.7047, |
| "step": 1980 |
| }, |
| { |
| "epoch": 5.306666666666667, |
| "grad_norm": 0.8840324282646179, |
| "learning_rate": 2.670908860064172e-06, |
| "loss": 1.6767, |
| "step": 1990 |
| }, |
| { |
| "epoch": 5.333333333333333, |
| "grad_norm": 1.132769227027893, |
| "learning_rate": 2.6476851775398073e-06, |
| "loss": 1.6917, |
| "step": 2000 |
| }, |
| { |
| "epoch": 5.36, |
| "grad_norm": 0.9361376762390137, |
| "learning_rate": 2.624448698669731e-06, |
| "loss": 1.7446, |
| "step": 2010 |
| }, |
| { |
| "epoch": 5.386666666666667, |
| "grad_norm": 0.9744315147399902, |
| "learning_rate": 2.6012014368043813e-06, |
| "loss": 1.7049, |
| "step": 2020 |
| }, |
| { |
| "epoch": 5.413333333333333, |
| "grad_norm": 0.9135685563087463, |
| "learning_rate": 2.5779454062285e-06, |
| "loss": 1.6978, |
| "step": 2030 |
| }, |
| { |
| "epoch": 5.44, |
| "grad_norm": 0.8381025791168213, |
| "learning_rate": 2.5546826219866018e-06, |
| "loss": 1.7194, |
| "step": 2040 |
| }, |
| { |
| "epoch": 5.466666666666667, |
| "grad_norm": 1.0132782459259033, |
| "learning_rate": 2.531415099708382e-06, |
| "loss": 1.6255, |
| "step": 2050 |
| }, |
| { |
| "epoch": 5.493333333333333, |
| "grad_norm": 0.836195170879364, |
| "learning_rate": 2.5081448554340688e-06, |
| "loss": 1.6757, |
| "step": 2060 |
| }, |
| { |
| "epoch": 5.52, |
| "grad_norm": 1.2027889490127563, |
| "learning_rate": 2.484873905439739e-06, |
| "loss": 1.6886, |
| "step": 2070 |
| }, |
| { |
| "epoch": 5.546666666666667, |
| "grad_norm": 1.023413896560669, |
| "learning_rate": 2.4616042660626176e-06, |
| "loss": 1.6878, |
| "step": 2080 |
| }, |
| { |
| "epoch": 5.573333333333333, |
| "grad_norm": 0.9862648248672485, |
| "learning_rate": 2.4383379535263725e-06, |
| "loss": 1.6724, |
| "step": 2090 |
| }, |
| { |
| "epoch": 5.6, |
| "grad_norm": 0.9263085126876831, |
| "learning_rate": 2.4150769837664102e-06, |
| "loss": 1.6894, |
| "step": 2100 |
| }, |
| { |
| "epoch": 5.626666666666667, |
| "grad_norm": 1.2808797359466553, |
| "learning_rate": 2.391823372255208e-06, |
| "loss": 1.6914, |
| "step": 2110 |
| }, |
| { |
| "epoch": 5.653333333333333, |
| "grad_norm": 1.2096583843231201, |
| "learning_rate": 2.368579133827679e-06, |
| "loss": 1.6269, |
| "step": 2120 |
| }, |
| { |
| "epoch": 5.68, |
| "grad_norm": 0.9128383994102478, |
| "learning_rate": 2.3453462825065966e-06, |
| "loss": 1.6455, |
| "step": 2130 |
| }, |
| { |
| "epoch": 5.706666666666667, |
| "grad_norm": 0.9094266295433044, |
| "learning_rate": 2.3221268313280836e-06, |
| "loss": 1.674, |
| "step": 2140 |
| }, |
| { |
| "epoch": 5.733333333333333, |
| "grad_norm": 1.0370837450027466, |
| "learning_rate": 2.2989227921671935e-06, |
| "loss": 1.7358, |
| "step": 2150 |
| }, |
| { |
| "epoch": 5.76, |
| "grad_norm": 1.0183449983596802, |
| "learning_rate": 2.27573617556359e-06, |
| "loss": 1.6758, |
| "step": 2160 |
| }, |
| { |
| "epoch": 5.786666666666667, |
| "grad_norm": 0.7834766507148743, |
| "learning_rate": 2.2525689905473377e-06, |
| "loss": 1.64, |
| "step": 2170 |
| }, |
| { |
| "epoch": 5.8133333333333335, |
| "grad_norm": 0.9842936992645264, |
| "learning_rate": 2.2294232444648316e-06, |
| "loss": 1.5864, |
| "step": 2180 |
| }, |
| { |
| "epoch": 5.84, |
| "grad_norm": 0.9197008609771729, |
| "learning_rate": 2.206300942804865e-06, |
| "loss": 1.6242, |
| "step": 2190 |
| }, |
| { |
| "epoch": 5.866666666666667, |
| "grad_norm": 0.9002187252044678, |
| "learning_rate": 2.183204089024864e-06, |
| "loss": 1.7396, |
| "step": 2200 |
| }, |
| { |
| "epoch": 5.8933333333333335, |
| "grad_norm": 0.894535481929779, |
| "learning_rate": 2.160134684377295e-06, |
| "loss": 1.6573, |
| "step": 2210 |
| }, |
| { |
| "epoch": 5.92, |
| "grad_norm": 0.7890879511833191, |
| "learning_rate": 2.1370947277362646e-06, |
| "loss": 1.6712, |
| "step": 2220 |
| }, |
| { |
| "epoch": 5.946666666666666, |
| "grad_norm": 0.7837865352630615, |
| "learning_rate": 2.1140862154243223e-06, |
| "loss": 1.6761, |
| "step": 2230 |
| }, |
| { |
| "epoch": 5.973333333333334, |
| "grad_norm": 0.9894525408744812, |
| "learning_rate": 2.0911111410394915e-06, |
| "loss": 1.5695, |
| "step": 2240 |
| }, |
| { |
| "epoch": 6.0, |
| "grad_norm": 0.9099172353744507, |
| "learning_rate": 2.0681714952825274e-06, |
| "loss": 1.6609, |
| "step": 2250 |
| }, |
| { |
| "epoch": 6.026666666666666, |
| "grad_norm": 0.8880329728126526, |
| "learning_rate": 2.0452692657844333e-06, |
| "loss": 1.6532, |
| "step": 2260 |
| }, |
| { |
| "epoch": 6.053333333333334, |
| "grad_norm": 1.021958351135254, |
| "learning_rate": 2.0224064369342388e-06, |
| "loss": 1.7392, |
| "step": 2270 |
| }, |
| { |
| "epoch": 6.08, |
| "grad_norm": 1.2252111434936523, |
| "learning_rate": 1.9995849897070616e-06, |
| "loss": 1.6888, |
| "step": 2280 |
| }, |
| { |
| "epoch": 6.1066666666666665, |
| "grad_norm": 1.0892808437347412, |
| "learning_rate": 1.9768069014924622e-06, |
| "loss": 1.569, |
| "step": 2290 |
| }, |
| { |
| "epoch": 6.133333333333334, |
| "grad_norm": 1.123616099357605, |
| "learning_rate": 1.9540741459231124e-06, |
| "loss": 1.6742, |
| "step": 2300 |
| }, |
| { |
| "epoch": 6.16, |
| "grad_norm": 1.00949227809906, |
| "learning_rate": 1.9313886927037843e-06, |
| "loss": 1.6555, |
| "step": 2310 |
| }, |
| { |
| "epoch": 6.1866666666666665, |
| "grad_norm": 0.8746801018714905, |
| "learning_rate": 1.908752507440689e-06, |
| "loss": 1.7283, |
| "step": 2320 |
| }, |
| { |
| "epoch": 6.213333333333333, |
| "grad_norm": 0.9742733836174011, |
| "learning_rate": 1.8861675514711572e-06, |
| "loss": 1.6918, |
| "step": 2330 |
| }, |
| { |
| "epoch": 6.24, |
| "grad_norm": 1.311090111732483, |
| "learning_rate": 1.863635781693705e-06, |
| "loss": 1.6135, |
| "step": 2340 |
| }, |
| { |
| "epoch": 6.266666666666667, |
| "grad_norm": 1.0751314163208008, |
| "learning_rate": 1.8411591503984687e-06, |
| "loss": 1.6877, |
| "step": 2350 |
| }, |
| { |
| "epoch": 6.293333333333333, |
| "grad_norm": 0.9745664000511169, |
| "learning_rate": 1.818739605098051e-06, |
| "loss": 1.7167, |
| "step": 2360 |
| }, |
| { |
| "epoch": 6.32, |
| "grad_norm": 1.391249656677246, |
| "learning_rate": 1.796379088358775e-06, |
| "loss": 1.6697, |
| "step": 2370 |
| }, |
| { |
| "epoch": 6.346666666666667, |
| "grad_norm": 1.0126644372940063, |
| "learning_rate": 1.774079537632369e-06, |
| "loss": 1.6313, |
| "step": 2380 |
| }, |
| { |
| "epoch": 6.373333333333333, |
| "grad_norm": 0.9063668847084045, |
| "learning_rate": 1.7518428850880928e-06, |
| "loss": 1.6423, |
| "step": 2390 |
| }, |
| { |
| "epoch": 6.4, |
| "grad_norm": 0.9129550457000732, |
| "learning_rate": 1.7296710574453262e-06, |
| "loss": 1.6806, |
| "step": 2400 |
| }, |
| { |
| "epoch": 6.426666666666667, |
| "grad_norm": 1.0306205749511719, |
| "learning_rate": 1.7075659758066207e-06, |
| "loss": 1.8324, |
| "step": 2410 |
| }, |
| { |
| "epoch": 6.453333333333333, |
| "grad_norm": 0.9289770126342773, |
| "learning_rate": 1.6855295554912477e-06, |
| "loss": 1.7036, |
| "step": 2420 |
| }, |
| { |
| "epoch": 6.48, |
| "grad_norm": 1.1734378337860107, |
| "learning_rate": 1.6635637058692417e-06, |
| "loss": 1.7271, |
| "step": 2430 |
| }, |
| { |
| "epoch": 6.506666666666667, |
| "grad_norm": 1.1899135112762451, |
| "learning_rate": 1.6416703301959622e-06, |
| "loss": 1.6116, |
| "step": 2440 |
| }, |
| { |
| "epoch": 6.533333333333333, |
| "grad_norm": 0.9925697445869446, |
| "learning_rate": 1.619851325447182e-06, |
| "loss": 1.65, |
| "step": 2450 |
| }, |
| { |
| "epoch": 6.5600000000000005, |
| "grad_norm": 1.0551037788391113, |
| "learning_rate": 1.5981085821547237e-06, |
| "loss": 1.6553, |
| "step": 2460 |
| }, |
| { |
| "epoch": 6.586666666666667, |
| "grad_norm": 0.9644522666931152, |
| "learning_rate": 1.5764439842426516e-06, |
| "loss": 1.6487, |
| "step": 2470 |
| }, |
| { |
| "epoch": 6.613333333333333, |
| "grad_norm": 1.1285290718078613, |
| "learning_rate": 1.5548594088640368e-06, |
| "loss": 1.692, |
| "step": 2480 |
| }, |
| { |
| "epoch": 6.64, |
| "grad_norm": 1.2168961763381958, |
| "learning_rate": 1.5333567262383086e-06, |
| "loss": 1.6596, |
| "step": 2490 |
| }, |
| { |
| "epoch": 6.666666666666667, |
| "grad_norm": 1.0515251159667969, |
| "learning_rate": 1.5119377994892095e-06, |
| "loss": 1.603, |
| "step": 2500 |
| }, |
| { |
| "epoch": 6.693333333333333, |
| "grad_norm": 1.0192151069641113, |
| "learning_rate": 1.4906044844833605e-06, |
| "loss": 1.6846, |
| "step": 2510 |
| }, |
| { |
| "epoch": 6.72, |
| "grad_norm": 1.1747512817382812, |
| "learning_rate": 1.4693586296694574e-06, |
| "loss": 1.6895, |
| "step": 2520 |
| }, |
| { |
| "epoch": 6.746666666666667, |
| "grad_norm": 1.0625276565551758, |
| "learning_rate": 1.4482020759181136e-06, |
| "loss": 1.6625, |
| "step": 2530 |
| }, |
| { |
| "epoch": 6.773333333333333, |
| "grad_norm": 1.2509487867355347, |
| "learning_rate": 1.4271366563623512e-06, |
| "loss": 1.6851, |
| "step": 2540 |
| }, |
| { |
| "epoch": 6.8, |
| "grad_norm": 1.12450110912323, |
| "learning_rate": 1.406164196238768e-06, |
| "loss": 1.6029, |
| "step": 2550 |
| }, |
| { |
| "epoch": 6.826666666666666, |
| "grad_norm": 1.1328859329223633, |
| "learning_rate": 1.3852865127293901e-06, |
| "loss": 1.5987, |
| "step": 2560 |
| }, |
| { |
| "epoch": 6.8533333333333335, |
| "grad_norm": 1.0585845708847046, |
| "learning_rate": 1.364505414804221e-06, |
| "loss": 1.6181, |
| "step": 2570 |
| }, |
| { |
| "epoch": 6.88, |
| "grad_norm": 1.2313337326049805, |
| "learning_rate": 1.3438227030644946e-06, |
| "loss": 1.7003, |
| "step": 2580 |
| }, |
| { |
| "epoch": 6.906666666666666, |
| "grad_norm": 1.1627655029296875, |
| "learning_rate": 1.3232401695866686e-06, |
| "loss": 1.6519, |
| "step": 2590 |
| }, |
| { |
| "epoch": 6.933333333333334, |
| "grad_norm": 1.4945528507232666, |
| "learning_rate": 1.3027595977671443e-06, |
| "loss": 1.6431, |
| "step": 2600 |
| }, |
| { |
| "epoch": 6.96, |
| "grad_norm": 1.0905581712722778, |
| "learning_rate": 1.282382762167739e-06, |
| "loss": 1.6311, |
| "step": 2610 |
| }, |
| { |
| "epoch": 6.986666666666666, |
| "grad_norm": 1.1594579219818115, |
| "learning_rate": 1.2621114283619345e-06, |
| "loss": 1.7169, |
| "step": 2620 |
| }, |
| { |
| "epoch": 7.013333333333334, |
| "grad_norm": 1.0197468996047974, |
| "learning_rate": 1.241947352781889e-06, |
| "loss": 1.6843, |
| "step": 2630 |
| }, |
| { |
| "epoch": 7.04, |
| "grad_norm": 0.9002560973167419, |
| "learning_rate": 1.2218922825662558e-06, |
| "loss": 1.6436, |
| "step": 2640 |
| }, |
| { |
| "epoch": 7.066666666666666, |
| "grad_norm": 1.0222526788711548, |
| "learning_rate": 1.2019479554087964e-06, |
| "loss": 1.6276, |
| "step": 2650 |
| }, |
| { |
| "epoch": 7.093333333333334, |
| "grad_norm": 1.2399083375930786, |
| "learning_rate": 1.182116099407819e-06, |
| "loss": 1.6515, |
| "step": 2660 |
| }, |
| { |
| "epoch": 7.12, |
| "grad_norm": 1.0906753540039062, |
| "learning_rate": 1.1623984329164413e-06, |
| "loss": 1.6438, |
| "step": 2670 |
| }, |
| { |
| "epoch": 7.1466666666666665, |
| "grad_norm": 1.0210061073303223, |
| "learning_rate": 1.142796664393707e-06, |
| "loss": 1.705, |
| "step": 2680 |
| }, |
| { |
| "epoch": 7.173333333333334, |
| "grad_norm": 0.9715026617050171, |
| "learning_rate": 1.1233124922565494e-06, |
| "loss": 1.7126, |
| "step": 2690 |
| }, |
| { |
| "epoch": 7.2, |
| "grad_norm": 0.8580982685089111, |
| "learning_rate": 1.1039476047326352e-06, |
| "loss": 1.6729, |
| "step": 2700 |
| }, |
| { |
| "epoch": 7.226666666666667, |
| "grad_norm": 1.1537833213806152, |
| "learning_rate": 1.0847036797140832e-06, |
| "loss": 1.7293, |
| "step": 2710 |
| }, |
| { |
| "epoch": 7.253333333333333, |
| "grad_norm": 0.998429536819458, |
| "learning_rate": 1.065582384612082e-06, |
| "loss": 1.7036, |
| "step": 2720 |
| }, |
| { |
| "epoch": 7.28, |
| "grad_norm": 1.0259299278259277, |
| "learning_rate": 1.0465853762124134e-06, |
| "loss": 1.6303, |
| "step": 2730 |
| }, |
| { |
| "epoch": 7.306666666666667, |
| "grad_norm": 1.121588110923767, |
| "learning_rate": 1.0277143005319038e-06, |
| "loss": 1.6615, |
| "step": 2740 |
| }, |
| { |
| "epoch": 7.333333333333333, |
| "grad_norm": 0.9042307138442993, |
| "learning_rate": 1.0089707926757954e-06, |
| "loss": 1.6152, |
| "step": 2750 |
| }, |
| { |
| "epoch": 7.36, |
| "grad_norm": 0.9918031692504883, |
| "learning_rate": 9.9035647669608e-07, |
| "loss": 1.5828, |
| "step": 2760 |
| }, |
| { |
| "epoch": 7.386666666666667, |
| "grad_norm": 1.0638200044631958, |
| "learning_rate": 9.718729654507713e-07, |
| "loss": 1.6624, |
| "step": 2770 |
| }, |
| { |
| "epoch": 7.413333333333333, |
| "grad_norm": 1.013146996498108, |
| "learning_rate": 9.535218604641652e-07, |
| "loss": 1.7115, |
| "step": 2780 |
| }, |
| { |
| "epoch": 7.44, |
| "grad_norm": 1.302118182182312, |
| "learning_rate": 9.353047517880709e-07, |
| "loss": 1.638, |
| "step": 2790 |
| }, |
| { |
| "epoch": 7.466666666666667, |
| "grad_norm": 0.7931357622146606, |
| "learning_rate": 9.172232178640361e-07, |
| "loss": 1.7482, |
| "step": 2800 |
| }, |
| { |
| "epoch": 7.493333333333333, |
| "grad_norm": 0.9321092367172241, |
| "learning_rate": 8.992788253865872e-07, |
| "loss": 1.6079, |
| "step": 2810 |
| }, |
| { |
| "epoch": 7.52, |
| "grad_norm": 1.0876185894012451, |
| "learning_rate": 8.814731291674756e-07, |
| "loss": 1.6749, |
| "step": 2820 |
| }, |
| { |
| "epoch": 7.546666666666667, |
| "grad_norm": 1.0826046466827393, |
| "learning_rate": 8.63807672000963e-07, |
| "loss": 1.6491, |
| "step": 2830 |
| }, |
| { |
| "epoch": 7.573333333333333, |
| "grad_norm": 1.0835968255996704, |
| "learning_rate": 8.462839845301438e-07, |
| "loss": 1.6671, |
| "step": 2840 |
| }, |
| { |
| "epoch": 7.6, |
| "grad_norm": 1.2509957551956177, |
| "learning_rate": 8.289035851143198e-07, |
| "loss": 1.67, |
| "step": 2850 |
| }, |
| { |
| "epoch": 7.626666666666667, |
| "grad_norm": 1.1528269052505493, |
| "learning_rate": 8.116679796974389e-07, |
| "loss": 1.6247, |
| "step": 2860 |
| }, |
| { |
| "epoch": 7.653333333333333, |
| "grad_norm": 0.9256828427314758, |
| "learning_rate": 7.945786616776157e-07, |
| "loss": 1.6268, |
| "step": 2870 |
| }, |
| { |
| "epoch": 7.68, |
| "grad_norm": 1.0600520372390747, |
| "learning_rate": 7.776371117777276e-07, |
| "loss": 1.6902, |
| "step": 2880 |
| }, |
| { |
| "epoch": 7.706666666666667, |
| "grad_norm": 0.9527045488357544, |
| "learning_rate": 7.60844797917123e-07, |
| "loss": 1.5988, |
| "step": 2890 |
| }, |
| { |
| "epoch": 7.733333333333333, |
| "grad_norm": 1.0828256607055664, |
| "learning_rate": 7.442031750844269e-07, |
| "loss": 1.6704, |
| "step": 2900 |
| }, |
| { |
| "epoch": 7.76, |
| "grad_norm": 1.1773947477340698, |
| "learning_rate": 7.277136852114747e-07, |
| "loss": 1.6827, |
| "step": 2910 |
| }, |
| { |
| "epoch": 7.786666666666667, |
| "grad_norm": 1.3546745777130127, |
| "learning_rate": 7.113777570483701e-07, |
| "loss": 1.6406, |
| "step": 2920 |
| }, |
| { |
| "epoch": 7.8133333333333335, |
| "grad_norm": 1.0221235752105713, |
| "learning_rate": 6.951968060396963e-07, |
| "loss": 1.6239, |
| "step": 2930 |
| }, |
| { |
| "epoch": 7.84, |
| "grad_norm": 0.8836374282836914, |
| "learning_rate": 6.791722342018656e-07, |
| "loss": 1.6505, |
| "step": 2940 |
| }, |
| { |
| "epoch": 7.866666666666667, |
| "grad_norm": 1.4861336946487427, |
| "learning_rate": 6.633054300016464e-07, |
| "loss": 1.6439, |
| "step": 2950 |
| }, |
| { |
| "epoch": 7.8933333333333335, |
| "grad_norm": 1.0975189208984375, |
| "learning_rate": 6.475977682358558e-07, |
| "loss": 1.6943, |
| "step": 2960 |
| }, |
| { |
| "epoch": 7.92, |
| "grad_norm": 0.9906185269355774, |
| "learning_rate": 6.320506099122359e-07, |
| "loss": 1.6972, |
| "step": 2970 |
| }, |
| { |
| "epoch": 7.946666666666666, |
| "grad_norm": 0.9991128444671631, |
| "learning_rate": 6.166653021315336e-07, |
| "loss": 1.7144, |
| "step": 2980 |
| }, |
| { |
| "epoch": 7.973333333333334, |
| "grad_norm": 0.7832310795783997, |
| "learning_rate": 6.01443177970773e-07, |
| "loss": 1.64, |
| "step": 2990 |
| }, |
| { |
| "epoch": 8.0, |
| "grad_norm": 1.045725703239441, |
| "learning_rate": 5.863855563677559e-07, |
| "loss": 1.6638, |
| "step": 3000 |
| }, |
| { |
| "epoch": 8.026666666666667, |
| "grad_norm": 0.9321222901344299, |
| "learning_rate": 5.714937420067746e-07, |
| "loss": 1.6576, |
| "step": 3010 |
| }, |
| { |
| "epoch": 8.053333333333333, |
| "grad_norm": 1.1314470767974854, |
| "learning_rate": 5.567690252055738e-07, |
| "loss": 1.634, |
| "step": 3020 |
| }, |
| { |
| "epoch": 8.08, |
| "grad_norm": 1.1661452054977417, |
| "learning_rate": 5.422126818035403e-07, |
| "loss": 1.6576, |
| "step": 3030 |
| }, |
| { |
| "epoch": 8.106666666666667, |
| "grad_norm": 1.023749589920044, |
| "learning_rate": 5.278259730511651e-07, |
| "loss": 1.6985, |
| "step": 3040 |
| }, |
| { |
| "epoch": 8.133333333333333, |
| "grad_norm": 0.8616606593132019, |
| "learning_rate": 5.136101455007541e-07, |
| "loss": 1.7006, |
| "step": 3050 |
| }, |
| { |
| "epoch": 8.16, |
| "grad_norm": 1.0434175729751587, |
| "learning_rate": 4.995664308984254e-07, |
| "loss": 1.6621, |
| "step": 3060 |
| }, |
| { |
| "epoch": 8.186666666666667, |
| "grad_norm": 1.206966519355774, |
| "learning_rate": 4.856960460773766e-07, |
| "loss": 1.6407, |
| "step": 3070 |
| }, |
| { |
| "epoch": 8.213333333333333, |
| "grad_norm": 0.9314172863960266, |
| "learning_rate": 4.7200019285245867e-07, |
| "loss": 1.7501, |
| "step": 3080 |
| }, |
| { |
| "epoch": 8.24, |
| "grad_norm": 1.2337085008621216, |
| "learning_rate": 4.5848005791603533e-07, |
| "loss": 1.6169, |
| "step": 3090 |
| }, |
| { |
| "epoch": 8.266666666666667, |
| "grad_norm": 0.9701104164123535, |
| "learning_rate": 4.451368127351674e-07, |
| "loss": 1.6666, |
| "step": 3100 |
| }, |
| { |
| "epoch": 8.293333333333333, |
| "grad_norm": 1.1220892667770386, |
| "learning_rate": 4.319716134501051e-07, |
| "loss": 1.5962, |
| "step": 3110 |
| }, |
| { |
| "epoch": 8.32, |
| "grad_norm": 1.0029473304748535, |
| "learning_rate": 4.1898560077411664e-07, |
| "loss": 1.6603, |
| "step": 3120 |
| }, |
| { |
| "epoch": 8.346666666666668, |
| "grad_norm": 1.011228084564209, |
| "learning_rate": 4.061798998946459e-07, |
| "loss": 1.6106, |
| "step": 3130 |
| }, |
| { |
| "epoch": 8.373333333333333, |
| "grad_norm": 1.3020498752593994, |
| "learning_rate": 3.935556203758237e-07, |
| "loss": 1.669, |
| "step": 3140 |
| }, |
| { |
| "epoch": 8.4, |
| "grad_norm": 1.105768084526062, |
| "learning_rate": 3.8111385606232565e-07, |
| "loss": 1.672, |
| "step": 3150 |
| }, |
| { |
| "epoch": 8.426666666666666, |
| "grad_norm": 1.1611669063568115, |
| "learning_rate": 3.6885568498459395e-07, |
| "loss": 1.6565, |
| "step": 3160 |
| }, |
| { |
| "epoch": 8.453333333333333, |
| "grad_norm": 0.9635624289512634, |
| "learning_rate": 3.5678216926543384e-07, |
| "loss": 1.6181, |
| "step": 3170 |
| }, |
| { |
| "epoch": 8.48, |
| "grad_norm": 1.1056032180786133, |
| "learning_rate": 3.448943550279804e-07, |
| "loss": 1.6407, |
| "step": 3180 |
| }, |
| { |
| "epoch": 8.506666666666666, |
| "grad_norm": 1.136650800704956, |
| "learning_rate": 3.331932723050596e-07, |
| "loss": 1.6685, |
| "step": 3190 |
| }, |
| { |
| "epoch": 8.533333333333333, |
| "grad_norm": 0.9246675968170166, |
| "learning_rate": 3.216799349499383e-07, |
| "loss": 1.6401, |
| "step": 3200 |
| }, |
| { |
| "epoch": 8.56, |
| "grad_norm": 1.0271546840667725, |
| "learning_rate": 3.1035534054847884e-07, |
| "loss": 1.6806, |
| "step": 3210 |
| }, |
| { |
| "epoch": 8.586666666666666, |
| "grad_norm": 1.0452704429626465, |
| "learning_rate": 2.992204703326995e-07, |
| "loss": 1.6791, |
| "step": 3220 |
| }, |
| { |
| "epoch": 8.613333333333333, |
| "grad_norm": 1.186958909034729, |
| "learning_rate": 2.882762890957586e-07, |
| "loss": 1.7309, |
| "step": 3230 |
| }, |
| { |
| "epoch": 8.64, |
| "grad_norm": 1.1407443284988403, |
| "learning_rate": 2.7752374510835456e-07, |
| "loss": 1.6452, |
| "step": 3240 |
| }, |
| { |
| "epoch": 8.666666666666666, |
| "grad_norm": 1.0465816259384155, |
| "learning_rate": 2.6696377003656654e-07, |
| "loss": 1.6748, |
| "step": 3250 |
| }, |
| { |
| "epoch": 8.693333333333333, |
| "grad_norm": 1.1659401655197144, |
| "learning_rate": 2.565972788611243e-07, |
| "loss": 1.6536, |
| "step": 3260 |
| }, |
| { |
| "epoch": 8.72, |
| "grad_norm": 1.190261960029602, |
| "learning_rate": 2.46425169798134e-07, |
| "loss": 1.7099, |
| "step": 3270 |
| }, |
| { |
| "epoch": 8.746666666666666, |
| "grad_norm": 1.4275482892990112, |
| "learning_rate": 2.3644832422124565e-07, |
| "loss": 1.6508, |
| "step": 3280 |
| }, |
| { |
| "epoch": 8.773333333333333, |
| "grad_norm": 0.7873063087463379, |
| "learning_rate": 2.2666760658529103e-07, |
| "loss": 1.5954, |
| "step": 3290 |
| }, |
| { |
| "epoch": 8.8, |
| "grad_norm": 1.0107383728027344, |
| "learning_rate": 2.1708386435137647e-07, |
| "loss": 1.6384, |
| "step": 3300 |
| }, |
| { |
| "epoch": 8.826666666666666, |
| "grad_norm": 1.151199221611023, |
| "learning_rate": 2.0769792791345945e-07, |
| "loss": 1.5958, |
| "step": 3310 |
| }, |
| { |
| "epoch": 8.853333333333333, |
| "grad_norm": 0.9328808188438416, |
| "learning_rate": 1.9851061052639202e-07, |
| "loss": 1.7356, |
| "step": 3320 |
| }, |
| { |
| "epoch": 8.88, |
| "grad_norm": 1.2401057481765747, |
| "learning_rate": 1.8952270823546253e-07, |
| "loss": 1.6644, |
| "step": 3330 |
| }, |
| { |
| "epoch": 8.906666666666666, |
| "grad_norm": 1.0410566329956055, |
| "learning_rate": 1.8073499980741426e-07, |
| "loss": 1.6447, |
| "step": 3340 |
| }, |
| { |
| "epoch": 8.933333333333334, |
| "grad_norm": 0.9945191144943237, |
| "learning_rate": 1.721482466629737e-07, |
| "loss": 1.63, |
| "step": 3350 |
| }, |
| { |
| "epoch": 8.96, |
| "grad_norm": 1.384772539138794, |
| "learning_rate": 1.637631928108721e-07, |
| "loss": 1.5961, |
| "step": 3360 |
| }, |
| { |
| "epoch": 8.986666666666666, |
| "grad_norm": 1.1313170194625854, |
| "learning_rate": 1.5558056478338523e-07, |
| "loss": 1.6825, |
| "step": 3370 |
| }, |
| { |
| "epoch": 9.013333333333334, |
| "grad_norm": 1.0066853761672974, |
| "learning_rate": 1.476010715733761e-07, |
| "loss": 1.6951, |
| "step": 3380 |
| }, |
| { |
| "epoch": 9.04, |
| "grad_norm": 1.199820637702942, |
| "learning_rate": 1.3982540457286893e-07, |
| "loss": 1.6796, |
| "step": 3390 |
| }, |
| { |
| "epoch": 9.066666666666666, |
| "grad_norm": 1.135715126991272, |
| "learning_rate": 1.3225423751313942e-07, |
| "loss": 1.6329, |
| "step": 3400 |
| }, |
| { |
| "epoch": 9.093333333333334, |
| "grad_norm": 1.0266982316970825, |
| "learning_rate": 1.248882264063389e-07, |
| "loss": 1.6754, |
| "step": 3410 |
| }, |
| { |
| "epoch": 9.12, |
| "grad_norm": 1.192221999168396, |
| "learning_rate": 1.1772800948865542e-07, |
| "loss": 1.7027, |
| "step": 3420 |
| }, |
| { |
| "epoch": 9.146666666666667, |
| "grad_norm": 1.3425045013427734, |
| "learning_rate": 1.1077420716501031e-07, |
| "loss": 1.6439, |
| "step": 3430 |
| }, |
| { |
| "epoch": 9.173333333333334, |
| "grad_norm": 1.2292110919952393, |
| "learning_rate": 1.0402742195530501e-07, |
| "loss": 1.6746, |
| "step": 3440 |
| }, |
| { |
| "epoch": 9.2, |
| "grad_norm": 0.9197198152542114, |
| "learning_rate": 9.748823844221239e-08, |
| "loss": 1.6584, |
| "step": 3450 |
| }, |
| { |
| "epoch": 9.226666666666667, |
| "grad_norm": 0.9650914669036865, |
| "learning_rate": 9.115722322052878e-08, |
| "loss": 1.6752, |
| "step": 3460 |
| }, |
| { |
| "epoch": 9.253333333333334, |
| "grad_norm": 1.2544925212860107, |
| "learning_rate": 8.503492484807613e-08, |
| "loss": 1.6303, |
| "step": 3470 |
| }, |
| { |
| "epoch": 9.28, |
| "grad_norm": 1.1284185647964478, |
| "learning_rate": 7.912187379817582e-08, |
| "loss": 1.6722, |
| "step": 3480 |
| }, |
| { |
| "epoch": 9.306666666666667, |
| "grad_norm": 1.0232893228530884, |
| "learning_rate": 7.341858241368182e-08, |
| "loss": 1.7343, |
| "step": 3490 |
| }, |
| { |
| "epoch": 9.333333333333334, |
| "grad_norm": 1.286456823348999, |
| "learning_rate": 6.79255448625904e-08, |
| "loss": 1.6559, |
| "step": 3500 |
| }, |
| { |
| "epoch": 9.36, |
| "grad_norm": 0.9723238348960876, |
| "learning_rate": 6.264323709522125e-08, |
| "loss": 1.7105, |
| "step": 3510 |
| }, |
| { |
| "epoch": 9.386666666666667, |
| "grad_norm": 0.915547251701355, |
| "learning_rate": 5.7572116802979695e-08, |
| "loss": 1.6813, |
| "step": 3520 |
| }, |
| { |
| "epoch": 9.413333333333334, |
| "grad_norm": 1.073350191116333, |
| "learning_rate": 5.2712623378697035e-08, |
| "loss": 1.662, |
| "step": 3530 |
| }, |
| { |
| "epoch": 9.44, |
| "grad_norm": 1.4046480655670166, |
| "learning_rate": 4.806517787856152e-08, |
| "loss": 1.6464, |
| "step": 3540 |
| }, |
| { |
| "epoch": 9.466666666666667, |
| "grad_norm": 0.9930236339569092, |
| "learning_rate": 4.3630182985633093e-08, |
| "loss": 1.5746, |
| "step": 3550 |
| }, |
| { |
| "epoch": 9.493333333333334, |
| "grad_norm": 0.9176751375198364, |
| "learning_rate": 3.940802297495466e-08, |
| "loss": 1.6134, |
| "step": 3560 |
| }, |
| { |
| "epoch": 9.52, |
| "grad_norm": 1.1889771223068237, |
| "learning_rate": 3.539906368025453e-08, |
| "loss": 1.6769, |
| "step": 3570 |
| }, |
| { |
| "epoch": 9.546666666666667, |
| "grad_norm": 1.149104118347168, |
| "learning_rate": 3.1603652462249e-08, |
| "loss": 1.6366, |
| "step": 3580 |
| }, |
| { |
| "epoch": 9.573333333333334, |
| "grad_norm": 0.9914628863334656, |
| "learning_rate": 2.802211817854561e-08, |
| "loss": 1.6296, |
| "step": 3590 |
| }, |
| { |
| "epoch": 9.6, |
| "grad_norm": 0.9465372562408447, |
| "learning_rate": 2.465477115514675e-08, |
| "loss": 1.6666, |
| "step": 3600 |
| }, |
| { |
| "epoch": 9.626666666666667, |
| "grad_norm": 1.336161494255066, |
| "learning_rate": 2.1501903159563688e-08, |
| "loss": 1.5738, |
| "step": 3610 |
| }, |
| { |
| "epoch": 9.653333333333332, |
| "grad_norm": 0.9720616340637207, |
| "learning_rate": 1.856378737553427e-08, |
| "loss": 1.6266, |
| "step": 3620 |
| }, |
| { |
| "epoch": 9.68, |
| "grad_norm": 0.8966802358627319, |
| "learning_rate": 1.584067837935327e-08, |
| "loss": 1.6879, |
| "step": 3630 |
| }, |
| { |
| "epoch": 9.706666666666667, |
| "grad_norm": 1.0030333995819092, |
| "learning_rate": 1.3332812117814731e-08, |
| "loss": 1.6272, |
| "step": 3640 |
| }, |
| { |
| "epoch": 9.733333333333333, |
| "grad_norm": 0.9756541848182678, |
| "learning_rate": 1.1040405887767503e-08, |
| "loss": 1.6611, |
| "step": 3650 |
| }, |
| { |
| "epoch": 9.76, |
| "grad_norm": 1.1682424545288086, |
| "learning_rate": 8.963658317286684e-09, |
| "loss": 1.6519, |
| "step": 3660 |
| }, |
| { |
| "epoch": 9.786666666666667, |
| "grad_norm": 0.93636554479599, |
| "learning_rate": 7.102749348465166e-09, |
| "loss": 1.669, |
| "step": 3670 |
| }, |
| { |
| "epoch": 9.813333333333333, |
| "grad_norm": 1.0292489528656006, |
| "learning_rate": 5.457840221820831e-09, |
| "loss": 1.5997, |
| "step": 3680 |
| }, |
| { |
| "epoch": 9.84, |
| "grad_norm": 1.1855809688568115, |
| "learning_rate": 4.029073462325506e-09, |
| "loss": 1.6465, |
| "step": 3690 |
| }, |
| { |
| "epoch": 9.866666666666667, |
| "grad_norm": 0.9122327566146851, |
| "learning_rate": 2.8165728670573324e-09, |
| "loss": 1.591, |
| "step": 3700 |
| }, |
| { |
| "epoch": 9.893333333333333, |
| "grad_norm": 1.2053117752075195, |
| "learning_rate": 1.8204434944729676e-09, |
| "loss": 1.6682, |
| "step": 3710 |
| }, |
| { |
| "epoch": 9.92, |
| "grad_norm": 1.091283917427063, |
| "learning_rate": 1.0407716553040291e-09, |
| "loss": 1.6886, |
| "step": 3720 |
| }, |
| { |
| "epoch": 9.946666666666667, |
| "grad_norm": 0.9393439292907715, |
| "learning_rate": 4.77624905080576e-10, |
| "loss": 1.5919, |
| "step": 3730 |
| }, |
| { |
| "epoch": 9.973333333333333, |
| "grad_norm": 1.102495551109314, |
| "learning_rate": 1.3105203827634693e-10, |
| "loss": 1.7873, |
| "step": 3740 |
| }, |
| { |
| "epoch": 10.0, |
| "grad_norm": 1.1831676959991455, |
| "learning_rate": 1.0830840810327482e-12, |
| "loss": 1.6486, |
| "step": 3750 |
| } |
| ], |
| "logging_steps": 10, |
| "max_steps": 3750, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 10, |
| "save_steps": 500, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": true |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 2.442270942438359e+17, |
| "train_batch_size": 8, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
