{
  "best_global_step": null,
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 2.0,
  "eval_steps": 0,
  "global_step": 120,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.016666666666666666,
      "grad_norm": 1.7624582052230835,
      "learning_rate": 0.0,
      "loss": 4.2617,
      "step": 1
    },
    {
      "epoch": 0.03333333333333333,
      "grad_norm": 1.7892593145370483,
      "learning_rate": 2.5e-05,
      "loss": 4.4727,
      "step": 2
    },
    {
      "epoch": 0.05,
      "grad_norm": 1.6707245111465454,
      "learning_rate": 5e-05,
      "loss": 4.0625,
      "step": 3
    },
    {
      "epoch": 0.06666666666666667,
      "grad_norm": 1.8914507627487183,
      "learning_rate": 7.500000000000001e-05,
      "loss": 3.5273,
      "step": 4
    },
    {
      "epoch": 0.08333333333333333,
      "grad_norm": 1.556685447692871,
      "learning_rate": 0.0001,
      "loss": 2.6387,
      "step": 5
    },
    {
      "epoch": 0.1,
      "grad_norm": 0.45814192295074463,
      "learning_rate": 9.99816643111642e-05,
      "loss": 2.2715,
      "step": 6
    },
    {
      "epoch": 0.11666666666666667,
      "grad_norm": 0.29110047221183777,
      "learning_rate": 9.992667069255619e-05,
      "loss": 1.9971,
      "step": 7
    },
    {
      "epoch": 0.13333333333333333,
      "grad_norm": 0.18745698034763336,
      "learning_rate": 9.983505947801115e-05,
      "loss": 2.0146,
      "step": 8
    },
    {
      "epoch": 0.15,
      "grad_norm": 0.22289857268333435,
      "learning_rate": 9.970689785771798e-05,
      "loss": 1.8096,
      "step": 9
    },
    {
      "epoch": 0.16666666666666666,
      "grad_norm": 0.24617473781108856,
      "learning_rate": 9.954227982894034e-05,
      "loss": 1.9102,
      "step": 10
    },
    {
      "epoch": 0.18333333333333332,
      "grad_norm": 0.1943712830543518,
      "learning_rate": 9.934132612707632e-05,
      "loss": 1.8584,
      "step": 11
    },
    {
      "epoch": 0.2,
      "grad_norm": 0.1996181458234787,
      "learning_rate": 9.91041841371078e-05,
      "loss": 1.9551,
      "step": 12
    },
    {
      "epoch": 0.21666666666666667,
      "grad_norm": 0.17800003290176392,
      "learning_rate": 9.883102778550434e-05,
      "loss": 1.8574,
      "step": 13
    },
    {
      "epoch": 0.23333333333333334,
      "grad_norm": 0.16565559804439545,
      "learning_rate": 9.852205741266058e-05,
      "loss": 1.9141,
      "step": 14
    },
    {
      "epoch": 0.25,
      "grad_norm": 0.15836699306964874,
      "learning_rate": 9.817749962596115e-05,
      "loss": 1.873,
      "step": 15
    },
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 0.19844640791416168,
      "learning_rate": 9.779760713358059e-05,
      "loss": 1.9297,
      "step": 16
    },
    {
      "epoch": 0.2833333333333333,
      "grad_norm": 0.13368993997573853,
      "learning_rate": 9.738265855914013e-05,
      "loss": 1.8369,
      "step": 17
    },
    {
      "epoch": 0.3,
      "grad_norm": 0.16568133234977722,
      "learning_rate": 9.693295823735753e-05,
      "loss": 1.9678,
      "step": 18
    },
    {
      "epoch": 0.31666666666666665,
      "grad_norm": 0.15897446870803833,
      "learning_rate": 9.644883599083958e-05,
      "loss": 1.8584,
      "step": 19
    },
    {
      "epoch": 0.3333333333333333,
      "grad_norm": 0.1435566395521164,
      "learning_rate": 9.59306468881811e-05,
      "loss": 1.7217,
      "step": 20
    },
    {
      "epoch": 0.35,
      "grad_norm": 0.14127367734909058,
      "learning_rate": 9.537877098354786e-05,
      "loss": 1.6855,
      "step": 21
    },
    {
      "epoch": 0.36666666666666664,
      "grad_norm": 0.15519492328166962,
      "learning_rate": 9.47936130379344e-05,
      "loss": 1.915,
      "step": 22
    },
    {
      "epoch": 0.38333333333333336,
      "grad_norm": 0.8516556024551392,
      "learning_rate": 9.417560222230115e-05,
      "loss": 1.8652,
      "step": 23
    },
    {
      "epoch": 0.4,
      "grad_norm": 0.1605292111635208,
      "learning_rate": 9.35251918028086e-05,
      "loss": 1.8506,
      "step": 24
    },
    {
      "epoch": 0.4166666666666667,
      "grad_norm": 0.15654756128787994,
      "learning_rate": 9.284285880837946e-05,
      "loss": 1.667,
      "step": 25
    },
    {
      "epoch": 0.43333333333333335,
      "grad_norm": 0.18874791264533997,
      "learning_rate": 9.212910368083245e-05,
      "loss": 1.6797,
      "step": 26
    },
    {
      "epoch": 0.45,
      "grad_norm": 0.1537231057882309,
      "learning_rate": 9.138444990784453e-05,
      "loss": 1.8291,
      "step": 27
    },
    {
      "epoch": 0.4666666666666667,
      "grad_norm": 0.1582452952861786,
      "learning_rate": 9.060944363901056e-05,
      "loss": 1.7041,
      "step": 28
    },
    {
      "epoch": 0.48333333333333334,
      "grad_norm": 0.13812270760536194,
      "learning_rate": 8.980465328528219e-05,
      "loss": 1.6396,
      "step": 29
    },
    {
      "epoch": 0.5,
      "grad_norm": 0.15622994303703308,
      "learning_rate": 8.897066910207958e-05,
      "loss": 1.709,
      "step": 30
    },
    {
      "epoch": 0.5166666666666667,
      "grad_norm": 0.1685413271188736,
      "learning_rate": 8.810810275638183e-05,
      "loss": 1.7188,
      "step": 31
    },
    {
      "epoch": 0.5333333333333333,
      "grad_norm": 0.16106244921684265,
      "learning_rate": 8.721758687811352e-05,
      "loss": 1.8018,
      "step": 32
    },
    {
      "epoch": 0.55,
      "grad_norm": 0.1742979735136032,
      "learning_rate": 8.629977459615655e-05,
      "loss": 1.916,
      "step": 33
    },
    {
      "epoch": 0.5666666666666667,
      "grad_norm": 0.1656312644481659,
      "learning_rate": 8.535533905932738e-05,
      "loss": 1.9082,
      "step": 34
    },
    {
      "epoch": 0.5833333333333334,
      "grad_norm": 0.15655459463596344,
      "learning_rate": 8.438497294267117e-05,
      "loss": 1.6416,
      "step": 35
    },
    {
      "epoch": 0.6,
      "grad_norm": 0.15798629820346832,
      "learning_rate": 8.338938793943478e-05,
      "loss": 1.6523,
      "step": 36
    },
    {
      "epoch": 0.6166666666666667,
      "grad_norm": 0.1747596114873886,
      "learning_rate": 8.236931423909138e-05,
      "loss": 1.6113,
      "step": 37
    },
    {
      "epoch": 0.6333333333333333,
      "grad_norm": 0.16510172188282013,
      "learning_rate": 8.132549999179933e-05,
      "loss": 1.8066,
      "step": 38
    },
    {
      "epoch": 0.65,
      "grad_norm": 0.1613532155752182,
      "learning_rate": 8.025871075968828e-05,
      "loss": 1.7188,
      "step": 39
    },
    {
      "epoch": 0.6666666666666666,
      "grad_norm": 0.18036694824695587,
      "learning_rate": 7.916972895537471e-05,
      "loss": 1.8291,
      "step": 40
    },
    {
      "epoch": 0.6833333333333333,
      "grad_norm": 0.1586310714483261,
      "learning_rate": 7.805935326811912e-05,
      "loss": 1.6514,
      "step": 41
    },
    {
      "epoch": 0.7,
      "grad_norm": 0.17756354808807373,
      "learning_rate": 7.692839807804521e-05,
      "loss": 1.7676,
      "step": 42
    },
    {
      "epoch": 0.7166666666666667,
      "grad_norm": 0.1987682580947876,
      "learning_rate": 7.577769285885109e-05,
      "loss": 1.9121,
      "step": 43
    },
    {
      "epoch": 0.7333333333333333,
      "grad_norm": 0.18176718056201935,
      "learning_rate": 7.460808156945036e-05,
      "loss": 1.665,
      "step": 44
    },
    {
      "epoch": 0.75,
      "grad_norm": 0.1882213056087494,
      "learning_rate": 7.342042203498951e-05,
      "loss": 1.5723,
      "step": 45
    },
    {
      "epoch": 0.7666666666666667,
      "grad_norm": 0.18038204312324524,
      "learning_rate": 7.221558531769519e-05,
      "loss": 1.7207,
      "step": 46
    },
    {
      "epoch": 0.7833333333333333,
      "grad_norm": 0.19418436288833618,
      "learning_rate": 7.099445507801323e-05,
      "loss": 1.7529,
      "step": 47
    },
    {
      "epoch": 0.8,
      "grad_norm": 0.19625981152057648,
      "learning_rate": 6.975792692650777e-05,
      "loss": 1.7188,
      "step": 48
    },
    {
      "epoch": 0.8166666666666667,
      "grad_norm": 0.17782841622829437,
      "learning_rate": 6.850690776699573e-05,
      "loss": 1.6348,
      "step": 49
    },
    {
      "epoch": 0.8333333333333334,
      "grad_norm": 0.17216083407402039,
      "learning_rate": 6.724231513139852e-05,
      "loss": 1.665,
      "step": 50
    },
    {
      "epoch": 0.85,
      "grad_norm": 0.19075030088424683,
      "learning_rate": 6.5965076506799e-05,
      "loss": 1.6318,
      "step": 51
    },
    {
      "epoch": 0.8666666666666667,
      "grad_norm": 0.20700810849666595,
      "learning_rate": 6.467612865519674e-05,
      "loss": 1.5908,
      "step": 52
    },
    {
      "epoch": 0.8833333333333333,
      "grad_norm": 0.18496419489383698,
      "learning_rate": 6.337641692646106e-05,
      "loss": 1.6133,
      "step": 53
    },
    {
      "epoch": 0.9,
      "grad_norm": 0.19379621744155884,
      "learning_rate": 6.206689456498529e-05,
      "loss": 1.6895,
      "step": 54
    },
    {
      "epoch": 0.9166666666666666,
      "grad_norm": 0.1966225802898407,
      "learning_rate": 6.0748522010551215e-05,
      "loss": 1.668,
      "step": 55
    },
    {
      "epoch": 0.9333333333333333,
      "grad_norm": 0.19258971512317657,
      "learning_rate": 5.9422266193915924e-05,
      "loss": 1.709,
      "step": 56
    },
    {
      "epoch": 0.95,
      "grad_norm": 0.24141785502433777,
      "learning_rate": 5.808909982763825e-05,
      "loss": 1.4707,
      "step": 57
    },
    {
      "epoch": 0.9666666666666667,
      "grad_norm": 0.20198890566825867,
      "learning_rate": 5.675000069266451e-05,
      "loss": 1.6006,
      "step": 58
    },
    {
      "epoch": 0.9833333333333333,
      "grad_norm": 0.19515734910964966,
      "learning_rate": 5.540595092119709e-05,
      "loss": 1.6484,
      "step": 59
    },
    {
      "epoch": 1.0,
      "grad_norm": 0.17278428375720978,
      "learning_rate": 5.4057936276371565e-05,
      "loss": 1.6123,
      "step": 60
    },
    {
      "epoch": 1.0166666666666666,
      "grad_norm": 0.2063254565000534,
      "learning_rate": 5.270694542927088e-05,
      "loss": 1.5039,
      "step": 61
    },
    {
      "epoch": 1.0333333333333334,
      "grad_norm": 0.18286573886871338,
      "learning_rate": 5.135396923380673e-05,
      "loss": 1.4746,
      "step": 62
    },
    {
      "epoch": 1.05,
      "grad_norm": 0.18940141797065735,
      "learning_rate": 5e-05,
      "loss": 1.5049,
      "step": 63
    },
    {
      "epoch": 1.0666666666666667,
      "grad_norm": 0.18793341517448425,
      "learning_rate": 4.8646030766193285e-05,
      "loss": 1.5742,
      "step": 64
    },
    {
      "epoch": 1.0833333333333333,
      "grad_norm": 0.20291098952293396,
      "learning_rate": 4.729305457072913e-05,
      "loss": 1.4922,
      "step": 65
    },
    {
      "epoch": 1.1,
      "grad_norm": 0.19545070827007294,
      "learning_rate": 4.594206372362845e-05,
      "loss": 1.5479,
      "step": 66
    },
    {
      "epoch": 1.1166666666666667,
      "grad_norm": 0.19472309947013855,
      "learning_rate": 4.4594049078802925e-05,
      "loss": 1.4473,
      "step": 67
    },
    {
      "epoch": 1.1333333333333333,
      "grad_norm": 0.19749081134796143,
      "learning_rate": 4.3249999307335495e-05,
      "loss": 1.585,
      "step": 68
    },
    {
      "epoch": 1.15,
      "grad_norm": 0.20300528407096863,
      "learning_rate": 4.1910900172361764e-05,
      "loss": 1.6221,
      "step": 69
    },
    {
      "epoch": 1.1666666666666667,
      "grad_norm": 0.2357516586780548,
      "learning_rate": 4.057773380608411e-05,
      "loss": 1.5547,
      "step": 70
    },
    {
      "epoch": 1.1833333333333333,
      "grad_norm": 0.2021433264017105,
      "learning_rate": 3.92514779894488e-05,
      "loss": 1.6689,
      "step": 71
    },
    {
      "epoch": 1.2,
      "grad_norm": 0.22851401567459106,
      "learning_rate": 3.793310543501473e-05,
      "loss": 1.5908,
      "step": 72
    },
    {
      "epoch": 1.2166666666666668,
      "grad_norm": 0.21870410442352295,
      "learning_rate": 3.6623583073538966e-05,
      "loss": 1.4727,
      "step": 73
    },
    {
      "epoch": 1.2333333333333334,
      "grad_norm": 0.22682058811187744,
      "learning_rate": 3.5323871344803263e-05,
      "loss": 1.4531,
      "step": 74
    },
    {
      "epoch": 1.25,
      "grad_norm": 0.22885683178901672,
      "learning_rate": 3.403492349320101e-05,
      "loss": 1.3804,
      "step": 75
    },
    {
      "epoch": 1.2666666666666666,
      "grad_norm": 0.24005670845508575,
      "learning_rate": 3.275768486860149e-05,
      "loss": 1.5361,
      "step": 76
    },
    {
      "epoch": 1.2833333333333332,
      "grad_norm": 0.23753531277179718,
      "learning_rate": 3.149309223300428e-05,
      "loss": 1.542,
      "step": 77
    },
    {
      "epoch": 1.3,
      "grad_norm": 0.22201423346996307,
      "learning_rate": 3.024207307349224e-05,
      "loss": 1.3984,
      "step": 78
    },
    {
      "epoch": 1.3166666666666667,
      "grad_norm": 0.24607056379318237,
      "learning_rate": 2.900554492198677e-05,
      "loss": 1.4844,
      "step": 79
    },
    {
      "epoch": 1.3333333333333333,
      "grad_norm": 0.28145459294319153,
      "learning_rate": 2.7784414682304832e-05,
      "loss": 1.6289,
      "step": 80
    },
    {
      "epoch": 1.35,
      "grad_norm": 0.23103196918964386,
      "learning_rate": 2.65795779650105e-05,
      "loss": 1.4736,
      "step": 81
    },
    {
      "epoch": 1.3666666666666667,
      "grad_norm": 0.2120414674282074,
      "learning_rate": 2.539191843054963e-05,
      "loss": 1.5967,
      "step": 82
    },
    {
      "epoch": 1.3833333333333333,
      "grad_norm": 0.2350909262895584,
      "learning_rate": 2.422230714114891e-05,
      "loss": 1.5273,
      "step": 83
    },
    {
      "epoch": 1.4,
      "grad_norm": 0.2203521579504013,
      "learning_rate": 2.3071601921954794e-05,
      "loss": 1.5762,
      "step": 84
    },
    {
      "epoch": 1.4166666666666667,
      "grad_norm": 0.2259787917137146,
      "learning_rate": 2.194064673188089e-05,
      "loss": 1.4229,
      "step": 85
    },
    {
      "epoch": 1.4333333333333333,
      "grad_norm": 0.21594196557998657,
      "learning_rate": 2.08302710446253e-05,
      "loss": 1.458,
      "step": 86
    },
    {
      "epoch": 1.45,
      "grad_norm": 0.2256808578968048,
      "learning_rate": 1.9741289240311755e-05,
      "loss": 1.5068,
      "step": 87
    },
    {
      "epoch": 1.4666666666666668,
      "grad_norm": 0.2558972239494324,
      "learning_rate": 1.8674500008200674e-05,
      "loss": 1.4248,
      "step": 88
    },
    {
      "epoch": 1.4833333333333334,
      "grad_norm": 0.2515229880809784,
      "learning_rate": 1.7630685760908622e-05,
      "loss": 1.5254,
      "step": 89
    },
    {
      "epoch": 1.5,
      "grad_norm": 0.27117517590522766,
      "learning_rate": 1.6610612060565234e-05,
      "loss": 1.5771,
      "step": 90
    },
    {
      "epoch": 1.5166666666666666,
      "grad_norm": 0.2289752960205078,
      "learning_rate": 1.561502705732883e-05,
      "loss": 1.4482,
      "step": 91
    },
    {
      "epoch": 1.5333333333333332,
      "grad_norm": 0.22302396595478058,
      "learning_rate": 1.4644660940672627e-05,
      "loss": 1.6367,
      "step": 92
    },
    {
      "epoch": 1.55,
      "grad_norm": 0.2473994344472885,
      "learning_rate": 1.3700225403843469e-05,
      "loss": 1.4326,
      "step": 93
    },
    {
      "epoch": 1.5666666666666667,
      "grad_norm": 0.23280665278434753,
      "learning_rate": 1.2782413121886483e-05,
      "loss": 1.4512,
      "step": 94
    },
    {
      "epoch": 1.5833333333333335,
      "grad_norm": 0.23623785376548767,
      "learning_rate": 1.1891897243618182e-05,
      "loss": 1.5332,
      "step": 95
    },
    {
      "epoch": 1.6,
      "grad_norm": 0.24137260019779205,
      "learning_rate": 1.102933089792042e-05,
      "loss": 1.4922,
      "step": 96
    },
    {
      "epoch": 1.6166666666666667,
      "grad_norm": 0.2437429279088974,
      "learning_rate": 1.0195346714717813e-05,
      "loss": 1.4668,
      "step": 97
    },
    {
      "epoch": 1.6333333333333333,
      "grad_norm": 0.25164568424224854,
      "learning_rate": 9.39055636098945e-06,
      "loss": 1.4551,
      "step": 98
    },
    {
      "epoch": 1.65,
      "grad_norm": 0.2391681671142578,
      "learning_rate": 8.615550092155478e-06,
      "loss": 1.6504,
      "step": 99
    },
    {
      "epoch": 1.6666666666666665,
      "grad_norm": 0.23323218524456024,
      "learning_rate": 7.870896319167548e-06,
      "loss": 1.3711,
      "step": 100
    },
    {
      "epoch": 1.6833333333333333,
      "grad_norm": 0.27269917726516724,
      "learning_rate": 7.157141191620548e-06,
      "loss": 1.3916,
      "step": 101
    },
    {
      "epoch": 1.7,
      "grad_norm": 0.23819975554943085,
      "learning_rate": 6.474808197191401e-06,
      "loss": 1.4521,
      "step": 102
    },
    {
      "epoch": 1.7166666666666668,
      "grad_norm": 0.23924998939037323,
      "learning_rate": 5.824397777698859e-06,
      "loss": 1.6699,
      "step": 103
    },
    {
      "epoch": 1.7333333333333334,
      "grad_norm": 0.23874108493328094,
      "learning_rate": 5.206386962065602e-06,
      "loss": 1.417,
      "step": 104
    },
    {
      "epoch": 1.75,
      "grad_norm": 0.2368716448545456,
      "learning_rate": 4.621229016452156e-06,
      "loss": 1.5664,
      "step": 105
    },
    {
      "epoch": 1.7666666666666666,
      "grad_norm": 0.23302292823791504,
      "learning_rate": 4.069353111818913e-06,
      "loss": 1.4922,
      "step": 106
    },
    {
      "epoch": 1.7833333333333332,
      "grad_norm": 0.24488115310668945,
      "learning_rate": 3.551164009160429e-06,
      "loss": 1.4434,
      "step": 107
    },
    {
      "epoch": 1.8,
      "grad_norm": 0.2382122278213501,
      "learning_rate": 3.067041762642475e-06,
      "loss": 1.6064,
      "step": 108
    },
    {
      "epoch": 1.8166666666666667,
      "grad_norm": 0.24192781746387482,
      "learning_rate": 2.6173414408598827e-06,
      "loss": 1.418,
      "step": 109
    },
    {
      "epoch": 1.8333333333333335,
      "grad_norm": 0.2440631091594696,
      "learning_rate": 2.202392866419423e-06,
      "loss": 1.4355,
      "step": 110
    },
    {
      "epoch": 1.85,
      "grad_norm": 0.249308243393898,
      "learning_rate": 1.8225003740388547e-06,
      "loss": 1.5957,
      "step": 111
    },
    {
      "epoch": 1.8666666666666667,
      "grad_norm": 0.2450033575296402,
      "learning_rate": 1.4779425873394259e-06,
      "loss": 1.4238,
      "step": 112
    },
    {
      "epoch": 1.8833333333333333,
      "grad_norm": 0.2593451738357544,
      "learning_rate": 1.1689722144956671e-06,
      "loss": 1.5986,
      "step": 113
    },
    {
      "epoch": 1.9,
      "grad_norm": 0.24546675384044647,
      "learning_rate": 8.958158628922019e-07,
      "loss": 1.4697,
      "step": 114
    },
    {
      "epoch": 1.9166666666666665,
      "grad_norm": 0.2435643970966339,
      "learning_rate": 6.58673872923693e-07,
      "loss": 1.4395,
      "step": 115
    },
    {
      "epoch": 1.9333333333333333,
      "grad_norm": 0.2640168368816376,
      "learning_rate": 4.577201710596612e-07,
      "loss": 1.5254,
      "step": 116
    },
    {
      "epoch": 1.95,
      "grad_norm": 0.2269829660654068,
      "learning_rate": 2.9310214228202013e-07,
      "loss": 1.3809,
      "step": 117
    },
    {
      "epoch": 1.9666666666666668,
      "grad_norm": 0.22193001210689545,
      "learning_rate": 1.6494052198886555e-07,
      "loss": 1.4932,
      "step": 118
    },
    {
      "epoch": 1.9833333333333334,
      "grad_norm": 0.2418978363275528,
      "learning_rate": 7.332930744380906e-08,
      "loss": 1.3809,
      "step": 119
    },
    {
      "epoch": 2.0,
      "grad_norm": 0.23801465332508087,
      "learning_rate": 1.8335688835802167e-08,
      "loss": 1.4014,
      "step": 120
    }
  ],
  "logging_steps": 1.0,
  "max_steps": 120,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 2,
  "save_steps": 0,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 3.2517024847704883e+18,
  "train_batch_size": 1,
  "trial_name": null,
  "trial_params": null
}