{
  "best_global_step": null,
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 0.058333333333333334,
  "eval_steps": 500,
  "global_step": 700,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.0008333333333333334,
      "grad_norm": 0.3933861553668976,
      "learning_rate": 1.3499999999999998e-05,
      "loss": 10.793175506591798,
      "step": 10
    },
    {
      "epoch": 0.0016666666666666668,
      "grad_norm": 0.21078218519687653,
      "learning_rate": 2.8499999999999998e-05,
      "loss": 9.94891357421875,
      "step": 20
    },
    {
      "epoch": 0.0025,
      "grad_norm": 0.17593811452388763,
      "learning_rate": 4.3499999999999993e-05,
      "loss": 9.451502990722656,
      "step": 30
    },
    {
      "epoch": 0.0033333333333333335,
      "grad_norm": 0.1287856101989746,
      "learning_rate": 5.85e-05,
      "loss": 9.038980102539062,
      "step": 40
    },
    {
      "epoch": 0.004166666666666667,
      "grad_norm": 0.12334560602903366,
      "learning_rate": 7.35e-05,
      "loss": 8.548064422607421,
      "step": 50
    },
    {
      "epoch": 0.005,
      "grad_norm": 0.08555905520915985,
      "learning_rate": 8.849999999999998e-05,
      "loss": 8.130076599121093,
      "step": 60
    },
    {
      "epoch": 0.005833333333333334,
      "grad_norm": 0.09234856814146042,
      "learning_rate": 0.00010349999999999998,
      "loss": 7.781331634521484,
      "step": 70
    },
    {
      "epoch": 0.006666666666666667,
      "grad_norm": 0.12036211788654327,
      "learning_rate": 0.0001185,
      "loss": 7.612437438964844,
      "step": 80
    },
    {
      "epoch": 0.0075,
      "grad_norm": 0.26068001985549927,
      "learning_rate": 0.0001335,
      "loss": 7.377515411376953,
      "step": 90
    },
    {
      "epoch": 0.008333333333333333,
      "grad_norm": 0.14013038575649261,
      "learning_rate": 0.00014849999999999998,
      "loss": 7.176266479492187,
      "step": 100
    },
    {
      "epoch": 0.009166666666666667,
      "grad_norm": 0.1725226491689682,
      "learning_rate": 0.0001635,
      "loss": 6.9345703125,
      "step": 110
    },
    {
      "epoch": 0.01,
      "grad_norm": 0.1893932819366455,
      "learning_rate": 0.00017849999999999997,
      "loss": 6.603112030029297,
      "step": 120
    },
    {
      "epoch": 0.010833333333333334,
      "grad_norm": 0.10222424566745758,
      "learning_rate": 0.0001935,
      "loss": 6.440335083007812,
      "step": 130
    },
    {
      "epoch": 0.011666666666666667,
      "grad_norm": 0.12809771299362183,
      "learning_rate": 0.00020849999999999997,
      "loss": 6.1724189758300785,
      "step": 140
    },
    {
      "epoch": 0.0125,
      "grad_norm": 0.1817079782485962,
      "learning_rate": 0.00022349999999999998,
      "loss": 5.981137084960937,
      "step": 150
    },
    {
      "epoch": 0.013333333333333334,
      "grad_norm": 0.1294909566640854,
      "learning_rate": 0.0002385,
      "loss": 5.84722900390625,
      "step": 160
    },
    {
      "epoch": 0.014166666666666666,
      "grad_norm": 0.1508026421070099,
      "learning_rate": 0.0002535,
      "loss": 5.6487274169921875,
      "step": 170
    },
    {
      "epoch": 0.015,
      "grad_norm": 0.1253245323896408,
      "learning_rate": 0.00026849999999999997,
      "loss": 5.603432464599609,
      "step": 180
    },
    {
      "epoch": 0.015833333333333335,
      "grad_norm": 0.10764947533607483,
      "learning_rate": 0.00028349999999999995,
      "loss": 5.431602096557617,
      "step": 190
    },
    {
      "epoch": 0.016666666666666666,
      "grad_norm": 0.11333471536636353,
      "learning_rate": 0.0002985,
      "loss": 5.339364624023437,
      "step": 200
    },
    {
      "epoch": 0.0175,
      "grad_norm": 0.12494370341300964,
      "learning_rate": 0.0002999995693922863,
      "loss": 5.225184631347656,
      "step": 210
    },
    {
      "epoch": 0.018333333333333333,
      "grad_norm": 0.11432802677154541,
      "learning_rate": 0.0002999980808749688,
      "loss": 5.181040191650391,
      "step": 220
    },
    {
      "epoch": 0.019166666666666665,
      "grad_norm": 0.10197849571704865,
      "learning_rate": 0.000299995529142451,
      "loss": 5.013928985595703,
      "step": 230
    },
    {
      "epoch": 0.02,
      "grad_norm": 0.11272598057985306,
      "learning_rate": 0.00029999191421282024,
      "loss": 4.891825103759766,
      "step": 240
    },
    {
      "epoch": 0.020833333333333332,
      "grad_norm": 0.09002882242202759,
      "learning_rate": 0.0002999872361116999,
      "loss": 4.906301879882813,
      "step": 250
    },
    {
      "epoch": 0.021666666666666667,
      "grad_norm": 0.0879431664943695,
      "learning_rate": 0.0002999814948722491,
      "loss": 4.827959442138672,
      "step": 260
    },
    {
      "epoch": 0.0225,
      "grad_norm": 0.10233565419912338,
      "learning_rate": 0.0002999746905351629,
      "loss": 4.808346176147461,
      "step": 270
    },
    {
      "epoch": 0.023333333333333334,
      "grad_norm": 0.08734232932329178,
      "learning_rate": 0.00029996682314867176,
      "loss": 4.741819381713867,
      "step": 280
    },
    {
      "epoch": 0.024166666666666666,
      "grad_norm": 0.0991712436079979,
      "learning_rate": 0.0002999578927685413,
      "loss": 4.678402709960937,
      "step": 290
    },
    {
      "epoch": 0.025,
      "grad_norm": 0.0887921079993248,
      "learning_rate": 0.0002999478994580716,
      "loss": 4.653173828125,
      "step": 300
    },
    {
      "epoch": 0.025833333333333333,
      "grad_norm": 0.0922158882021904,
      "learning_rate": 0.0002999368432880973,
      "loss": 4.650460815429687,
      "step": 310
    },
    {
      "epoch": 0.02666666666666667,
      "grad_norm": 0.09760992228984833,
      "learning_rate": 0.0002999247243369867,
      "loss": 4.53588981628418,
      "step": 320
    },
    {
      "epoch": 0.0275,
      "grad_norm": 0.08007848262786865,
      "learning_rate": 0.00029991154269064105,
      "loss": 4.48128662109375,
      "step": 330
    },
    {
      "epoch": 0.028333333333333332,
      "grad_norm": 0.09366138279438019,
      "learning_rate": 0.00029989729844249455,
      "loss": 4.436825561523437,
      "step": 340
    },
    {
      "epoch": 0.029166666666666667,
      "grad_norm": 0.08227650076150894,
      "learning_rate": 0.00029988199169351317,
      "loss": 4.347656631469727,
      "step": 350
    },
    {
      "epoch": 0.03,
      "grad_norm": 0.0964592844247818,
      "learning_rate": 0.000299865622552194,
      "loss": 4.348267364501953,
      "step": 360
    },
    {
      "epoch": 0.030833333333333334,
      "grad_norm": 0.08087096363306046,
      "learning_rate": 0.0002998481911345647,
      "loss": 4.408647918701172,
      "step": 370
    },
    {
      "epoch": 0.03166666666666667,
      "grad_norm": 0.09135255217552185,
      "learning_rate": 0.0002998296975641825,
      "loss": 4.3575798034667965,
      "step": 380
    },
    {
      "epoch": 0.0325,
      "grad_norm": 0.07801107317209244,
      "learning_rate": 0.00029981014197213345,
      "loss": 4.369893646240234,
      "step": 390
    },
    {
      "epoch": 0.03333333333333333,
      "grad_norm": 0.074135921895504,
      "learning_rate": 0.0002997895244970312,
      "loss": 4.275115585327148,
      "step": 400
    },
    {
      "epoch": 0.034166666666666665,
      "grad_norm": 0.08232986181974411,
      "learning_rate": 0.00029976784528501645,
      "loss": 4.228077697753906,
      "step": 410
    },
    {
      "epoch": 0.035,
      "grad_norm": 0.07607673108577728,
      "learning_rate": 0.00029974510448975563,
      "loss": 4.215129089355469,
      "step": 420
    },
    {
      "epoch": 0.035833333333333335,
      "grad_norm": 0.07808370888233185,
      "learning_rate": 0.0002997213022724399,
      "loss": 4.161651229858398,
      "step": 430
    },
    {
      "epoch": 0.03666666666666667,
      "grad_norm": 0.07890745997428894,
      "learning_rate": 0.0002996964388017838,
      "loss": 4.197282409667968,
      "step": 440
    },
    {
      "epoch": 0.0375,
      "grad_norm": 0.071009561419487,
      "learning_rate": 0.00029967051425402455,
      "loss": 4.102042007446289,
      "step": 450
    },
    {
      "epoch": 0.03833333333333333,
      "grad_norm": 0.07312625646591187,
      "learning_rate": 0.0002996435288129202,
      "loss": 4.090036773681641,
      "step": 460
    },
    {
      "epoch": 0.03916666666666667,
      "grad_norm": 0.07782439142465591,
      "learning_rate": 0.0002996154826697489,
      "loss": 4.060888671875,
      "step": 470
    },
    {
      "epoch": 0.04,
      "grad_norm": 0.06876000016927719,
      "learning_rate": 0.00029958637602330685,
      "loss": 4.065421295166016,
      "step": 480
    },
    {
      "epoch": 0.04083333333333333,
      "grad_norm": 0.07044120877981186,
      "learning_rate": 0.00029955620907990777,
      "loss": 4.0340923309326175,
      "step": 490
    },
    {
      "epoch": 0.041666666666666664,
      "grad_norm": 0.06847608089447021,
      "learning_rate": 0.0002995249820533806,
      "loss": 4.013957214355469,
      "step": 500
    },
    {
      "epoch": 0.0425,
      "grad_norm": 0.06946133822202682,
      "learning_rate": 0.00029949269516506863,
      "loss": 4.006973648071289,
      "step": 510
    },
    {
      "epoch": 0.043333333333333335,
      "grad_norm": 0.07448018342256546,
      "learning_rate": 0.0002994593486438274,
      "loss": 3.9334747314453127,
      "step": 520
    },
    {
      "epoch": 0.04416666666666667,
      "grad_norm": 0.0726313516497612,
      "learning_rate": 0.00029942494272602356,
      "loss": 3.9182762145996093,
      "step": 530
    },
    {
      "epoch": 0.045,
      "grad_norm": 0.07197625935077667,
      "learning_rate": 0.0002993894776555328,
      "loss": 3.9256614685058593,
      "step": 540
    },
    {
      "epoch": 0.04583333333333333,
      "grad_norm": 0.07247449457645416,
      "learning_rate": 0.00029935295368373844,
      "loss": 3.8697052001953125,
      "step": 550
    },
    {
      "epoch": 0.04666666666666667,
      "grad_norm": 0.06503958255052567,
      "learning_rate": 0.00029931537106952925,
      "loss": 3.833271026611328,
      "step": 560
    },
    {
      "epoch": 0.0475,
      "grad_norm": 0.07078709453344345,
      "learning_rate": 0.00029927673007929814,
      "loss": 3.807381820678711,
      "step": 570
    },
    {
      "epoch": 0.04833333333333333,
      "grad_norm": 0.0642218068242073,
      "learning_rate": 0.0002992370309869398,
      "loss": 3.7920074462890625,
      "step": 580
    },
    {
      "epoch": 0.049166666666666664,
      "grad_norm": 0.07087492197751999,
      "learning_rate": 0.00029919627407384906,
      "loss": 3.759918975830078,
      "step": 590
    },
    {
      "epoch": 0.05,
      "grad_norm": 0.07459498941898346,
      "learning_rate": 0.0002991544596289187,
      "loss": 3.7198650360107424,
      "step": 600
    },
    {
      "epoch": 0.050833333333333335,
      "grad_norm": 0.07105842977762222,
      "learning_rate": 0.0002991115879485376,
      "loss": 3.7618087768554687,
      "step": 610
    },
    {
      "epoch": 0.051666666666666666,
      "grad_norm": 0.06777296215295792,
      "learning_rate": 0.00029906765933658845,
      "loss": 3.774607467651367,
      "step": 620
    },
    {
      "epoch": 0.0525,
      "grad_norm": 0.07675730437040329,
      "learning_rate": 0.00029902267410444563,
      "loss": 3.7071380615234375,
      "step": 630
    },
    {
      "epoch": 0.05333333333333334,
      "grad_norm": 0.07201831042766571,
      "learning_rate": 0.00029897663257097315,
      "loss": 3.689577102661133,
      "step": 640
    },
    {
      "epoch": 0.05416666666666667,
      "grad_norm": 0.07140760123729706,
      "learning_rate": 0.00029892953506252225,
      "loss": 3.6408855438232424,
      "step": 650
    },
    {
      "epoch": 0.055,
      "grad_norm": 0.06695026159286499,
      "learning_rate": 0.0002988813819129291,
      "loss": 3.6567893981933595,
      "step": 660
    },
    {
      "epoch": 0.05583333333333333,
      "grad_norm": 0.06928922981023788,
      "learning_rate": 0.00029883217346351245,
      "loss": 3.611972427368164,
      "step": 670
    },
    {
      "epoch": 0.056666666666666664,
      "grad_norm": 0.07292694598436356,
      "learning_rate": 0.00029878191006307126,
      "loss": 3.6120975494384764,
      "step": 680
    },
    {
      "epoch": 0.0575,
      "grad_norm": 0.06881766021251678,
      "learning_rate": 0.0002987305920678821,
      "loss": 3.561126708984375,
      "step": 690
    },
    {
      "epoch": 0.058333333333333334,
      "grad_norm": 0.06780871003866196,
      "learning_rate": 0.00029867821984169696,
      "loss": 3.608598327636719,
      "step": 700
    }
  ],
  "logging_steps": 10,
  "max_steps": 12000,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 9223372036854775807,
  "save_steps": 100,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": false
      },
      "attributes": {}
    }
  },
  "total_flos": 6.21588202389504e+16,
  "train_batch_size": 8,
  "trial_name": null,
  "trial_params": null
}