| { |
| "best_global_step": 600, |
| "best_metric": 0.9806451612903225, |
| "best_model_checkpoint": "/Users/mydoc/Climate LLM/2025_Climate_LLM/try_with_agenda_code/checkpoint-600", |
| "epoch": 8.0, |
| "eval_steps": 500, |
| "global_step": 600, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.09333333333333334, |
| "grad_norm": 10.42822265625, |
| "learning_rate": 1.9840000000000003e-05, |
| "loss": 0.3773, |
| "step": 7 |
| }, |
| { |
| "epoch": 0.18666666666666668, |
| "grad_norm": 27.95832061767578, |
| "learning_rate": 1.9653333333333334e-05, |
| "loss": 0.2689, |
| "step": 14 |
| }, |
| { |
| "epoch": 0.28, |
| "grad_norm": 2.470308780670166, |
| "learning_rate": 1.9466666666666668e-05, |
| "loss": 0.187, |
| "step": 21 |
| }, |
| { |
| "epoch": 0.37333333333333335, |
| "grad_norm": 7.191498279571533, |
| "learning_rate": 1.9280000000000002e-05, |
| "loss": 0.2274, |
| "step": 28 |
| }, |
| { |
| "epoch": 0.4666666666666667, |
| "grad_norm": 14.545049667358398, |
| "learning_rate": 1.9093333333333336e-05, |
| "loss": 0.2611, |
| "step": 35 |
| }, |
| { |
| "epoch": 0.56, |
| "grad_norm": 3.202026128768921, |
| "learning_rate": 1.890666666666667e-05, |
| "loss": 0.3348, |
| "step": 42 |
| }, |
| { |
| "epoch": 0.6533333333333333, |
| "grad_norm": 8.142129898071289, |
| "learning_rate": 1.8720000000000004e-05, |
| "loss": 0.2495, |
| "step": 49 |
| }, |
| { |
| "epoch": 0.7466666666666667, |
| "grad_norm": 1.5314451456069946, |
| "learning_rate": 1.8533333333333334e-05, |
| "loss": 0.1171, |
| "step": 56 |
| }, |
| { |
| "epoch": 0.84, |
| "grad_norm": 1.5551612377166748, |
| "learning_rate": 1.834666666666667e-05, |
| "loss": 0.1123, |
| "step": 63 |
| }, |
| { |
| "epoch": 0.9333333333333333, |
| "grad_norm": 30.10967445373535, |
| "learning_rate": 1.8160000000000002e-05, |
| "loss": 0.306, |
| "step": 70 |
| }, |
| { |
| "epoch": 1.0, |
| "eval_accuracy": 0.9666666666666667, |
| "eval_f1": 0.9675324675324676, |
| "eval_loss": 0.09679003059864044, |
| "eval_runtime": 2.5159, |
| "eval_samples_per_second": 119.242, |
| "eval_steps_per_second": 7.552, |
| "step": 75 |
| }, |
| { |
| "epoch": 1.0266666666666666, |
| "grad_norm": 16.01626205444336, |
| "learning_rate": 1.7973333333333333e-05, |
| "loss": 0.1508, |
| "step": 77 |
| }, |
| { |
| "epoch": 1.12, |
| "grad_norm": 27.686017990112305, |
| "learning_rate": 1.7786666666666667e-05, |
| "loss": 0.1089, |
| "step": 84 |
| }, |
| { |
| "epoch": 1.2133333333333334, |
| "grad_norm": 0.9957962036132812, |
| "learning_rate": 1.76e-05, |
| "loss": 0.1198, |
| "step": 91 |
| }, |
| { |
| "epoch": 1.3066666666666666, |
| "grad_norm": 8.406964302062988, |
| "learning_rate": 1.7413333333333335e-05, |
| "loss": 0.1616, |
| "step": 98 |
| }, |
| { |
| "epoch": 1.4, |
| "grad_norm": 1.0521156787872314, |
| "learning_rate": 1.7226666666666665e-05, |
| "loss": 0.0158, |
| "step": 105 |
| }, |
| { |
| "epoch": 1.4933333333333334, |
| "grad_norm": 0.40407484769821167, |
| "learning_rate": 1.704e-05, |
| "loss": 0.0535, |
| "step": 112 |
| }, |
| { |
| "epoch": 1.5866666666666667, |
| "grad_norm": 0.06184021383523941, |
| "learning_rate": 1.6853333333333333e-05, |
| "loss": 0.0981, |
| "step": 119 |
| }, |
| { |
| "epoch": 1.6800000000000002, |
| "grad_norm": 11.684207916259766, |
| "learning_rate": 1.6666666666666667e-05, |
| "loss": 0.2692, |
| "step": 126 |
| }, |
| { |
| "epoch": 1.7733333333333334, |
| "grad_norm": 0.14946074783802032, |
| "learning_rate": 1.648e-05, |
| "loss": 0.1912, |
| "step": 133 |
| }, |
| { |
| "epoch": 1.8666666666666667, |
| "grad_norm": 0.19038739800453186, |
| "learning_rate": 1.6293333333333335e-05, |
| "loss": 0.1773, |
| "step": 140 |
| }, |
| { |
| "epoch": 1.96, |
| "grad_norm": 13.605051040649414, |
| "learning_rate": 1.610666666666667e-05, |
| "loss": 0.0954, |
| "step": 147 |
| }, |
| { |
| "epoch": 2.0, |
| "eval_accuracy": 0.9733333333333334, |
| "eval_f1": 0.974025974025974, |
| "eval_loss": 0.08984354883432388, |
| "eval_runtime": 1.8242, |
| "eval_samples_per_second": 164.455, |
| "eval_steps_per_second": 10.416, |
| "step": 150 |
| }, |
| { |
| "epoch": 2.0533333333333332, |
| "grad_norm": 0.7999533414840698, |
| "learning_rate": 1.5920000000000003e-05, |
| "loss": 0.0445, |
| "step": 154 |
| }, |
| { |
| "epoch": 2.1466666666666665, |
| "grad_norm": 0.4805225133895874, |
| "learning_rate": 1.5733333333333334e-05, |
| "loss": 0.0096, |
| "step": 161 |
| }, |
| { |
| "epoch": 2.24, |
| "grad_norm": 0.8736094832420349, |
| "learning_rate": 1.5546666666666668e-05, |
| "loss": 0.095, |
| "step": 168 |
| }, |
| { |
| "epoch": 2.3333333333333335, |
| "grad_norm": 0.02811317890882492, |
| "learning_rate": 1.5360000000000002e-05, |
| "loss": 0.0886, |
| "step": 175 |
| }, |
| { |
| "epoch": 2.4266666666666667, |
| "grad_norm": 0.10145525634288788, |
| "learning_rate": 1.5173333333333336e-05, |
| "loss": 0.0434, |
| "step": 182 |
| }, |
| { |
| "epoch": 2.52, |
| "grad_norm": 0.747158408164978, |
| "learning_rate": 1.4986666666666667e-05, |
| "loss": 0.0694, |
| "step": 189 |
| }, |
| { |
| "epoch": 2.6133333333333333, |
| "grad_norm": 0.042274266481399536, |
| "learning_rate": 1.48e-05, |
| "loss": 0.0695, |
| "step": 196 |
| }, |
| { |
| "epoch": 2.7066666666666666, |
| "grad_norm": 19.82631492614746, |
| "learning_rate": 1.4613333333333335e-05, |
| "loss": 0.0165, |
| "step": 203 |
| }, |
| { |
| "epoch": 2.8, |
| "grad_norm": 1.7409069538116455, |
| "learning_rate": 1.4426666666666669e-05, |
| "loss": 0.1791, |
| "step": 210 |
| }, |
| { |
| "epoch": 2.8933333333333335, |
| "grad_norm": 0.031883351504802704, |
| "learning_rate": 1.4240000000000001e-05, |
| "loss": 0.1559, |
| "step": 217 |
| }, |
| { |
| "epoch": 2.986666666666667, |
| "grad_norm": 0.029656479135155678, |
| "learning_rate": 1.4053333333333335e-05, |
| "loss": 0.0956, |
| "step": 224 |
| }, |
| { |
| "epoch": 3.0, |
| "eval_accuracy": 0.96, |
| "eval_f1": 0.9622641509433962, |
| "eval_loss": 0.18078146874904633, |
| "eval_runtime": 1.824, |
| "eval_samples_per_second": 164.477, |
| "eval_steps_per_second": 10.417, |
| "step": 225 |
| }, |
| { |
| "epoch": 3.08, |
| "grad_norm": 15.17425537109375, |
| "learning_rate": 1.3866666666666669e-05, |
| "loss": 0.158, |
| "step": 231 |
| }, |
| { |
| "epoch": 3.1733333333333333, |
| "grad_norm": 0.06228048726916313, |
| "learning_rate": 1.3680000000000003e-05, |
| "loss": 0.0218, |
| "step": 238 |
| }, |
| { |
| "epoch": 3.2666666666666666, |
| "grad_norm": 0.8034480810165405, |
| "learning_rate": 1.3493333333333333e-05, |
| "loss": 0.0865, |
| "step": 245 |
| }, |
| { |
| "epoch": 3.36, |
| "grad_norm": 0.06001337617635727, |
| "learning_rate": 1.3306666666666667e-05, |
| "loss": 0.046, |
| "step": 252 |
| }, |
| { |
| "epoch": 3.453333333333333, |
| "grad_norm": 0.15396669507026672, |
| "learning_rate": 1.3120000000000001e-05, |
| "loss": 0.0028, |
| "step": 259 |
| }, |
| { |
| "epoch": 3.546666666666667, |
| "grad_norm": 2.926787853240967, |
| "learning_rate": 1.2933333333333334e-05, |
| "loss": 0.0296, |
| "step": 266 |
| }, |
| { |
| "epoch": 3.64, |
| "grad_norm": 0.0658014714717865, |
| "learning_rate": 1.2746666666666668e-05, |
| "loss": 0.0424, |
| "step": 273 |
| }, |
| { |
| "epoch": 3.7333333333333334, |
| "grad_norm": 0.4807497262954712, |
| "learning_rate": 1.2560000000000002e-05, |
| "loss": 0.0445, |
| "step": 280 |
| }, |
| { |
| "epoch": 3.8266666666666667, |
| "grad_norm": 0.030960503965616226, |
| "learning_rate": 1.2373333333333336e-05, |
| "loss": 0.0083, |
| "step": 287 |
| }, |
| { |
| "epoch": 3.92, |
| "grad_norm": 0.15096153318881989, |
| "learning_rate": 1.2186666666666666e-05, |
| "loss": 0.0029, |
| "step": 294 |
| }, |
| { |
| "epoch": 4.0, |
| "eval_accuracy": 0.98, |
| "eval_f1": 0.9805194805194806, |
| "eval_loss": 0.07832716405391693, |
| "eval_runtime": 1.8295, |
| "eval_samples_per_second": 163.982, |
| "eval_steps_per_second": 10.386, |
| "step": 300 |
| }, |
| { |
| "epoch": 4.013333333333334, |
| "grad_norm": 0.06817571073770523, |
| "learning_rate": 1.2e-05, |
| "loss": 0.029, |
| "step": 301 |
| }, |
| { |
| "epoch": 4.1066666666666665, |
| "grad_norm": 4.708883762359619, |
| "learning_rate": 1.1813333333333334e-05, |
| "loss": 0.0557, |
| "step": 308 |
| }, |
| { |
| "epoch": 4.2, |
| "grad_norm": 8.52562427520752, |
| "learning_rate": 1.1626666666666668e-05, |
| "loss": 0.0061, |
| "step": 315 |
| }, |
| { |
| "epoch": 4.293333333333333, |
| "grad_norm": 1.1084818840026855, |
| "learning_rate": 1.144e-05, |
| "loss": 0.0124, |
| "step": 322 |
| }, |
| { |
| "epoch": 4.386666666666667, |
| "grad_norm": 0.8334437012672424, |
| "learning_rate": 1.1253333333333335e-05, |
| "loss": 0.0008, |
| "step": 329 |
| }, |
| { |
| "epoch": 4.48, |
| "grad_norm": 0.03568168729543686, |
| "learning_rate": 1.1066666666666669e-05, |
| "loss": 0.0116, |
| "step": 336 |
| }, |
| { |
| "epoch": 4.573333333333333, |
| "grad_norm": 0.014342905953526497, |
| "learning_rate": 1.0880000000000001e-05, |
| "loss": 0.0113, |
| "step": 343 |
| }, |
| { |
| "epoch": 4.666666666666667, |
| "grad_norm": 0.036500025540590286, |
| "learning_rate": 1.0693333333333333e-05, |
| "loss": 0.0184, |
| "step": 350 |
| }, |
| { |
| "epoch": 4.76, |
| "grad_norm": 22.589096069335938, |
| "learning_rate": 1.0506666666666667e-05, |
| "loss": 0.0546, |
| "step": 357 |
| }, |
| { |
| "epoch": 4.8533333333333335, |
| "grad_norm": 0.009183472022414207, |
| "learning_rate": 1.0320000000000001e-05, |
| "loss": 0.074, |
| "step": 364 |
| }, |
| { |
| "epoch": 4.946666666666666, |
| "grad_norm": 0.04771652817726135, |
| "learning_rate": 1.0133333333333335e-05, |
| "loss": 0.0395, |
| "step": 371 |
| }, |
| { |
| "epoch": 5.0, |
| "eval_accuracy": 0.98, |
| "eval_f1": 0.9802631578947368, |
| "eval_loss": 0.1025681421160698, |
| "eval_runtime": 1.8467, |
| "eval_samples_per_second": 162.45, |
| "eval_steps_per_second": 10.288, |
| "step": 375 |
| }, |
| { |
| "epoch": 5.04, |
| "grad_norm": 0.015700846910476685, |
| "learning_rate": 9.946666666666667e-06, |
| "loss": 0.0008, |
| "step": 378 |
| }, |
| { |
| "epoch": 5.133333333333334, |
| "grad_norm": 0.051680661737918854, |
| "learning_rate": 9.760000000000001e-06, |
| "loss": 0.0004, |
| "step": 385 |
| }, |
| { |
| "epoch": 5.226666666666667, |
| "grad_norm": 0.0657574012875557, |
| "learning_rate": 9.573333333333334e-06, |
| "loss": 0.0026, |
| "step": 392 |
| }, |
| { |
| "epoch": 5.32, |
| "grad_norm": 0.01937054470181465, |
| "learning_rate": 9.386666666666668e-06, |
| "loss": 0.0641, |
| "step": 399 |
| }, |
| { |
| "epoch": 5.413333333333333, |
| "grad_norm": 0.008215604349970818, |
| "learning_rate": 9.200000000000002e-06, |
| "loss": 0.0792, |
| "step": 406 |
| }, |
| { |
| "epoch": 5.506666666666667, |
| "grad_norm": 0.09713590890169144, |
| "learning_rate": 9.013333333333334e-06, |
| "loss": 0.0223, |
| "step": 413 |
| }, |
| { |
| "epoch": 5.6, |
| "grad_norm": 0.0219940897077322, |
| "learning_rate": 8.826666666666668e-06, |
| "loss": 0.0323, |
| "step": 420 |
| }, |
| { |
| "epoch": 5.693333333333333, |
| "grad_norm": 0.009316391311585903, |
| "learning_rate": 8.64e-06, |
| "loss": 0.0003, |
| "step": 427 |
| }, |
| { |
| "epoch": 5.786666666666667, |
| "grad_norm": 0.009829052723944187, |
| "learning_rate": 8.453333333333334e-06, |
| "loss": 0.0004, |
| "step": 434 |
| }, |
| { |
| "epoch": 5.88, |
| "grad_norm": 0.3708294928073883, |
| "learning_rate": 8.266666666666667e-06, |
| "loss": 0.0027, |
| "step": 441 |
| }, |
| { |
| "epoch": 5.973333333333334, |
| "grad_norm": 0.031645845621824265, |
| "learning_rate": 8.08e-06, |
| "loss": 0.035, |
| "step": 448 |
| }, |
| { |
| "epoch": 6.0, |
| "eval_accuracy": 0.9733333333333334, |
| "eval_f1": 0.9743589743589743, |
| "eval_loss": 0.13076448440551758, |
| "eval_runtime": 1.8317, |
| "eval_samples_per_second": 163.778, |
| "eval_steps_per_second": 10.373, |
| "step": 450 |
| }, |
| { |
| "epoch": 6.066666666666666, |
| "grad_norm": 0.06638117879629135, |
| "learning_rate": 7.893333333333335e-06, |
| "loss": 0.0714, |
| "step": 455 |
| }, |
| { |
| "epoch": 6.16, |
| "grad_norm": 0.015339205041527748, |
| "learning_rate": 7.706666666666669e-06, |
| "loss": 0.0651, |
| "step": 462 |
| }, |
| { |
| "epoch": 6.253333333333333, |
| "grad_norm": 0.029017118737101555, |
| "learning_rate": 7.520000000000001e-06, |
| "loss": 0.0037, |
| "step": 469 |
| }, |
| { |
| "epoch": 6.346666666666667, |
| "grad_norm": 0.013317309319972992, |
| "learning_rate": 7.333333333333333e-06, |
| "loss": 0.0003, |
| "step": 476 |
| }, |
| { |
| "epoch": 6.44, |
| "grad_norm": 0.00799871701747179, |
| "learning_rate": 7.146666666666667e-06, |
| "loss": 0.0003, |
| "step": 483 |
| }, |
| { |
| "epoch": 6.533333333333333, |
| "grad_norm": 0.02156682126224041, |
| "learning_rate": 6.96e-06, |
| "loss": 0.0248, |
| "step": 490 |
| }, |
| { |
| "epoch": 6.626666666666667, |
| "grad_norm": 0.019904999062418938, |
| "learning_rate": 6.773333333333334e-06, |
| "loss": 0.0006, |
| "step": 497 |
| }, |
| { |
| "epoch": 6.72, |
| "grad_norm": 0.0056484779343008995, |
| "learning_rate": 6.5866666666666666e-06, |
| "loss": 0.0986, |
| "step": 504 |
| }, |
| { |
| "epoch": 6.8133333333333335, |
| "grad_norm": 0.13198618590831757, |
| "learning_rate": 6.4000000000000006e-06, |
| "loss": 0.067, |
| "step": 511 |
| }, |
| { |
| "epoch": 6.906666666666666, |
| "grad_norm": 9.249489784240723, |
| "learning_rate": 6.213333333333334e-06, |
| "loss": 0.0105, |
| "step": 518 |
| }, |
| { |
| "epoch": 7.0, |
| "grad_norm": 0.010262906551361084, |
| "learning_rate": 6.026666666666668e-06, |
| "loss": 0.0094, |
| "step": 525 |
| }, |
| { |
| "epoch": 7.0, |
| "eval_accuracy": 0.9766666666666667, |
| "eval_f1": 0.9771986970684039, |
| "eval_loss": 0.11084301024675369, |
| "eval_runtime": 1.7731, |
| "eval_samples_per_second": 169.198, |
| "eval_steps_per_second": 10.716, |
| "step": 525 |
| }, |
| { |
| "epoch": 7.093333333333334, |
| "grad_norm": 0.009576918557286263, |
| "learning_rate": 5.84e-06, |
| "loss": 0.0002, |
| "step": 532 |
| }, |
| { |
| "epoch": 7.1866666666666665, |
| "grad_norm": 0.01179348211735487, |
| "learning_rate": 5.653333333333334e-06, |
| "loss": 0.0003, |
| "step": 539 |
| }, |
| { |
| "epoch": 7.28, |
| "grad_norm": 0.010826204903423786, |
| "learning_rate": 5.466666666666667e-06, |
| "loss": 0.0196, |
| "step": 546 |
| }, |
| { |
| "epoch": 7.373333333333333, |
| "grad_norm": 0.010882966220378876, |
| "learning_rate": 5.28e-06, |
| "loss": 0.0003, |
| "step": 553 |
| }, |
| { |
| "epoch": 7.466666666666667, |
| "grad_norm": 0.00825849361717701, |
| "learning_rate": 5.093333333333333e-06, |
| "loss": 0.0003, |
| "step": 560 |
| }, |
| { |
| "epoch": 7.5600000000000005, |
| "grad_norm": 0.005225705914199352, |
| "learning_rate": 4.9066666666666666e-06, |
| "loss": 0.0003, |
| "step": 567 |
| }, |
| { |
| "epoch": 7.653333333333333, |
| "grad_norm": 0.006640120409429073, |
| "learning_rate": 4.7200000000000005e-06, |
| "loss": 0.06, |
| "step": 574 |
| }, |
| { |
| "epoch": 7.746666666666667, |
| "grad_norm": 0.010534493252635002, |
| "learning_rate": 4.533333333333334e-06, |
| "loss": 0.0002, |
| "step": 581 |
| }, |
| { |
| "epoch": 7.84, |
| "grad_norm": 0.013700931333005428, |
| "learning_rate": 4.346666666666667e-06, |
| "loss": 0.0002, |
| "step": 588 |
| }, |
| { |
| "epoch": 7.933333333333334, |
| "grad_norm": 0.005316473543643951, |
| "learning_rate": 4.16e-06, |
| "loss": 0.0003, |
| "step": 595 |
| }, |
| { |
| "epoch": 8.0, |
| "eval_accuracy": 0.98, |
| "eval_f1": 0.9806451612903225, |
| "eval_loss": 0.11817323416471481, |
| "eval_runtime": 1.8364, |
| "eval_samples_per_second": 163.36, |
| "eval_steps_per_second": 10.346, |
| "step": 600 |
| } |
| ], |
| "logging_steps": 7, |
| "max_steps": 750, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 10, |
| "save_steps": 500, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": false |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 327351779716224.0, |
| "train_batch_size": 16, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
