| { |
| "best_global_step": null, |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 0.06666666666666667, |
| "eval_steps": 500, |
| "global_step": 2000, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "completion_length": 255.96875, |
| "epoch": 3.3333333333333335e-05, |
| "grad_norm": 0.0518975704908371, |
| "learning_rate": 0.0, |
| "loss": 0.0301, |
| "reward": 0.03125, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.03125, |
| "step": 1, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 6.666666666666667e-05, |
| "grad_norm": 0.05098247528076172, |
| "learning_rate": 1e-06, |
| "loss": 0.0301, |
| "step": 2 |
| }, |
| { |
| "epoch": 0.0001, |
| "grad_norm": 0.054657112807035446, |
| "learning_rate": 2e-06, |
| "loss": 0.0298, |
| "step": 3 |
| }, |
| { |
| "epoch": 0.00013333333333333334, |
| "grad_norm": 0.053320202976465225, |
| "learning_rate": 3e-06, |
| "loss": 0.0304, |
| "step": 4 |
| }, |
| { |
| "epoch": 0.00016666666666666666, |
| "grad_norm": 0.057577330619096756, |
| "learning_rate": 3e-06, |
| "loss": 0.03, |
| "step": 5 |
| }, |
| { |
| "epoch": 0.0002, |
| "grad_norm": 0.05210062861442566, |
| "learning_rate": 3e-06, |
| "loss": 0.0303, |
| "step": 6 |
| }, |
| { |
| "epoch": 0.00023333333333333333, |
| "grad_norm": 0.05684678629040718, |
| "learning_rate": 3e-06, |
| "loss": 0.0297, |
| "step": 7 |
| }, |
| { |
| "epoch": 0.0002666666666666667, |
| "grad_norm": 0.05221405625343323, |
| "learning_rate": 3e-06, |
| "loss": 0.029, |
| "step": 8 |
| }, |
| { |
| "completion_length": 256.0, |
| "epoch": 0.0003, |
| "grad_norm": 0.10397238284349442, |
| "learning_rate": 3e-06, |
| "loss": 0.0565, |
| "reward": 0.5625, |
| "reward_std": 0.17078250646591187, |
| "rewards/correctness_reward_func_math": 0.5625, |
| "step": 9, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0003333333333333333, |
| "grad_norm": 0.1021997407078743, |
| "learning_rate": 3e-06, |
| "loss": 0.057, |
| "step": 10 |
| }, |
| { |
| "epoch": 0.00036666666666666667, |
| "grad_norm": 0.09791940450668335, |
| "learning_rate": 3e-06, |
| "loss": 0.0566, |
| "step": 11 |
| }, |
| { |
| "epoch": 0.0004, |
| "grad_norm": 0.09643112123012543, |
| "learning_rate": 3e-06, |
| "loss": 0.0567, |
| "step": 12 |
| }, |
| { |
| "epoch": 0.0004333333333333333, |
| "grad_norm": 0.09656722098588943, |
| "learning_rate": 3e-06, |
| "loss": 0.0561, |
| "step": 13 |
| }, |
| { |
| "epoch": 0.00046666666666666666, |
| "grad_norm": 0.0903945192694664, |
| "learning_rate": 3e-06, |
| "loss": 0.0557, |
| "step": 14 |
| }, |
| { |
| "epoch": 0.0005, |
| "grad_norm": 0.08725807070732117, |
| "learning_rate": 3e-06, |
| "loss": 0.0553, |
| "step": 15 |
| }, |
| { |
| "epoch": 0.0005333333333333334, |
| "grad_norm": 0.0783955380320549, |
| "learning_rate": 3e-06, |
| "loss": 0.0553, |
| "step": 16 |
| }, |
| { |
| "completion_length": 229.0, |
| "epoch": 0.0005666666666666667, |
| "grad_norm": 0.23368851840496063, |
| "learning_rate": 3e-06, |
| "loss": 0.0554, |
| "reward": 0.4375, |
| "reward_std": 0.17078250646591187, |
| "rewards/correctness_reward_func_math": 0.4375, |
| "step": 17, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0006, |
| "grad_norm": 0.10745719820261002, |
| "learning_rate": 3e-06, |
| "loss": 0.0559, |
| "step": 18 |
| }, |
| { |
| "epoch": 0.0006333333333333333, |
| "grad_norm": 0.2750680148601532, |
| "learning_rate": 3e-06, |
| "loss": 0.0561, |
| "step": 19 |
| }, |
| { |
| "epoch": 0.0006666666666666666, |
| "grad_norm": 0.18614627420902252, |
| "learning_rate": 3e-06, |
| "loss": 0.0554, |
| "step": 20 |
| }, |
| { |
| "epoch": 0.0007, |
| "grad_norm": 0.19503481686115265, |
| "learning_rate": 3e-06, |
| "loss": 0.0557, |
| "step": 21 |
| }, |
| { |
| "epoch": 0.0007333333333333333, |
| "grad_norm": 0.2842339873313904, |
| "learning_rate": 3e-06, |
| "loss": 0.0551, |
| "step": 22 |
| }, |
| { |
| "epoch": 0.0007666666666666667, |
| "grad_norm": 0.13174790143966675, |
| "learning_rate": 3e-06, |
| "loss": 0.0554, |
| "step": 23 |
| }, |
| { |
| "epoch": 0.0008, |
| "grad_norm": 0.13147835433483124, |
| "learning_rate": 3e-06, |
| "loss": 0.0543, |
| "step": 24 |
| }, |
| { |
| "completion_length": 232.53125, |
| "epoch": 0.0008333333333333334, |
| "grad_norm": 0.014278360642492771, |
| "learning_rate": 3e-06, |
| "loss": 0.0005, |
| "reward": 0.5, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.5, |
| "step": 25, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.0008666666666666666, |
| "grad_norm": 0.012575574219226837, |
| "learning_rate": 3e-06, |
| "loss": 0.0005, |
| "step": 26 |
| }, |
| { |
| "epoch": 0.0009, |
| "grad_norm": 0.01194336824119091, |
| "learning_rate": 3e-06, |
| "loss": 0.0005, |
| "step": 27 |
| }, |
| { |
| "epoch": 0.0009333333333333333, |
| "grad_norm": 0.011311189271509647, |
| "learning_rate": 3e-06, |
| "loss": 0.0005, |
| "step": 28 |
| }, |
| { |
| "epoch": 0.0009666666666666667, |
| "grad_norm": 0.01020097080618143, |
| "learning_rate": 3e-06, |
| "loss": 0.0005, |
| "step": 29 |
| }, |
| { |
| "epoch": 0.001, |
| "grad_norm": 0.00996088795363903, |
| "learning_rate": 3e-06, |
| "loss": 0.0005, |
| "step": 30 |
| }, |
| { |
| "epoch": 0.0010333333333333334, |
| "grad_norm": 0.009922181256115437, |
| "learning_rate": 3e-06, |
| "loss": 0.0005, |
| "step": 31 |
| }, |
| { |
| "epoch": 0.0010666666666666667, |
| "grad_norm": 0.011138035915791988, |
| "learning_rate": 3e-06, |
| "loss": 0.0005, |
| "step": 32 |
| }, |
| { |
| "completion_length": 253.34375, |
| "epoch": 0.0011, |
| "grad_norm": 0.24923837184906006, |
| "learning_rate": 3e-06, |
| "loss": 0.0807, |
| "reward": 0.09375, |
| "reward_std": 0.20155644416809082, |
| "rewards/correctness_reward_func_math": 0.09375, |
| "step": 33, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0011333333333333334, |
| "grad_norm": 0.272708535194397, |
| "learning_rate": 3e-06, |
| "loss": 0.0811, |
| "step": 34 |
| }, |
| { |
| "epoch": 0.0011666666666666668, |
| "grad_norm": 0.27483612298965454, |
| "learning_rate": 3e-06, |
| "loss": 0.0804, |
| "step": 35 |
| }, |
| { |
| "epoch": 0.0012, |
| "grad_norm": 0.2556411921977997, |
| "learning_rate": 3e-06, |
| "loss": 0.08, |
| "step": 36 |
| }, |
| { |
| "epoch": 0.0012333333333333332, |
| "grad_norm": 0.27268117666244507, |
| "learning_rate": 3e-06, |
| "loss": 0.0782, |
| "step": 37 |
| }, |
| { |
| "epoch": 0.0012666666666666666, |
| "grad_norm": 0.27308887243270874, |
| "learning_rate": 3e-06, |
| "loss": 0.0774, |
| "step": 38 |
| }, |
| { |
| "epoch": 0.0013, |
| "grad_norm": 0.27048128843307495, |
| "learning_rate": 3e-06, |
| "loss": 0.0767, |
| "step": 39 |
| }, |
| { |
| "epoch": 0.0013333333333333333, |
| "grad_norm": 0.21547333896160126, |
| "learning_rate": 3e-06, |
| "loss": 0.0754, |
| "step": 40 |
| }, |
| { |
| "completion_length": 254.09375, |
| "epoch": 0.0013666666666666666, |
| "grad_norm": 0.013881275430321693, |
| "learning_rate": 3e-06, |
| "loss": 0.0003, |
| "reward": 0.5, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.5, |
| "step": 41, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.0014, |
| "grad_norm": 0.010510912165045738, |
| "learning_rate": 3e-06, |
| "loss": 0.0003, |
| "step": 42 |
| }, |
| { |
| "epoch": 0.0014333333333333333, |
| "grad_norm": 0.010891458950936794, |
| "learning_rate": 3e-06, |
| "loss": 0.0003, |
| "step": 43 |
| }, |
| { |
| "epoch": 0.0014666666666666667, |
| "grad_norm": 0.012331967242062092, |
| "learning_rate": 3e-06, |
| "loss": 0.0004, |
| "step": 44 |
| }, |
| { |
| "epoch": 0.0015, |
| "grad_norm": 0.014051690697669983, |
| "learning_rate": 3e-06, |
| "loss": 0.0004, |
| "step": 45 |
| }, |
| { |
| "epoch": 0.0015333333333333334, |
| "grad_norm": 0.013023377396166325, |
| "learning_rate": 3e-06, |
| "loss": 0.0004, |
| "step": 46 |
| }, |
| { |
| "epoch": 0.0015666666666666667, |
| "grad_norm": 0.01285965833812952, |
| "learning_rate": 3e-06, |
| "loss": 0.0004, |
| "step": 47 |
| }, |
| { |
| "epoch": 0.0016, |
| "grad_norm": 0.015991946682333946, |
| "learning_rate": 3e-06, |
| "loss": 0.0004, |
| "step": 48 |
| }, |
| { |
| "completion_length": 252.25, |
| "epoch": 0.0016333333333333334, |
| "grad_norm": 0.20763088762760162, |
| "learning_rate": 3e-06, |
| "loss": 0.1298, |
| "reward": 0.78125, |
| "reward_std": 0.2561737596988678, |
| "rewards/correctness_reward_func_math": 0.78125, |
| "step": 49, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0016666666666666668, |
| "grad_norm": 0.24980323016643524, |
| "learning_rate": 3e-06, |
| "loss": 0.1292, |
| "step": 50 |
| }, |
| { |
| "epoch": 0.0017, |
| "grad_norm": 0.24436639249324799, |
| "learning_rate": 3e-06, |
| "loss": 0.1287, |
| "step": 51 |
| }, |
| { |
| "epoch": 0.0017333333333333333, |
| "grad_norm": 0.2344793677330017, |
| "learning_rate": 3e-06, |
| "loss": 0.1269, |
| "step": 52 |
| }, |
| { |
| "epoch": 0.0017666666666666666, |
| "grad_norm": 0.23817028105258942, |
| "learning_rate": 3e-06, |
| "loss": 0.1257, |
| "step": 53 |
| }, |
| { |
| "epoch": 0.0018, |
| "grad_norm": 0.22501955926418304, |
| "learning_rate": 3e-06, |
| "loss": 0.1266, |
| "step": 54 |
| }, |
| { |
| "epoch": 0.0018333333333333333, |
| "grad_norm": 0.21205061674118042, |
| "learning_rate": 3e-06, |
| "loss": 0.1268, |
| "step": 55 |
| }, |
| { |
| "epoch": 0.0018666666666666666, |
| "grad_norm": 0.20419356226921082, |
| "learning_rate": 3e-06, |
| "loss": 0.1258, |
| "step": 56 |
| }, |
| { |
| "completion_length": 256.0, |
| "epoch": 0.0019, |
| "grad_norm": 0.23656126856803894, |
| "learning_rate": 3e-06, |
| "loss": 0.2228, |
| "reward": 0.4375, |
| "reward_std": 0.47360679507255554, |
| "rewards/correctness_reward_func_math": 0.4375, |
| "step": 57, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.0019333333333333333, |
| "grad_norm": 0.254794180393219, |
| "learning_rate": 3e-06, |
| "loss": 0.2229, |
| "step": 58 |
| }, |
| { |
| "epoch": 0.0019666666666666665, |
| "grad_norm": 0.23896799981594086, |
| "learning_rate": 3e-06, |
| "loss": 0.2214, |
| "step": 59 |
| }, |
| { |
| "epoch": 0.002, |
| "grad_norm": 0.23068341612815857, |
| "learning_rate": 3e-06, |
| "loss": 0.2204, |
| "step": 60 |
| }, |
| { |
| "epoch": 0.002033333333333333, |
| "grad_norm": 0.232908695936203, |
| "learning_rate": 3e-06, |
| "loss": 0.2202, |
| "step": 61 |
| }, |
| { |
| "epoch": 0.0020666666666666667, |
| "grad_norm": 0.22100138664245605, |
| "learning_rate": 3e-06, |
| "loss": 0.2188, |
| "step": 62 |
| }, |
| { |
| "epoch": 0.0021, |
| "grad_norm": 0.27116477489471436, |
| "learning_rate": 3e-06, |
| "loss": 0.2155, |
| "step": 63 |
| }, |
| { |
| "epoch": 0.0021333333333333334, |
| "grad_norm": 0.21231083571910858, |
| "learning_rate": 3e-06, |
| "loss": 0.2148, |
| "step": 64 |
| }, |
| { |
| "completion_length": 233.75, |
| "epoch": 0.0021666666666666666, |
| "grad_norm": 0.006717658136039972, |
| "learning_rate": 3e-06, |
| "loss": 0.0003, |
| "reward": 0.5, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.5, |
| "step": 65, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.0022, |
| "grad_norm": 0.007215797435492277, |
| "learning_rate": 3e-06, |
| "loss": 0.0003, |
| "step": 66 |
| }, |
| { |
| "epoch": 0.0022333333333333333, |
| "grad_norm": 0.010575203225016594, |
| "learning_rate": 3e-06, |
| "loss": 0.0003, |
| "step": 67 |
| }, |
| { |
| "epoch": 0.002266666666666667, |
| "grad_norm": 0.0072828298434615135, |
| "learning_rate": 3e-06, |
| "loss": 0.0003, |
| "step": 68 |
| }, |
| { |
| "epoch": 0.0023, |
| "grad_norm": 0.01340592373162508, |
| "learning_rate": 3e-06, |
| "loss": 0.0004, |
| "step": 69 |
| }, |
| { |
| "epoch": 0.0023333333333333335, |
| "grad_norm": 0.014055710285902023, |
| "learning_rate": 3e-06, |
| "loss": 0.0004, |
| "step": 70 |
| }, |
| { |
| "epoch": 0.0023666666666666667, |
| "grad_norm": 0.015364506281912327, |
| "learning_rate": 3e-06, |
| "loss": 0.0004, |
| "step": 71 |
| }, |
| { |
| "epoch": 0.0024, |
| "grad_norm": 0.024872636422514915, |
| "learning_rate": 3e-06, |
| "loss": 0.0004, |
| "step": 72 |
| }, |
| { |
| "completion_length": 255.09375, |
| "epoch": 0.0024333333333333334, |
| "grad_norm": 0.06832873821258545, |
| "learning_rate": 3e-06, |
| "loss": 0.0304, |
| "reward": 0.53125, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.53125, |
| "step": 73, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0024666666666666665, |
| "grad_norm": 0.07866165041923523, |
| "learning_rate": 3e-06, |
| "loss": 0.0307, |
| "step": 74 |
| }, |
| { |
| "epoch": 0.0025, |
| "grad_norm": 0.07498153299093246, |
| "learning_rate": 3e-06, |
| "loss": 0.0302, |
| "step": 75 |
| }, |
| { |
| "epoch": 0.002533333333333333, |
| "grad_norm": 0.0730958953499794, |
| "learning_rate": 3e-06, |
| "loss": 0.0301, |
| "step": 76 |
| }, |
| { |
| "epoch": 0.0025666666666666667, |
| "grad_norm": 0.06295739859342575, |
| "learning_rate": 3e-06, |
| "loss": 0.03, |
| "step": 77 |
| }, |
| { |
| "epoch": 0.0026, |
| "grad_norm": 0.07843673229217529, |
| "learning_rate": 3e-06, |
| "loss": 0.0298, |
| "step": 78 |
| }, |
| { |
| "epoch": 0.0026333333333333334, |
| "grad_norm": 0.056678809225559235, |
| "learning_rate": 3e-06, |
| "loss": 0.0296, |
| "step": 79 |
| }, |
| { |
| "epoch": 0.0026666666666666666, |
| "grad_norm": 0.05612683668732643, |
| "learning_rate": 3e-06, |
| "loss": 0.0292, |
| "step": 80 |
| }, |
| { |
| "completion_length": 241.28125, |
| "epoch": 0.0027, |
| "grad_norm": 0.011933929286897182, |
| "learning_rate": 3e-06, |
| "loss": 0.0007, |
| "reward": 0.0, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.0, |
| "step": 81, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.0027333333333333333, |
| "grad_norm": 0.012427560053765774, |
| "learning_rate": 3e-06, |
| "loss": 0.0007, |
| "step": 82 |
| }, |
| { |
| "epoch": 0.002766666666666667, |
| "grad_norm": 0.013118051923811436, |
| "learning_rate": 3e-06, |
| "loss": 0.0007, |
| "step": 83 |
| }, |
| { |
| "epoch": 0.0028, |
| "grad_norm": 0.012824983336031437, |
| "learning_rate": 3e-06, |
| "loss": 0.0007, |
| "step": 84 |
| }, |
| { |
| "epoch": 0.0028333333333333335, |
| "grad_norm": 0.01356880459934473, |
| "learning_rate": 3e-06, |
| "loss": 0.0007, |
| "step": 85 |
| }, |
| { |
| "epoch": 0.0028666666666666667, |
| "grad_norm": 0.013061177916824818, |
| "learning_rate": 3e-06, |
| "loss": 0.0007, |
| "step": 86 |
| }, |
| { |
| "epoch": 0.0029, |
| "grad_norm": 0.013444256968796253, |
| "learning_rate": 3e-06, |
| "loss": 0.0007, |
| "step": 87 |
| }, |
| { |
| "epoch": 0.0029333333333333334, |
| "grad_norm": 0.013051574118435383, |
| "learning_rate": 3e-06, |
| "loss": 0.0007, |
| "step": 88 |
| }, |
| { |
| "completion_length": 253.34375, |
| "epoch": 0.0029666666666666665, |
| "grad_norm": 0.18856722116470337, |
| "learning_rate": 3e-06, |
| "loss": 0.0323, |
| "reward": 0.03125, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.03125, |
| "step": 89, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.003, |
| "grad_norm": 0.201008141040802, |
| "learning_rate": 3e-06, |
| "loss": 0.0312, |
| "step": 90 |
| }, |
| { |
| "epoch": 0.003033333333333333, |
| "grad_norm": 0.15426987409591675, |
| "learning_rate": 3e-06, |
| "loss": 0.0301, |
| "step": 91 |
| }, |
| { |
| "epoch": 0.0030666666666666668, |
| "grad_norm": 0.133956179022789, |
| "learning_rate": 3e-06, |
| "loss": 0.0296, |
| "step": 92 |
| }, |
| { |
| "epoch": 0.0031, |
| "grad_norm": 0.14882893860340118, |
| "learning_rate": 3e-06, |
| "loss": 0.0299, |
| "step": 93 |
| }, |
| { |
| "epoch": 0.0031333333333333335, |
| "grad_norm": 0.12551283836364746, |
| "learning_rate": 3e-06, |
| "loss": 0.0291, |
| "step": 94 |
| }, |
| { |
| "epoch": 0.0031666666666666666, |
| "grad_norm": 0.14302344620227814, |
| "learning_rate": 3e-06, |
| "loss": 0.0286, |
| "step": 95 |
| }, |
| { |
| "epoch": 0.0032, |
| "grad_norm": 0.10668440163135529, |
| "learning_rate": 3e-06, |
| "loss": 0.0279, |
| "step": 96 |
| }, |
| { |
| "completion_length": 255.03125, |
| "epoch": 0.0032333333333333333, |
| "grad_norm": 0.0907723680138588, |
| "learning_rate": 3e-06, |
| "loss": 0.0324, |
| "reward": 0.03125, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.03125, |
| "step": 97, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.003266666666666667, |
| "grad_norm": 0.09383226186037064, |
| "learning_rate": 3e-06, |
| "loss": 0.0312, |
| "step": 98 |
| }, |
| { |
| "epoch": 0.0033, |
| "grad_norm": 0.08063393831253052, |
| "learning_rate": 3e-06, |
| "loss": 0.0314, |
| "step": 99 |
| }, |
| { |
| "epoch": 0.0033333333333333335, |
| "grad_norm": 0.08071441948413849, |
| "learning_rate": 3e-06, |
| "loss": 0.0309, |
| "step": 100 |
| }, |
| { |
| "epoch": 0.0033666666666666667, |
| "grad_norm": 0.07800562679767609, |
| "learning_rate": 3e-06, |
| "loss": 0.0309, |
| "step": 101 |
| }, |
| { |
| "epoch": 0.0034, |
| "grad_norm": 0.06443937867879868, |
| "learning_rate": 3e-06, |
| "loss": 0.0304, |
| "step": 102 |
| }, |
| { |
| "epoch": 0.0034333333333333334, |
| "grad_norm": 0.05954582244157791, |
| "learning_rate": 3e-06, |
| "loss": 0.0294, |
| "step": 103 |
| }, |
| { |
| "epoch": 0.0034666666666666665, |
| "grad_norm": 0.05145871639251709, |
| "learning_rate": 3e-06, |
| "loss": 0.0293, |
| "step": 104 |
| }, |
| { |
| "completion_length": 251.375, |
| "epoch": 0.0035, |
| "grad_norm": 0.13584154844284058, |
| "learning_rate": 3e-06, |
| "loss": 0.0885, |
| "reward": 0.46875, |
| "reward_std": 0.29578250646591187, |
| "rewards/correctness_reward_func_math": 0.46875, |
| "step": 105, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.003533333333333333, |
| "grad_norm": 0.130397230386734, |
| "learning_rate": 3e-06, |
| "loss": 0.0879, |
| "step": 106 |
| }, |
| { |
| "epoch": 0.0035666666666666668, |
| "grad_norm": 0.12346140295267105, |
| "learning_rate": 3e-06, |
| "loss": 0.088, |
| "step": 107 |
| }, |
| { |
| "epoch": 0.0036, |
| "grad_norm": 0.12693190574645996, |
| "learning_rate": 3e-06, |
| "loss": 0.0879, |
| "step": 108 |
| }, |
| { |
| "epoch": 0.0036333333333333335, |
| "grad_norm": 0.10477200895547867, |
| "learning_rate": 3e-06, |
| "loss": 0.087, |
| "step": 109 |
| }, |
| { |
| "epoch": 0.0036666666666666666, |
| "grad_norm": 0.09759508073329926, |
| "learning_rate": 3e-06, |
| "loss": 0.0864, |
| "step": 110 |
| }, |
| { |
| "epoch": 0.0037, |
| "grad_norm": 0.09490299969911575, |
| "learning_rate": 3e-06, |
| "loss": 0.0855, |
| "step": 111 |
| }, |
| { |
| "epoch": 0.0037333333333333333, |
| "grad_norm": 0.09503761678934097, |
| "learning_rate": 3e-06, |
| "loss": 0.0862, |
| "step": 112 |
| }, |
| { |
| "completion_length": 252.78125, |
| "epoch": 0.003766666666666667, |
| "grad_norm": 0.3101111948490143, |
| "learning_rate": 3e-06, |
| "loss": 0.1311, |
| "reward": 0.6875, |
| "reward_std": 0.25, |
| "rewards/correctness_reward_func_math": 0.6875, |
| "step": 113, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0038, |
| "grad_norm": 0.30900123715400696, |
| "learning_rate": 3e-06, |
| "loss": 0.1304, |
| "step": 114 |
| }, |
| { |
| "epoch": 0.003833333333333333, |
| "grad_norm": 0.317385733127594, |
| "learning_rate": 3e-06, |
| "loss": 0.129, |
| "step": 115 |
| }, |
| { |
| "epoch": 0.0038666666666666667, |
| "grad_norm": 0.3121303915977478, |
| "learning_rate": 3e-06, |
| "loss": 0.1286, |
| "step": 116 |
| }, |
| { |
| "epoch": 0.0039, |
| "grad_norm": 0.30701881647109985, |
| "learning_rate": 3e-06, |
| "loss": 0.1264, |
| "step": 117 |
| }, |
| { |
| "epoch": 0.003933333333333333, |
| "grad_norm": 0.29858359694480896, |
| "learning_rate": 3e-06, |
| "loss": 0.1252, |
| "step": 118 |
| }, |
| { |
| "epoch": 0.003966666666666667, |
| "grad_norm": 0.2986866533756256, |
| "learning_rate": 3e-06, |
| "loss": 0.1213, |
| "step": 119 |
| }, |
| { |
| "epoch": 0.004, |
| "grad_norm": 0.2962644696235657, |
| "learning_rate": 3e-06, |
| "loss": 0.1198, |
| "step": 120 |
| }, |
| { |
| "completion_length": 199.34375, |
| "epoch": 0.004033333333333333, |
| "grad_norm": 0.03365297242999077, |
| "learning_rate": 3e-06, |
| "loss": 0.0016, |
| "reward": 0.5, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.5, |
| "step": 121, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.004066666666666666, |
| "grad_norm": 0.031212547793984413, |
| "learning_rate": 3e-06, |
| "loss": 0.0016, |
| "step": 122 |
| }, |
| { |
| "epoch": 0.0041, |
| "grad_norm": 0.03463492542505264, |
| "learning_rate": 3e-06, |
| "loss": 0.0017, |
| "step": 123 |
| }, |
| { |
| "epoch": 0.0041333333333333335, |
| "grad_norm": 0.03607944771647453, |
| "learning_rate": 3e-06, |
| "loss": 0.0016, |
| "step": 124 |
| }, |
| { |
| "epoch": 0.004166666666666667, |
| "grad_norm": 0.027611717581748962, |
| "learning_rate": 3e-06, |
| "loss": 0.0015, |
| "step": 125 |
| }, |
| { |
| "epoch": 0.0042, |
| "grad_norm": 0.019113659858703613, |
| "learning_rate": 3e-06, |
| "loss": 0.0015, |
| "step": 126 |
| }, |
| { |
| "epoch": 0.004233333333333334, |
| "grad_norm": 0.01919632777571678, |
| "learning_rate": 3e-06, |
| "loss": 0.0015, |
| "step": 127 |
| }, |
| { |
| "epoch": 0.004266666666666667, |
| "grad_norm": 0.017418358474969864, |
| "learning_rate": 3e-06, |
| "loss": 0.0015, |
| "step": 128 |
| }, |
| { |
| "completion_length": 250.75, |
| "epoch": 0.0043, |
| "grad_norm": 0.039216794073581696, |
| "learning_rate": 3e-06, |
| "loss": 0.0027, |
| "reward": 0.5, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.5, |
| "step": 129, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.004333333333333333, |
| "grad_norm": 0.040939297527074814, |
| "learning_rate": 3e-06, |
| "loss": 0.0027, |
| "step": 130 |
| }, |
| { |
| "epoch": 0.004366666666666666, |
| "grad_norm": 0.043933529406785965, |
| "learning_rate": 3e-06, |
| "loss": 0.0027, |
| "step": 131 |
| }, |
| { |
| "epoch": 0.0044, |
| "grad_norm": 0.04020195081830025, |
| "learning_rate": 3e-06, |
| "loss": 0.0026, |
| "step": 132 |
| }, |
| { |
| "epoch": 0.004433333333333333, |
| "grad_norm": 0.038393136113882065, |
| "learning_rate": 3e-06, |
| "loss": 0.0025, |
| "step": 133 |
| }, |
| { |
| "epoch": 0.0044666666666666665, |
| "grad_norm": 0.03206722438335419, |
| "learning_rate": 3e-06, |
| "loss": 0.0023, |
| "step": 134 |
| }, |
| { |
| "epoch": 0.0045, |
| "grad_norm": 0.026722311973571777, |
| "learning_rate": 3e-06, |
| "loss": 0.0023, |
| "step": 135 |
| }, |
| { |
| "epoch": 0.004533333333333334, |
| "grad_norm": 0.024917466565966606, |
| "learning_rate": 3e-06, |
| "loss": 0.0022, |
| "step": 136 |
| }, |
| { |
| "completion_length": 237.1875, |
| "epoch": 0.004566666666666667, |
| "grad_norm": 0.0743163451552391, |
| "learning_rate": 3e-06, |
| "loss": 0.0858, |
| "reward": 0.40625, |
| "reward_std": 0.20155644416809082, |
| "rewards/correctness_reward_func_math": 0.40625, |
| "step": 137, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0046, |
| "grad_norm": 0.08025926351547241, |
| "learning_rate": 3e-06, |
| "loss": 0.0857, |
| "step": 138 |
| }, |
| { |
| "epoch": 0.004633333333333333, |
| "grad_norm": 0.06798471510410309, |
| "learning_rate": 3e-06, |
| "loss": 0.0856, |
| "step": 139 |
| }, |
| { |
| "epoch": 0.004666666666666667, |
| "grad_norm": 0.08909641206264496, |
| "learning_rate": 3e-06, |
| "loss": 0.0855, |
| "step": 140 |
| }, |
| { |
| "epoch": 0.0047, |
| "grad_norm": 0.06852155923843384, |
| "learning_rate": 3e-06, |
| "loss": 0.0848, |
| "step": 141 |
| }, |
| { |
| "epoch": 0.004733333333333333, |
| "grad_norm": 0.0898597314953804, |
| "learning_rate": 3e-06, |
| "loss": 0.084, |
| "step": 142 |
| }, |
| { |
| "epoch": 0.0047666666666666664, |
| "grad_norm": 0.07086896151304245, |
| "learning_rate": 3e-06, |
| "loss": 0.0844, |
| "step": 143 |
| }, |
| { |
| "epoch": 0.0048, |
| "grad_norm": 0.07337857037782669, |
| "learning_rate": 3e-06, |
| "loss": 0.0849, |
| "step": 144 |
| }, |
| { |
| "completion_length": 248.8125, |
| "epoch": 0.004833333333333334, |
| "grad_norm": 0.04965868592262268, |
| "learning_rate": 3e-06, |
| "loss": 0.0034, |
| "reward": 0.0, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.0, |
| "step": 145, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.004866666666666667, |
| "grad_norm": 0.04945214092731476, |
| "learning_rate": 3e-06, |
| "loss": 0.0034, |
| "step": 146 |
| }, |
| { |
| "epoch": 0.0049, |
| "grad_norm": 0.04761530086398125, |
| "learning_rate": 3e-06, |
| "loss": 0.0033, |
| "step": 147 |
| }, |
| { |
| "epoch": 0.004933333333333333, |
| "grad_norm": 0.038321562111377716, |
| "learning_rate": 3e-06, |
| "loss": 0.0031, |
| "step": 148 |
| }, |
| { |
| "epoch": 0.004966666666666667, |
| "grad_norm": 0.033652279525995255, |
| "learning_rate": 3e-06, |
| "loss": 0.0031, |
| "step": 149 |
| }, |
| { |
| "epoch": 0.005, |
| "grad_norm": 0.03123372420668602, |
| "learning_rate": 3e-06, |
| "loss": 0.003, |
| "step": 150 |
| }, |
| { |
| "epoch": 0.005033333333333333, |
| "grad_norm": 0.022950293496251106, |
| "learning_rate": 3e-06, |
| "loss": 0.0029, |
| "step": 151 |
| }, |
| { |
| "epoch": 0.005066666666666666, |
| "grad_norm": 0.01819528453052044, |
| "learning_rate": 3e-06, |
| "loss": 0.0028, |
| "step": 152 |
| }, |
| { |
| "completion_length": 249.75, |
| "epoch": 0.0051, |
| "grad_norm": 0.15464286506175995, |
| "learning_rate": 3e-06, |
| "loss": 0.0398, |
| "reward": 0.03125, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.03125, |
| "step": 153, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0051333333333333335, |
| "grad_norm": 0.13929374516010284, |
| "learning_rate": 3e-06, |
| "loss": 0.039, |
| "step": 154 |
| }, |
| { |
| "epoch": 0.005166666666666667, |
| "grad_norm": 0.12305764108896255, |
| "learning_rate": 3e-06, |
| "loss": 0.0391, |
| "step": 155 |
| }, |
| { |
| "epoch": 0.0052, |
| "grad_norm": 0.10096066445112228, |
| "learning_rate": 3e-06, |
| "loss": 0.038, |
| "step": 156 |
| }, |
| { |
| "epoch": 0.005233333333333334, |
| "grad_norm": 0.08583232015371323, |
| "learning_rate": 3e-06, |
| "loss": 0.0371, |
| "step": 157 |
| }, |
| { |
| "epoch": 0.005266666666666667, |
| "grad_norm": 0.08584477007389069, |
| "learning_rate": 3e-06, |
| "loss": 0.037, |
| "step": 158 |
| }, |
| { |
| "epoch": 0.0053, |
| "grad_norm": 0.07558420300483704, |
| "learning_rate": 3e-06, |
| "loss": 0.0361, |
| "step": 159 |
| }, |
| { |
| "epoch": 0.005333333333333333, |
| "grad_norm": 0.061332251876592636, |
| "learning_rate": 3e-06, |
| "loss": 0.0362, |
| "step": 160 |
| }, |
| { |
| "completion_length": 255.46875, |
| "epoch": 0.005366666666666666, |
| "grad_norm": 0.038615625351667404, |
| "learning_rate": 3e-06, |
| "loss": 0.0021, |
| "reward": 0.0, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.0, |
| "step": 161, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.0054, |
| "grad_norm": 0.03294254466891289, |
| "learning_rate": 3e-06, |
| "loss": 0.002, |
| "step": 162 |
| }, |
| { |
| "epoch": 0.005433333333333333, |
| "grad_norm": 0.032007891684770584, |
| "learning_rate": 3e-06, |
| "loss": 0.0018, |
| "step": 163 |
| }, |
| { |
| "epoch": 0.0054666666666666665, |
| "grad_norm": 0.025692399591207504, |
| "learning_rate": 3e-06, |
| "loss": 0.0017, |
| "step": 164 |
| }, |
| { |
| "epoch": 0.0055, |
| "grad_norm": 0.017755229026079178, |
| "learning_rate": 3e-06, |
| "loss": 0.0017, |
| "step": 165 |
| }, |
| { |
| "epoch": 0.005533333333333334, |
| "grad_norm": 0.01276862621307373, |
| "learning_rate": 3e-06, |
| "loss": 0.0016, |
| "step": 166 |
| }, |
| { |
| "epoch": 0.005566666666666667, |
| "grad_norm": 0.009992323815822601, |
| "learning_rate": 3e-06, |
| "loss": 0.0016, |
| "step": 167 |
| }, |
| { |
| "epoch": 0.0056, |
| "grad_norm": 0.012182114645838737, |
| "learning_rate": 3e-06, |
| "loss": 0.0015, |
| "step": 168 |
| }, |
| { |
| "completion_length": 255.75, |
| "epoch": 0.005633333333333333, |
| "grad_norm": 0.0799197405576706, |
| "learning_rate": 3e-06, |
| "loss": 0.1288, |
| "reward": 0.40625, |
| "reward_std": 0.34860679507255554, |
| "rewards/correctness_reward_func_math": 0.40625, |
| "step": 169, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.005666666666666667, |
| "grad_norm": 0.08654382079839706, |
| "learning_rate": 3e-06, |
| "loss": 0.1292, |
| "step": 170 |
| }, |
| { |
| "epoch": 0.0057, |
| "grad_norm": 0.08831996470689774, |
| "learning_rate": 3e-06, |
| "loss": 0.1293, |
| "step": 171 |
| }, |
| { |
| "epoch": 0.005733333333333333, |
| "grad_norm": 0.08583132177591324, |
| "learning_rate": 3e-06, |
| "loss": 0.1287, |
| "step": 172 |
| }, |
| { |
| "epoch": 0.0057666666666666665, |
| "grad_norm": 0.08676140010356903, |
| "learning_rate": 3e-06, |
| "loss": 0.1282, |
| "step": 173 |
| }, |
| { |
| "epoch": 0.0058, |
| "grad_norm": 0.12521636486053467, |
| "learning_rate": 3e-06, |
| "loss": 0.1274, |
| "step": 174 |
| }, |
| { |
| "epoch": 0.005833333333333334, |
| "grad_norm": 0.09061478823423386, |
| "learning_rate": 3e-06, |
| "loss": 0.1277, |
| "step": 175 |
| }, |
| { |
| "epoch": 0.005866666666666667, |
| "grad_norm": 0.0860125795006752, |
| "learning_rate": 3e-06, |
| "loss": 0.1273, |
| "step": 176 |
| }, |
| { |
| "completion_length": 252.90625, |
| "epoch": 0.0059, |
| "grad_norm": 0.2615363895893097, |
| "learning_rate": 3e-06, |
| "loss": 0.1015, |
| "reward": 0.125, |
| "reward_std": 0.22360679507255554, |
| "rewards/correctness_reward_func_math": 0.125, |
| "step": 177, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.005933333333333333, |
| "grad_norm": 0.23454971611499786, |
| "learning_rate": 3e-06, |
| "loss": 0.1012, |
| "step": 178 |
| }, |
| { |
| "epoch": 0.005966666666666667, |
| "grad_norm": 0.2397933304309845, |
| "learning_rate": 3e-06, |
| "loss": 0.0989, |
| "step": 179 |
| }, |
| { |
| "epoch": 0.006, |
| "grad_norm": 0.23074287176132202, |
| "learning_rate": 3e-06, |
| "loss": 0.0982, |
| "step": 180 |
| }, |
| { |
| "epoch": 0.006033333333333333, |
| "grad_norm": 0.2260824292898178, |
| "learning_rate": 3e-06, |
| "loss": 0.0977, |
| "step": 181 |
| }, |
| { |
| "epoch": 0.006066666666666666, |
| "grad_norm": 0.21573786437511444, |
| "learning_rate": 3e-06, |
| "loss": 0.0967, |
| "step": 182 |
| }, |
| { |
| "epoch": 0.0061, |
| "grad_norm": 0.21113920211791992, |
| "learning_rate": 3e-06, |
| "loss": 0.0965, |
| "step": 183 |
| }, |
| { |
| "epoch": 0.0061333333333333335, |
| "grad_norm": 0.20550544559955597, |
| "learning_rate": 3e-06, |
| "loss": 0.0927, |
| "step": 184 |
| }, |
| { |
| "completion_length": 241.15625, |
| "epoch": 0.006166666666666667, |
| "grad_norm": 0.0989937111735344, |
| "learning_rate": 3e-06, |
| "loss": 0.1017, |
| "reward": 0.125, |
| "reward_std": 0.22360679507255554, |
| "rewards/correctness_reward_func_math": 0.125, |
| "step": 185, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0062, |
| "grad_norm": 0.1034335121512413, |
| "learning_rate": 3e-06, |
| "loss": 0.1015, |
| "step": 186 |
| }, |
| { |
| "epoch": 0.006233333333333333, |
| "grad_norm": 0.10531827807426453, |
| "learning_rate": 3e-06, |
| "loss": 0.101, |
| "step": 187 |
| }, |
| { |
| "epoch": 0.006266666666666667, |
| "grad_norm": 0.09847135096788406, |
| "learning_rate": 3e-06, |
| "loss": 0.1007, |
| "step": 188 |
| }, |
| { |
| "epoch": 0.0063, |
| "grad_norm": 0.09480597078800201, |
| "learning_rate": 3e-06, |
| "loss": 0.1004, |
| "step": 189 |
| }, |
| { |
| "epoch": 0.006333333333333333, |
| "grad_norm": 0.09926161915063858, |
| "learning_rate": 3e-06, |
| "loss": 0.0998, |
| "step": 190 |
| }, |
| { |
| "epoch": 0.006366666666666666, |
| "grad_norm": 0.09321653097867966, |
| "learning_rate": 3e-06, |
| "loss": 0.0983, |
| "step": 191 |
| }, |
| { |
| "epoch": 0.0064, |
| "grad_norm": 0.09827691316604614, |
| "learning_rate": 3e-06, |
| "loss": 0.0987, |
| "step": 192 |
| }, |
| { |
| "completion_length": 253.1875, |
| "epoch": 0.0064333333333333334, |
| "grad_norm": 0.20560625195503235, |
| "learning_rate": 3e-06, |
| "loss": 0.1272, |
| "reward": 0.84375, |
| "reward_std": 0.34860679507255554, |
| "rewards/correctness_reward_func_math": 0.84375, |
| "step": 193, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.006466666666666667, |
| "grad_norm": 0.23086021840572357, |
| "learning_rate": 3e-06, |
| "loss": 0.127, |
| "step": 194 |
| }, |
| { |
| "epoch": 0.0065, |
| "grad_norm": 0.19467966258525848, |
| "learning_rate": 3e-06, |
| "loss": 0.1259, |
| "step": 195 |
| }, |
| { |
| "epoch": 0.006533333333333334, |
| "grad_norm": 0.21062582731246948, |
| "learning_rate": 3e-06, |
| "loss": 0.1259, |
| "step": 196 |
| }, |
| { |
| "epoch": 0.006566666666666667, |
| "grad_norm": 0.18799026310443878, |
| "learning_rate": 3e-06, |
| "loss": 0.1246, |
| "step": 197 |
| }, |
| { |
| "epoch": 0.0066, |
| "grad_norm": 0.1835852712392807, |
| "learning_rate": 3e-06, |
| "loss": 0.1231, |
| "step": 198 |
| }, |
| { |
| "epoch": 0.006633333333333333, |
| "grad_norm": 0.18756799399852753, |
| "learning_rate": 3e-06, |
| "loss": 0.1213, |
| "step": 199 |
| }, |
| { |
| "epoch": 0.006666666666666667, |
| "grad_norm": 0.19375261664390564, |
| "learning_rate": 3e-06, |
| "loss": 0.1203, |
| "step": 200 |
| }, |
| { |
| "completion_length": 238.59375, |
| "epoch": 0.0067, |
| "grad_norm": 0.2411942332983017, |
| "learning_rate": 3e-06, |
| "loss": 0.0808, |
| "reward": 0.59375, |
| "reward_std": 0.20155644416809082, |
| "rewards/correctness_reward_func_math": 0.59375, |
| "step": 201, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.006733333333333333, |
| "grad_norm": 0.24616678059101105, |
| "learning_rate": 3e-06, |
| "loss": 0.081, |
| "step": 202 |
| }, |
| { |
| "epoch": 0.0067666666666666665, |
| "grad_norm": 0.24397942423820496, |
| "learning_rate": 3e-06, |
| "loss": 0.079, |
| "step": 203 |
| }, |
| { |
| "epoch": 0.0068, |
| "grad_norm": 0.2402847409248352, |
| "learning_rate": 3e-06, |
| "loss": 0.0788, |
| "step": 204 |
| }, |
| { |
| "epoch": 0.006833333333333334, |
| "grad_norm": 0.23561778664588928, |
| "learning_rate": 3e-06, |
| "loss": 0.0771, |
| "step": 205 |
| }, |
| { |
| "epoch": 0.006866666666666667, |
| "grad_norm": 0.2318211793899536, |
| "learning_rate": 3e-06, |
| "loss": 0.0746, |
| "step": 206 |
| }, |
| { |
| "epoch": 0.0069, |
| "grad_norm": 0.21971279382705688, |
| "learning_rate": 3e-06, |
| "loss": 0.0741, |
| "step": 207 |
| }, |
| { |
| "epoch": 0.006933333333333333, |
| "grad_norm": 0.21873505413532257, |
| "learning_rate": 3e-06, |
| "loss": 0.0731, |
| "step": 208 |
| }, |
| { |
| "completion_length": 252.09375, |
| "epoch": 0.006966666666666667, |
| "grad_norm": 0.221430703997612, |
| "learning_rate": 3e-06, |
| "loss": 0.0824, |
| "reward": 0.09375, |
| "reward_std": 0.20155644416809082, |
| "rewards/correctness_reward_func_math": 0.09375, |
| "step": 209, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.007, |
| "grad_norm": 0.18140892684459686, |
| "learning_rate": 3e-06, |
| "loss": 0.0812, |
| "step": 210 |
| }, |
| { |
| "epoch": 0.007033333333333333, |
| "grad_norm": 0.19264592230319977, |
| "learning_rate": 3e-06, |
| "loss": 0.0806, |
| "step": 211 |
| }, |
| { |
| "epoch": 0.007066666666666666, |
| "grad_norm": 0.19215433299541473, |
| "learning_rate": 3e-06, |
| "loss": 0.0809, |
| "step": 212 |
| }, |
| { |
| "epoch": 0.0071, |
| "grad_norm": 0.16826850175857544, |
| "learning_rate": 3e-06, |
| "loss": 0.0794, |
| "step": 213 |
| }, |
| { |
| "epoch": 0.0071333333333333335, |
| "grad_norm": 0.19728928804397583, |
| "learning_rate": 3e-06, |
| "loss": 0.0786, |
| "step": 214 |
| }, |
| { |
| "epoch": 0.007166666666666667, |
| "grad_norm": 0.1542758047580719, |
| "learning_rate": 3e-06, |
| "loss": 0.0774, |
| "step": 215 |
| }, |
| { |
| "epoch": 0.0072, |
| "grad_norm": 0.1417521834373474, |
| "learning_rate": 3e-06, |
| "loss": 0.0771, |
| "step": 216 |
| }, |
| { |
| "completion_length": 252.90625, |
| "epoch": 0.007233333333333333, |
| "grad_norm": 0.06903000175952911, |
| "learning_rate": 3e-06, |
| "loss": 0.0337, |
| "reward": 0.46875, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.46875, |
| "step": 217, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.007266666666666667, |
| "grad_norm": 0.06982720643281937, |
| "learning_rate": 3e-06, |
| "loss": 0.0322, |
| "step": 218 |
| }, |
| { |
| "epoch": 0.0073, |
| "grad_norm": 0.0719161257147789, |
| "learning_rate": 3e-06, |
| "loss": 0.0329, |
| "step": 219 |
| }, |
| { |
| "epoch": 0.007333333333333333, |
| "grad_norm": 0.06664546579122543, |
| "learning_rate": 3e-06, |
| "loss": 0.0322, |
| "step": 220 |
| }, |
| { |
| "epoch": 0.007366666666666666, |
| "grad_norm": 0.06845974177122116, |
| "learning_rate": 3e-06, |
| "loss": 0.0321, |
| "step": 221 |
| }, |
| { |
| "epoch": 0.0074, |
| "grad_norm": 0.06127550080418587, |
| "learning_rate": 3e-06, |
| "loss": 0.0318, |
| "step": 222 |
| }, |
| { |
| "epoch": 0.0074333333333333335, |
| "grad_norm": 0.06694572418928146, |
| "learning_rate": 3e-06, |
| "loss": 0.0322, |
| "step": 223 |
| }, |
| { |
| "epoch": 0.007466666666666667, |
| "grad_norm": 0.053773194551467896, |
| "learning_rate": 3e-06, |
| "loss": 0.0311, |
| "step": 224 |
| }, |
| { |
| "completion_length": 255.8125, |
| "epoch": 0.0075, |
| "grad_norm": 0.12063571810722351, |
| "learning_rate": 3e-06, |
| "loss": 0.0842, |
| "reward": 0.59375, |
| "reward_std": 0.20155644416809082, |
| "rewards/correctness_reward_func_math": 0.59375, |
| "step": 225, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.007533333333333334, |
| "grad_norm": 0.13700009882450104, |
| "learning_rate": 3e-06, |
| "loss": 0.0842, |
| "step": 226 |
| }, |
| { |
| "epoch": 0.007566666666666667, |
| "grad_norm": 0.1518366038799286, |
| "learning_rate": 3e-06, |
| "loss": 0.0827, |
| "step": 227 |
| }, |
| { |
| "epoch": 0.0076, |
| "grad_norm": 0.12883657217025757, |
| "learning_rate": 3e-06, |
| "loss": 0.0832, |
| "step": 228 |
| }, |
| { |
| "epoch": 0.007633333333333333, |
| "grad_norm": 0.1081230416893959, |
| "learning_rate": 3e-06, |
| "loss": 0.0829, |
| "step": 229 |
| }, |
| { |
| "epoch": 0.007666666666666666, |
| "grad_norm": 0.11377252638339996, |
| "learning_rate": 3e-06, |
| "loss": 0.0821, |
| "step": 230 |
| }, |
| { |
| "epoch": 0.0077, |
| "grad_norm": 0.10980699956417084, |
| "learning_rate": 3e-06, |
| "loss": 0.0819, |
| "step": 231 |
| }, |
| { |
| "epoch": 0.007733333333333333, |
| "grad_norm": 0.10309964418411255, |
| "learning_rate": 3e-06, |
| "loss": 0.0817, |
| "step": 232 |
| }, |
| { |
| "completion_length": 251.90625, |
| "epoch": 0.0077666666666666665, |
| "grad_norm": 0.10372938215732574, |
| "learning_rate": 3e-06, |
| "loss": 0.0582, |
| "reward": 0.4375, |
| "reward_std": 0.17078250646591187, |
| "rewards/correctness_reward_func_math": 0.4375, |
| "step": 233, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0078, |
| "grad_norm": 0.07893364131450653, |
| "learning_rate": 3e-06, |
| "loss": 0.0583, |
| "step": 234 |
| }, |
| { |
| "epoch": 0.007833333333333333, |
| "grad_norm": 0.06570159643888474, |
| "learning_rate": 3e-06, |
| "loss": 0.0577, |
| "step": 235 |
| }, |
| { |
| "epoch": 0.007866666666666666, |
| "grad_norm": 0.08471573889255524, |
| "learning_rate": 3e-06, |
| "loss": 0.057, |
| "step": 236 |
| }, |
| { |
| "epoch": 0.0079, |
| "grad_norm": 0.1058182641863823, |
| "learning_rate": 3e-06, |
| "loss": 0.0575, |
| "step": 237 |
| }, |
| { |
| "epoch": 0.007933333333333334, |
| "grad_norm": 0.08393523842096329, |
| "learning_rate": 3e-06, |
| "loss": 0.0573, |
| "step": 238 |
| }, |
| { |
| "epoch": 0.007966666666666667, |
| "grad_norm": 0.07561209797859192, |
| "learning_rate": 3e-06, |
| "loss": 0.057, |
| "step": 239 |
| }, |
| { |
| "epoch": 0.008, |
| "grad_norm": 0.09106115996837616, |
| "learning_rate": 3e-06, |
| "loss": 0.0567, |
| "step": 240 |
| }, |
| { |
| "completion_length": 237.0, |
| "epoch": 0.008033333333333333, |
| "grad_norm": 0.1368522346019745, |
| "learning_rate": 3e-06, |
| "loss": 0.0818, |
| "reward": 0.40625, |
| "reward_std": 0.20155644416809082, |
| "rewards/correctness_reward_func_math": 0.40625, |
| "step": 241, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.008066666666666666, |
| "grad_norm": 0.12442981451749802, |
| "learning_rate": 3e-06, |
| "loss": 0.0816, |
| "step": 242 |
| }, |
| { |
| "epoch": 0.0081, |
| "grad_norm": 0.11947299540042877, |
| "learning_rate": 3e-06, |
| "loss": 0.0806, |
| "step": 243 |
| }, |
| { |
| "epoch": 0.008133333333333333, |
| "grad_norm": 0.11919694393873215, |
| "learning_rate": 3e-06, |
| "loss": 0.0811, |
| "step": 244 |
| }, |
| { |
| "epoch": 0.008166666666666666, |
| "grad_norm": 0.10316596180200577, |
| "learning_rate": 3e-06, |
| "loss": 0.0794, |
| "step": 245 |
| }, |
| { |
| "epoch": 0.0082, |
| "grad_norm": 0.11650335043668747, |
| "learning_rate": 3e-06, |
| "loss": 0.0796, |
| "step": 246 |
| }, |
| { |
| "epoch": 0.008233333333333334, |
| "grad_norm": 0.10378652811050415, |
| "learning_rate": 3e-06, |
| "loss": 0.0791, |
| "step": 247 |
| }, |
| { |
| "epoch": 0.008266666666666667, |
| "grad_norm": 0.11012125760316849, |
| "learning_rate": 3e-06, |
| "loss": 0.0779, |
| "step": 248 |
| }, |
| { |
| "completion_length": 207.96875, |
| "epoch": 0.0083, |
| "grad_norm": 0.1521851122379303, |
| "learning_rate": 3e-06, |
| "loss": 0.0055, |
| "reward": 0.5, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.5, |
| "step": 249, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.008333333333333333, |
| "grad_norm": 0.13913336396217346, |
| "learning_rate": 3e-06, |
| "loss": 0.0049, |
| "step": 250 |
| }, |
| { |
| "epoch": 0.008366666666666666, |
| "grad_norm": 0.1214175596833229, |
| "learning_rate": 3e-06, |
| "loss": 0.0045, |
| "step": 251 |
| }, |
| { |
| "epoch": 0.0084, |
| "grad_norm": 0.04892689734697342, |
| "learning_rate": 3e-06, |
| "loss": 0.0041, |
| "step": 252 |
| }, |
| { |
| "epoch": 0.008433333333333333, |
| "grad_norm": 0.3113498091697693, |
| "learning_rate": 3e-06, |
| "loss": 0.0042, |
| "step": 253 |
| }, |
| { |
| "epoch": 0.008466666666666667, |
| "grad_norm": 0.059984251856803894, |
| "learning_rate": 3e-06, |
| "loss": 0.0043, |
| "step": 254 |
| }, |
| { |
| "epoch": 0.0085, |
| "grad_norm": 0.10721159726381302, |
| "learning_rate": 3e-06, |
| "loss": 0.0045, |
| "step": 255 |
| }, |
| { |
| "epoch": 0.008533333333333334, |
| "grad_norm": 0.10680066049098969, |
| "learning_rate": 3e-06, |
| "loss": 0.0043, |
| "step": 256 |
| }, |
| { |
| "completion_length": 250.25, |
| "epoch": 0.008566666666666667, |
| "grad_norm": 0.2557700574398041, |
| "learning_rate": 3e-06, |
| "loss": 0.2298, |
| "reward": 0.5, |
| "reward_std": 0.4787135720252991, |
| "rewards/correctness_reward_func_math": 0.5, |
| "step": 257, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.0086, |
| "grad_norm": 0.2441413402557373, |
| "learning_rate": 3e-06, |
| "loss": 0.2313, |
| "step": 258 |
| }, |
| { |
| "epoch": 0.008633333333333333, |
| "grad_norm": 0.2289627641439438, |
| "learning_rate": 3e-06, |
| "loss": 0.2298, |
| "step": 259 |
| }, |
| { |
| "epoch": 0.008666666666666666, |
| "grad_norm": 0.2373437136411667, |
| "learning_rate": 3e-06, |
| "loss": 0.2283, |
| "step": 260 |
| }, |
| { |
| "epoch": 0.0087, |
| "grad_norm": 0.2363273948431015, |
| "learning_rate": 3e-06, |
| "loss": 0.2263, |
| "step": 261 |
| }, |
| { |
| "epoch": 0.008733333333333333, |
| "grad_norm": 0.19900596141815186, |
| "learning_rate": 3e-06, |
| "loss": 0.227, |
| "step": 262 |
| }, |
| { |
| "epoch": 0.008766666666666667, |
| "grad_norm": 0.22300012409687042, |
| "learning_rate": 3e-06, |
| "loss": 0.2258, |
| "step": 263 |
| }, |
| { |
| "epoch": 0.0088, |
| "grad_norm": 0.1812703162431717, |
| "learning_rate": 3e-06, |
| "loss": 0.2237, |
| "step": 264 |
| }, |
| { |
| "completion_length": 253.375, |
| "epoch": 0.008833333333333334, |
| "grad_norm": 0.21436747908592224, |
| "learning_rate": 3e-06, |
| "loss": 0.1123, |
| "reward": 0.84375, |
| "reward_std": 0.23935678601264954, |
| "rewards/correctness_reward_func_math": 0.84375, |
| "step": 265, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.008866666666666667, |
| "grad_norm": 0.271098256111145, |
| "learning_rate": 3e-06, |
| "loss": 0.1131, |
| "step": 266 |
| }, |
| { |
| "epoch": 0.0089, |
| "grad_norm": 0.21542005240917206, |
| "learning_rate": 3e-06, |
| "loss": 0.1124, |
| "step": 267 |
| }, |
| { |
| "epoch": 0.008933333333333333, |
| "grad_norm": 0.20651763677597046, |
| "learning_rate": 3e-06, |
| "loss": 0.1119, |
| "step": 268 |
| }, |
| { |
| "epoch": 0.008966666666666666, |
| "grad_norm": 0.3048100173473358, |
| "learning_rate": 3e-06, |
| "loss": 0.1114, |
| "step": 269 |
| }, |
| { |
| "epoch": 0.009, |
| "grad_norm": 0.23777973651885986, |
| "learning_rate": 3e-06, |
| "loss": 0.1092, |
| "step": 270 |
| }, |
| { |
| "epoch": 0.009033333333333334, |
| "grad_norm": 0.18003176152706146, |
| "learning_rate": 3e-06, |
| "loss": 0.1094, |
| "step": 271 |
| }, |
| { |
| "epoch": 0.009066666666666667, |
| "grad_norm": 0.18628230690956116, |
| "learning_rate": 3e-06, |
| "loss": 0.1103, |
| "step": 272 |
| }, |
| { |
| "completion_length": 255.5, |
| "epoch": 0.0091, |
| "grad_norm": 0.07677990198135376, |
| "learning_rate": 3e-06, |
| "loss": 0.0569, |
| "reward": 0.4375, |
| "reward_std": 0.17078250646591187, |
| "rewards/correctness_reward_func_math": 0.4375, |
| "step": 273, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.009133333333333334, |
| "grad_norm": 0.07453834265470505, |
| "learning_rate": 3e-06, |
| "loss": 0.0575, |
| "step": 274 |
| }, |
| { |
| "epoch": 0.009166666666666667, |
| "grad_norm": 0.07147198915481567, |
| "learning_rate": 3e-06, |
| "loss": 0.0569, |
| "step": 275 |
| }, |
| { |
| "epoch": 0.0092, |
| "grad_norm": 0.06870239228010178, |
| "learning_rate": 3e-06, |
| "loss": 0.0569, |
| "step": 276 |
| }, |
| { |
| "epoch": 0.009233333333333333, |
| "grad_norm": 0.06717611849308014, |
| "learning_rate": 3e-06, |
| "loss": 0.0565, |
| "step": 277 |
| }, |
| { |
| "epoch": 0.009266666666666666, |
| "grad_norm": 0.07037505507469177, |
| "learning_rate": 3e-06, |
| "loss": 0.056, |
| "step": 278 |
| }, |
| { |
| "epoch": 0.0093, |
| "grad_norm": 0.06446697562932968, |
| "learning_rate": 3e-06, |
| "loss": 0.0575, |
| "step": 279 |
| }, |
| { |
| "epoch": 0.009333333333333334, |
| "grad_norm": 0.08246565610170364, |
| "learning_rate": 3e-06, |
| "loss": 0.0561, |
| "step": 280 |
| }, |
| { |
| "completion_length": 244.59375, |
| "epoch": 0.009366666666666667, |
| "grad_norm": 0.12445526570081711, |
| "learning_rate": 3e-06, |
| "loss": 0.1086, |
| "reward": 0.4375, |
| "reward_std": 0.3265564441680908, |
| "rewards/correctness_reward_func_math": 0.4375, |
| "step": 281, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.0094, |
| "grad_norm": 0.11129984259605408, |
| "learning_rate": 3e-06, |
| "loss": 0.109, |
| "step": 282 |
| }, |
| { |
| "epoch": 0.009433333333333334, |
| "grad_norm": 0.11353112757205963, |
| "learning_rate": 3e-06, |
| "loss": 0.1082, |
| "step": 283 |
| }, |
| { |
| "epoch": 0.009466666666666667, |
| "grad_norm": 0.10582759231328964, |
| "learning_rate": 3e-06, |
| "loss": 0.1077, |
| "step": 284 |
| }, |
| { |
| "epoch": 0.0095, |
| "grad_norm": 0.12248648703098297, |
| "learning_rate": 3e-06, |
| "loss": 0.1074, |
| "step": 285 |
| }, |
| { |
| "epoch": 0.009533333333333333, |
| "grad_norm": 0.09618452936410904, |
| "learning_rate": 3e-06, |
| "loss": 0.107, |
| "step": 286 |
| }, |
| { |
| "epoch": 0.009566666666666666, |
| "grad_norm": 0.1011599451303482, |
| "learning_rate": 3e-06, |
| "loss": 0.1063, |
| "step": 287 |
| }, |
| { |
| "epoch": 0.0096, |
| "grad_norm": 0.10902847349643707, |
| "learning_rate": 3e-06, |
| "loss": 0.1068, |
| "step": 288 |
| }, |
| { |
| "completion_length": 254.65625, |
| "epoch": 0.009633333333333334, |
| "grad_norm": 0.3859349489212036, |
| "learning_rate": 3e-06, |
| "loss": 0.1301, |
| "reward": 0.1875, |
| "reward_std": 0.25, |
| "rewards/correctness_reward_func_math": 0.1875, |
| "step": 289, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.009666666666666667, |
| "grad_norm": 0.3932928442955017, |
| "learning_rate": 3e-06, |
| "loss": 0.1294, |
| "step": 290 |
| }, |
| { |
| "epoch": 0.0097, |
| "grad_norm": 0.40273627638816833, |
| "learning_rate": 3e-06, |
| "loss": 0.1293, |
| "step": 291 |
| }, |
| { |
| "epoch": 0.009733333333333333, |
| "grad_norm": 0.38272443413734436, |
| "learning_rate": 3e-06, |
| "loss": 0.1275, |
| "step": 292 |
| }, |
| { |
| "epoch": 0.009766666666666667, |
| "grad_norm": 0.3871162235736847, |
| "learning_rate": 3e-06, |
| "loss": 0.1258, |
| "step": 293 |
| }, |
| { |
| "epoch": 0.0098, |
| "grad_norm": 0.38415059447288513, |
| "learning_rate": 3e-06, |
| "loss": 0.124, |
| "step": 294 |
| }, |
| { |
| "epoch": 0.009833333333333333, |
| "grad_norm": 0.38006046414375305, |
| "learning_rate": 3e-06, |
| "loss": 0.1224, |
| "step": 295 |
| }, |
| { |
| "epoch": 0.009866666666666666, |
| "grad_norm": 0.36472636461257935, |
| "learning_rate": 3e-06, |
| "loss": 0.1201, |
| "step": 296 |
| }, |
| { |
| "completion_length": 255.40625, |
| "epoch": 0.0099, |
| "grad_norm": 0.3171677887439728, |
| "learning_rate": 3e-06, |
| "loss": 0.1, |
| "reward": 0.625, |
| "reward_std": 0.22360679507255554, |
| "rewards/correctness_reward_func_math": 0.625, |
| "step": 297, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.009933333333333334, |
| "grad_norm": 0.2948160469532013, |
| "learning_rate": 3e-06, |
| "loss": 0.1004, |
| "step": 298 |
| }, |
| { |
| "epoch": 0.009966666666666667, |
| "grad_norm": 0.29199403524398804, |
| "learning_rate": 3e-06, |
| "loss": 0.0994, |
| "step": 299 |
| }, |
| { |
| "epoch": 0.01, |
| "grad_norm": 0.30146604776382446, |
| "learning_rate": 3e-06, |
| "loss": 0.0986, |
| "step": 300 |
| }, |
| { |
| "epoch": 0.010033333333333333, |
| "grad_norm": 0.3124323785305023, |
| "learning_rate": 3e-06, |
| "loss": 0.0973, |
| "step": 301 |
| }, |
| { |
| "epoch": 0.010066666666666666, |
| "grad_norm": 0.2831583321094513, |
| "learning_rate": 3e-06, |
| "loss": 0.0955, |
| "step": 302 |
| }, |
| { |
| "epoch": 0.0101, |
| "grad_norm": 0.23084263503551483, |
| "learning_rate": 3e-06, |
| "loss": 0.0942, |
| "step": 303 |
| }, |
| { |
| "epoch": 0.010133333333333333, |
| "grad_norm": 0.20985762774944305, |
| "learning_rate": 3e-06, |
| "loss": 0.0923, |
| "step": 304 |
| }, |
| { |
| "completion_length": 248.625, |
| "epoch": 0.010166666666666666, |
| "grad_norm": 0.19962747395038605, |
| "learning_rate": 3e-06, |
| "loss": 0.1608, |
| "reward": 0.5, |
| "reward_std": 0.40311288833618164, |
| "rewards/correctness_reward_func_math": 0.5, |
| "step": 305, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.0102, |
| "grad_norm": 0.24764351546764374, |
| "learning_rate": 3e-06, |
| "loss": 0.16, |
| "step": 306 |
| }, |
| { |
| "epoch": 0.010233333333333334, |
| "grad_norm": 0.2066008597612381, |
| "learning_rate": 3e-06, |
| "loss": 0.1595, |
| "step": 307 |
| }, |
| { |
| "epoch": 0.010266666666666667, |
| "grad_norm": 0.23844295740127563, |
| "learning_rate": 3e-06, |
| "loss": 0.1584, |
| "step": 308 |
| }, |
| { |
| "epoch": 0.0103, |
| "grad_norm": 0.21125859022140503, |
| "learning_rate": 3e-06, |
| "loss": 0.1582, |
| "step": 309 |
| }, |
| { |
| "epoch": 0.010333333333333333, |
| "grad_norm": 0.19642141461372375, |
| "learning_rate": 3e-06, |
| "loss": 0.1562, |
| "step": 310 |
| }, |
| { |
| "epoch": 0.010366666666666666, |
| "grad_norm": 0.17622606456279755, |
| "learning_rate": 3e-06, |
| "loss": 0.1567, |
| "step": 311 |
| }, |
| { |
| "epoch": 0.0104, |
| "grad_norm": 0.1995132863521576, |
| "learning_rate": 3e-06, |
| "loss": 0.155, |
| "step": 312 |
| }, |
| { |
| "completion_length": 249.15625, |
| "epoch": 0.010433333333333333, |
| "grad_norm": 0.08732568472623825, |
| "learning_rate": 3e-06, |
| "loss": 0.0336, |
| "reward": 0.46875, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.46875, |
| "step": 313, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.010466666666666668, |
| "grad_norm": 0.11195740103721619, |
| "learning_rate": 3e-06, |
| "loss": 0.0335, |
| "step": 314 |
| }, |
| { |
| "epoch": 0.0105, |
| "grad_norm": 0.09467235952615738, |
| "learning_rate": 3e-06, |
| "loss": 0.0336, |
| "step": 315 |
| }, |
| { |
| "epoch": 0.010533333333333334, |
| "grad_norm": 0.09426605701446533, |
| "learning_rate": 3e-06, |
| "loss": 0.0333, |
| "step": 316 |
| }, |
| { |
| "epoch": 0.010566666666666667, |
| "grad_norm": 0.07994519174098969, |
| "learning_rate": 3e-06, |
| "loss": 0.0328, |
| "step": 317 |
| }, |
| { |
| "epoch": 0.0106, |
| "grad_norm": 0.08287444710731506, |
| "learning_rate": 3e-06, |
| "loss": 0.0319, |
| "step": 318 |
| }, |
| { |
| "epoch": 0.010633333333333333, |
| "grad_norm": 0.06968359649181366, |
| "learning_rate": 3e-06, |
| "loss": 0.0321, |
| "step": 319 |
| }, |
| { |
| "epoch": 0.010666666666666666, |
| "grad_norm": 0.0830591470003128, |
| "learning_rate": 3e-06, |
| "loss": 0.0319, |
| "step": 320 |
| }, |
| { |
| "completion_length": 248.65625, |
| "epoch": 0.0107, |
| "grad_norm": 0.06957131624221802, |
| "learning_rate": 3e-06, |
| "loss": 0.033, |
| "reward": 0.46875, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.46875, |
| "step": 321, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.010733333333333333, |
| "grad_norm": 0.06762567907571793, |
| "learning_rate": 3e-06, |
| "loss": 0.0328, |
| "step": 322 |
| }, |
| { |
| "epoch": 0.010766666666666667, |
| "grad_norm": 0.07127760350704193, |
| "learning_rate": 3e-06, |
| "loss": 0.0329, |
| "step": 323 |
| }, |
| { |
| "epoch": 0.0108, |
| "grad_norm": 0.0638313814997673, |
| "learning_rate": 3e-06, |
| "loss": 0.0323, |
| "step": 324 |
| }, |
| { |
| "epoch": 0.010833333333333334, |
| "grad_norm": 0.06132892146706581, |
| "learning_rate": 3e-06, |
| "loss": 0.0316, |
| "step": 325 |
| }, |
| { |
| "epoch": 0.010866666666666667, |
| "grad_norm": 0.06759806722402573, |
| "learning_rate": 3e-06, |
| "loss": 0.0324, |
| "step": 326 |
| }, |
| { |
| "epoch": 0.0109, |
| "grad_norm": 0.060975346714258194, |
| "learning_rate": 3e-06, |
| "loss": 0.0313, |
| "step": 327 |
| }, |
| { |
| "epoch": 0.010933333333333333, |
| "grad_norm": 0.06246459484100342, |
| "learning_rate": 3e-06, |
| "loss": 0.0315, |
| "step": 328 |
| }, |
| { |
| "completion_length": 253.90625, |
| "epoch": 0.010966666666666666, |
| "grad_norm": 0.17615360021591187, |
| "learning_rate": 3e-06, |
| "loss": 0.1877, |
| "reward": 0.71875, |
| "reward_std": 0.42695626616477966, |
| "rewards/correctness_reward_func_math": 0.71875, |
| "step": 329, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.011, |
| "grad_norm": 0.18470387160778046, |
| "learning_rate": 3e-06, |
| "loss": 0.1865, |
| "step": 330 |
| }, |
| { |
| "epoch": 0.011033333333333332, |
| "grad_norm": 0.18719007074832916, |
| "learning_rate": 3e-06, |
| "loss": 0.186, |
| "step": 331 |
| }, |
| { |
| "epoch": 0.011066666666666667, |
| "grad_norm": 0.19114398956298828, |
| "learning_rate": 3e-06, |
| "loss": 0.1859, |
| "step": 332 |
| }, |
| { |
| "epoch": 0.0111, |
| "grad_norm": 0.18149441480636597, |
| "learning_rate": 3e-06, |
| "loss": 0.1842, |
| "step": 333 |
| }, |
| { |
| "epoch": 0.011133333333333334, |
| "grad_norm": 0.1665520817041397, |
| "learning_rate": 3e-06, |
| "loss": 0.1834, |
| "step": 334 |
| }, |
| { |
| "epoch": 0.011166666666666667, |
| "grad_norm": 0.1645946204662323, |
| "learning_rate": 3e-06, |
| "loss": 0.1817, |
| "step": 335 |
| }, |
| { |
| "epoch": 0.0112, |
| "grad_norm": 0.15955454111099243, |
| "learning_rate": 3e-06, |
| "loss": 0.1799, |
| "step": 336 |
| }, |
| { |
| "completion_length": 221.53125, |
| "epoch": 0.011233333333333333, |
| "grad_norm": 0.0696011632680893, |
| "learning_rate": 3e-06, |
| "loss": 0.0339, |
| "reward": 0.03125, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.03125, |
| "step": 337, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.011266666666666666, |
| "grad_norm": 0.06734811514616013, |
| "learning_rate": 3e-06, |
| "loss": 0.0337, |
| "step": 338 |
| }, |
| { |
| "epoch": 0.0113, |
| "grad_norm": 0.06688684225082397, |
| "learning_rate": 3e-06, |
| "loss": 0.0341, |
| "step": 339 |
| }, |
| { |
| "epoch": 0.011333333333333334, |
| "grad_norm": 0.062301915138959885, |
| "learning_rate": 3e-06, |
| "loss": 0.0334, |
| "step": 340 |
| }, |
| { |
| "epoch": 0.011366666666666667, |
| "grad_norm": 0.06573881953954697, |
| "learning_rate": 3e-06, |
| "loss": 0.0337, |
| "step": 341 |
| }, |
| { |
| "epoch": 0.0114, |
| "grad_norm": 0.05971261486411095, |
| "learning_rate": 3e-06, |
| "loss": 0.033, |
| "step": 342 |
| }, |
| { |
| "epoch": 0.011433333333333334, |
| "grad_norm": 0.05677683278918266, |
| "learning_rate": 3e-06, |
| "loss": 0.033, |
| "step": 343 |
| }, |
| { |
| "epoch": 0.011466666666666667, |
| "grad_norm": 0.057676464319229126, |
| "learning_rate": 3e-06, |
| "loss": 0.0328, |
| "step": 344 |
| }, |
| { |
| "completion_length": 248.15625, |
| "epoch": 0.0115, |
| "grad_norm": 0.13007143139839172, |
| "learning_rate": 3e-06, |
| "loss": 0.0334, |
| "reward": 0.03125, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.03125, |
| "step": 345, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.011533333333333333, |
| "grad_norm": 0.12517662346363068, |
| "learning_rate": 3e-06, |
| "loss": 0.0345, |
| "step": 346 |
| }, |
| { |
| "epoch": 0.011566666666666666, |
| "grad_norm": 0.12157954275608063, |
| "learning_rate": 3e-06, |
| "loss": 0.0336, |
| "step": 347 |
| }, |
| { |
| "epoch": 0.0116, |
| "grad_norm": 0.11300285160541534, |
| "learning_rate": 3e-06, |
| "loss": 0.0332, |
| "step": 348 |
| }, |
| { |
| "epoch": 0.011633333333333334, |
| "grad_norm": 0.10771545767784119, |
| "learning_rate": 3e-06, |
| "loss": 0.033, |
| "step": 349 |
| }, |
| { |
| "epoch": 0.011666666666666667, |
| "grad_norm": 0.08922956883907318, |
| "learning_rate": 3e-06, |
| "loss": 0.0321, |
| "step": 350 |
| }, |
| { |
| "epoch": 0.0117, |
| "grad_norm": 0.08959927409887314, |
| "learning_rate": 3e-06, |
| "loss": 0.0303, |
| "step": 351 |
| }, |
| { |
| "epoch": 0.011733333333333333, |
| "grad_norm": 0.08192899078130722, |
| "learning_rate": 3e-06, |
| "loss": 0.0297, |
| "step": 352 |
| }, |
| { |
| "completion_length": 218.6875, |
| "epoch": 0.011766666666666667, |
| "grad_norm": 0.3856608271598816, |
| "learning_rate": 3e-06, |
| "loss": 0.0073, |
| "reward": 0.0, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.0, |
| "step": 353, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.0118, |
| "grad_norm": 0.09058357775211334, |
| "learning_rate": 3e-06, |
| "loss": 0.0066, |
| "step": 354 |
| }, |
| { |
| "epoch": 0.011833333333333333, |
| "grad_norm": 0.6148344874382019, |
| "learning_rate": 3e-06, |
| "loss": 0.0072, |
| "step": 355 |
| }, |
| { |
| "epoch": 0.011866666666666666, |
| "grad_norm": 0.1997765749692917, |
| "learning_rate": 3e-06, |
| "loss": 0.0064, |
| "step": 356 |
| }, |
| { |
| "epoch": 0.0119, |
| "grad_norm": 0.13170619308948517, |
| "learning_rate": 3e-06, |
| "loss": 0.0068, |
| "step": 357 |
| }, |
| { |
| "epoch": 0.011933333333333334, |
| "grad_norm": 0.6100255846977234, |
| "learning_rate": 3e-06, |
| "loss": 0.007, |
| "step": 358 |
| }, |
| { |
| "epoch": 0.011966666666666667, |
| "grad_norm": 0.4181111752986908, |
| "learning_rate": 3e-06, |
| "loss": 0.0064, |
| "step": 359 |
| }, |
| { |
| "epoch": 0.012, |
| "grad_norm": 0.4106765687465668, |
| "learning_rate": 3e-06, |
| "loss": 0.0064, |
| "step": 360 |
| }, |
| { |
| "completion_length": 254.6875, |
| "epoch": 0.012033333333333333, |
| "grad_norm": 0.27548089623451233, |
| "learning_rate": 3e-06, |
| "loss": 0.1803, |
| "reward": 0.625, |
| "reward_std": 0.42078250646591187, |
| "rewards/correctness_reward_func_math": 0.625, |
| "step": 361, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.012066666666666667, |
| "grad_norm": 0.25461554527282715, |
| "learning_rate": 3e-06, |
| "loss": 0.1814, |
| "step": 362 |
| }, |
| { |
| "epoch": 0.0121, |
| "grad_norm": 0.2948690950870514, |
| "learning_rate": 3e-06, |
| "loss": 0.1813, |
| "step": 363 |
| }, |
| { |
| "epoch": 0.012133333333333333, |
| "grad_norm": 0.28537362813949585, |
| "learning_rate": 3e-06, |
| "loss": 0.1792, |
| "step": 364 |
| }, |
| { |
| "epoch": 0.012166666666666666, |
| "grad_norm": 0.23089227080345154, |
| "learning_rate": 3e-06, |
| "loss": 0.1785, |
| "step": 365 |
| }, |
| { |
| "epoch": 0.0122, |
| "grad_norm": 0.22446952760219574, |
| "learning_rate": 3e-06, |
| "loss": 0.1769, |
| "step": 366 |
| }, |
| { |
| "epoch": 0.012233333333333334, |
| "grad_norm": 0.21808061003684998, |
| "learning_rate": 3e-06, |
| "loss": 0.1755, |
| "step": 367 |
| }, |
| { |
| "epoch": 0.012266666666666667, |
| "grad_norm": 0.20831453800201416, |
| "learning_rate": 3e-06, |
| "loss": 0.1732, |
| "step": 368 |
| }, |
| { |
| "completion_length": 251.5, |
| "epoch": 0.0123, |
| "grad_norm": 0.19292129576206207, |
| "learning_rate": 3e-06, |
| "loss": 0.1318, |
| "reward": 0.28125, |
| "reward_std": 0.2561737596988678, |
| "rewards/correctness_reward_func_math": 0.28125, |
| "step": 369, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.012333333333333333, |
| "grad_norm": 0.2119365930557251, |
| "learning_rate": 3e-06, |
| "loss": 0.1308, |
| "step": 370 |
| }, |
| { |
| "epoch": 0.012366666666666666, |
| "grad_norm": 0.16353337466716766, |
| "learning_rate": 3e-06, |
| "loss": 0.1303, |
| "step": 371 |
| }, |
| { |
| "epoch": 0.0124, |
| "grad_norm": 0.1856507509946823, |
| "learning_rate": 3e-06, |
| "loss": 0.1295, |
| "step": 372 |
| }, |
| { |
| "epoch": 0.012433333333333333, |
| "grad_norm": 0.15908096730709076, |
| "learning_rate": 3e-06, |
| "loss": 0.1289, |
| "step": 373 |
| }, |
| { |
| "epoch": 0.012466666666666666, |
| "grad_norm": 0.19090767204761505, |
| "learning_rate": 3e-06, |
| "loss": 0.1275, |
| "step": 374 |
| }, |
| { |
| "epoch": 0.0125, |
| "grad_norm": 0.19090524315834045, |
| "learning_rate": 3e-06, |
| "loss": 0.1263, |
| "step": 375 |
| }, |
| { |
| "epoch": 0.012533333333333334, |
| "grad_norm": 0.2033962607383728, |
| "learning_rate": 3e-06, |
| "loss": 0.126, |
| "step": 376 |
| }, |
| { |
| "completion_length": 249.34375, |
| "epoch": 0.012566666666666667, |
| "grad_norm": 0.2016112059354782, |
| "learning_rate": 3e-06, |
| "loss": 0.1476, |
| "reward": 0.8125, |
| "reward_std": 0.36435678601264954, |
| "rewards/correctness_reward_func_math": 0.8125, |
| "step": 377, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.0126, |
| "grad_norm": 0.1587410271167755, |
| "learning_rate": 3e-06, |
| "loss": 0.1442, |
| "step": 378 |
| }, |
| { |
| "epoch": 0.012633333333333333, |
| "grad_norm": 0.16049852967262268, |
| "learning_rate": 3e-06, |
| "loss": 0.1445, |
| "step": 379 |
| }, |
| { |
| "epoch": 0.012666666666666666, |
| "grad_norm": 0.1450672745704651, |
| "learning_rate": 3e-06, |
| "loss": 0.1431, |
| "step": 380 |
| }, |
| { |
| "epoch": 0.0127, |
| "grad_norm": 0.14676228165626526, |
| "learning_rate": 3e-06, |
| "loss": 0.1434, |
| "step": 381 |
| }, |
| { |
| "epoch": 0.012733333333333333, |
| "grad_norm": 0.1436103880405426, |
| "learning_rate": 3e-06, |
| "loss": 0.1414, |
| "step": 382 |
| }, |
| { |
| "epoch": 0.012766666666666667, |
| "grad_norm": 0.12750330567359924, |
| "learning_rate": 3e-06, |
| "loss": 0.1399, |
| "step": 383 |
| }, |
| { |
| "epoch": 0.0128, |
| "grad_norm": 0.12799246609210968, |
| "learning_rate": 3e-06, |
| "loss": 0.1413, |
| "step": 384 |
| }, |
| { |
| "completion_length": 240.40625, |
| "epoch": 0.012833333333333334, |
| "grad_norm": 0.06822817772626877, |
| "learning_rate": 3e-06, |
| "loss": 0.0579, |
| "reward": 0.4375, |
| "reward_std": 0.17078250646591187, |
| "rewards/correctness_reward_func_math": 0.4375, |
| "step": 385, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.012866666666666667, |
| "grad_norm": 0.07872696965932846, |
| "learning_rate": 3e-06, |
| "loss": 0.0573, |
| "step": 386 |
| }, |
| { |
| "epoch": 0.0129, |
| "grad_norm": 0.08817996829748154, |
| "learning_rate": 3e-06, |
| "loss": 0.0578, |
| "step": 387 |
| }, |
| { |
| "epoch": 0.012933333333333333, |
| "grad_norm": 0.07223974913358688, |
| "learning_rate": 3e-06, |
| "loss": 0.0573, |
| "step": 388 |
| }, |
| { |
| "epoch": 0.012966666666666666, |
| "grad_norm": 0.0702061653137207, |
| "learning_rate": 3e-06, |
| "loss": 0.0572, |
| "step": 389 |
| }, |
| { |
| "epoch": 0.013, |
| "grad_norm": 0.06336595118045807, |
| "learning_rate": 3e-06, |
| "loss": 0.057, |
| "step": 390 |
| }, |
| { |
| "epoch": 0.013033333333333333, |
| "grad_norm": 0.06485968828201294, |
| "learning_rate": 3e-06, |
| "loss": 0.0572, |
| "step": 391 |
| }, |
| { |
| "epoch": 0.013066666666666667, |
| "grad_norm": 0.07797792553901672, |
| "learning_rate": 3e-06, |
| "loss": 0.0567, |
| "step": 392 |
| }, |
| { |
| "completion_length": 238.375, |
| "epoch": 0.0131, |
| "grad_norm": 0.38549041748046875, |
| "learning_rate": 3e-06, |
| "loss": 0.2458, |
| "reward": 0.625, |
| "reward_std": 0.49553054571151733, |
| "rewards/correctness_reward_func_math": 0.625, |
| "step": 393, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.013133333333333334, |
| "grad_norm": 0.3840830326080322, |
| "learning_rate": 3e-06, |
| "loss": 0.2453, |
| "step": 394 |
| }, |
| { |
| "epoch": 0.013166666666666667, |
| "grad_norm": 0.3641573488712311, |
| "learning_rate": 3e-06, |
| "loss": 0.2426, |
| "step": 395 |
| }, |
| { |
| "epoch": 0.0132, |
| "grad_norm": 0.36177030205726624, |
| "learning_rate": 3e-06, |
| "loss": 0.2419, |
| "step": 396 |
| }, |
| { |
| "epoch": 0.013233333333333333, |
| "grad_norm": 0.3800259530544281, |
| "learning_rate": 3e-06, |
| "loss": 0.2392, |
| "step": 397 |
| }, |
| { |
| "epoch": 0.013266666666666666, |
| "grad_norm": 0.3620750308036804, |
| "learning_rate": 3e-06, |
| "loss": 0.2387, |
| "step": 398 |
| }, |
| { |
| "epoch": 0.0133, |
| "grad_norm": 0.3121510148048401, |
| "learning_rate": 3e-06, |
| "loss": 0.2362, |
| "step": 399 |
| }, |
| { |
| "epoch": 0.013333333333333334, |
| "grad_norm": 0.31789830327033997, |
| "learning_rate": 3e-06, |
| "loss": 0.2333, |
| "step": 400 |
| }, |
| { |
| "completion_length": 198.1875, |
| "epoch": 0.013366666666666667, |
| "grad_norm": 0.44888409972190857, |
| "learning_rate": 3e-06, |
| "loss": 0.0943, |
| "reward": 0.09375, |
| "reward_std": 0.20155644416809082, |
| "rewards/correctness_reward_func_math": 0.09375, |
| "step": 401, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0134, |
| "grad_norm": 0.41315212845802307, |
| "learning_rate": 3e-06, |
| "loss": 0.0925, |
| "step": 402 |
| }, |
| { |
| "epoch": 0.013433333333333334, |
| "grad_norm": 0.46377262473106384, |
| "learning_rate": 3e-06, |
| "loss": 0.0922, |
| "step": 403 |
| }, |
| { |
| "epoch": 0.013466666666666667, |
| "grad_norm": 0.3667566776275635, |
| "learning_rate": 3e-06, |
| "loss": 0.091, |
| "step": 404 |
| }, |
| { |
| "epoch": 0.0135, |
| "grad_norm": 0.35223203897476196, |
| "learning_rate": 3e-06, |
| "loss": 0.0908, |
| "step": 405 |
| }, |
| { |
| "epoch": 0.013533333333333333, |
| "grad_norm": 0.3584624230861664, |
| "learning_rate": 3e-06, |
| "loss": 0.0898, |
| "step": 406 |
| }, |
| { |
| "epoch": 0.013566666666666666, |
| "grad_norm": 0.4059496223926544, |
| "learning_rate": 3e-06, |
| "loss": 0.0878, |
| "step": 407 |
| }, |
| { |
| "epoch": 0.0136, |
| "grad_norm": 0.42549821734428406, |
| "learning_rate": 3e-06, |
| "loss": 0.086, |
| "step": 408 |
| }, |
| { |
| "completion_length": 250.53125, |
| "epoch": 0.013633333333333334, |
| "grad_norm": 0.2215573936700821, |
| "learning_rate": 3e-06, |
| "loss": 0.1183, |
| "reward": 0.34375, |
| "reward_std": 0.23935678601264954, |
| "rewards/correctness_reward_func_math": 0.34375, |
| "step": 409, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.013666666666666667, |
| "grad_norm": 0.220441535115242, |
| "learning_rate": 3e-06, |
| "loss": 0.118, |
| "step": 410 |
| }, |
| { |
| "epoch": 0.0137, |
| "grad_norm": 0.20855550467967987, |
| "learning_rate": 3e-06, |
| "loss": 0.1176, |
| "step": 411 |
| }, |
| { |
| "epoch": 0.013733333333333334, |
| "grad_norm": 0.21027211844921112, |
| "learning_rate": 3e-06, |
| "loss": 0.1162, |
| "step": 412 |
| }, |
| { |
| "epoch": 0.013766666666666667, |
| "grad_norm": 0.20326896011829376, |
| "learning_rate": 3e-06, |
| "loss": 0.1152, |
| "step": 413 |
| }, |
| { |
| "epoch": 0.0138, |
| "grad_norm": 0.19802652299404144, |
| "learning_rate": 3e-06, |
| "loss": 0.1137, |
| "step": 414 |
| }, |
| { |
| "epoch": 0.013833333333333333, |
| "grad_norm": 0.20252074301242828, |
| "learning_rate": 3e-06, |
| "loss": 0.1131, |
| "step": 415 |
| }, |
| { |
| "epoch": 0.013866666666666666, |
| "grad_norm": 0.17375098168849945, |
| "learning_rate": 3e-06, |
| "loss": 0.1112, |
| "step": 416 |
| }, |
| { |
| "completion_length": 251.59375, |
| "epoch": 0.0139, |
| "grad_norm": 0.2735430598258972, |
| "learning_rate": 3e-06, |
| "loss": 0.2508, |
| "reward": 0.40625, |
| "reward_std": 0.497555673122406, |
| "rewards/correctness_reward_func_math": 0.40625, |
| "step": 417, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.013933333333333334, |
| "grad_norm": 0.2702653706073761, |
| "learning_rate": 3e-06, |
| "loss": 0.2495, |
| "step": 418 |
| }, |
| { |
| "epoch": 0.013966666666666667, |
| "grad_norm": 0.3242483139038086, |
| "learning_rate": 3e-06, |
| "loss": 0.2486, |
| "step": 419 |
| }, |
| { |
| "epoch": 0.014, |
| "grad_norm": 0.3347218930721283, |
| "learning_rate": 3e-06, |
| "loss": 0.2487, |
| "step": 420 |
| }, |
| { |
| "epoch": 0.014033333333333333, |
| "grad_norm": 0.27987346053123474, |
| "learning_rate": 3e-06, |
| "loss": 0.2479, |
| "step": 421 |
| }, |
| { |
| "epoch": 0.014066666666666667, |
| "grad_norm": 0.267378568649292, |
| "learning_rate": 3e-06, |
| "loss": 0.2456, |
| "step": 422 |
| }, |
| { |
| "epoch": 0.0141, |
| "grad_norm": 0.2915571331977844, |
| "learning_rate": 3e-06, |
| "loss": 0.2461, |
| "step": 423 |
| }, |
| { |
| "epoch": 0.014133333333333333, |
| "grad_norm": 0.2756955325603485, |
| "learning_rate": 3e-06, |
| "loss": 0.2424, |
| "step": 424 |
| }, |
| { |
| "completion_length": 250.0625, |
| "epoch": 0.014166666666666666, |
| "grad_norm": 0.19553513824939728, |
| "learning_rate": 3e-06, |
| "loss": 0.1292, |
| "reward": 0.6875, |
| "reward_std": 0.25, |
| "rewards/correctness_reward_func_math": 0.6875, |
| "step": 425, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0142, |
| "grad_norm": 0.19559946656227112, |
| "learning_rate": 3e-06, |
| "loss": 0.1289, |
| "step": 426 |
| }, |
| { |
| "epoch": 0.014233333333333334, |
| "grad_norm": 0.2035493403673172, |
| "learning_rate": 3e-06, |
| "loss": 0.1292, |
| "step": 427 |
| }, |
| { |
| "epoch": 0.014266666666666667, |
| "grad_norm": 0.18787522614002228, |
| "learning_rate": 3e-06, |
| "loss": 0.1286, |
| "step": 428 |
| }, |
| { |
| "epoch": 0.0143, |
| "grad_norm": 0.1755335032939911, |
| "learning_rate": 3e-06, |
| "loss": 0.1262, |
| "step": 429 |
| }, |
| { |
| "epoch": 0.014333333333333333, |
| "grad_norm": 0.17663607001304626, |
| "learning_rate": 3e-06, |
| "loss": 0.1249, |
| "step": 430 |
| }, |
| { |
| "epoch": 0.014366666666666666, |
| "grad_norm": 0.14155325293540955, |
| "learning_rate": 3e-06, |
| "loss": 0.1248, |
| "step": 431 |
| }, |
| { |
| "epoch": 0.0144, |
| "grad_norm": 0.15399743616580963, |
| "learning_rate": 3e-06, |
| "loss": 0.1248, |
| "step": 432 |
| }, |
| { |
| "completion_length": 250.4375, |
| "epoch": 0.014433333333333333, |
| "grad_norm": 0.3467576205730438, |
| "learning_rate": 3e-06, |
| "loss": 0.1475, |
| "reward": 0.625, |
| "reward_std": 0.36435678601264954, |
| "rewards/correctness_reward_func_math": 0.625, |
| "step": 433, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.014466666666666666, |
| "grad_norm": 0.35306990146636963, |
| "learning_rate": 3e-06, |
| "loss": 0.1465, |
| "step": 434 |
| }, |
| { |
| "epoch": 0.0145, |
| "grad_norm": 0.30576157569885254, |
| "learning_rate": 3e-06, |
| "loss": 0.1454, |
| "step": 435 |
| }, |
| { |
| "epoch": 0.014533333333333334, |
| "grad_norm": 0.3262905776500702, |
| "learning_rate": 3e-06, |
| "loss": 0.1444, |
| "step": 436 |
| }, |
| { |
| "epoch": 0.014566666666666667, |
| "grad_norm": 0.346758633852005, |
| "learning_rate": 3e-06, |
| "loss": 0.143, |
| "step": 437 |
| }, |
| { |
| "epoch": 0.0146, |
| "grad_norm": 0.28668680787086487, |
| "learning_rate": 3e-06, |
| "loss": 0.1407, |
| "step": 438 |
| }, |
| { |
| "epoch": 0.014633333333333333, |
| "grad_norm": 0.3116721510887146, |
| "learning_rate": 3e-06, |
| "loss": 0.1393, |
| "step": 439 |
| }, |
| { |
| "epoch": 0.014666666666666666, |
| "grad_norm": 0.270174115896225, |
| "learning_rate": 3e-06, |
| "loss": 0.1377, |
| "step": 440 |
| }, |
| { |
| "completion_length": 238.96875, |
| "epoch": 0.0147, |
| "grad_norm": 0.10059181600809097, |
| "learning_rate": 3e-06, |
| "loss": 0.039, |
| "reward": 0.03125, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.03125, |
| "step": 441, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.014733333333333333, |
| "grad_norm": 0.09767020493745804, |
| "learning_rate": 3e-06, |
| "loss": 0.0389, |
| "step": 442 |
| }, |
| { |
| "epoch": 0.014766666666666668, |
| "grad_norm": 0.0694669634103775, |
| "learning_rate": 3e-06, |
| "loss": 0.0384, |
| "step": 443 |
| }, |
| { |
| "epoch": 0.0148, |
| "grad_norm": 0.062025561928749084, |
| "learning_rate": 3e-06, |
| "loss": 0.0383, |
| "step": 444 |
| }, |
| { |
| "epoch": 0.014833333333333334, |
| "grad_norm": 0.0574849434196949, |
| "learning_rate": 3e-06, |
| "loss": 0.0378, |
| "step": 445 |
| }, |
| { |
| "epoch": 0.014866666666666667, |
| "grad_norm": 0.05307569354772568, |
| "learning_rate": 3e-06, |
| "loss": 0.0377, |
| "step": 446 |
| }, |
| { |
| "epoch": 0.0149, |
| "grad_norm": 0.06730100512504578, |
| "learning_rate": 3e-06, |
| "loss": 0.0379, |
| "step": 447 |
| }, |
| { |
| "epoch": 0.014933333333333333, |
| "grad_norm": 0.05645023658871651, |
| "learning_rate": 3e-06, |
| "loss": 0.0377, |
| "step": 448 |
| }, |
| { |
| "completion_length": 235.46875, |
| "epoch": 0.014966666666666666, |
| "grad_norm": 0.21701093018054962, |
| "learning_rate": 3e-06, |
| "loss": 0.081, |
| "reward": 0.40625, |
| "reward_std": 0.20155644416809082, |
| "rewards/correctness_reward_func_math": 0.40625, |
| "step": 449, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.015, |
| "grad_norm": 0.20966863632202148, |
| "learning_rate": 3e-06, |
| "loss": 0.0811, |
| "step": 450 |
| }, |
| { |
| "epoch": 0.015033333333333333, |
| "grad_norm": 0.1952715516090393, |
| "learning_rate": 3e-06, |
| "loss": 0.0812, |
| "step": 451 |
| }, |
| { |
| "epoch": 0.015066666666666667, |
| "grad_norm": 0.2218673676252365, |
| "learning_rate": 3e-06, |
| "loss": 0.0801, |
| "step": 452 |
| }, |
| { |
| "epoch": 0.0151, |
| "grad_norm": 0.18562260270118713, |
| "learning_rate": 3e-06, |
| "loss": 0.0776, |
| "step": 453 |
| }, |
| { |
| "epoch": 0.015133333333333334, |
| "grad_norm": 0.17205117642879486, |
| "learning_rate": 3e-06, |
| "loss": 0.0767, |
| "step": 454 |
| }, |
| { |
| "epoch": 0.015166666666666667, |
| "grad_norm": 0.1613965928554535, |
| "learning_rate": 3e-06, |
| "loss": 0.0773, |
| "step": 455 |
| }, |
| { |
| "epoch": 0.0152, |
| "grad_norm": 0.14915664494037628, |
| "learning_rate": 3e-06, |
| "loss": 0.075, |
| "step": 456 |
| }, |
| { |
| "completion_length": 246.40625, |
| "epoch": 0.015233333333333333, |
| "grad_norm": 0.2059401124715805, |
| "learning_rate": 3e-06, |
| "loss": 0.0903, |
| "reward": 0.46875, |
| "reward_std": 0.29578250646591187, |
| "rewards/correctness_reward_func_math": 0.46875, |
| "step": 457, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.015266666666666666, |
| "grad_norm": 0.3525935709476471, |
| "learning_rate": 3e-06, |
| "loss": 0.0903, |
| "step": 458 |
| }, |
| { |
| "epoch": 0.0153, |
| "grad_norm": 0.22210562229156494, |
| "learning_rate": 3e-06, |
| "loss": 0.0896, |
| "step": 459 |
| }, |
| { |
| "epoch": 0.015333333333333332, |
| "grad_norm": 0.1796288788318634, |
| "learning_rate": 3e-06, |
| "loss": 0.0907, |
| "step": 460 |
| }, |
| { |
| "epoch": 0.015366666666666667, |
| "grad_norm": 0.16543692350387573, |
| "learning_rate": 3e-06, |
| "loss": 0.0889, |
| "step": 461 |
| }, |
| { |
| "epoch": 0.0154, |
| "grad_norm": 0.276782751083374, |
| "learning_rate": 3e-06, |
| "loss": 0.0872, |
| "step": 462 |
| }, |
| { |
| "epoch": 0.015433333333333334, |
| "grad_norm": 0.15988725423812866, |
| "learning_rate": 3e-06, |
| "loss": 0.0862, |
| "step": 463 |
| }, |
| { |
| "epoch": 0.015466666666666667, |
| "grad_norm": 0.35820671916007996, |
| "learning_rate": 3e-06, |
| "loss": 0.0861, |
| "step": 464 |
| }, |
| { |
| "completion_length": 254.28125, |
| "epoch": 0.0155, |
| "grad_norm": 0.29954835772514343, |
| "learning_rate": 3e-06, |
| "loss": 0.2159, |
| "reward": 0.34375, |
| "reward_std": 0.4597553312778473, |
| "rewards/correctness_reward_func_math": 0.34375, |
| "step": 465, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.015533333333333333, |
| "grad_norm": 0.31113043427467346, |
| "learning_rate": 3e-06, |
| "loss": 0.2156, |
| "step": 466 |
| }, |
| { |
| "epoch": 0.015566666666666666, |
| "grad_norm": 0.30940744280815125, |
| "learning_rate": 3e-06, |
| "loss": 0.2145, |
| "step": 467 |
| }, |
| { |
| "epoch": 0.0156, |
| "grad_norm": 0.2941444218158722, |
| "learning_rate": 3e-06, |
| "loss": 0.2134, |
| "step": 468 |
| }, |
| { |
| "epoch": 0.015633333333333332, |
| "grad_norm": 0.38863056898117065, |
| "learning_rate": 3e-06, |
| "loss": 0.2118, |
| "step": 469 |
| }, |
| { |
| "epoch": 0.015666666666666666, |
| "grad_norm": 0.280717670917511, |
| "learning_rate": 3e-06, |
| "loss": 0.2106, |
| "step": 470 |
| }, |
| { |
| "epoch": 0.0157, |
| "grad_norm": 0.279569536447525, |
| "learning_rate": 3e-06, |
| "loss": 0.2085, |
| "step": 471 |
| }, |
| { |
| "epoch": 0.015733333333333332, |
| "grad_norm": 0.2746374011039734, |
| "learning_rate": 3e-06, |
| "loss": 0.2062, |
| "step": 472 |
| }, |
| { |
| "completion_length": 243.09375, |
| "epoch": 0.015766666666666665, |
| "grad_norm": 0.14546039700508118, |
| "learning_rate": 3e-06, |
| "loss": 0.1203, |
| "reward": 0.34375, |
| "reward_std": 0.23935678601264954, |
| "rewards/correctness_reward_func_math": 0.34375, |
| "step": 473, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0158, |
| "grad_norm": 0.1562756896018982, |
| "learning_rate": 3e-06, |
| "loss": 0.1201, |
| "step": 474 |
| }, |
| { |
| "epoch": 0.015833333333333335, |
| "grad_norm": 0.14360429346561432, |
| "learning_rate": 3e-06, |
| "loss": 0.1182, |
| "step": 475 |
| }, |
| { |
| "epoch": 0.015866666666666668, |
| "grad_norm": 0.1402561217546463, |
| "learning_rate": 3e-06, |
| "loss": 0.1186, |
| "step": 476 |
| }, |
| { |
| "epoch": 0.0159, |
| "grad_norm": 0.16409683227539062, |
| "learning_rate": 3e-06, |
| "loss": 0.1181, |
| "step": 477 |
| }, |
| { |
| "epoch": 0.015933333333333334, |
| "grad_norm": 0.13939177989959717, |
| "learning_rate": 3e-06, |
| "loss": 0.1163, |
| "step": 478 |
| }, |
| { |
| "epoch": 0.015966666666666667, |
| "grad_norm": 0.13923603296279907, |
| "learning_rate": 3e-06, |
| "loss": 0.1159, |
| "step": 479 |
| }, |
| { |
| "epoch": 0.016, |
| "grad_norm": 0.13087198138237, |
| "learning_rate": 3e-06, |
| "loss": 0.1149, |
| "step": 480 |
| }, |
| { |
| "completion_length": 239.25, |
| "epoch": 0.016033333333333333, |
| "grad_norm": 0.0654665008187294, |
| "learning_rate": 3e-06, |
| "loss": 0.0082, |
| "reward": 0.0, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.0, |
| "step": 481, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.016066666666666667, |
| "grad_norm": 0.08344196528196335, |
| "learning_rate": 3e-06, |
| "loss": 0.0083, |
| "step": 482 |
| }, |
| { |
| "epoch": 0.0161, |
| "grad_norm": 0.06491715461015701, |
| "learning_rate": 3e-06, |
| "loss": 0.0078, |
| "step": 483 |
| }, |
| { |
| "epoch": 0.016133333333333333, |
| "grad_norm": 0.08574726432561874, |
| "learning_rate": 3e-06, |
| "loss": 0.0078, |
| "step": 484 |
| }, |
| { |
| "epoch": 0.016166666666666666, |
| "grad_norm": 0.055959656834602356, |
| "learning_rate": 3e-06, |
| "loss": 0.0074, |
| "step": 485 |
| }, |
| { |
| "epoch": 0.0162, |
| "grad_norm": 0.0513751246035099, |
| "learning_rate": 3e-06, |
| "loss": 0.0074, |
| "step": 486 |
| }, |
| { |
| "epoch": 0.016233333333333332, |
| "grad_norm": 0.05206827446818352, |
| "learning_rate": 3e-06, |
| "loss": 0.0071, |
| "step": 487 |
| }, |
| { |
| "epoch": 0.016266666666666665, |
| "grad_norm": 0.051891524344682693, |
| "learning_rate": 3e-06, |
| "loss": 0.0069, |
| "step": 488 |
| }, |
| { |
| "completion_length": 241.84375, |
| "epoch": 0.0163, |
| "grad_norm": 0.18224354088306427, |
| "learning_rate": 3e-06, |
| "loss": 0.1027, |
| "reward": 0.125, |
| "reward_std": 0.22360679507255554, |
| "rewards/correctness_reward_func_math": 0.125, |
| "step": 489, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.01633333333333333, |
| "grad_norm": 0.19457393884658813, |
| "learning_rate": 3e-06, |
| "loss": 0.1027, |
| "step": 490 |
| }, |
| { |
| "epoch": 0.016366666666666668, |
| "grad_norm": 0.17765770852565765, |
| "learning_rate": 3e-06, |
| "loss": 0.1025, |
| "step": 491 |
| }, |
| { |
| "epoch": 0.0164, |
| "grad_norm": 0.18158210813999176, |
| "learning_rate": 3e-06, |
| "loss": 0.102, |
| "step": 492 |
| }, |
| { |
| "epoch": 0.016433333333333335, |
| "grad_norm": 0.1726260930299759, |
| "learning_rate": 3e-06, |
| "loss": 0.1, |
| "step": 493 |
| }, |
| { |
| "epoch": 0.016466666666666668, |
| "grad_norm": 0.166249081492424, |
| "learning_rate": 3e-06, |
| "loss": 0.0998, |
| "step": 494 |
| }, |
| { |
| "epoch": 0.0165, |
| "grad_norm": 0.1659419685602188, |
| "learning_rate": 3e-06, |
| "loss": 0.0985, |
| "step": 495 |
| }, |
| { |
| "epoch": 0.016533333333333334, |
| "grad_norm": 0.154295414686203, |
| "learning_rate": 3e-06, |
| "loss": 0.0983, |
| "step": 496 |
| }, |
| { |
| "completion_length": 248.8125, |
| "epoch": 0.016566666666666667, |
| "grad_norm": 0.12915970385074615, |
| "learning_rate": 3e-06, |
| "loss": 0.0348, |
| "reward": 0.46875, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.46875, |
| "step": 497, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0166, |
| "grad_norm": 0.14185336232185364, |
| "learning_rate": 3e-06, |
| "loss": 0.0361, |
| "step": 498 |
| }, |
| { |
| "epoch": 0.016633333333333333, |
| "grad_norm": 0.14618024230003357, |
| "learning_rate": 3e-06, |
| "loss": 0.035, |
| "step": 499 |
| }, |
| { |
| "epoch": 0.016666666666666666, |
| "grad_norm": 0.12826791405677795, |
| "learning_rate": 3e-06, |
| "loss": 0.0347, |
| "step": 500 |
| }, |
| { |
| "epoch": 0.0167, |
| "grad_norm": 0.11887183785438538, |
| "learning_rate": 3e-06, |
| "loss": 0.0342, |
| "step": 501 |
| }, |
| { |
| "epoch": 0.016733333333333333, |
| "grad_norm": 0.139333114027977, |
| "learning_rate": 3e-06, |
| "loss": 0.0345, |
| "step": 502 |
| }, |
| { |
| "epoch": 0.016766666666666666, |
| "grad_norm": 0.09579494595527649, |
| "learning_rate": 3e-06, |
| "loss": 0.0327, |
| "step": 503 |
| }, |
| { |
| "epoch": 0.0168, |
| "grad_norm": 0.10589130967855453, |
| "learning_rate": 3e-06, |
| "loss": 0.0327, |
| "step": 504 |
| }, |
| { |
| "completion_length": 231.3125, |
| "epoch": 0.016833333333333332, |
| "grad_norm": 0.060271162539720535, |
| "learning_rate": 3e-06, |
| "loss": 0.0346, |
| "reward": 0.03125, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.03125, |
| "step": 505, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.016866666666666665, |
| "grad_norm": 0.05836108326911926, |
| "learning_rate": 3e-06, |
| "loss": 0.0342, |
| "step": 506 |
| }, |
| { |
| "epoch": 0.0169, |
| "grad_norm": 0.057377275079488754, |
| "learning_rate": 3e-06, |
| "loss": 0.0342, |
| "step": 507 |
| }, |
| { |
| "epoch": 0.016933333333333335, |
| "grad_norm": 0.053664203733205795, |
| "learning_rate": 3e-06, |
| "loss": 0.0341, |
| "step": 508 |
| }, |
| { |
| "epoch": 0.016966666666666668, |
| "grad_norm": 0.05374536290764809, |
| "learning_rate": 3e-06, |
| "loss": 0.0337, |
| "step": 509 |
| }, |
| { |
| "epoch": 0.017, |
| "grad_norm": 0.051542218774557114, |
| "learning_rate": 3e-06, |
| "loss": 0.0337, |
| "step": 510 |
| }, |
| { |
| "epoch": 0.017033333333333334, |
| "grad_norm": 0.04687465727329254, |
| "learning_rate": 3e-06, |
| "loss": 0.0336, |
| "step": 511 |
| }, |
| { |
| "epoch": 0.017066666666666667, |
| "grad_norm": 0.05034942179918289, |
| "learning_rate": 3e-06, |
| "loss": 0.0333, |
| "step": 512 |
| }, |
| { |
| "completion_length": 250.84375, |
| "epoch": 0.0171, |
| "grad_norm": 0.1649124175310135, |
| "learning_rate": 3e-06, |
| "loss": 0.133, |
| "reward": 0.21875, |
| "reward_std": 0.2561737596988678, |
| "rewards/correctness_reward_func_math": 0.21875, |
| "step": 513, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.017133333333333334, |
| "grad_norm": 0.1555008739233017, |
| "learning_rate": 3e-06, |
| "loss": 0.1336, |
| "step": 514 |
| }, |
| { |
| "epoch": 0.017166666666666667, |
| "grad_norm": 0.15341587364673615, |
| "learning_rate": 3e-06, |
| "loss": 0.1328, |
| "step": 515 |
| }, |
| { |
| "epoch": 0.0172, |
| "grad_norm": 0.16580595076084137, |
| "learning_rate": 3e-06, |
| "loss": 0.1322, |
| "step": 516 |
| }, |
| { |
| "epoch": 0.017233333333333333, |
| "grad_norm": 0.15370456874370575, |
| "learning_rate": 3e-06, |
| "loss": 0.1306, |
| "step": 517 |
| }, |
| { |
| "epoch": 0.017266666666666666, |
| "grad_norm": 0.1510227620601654, |
| "learning_rate": 3e-06, |
| "loss": 0.1305, |
| "step": 518 |
| }, |
| { |
| "epoch": 0.0173, |
| "grad_norm": 0.14602349698543549, |
| "learning_rate": 3e-06, |
| "loss": 0.1288, |
| "step": 519 |
| }, |
| { |
| "epoch": 0.017333333333333333, |
| "grad_norm": 0.14802323281764984, |
| "learning_rate": 3e-06, |
| "loss": 0.128, |
| "step": 520 |
| }, |
| { |
| "completion_length": 254.5, |
| "epoch": 0.017366666666666666, |
| "grad_norm": 0.7225400805473328, |
| "learning_rate": 3e-06, |
| "loss": 0.2164, |
| "reward": 0.28125, |
| "reward_std": 0.4629635810852051, |
| "rewards/correctness_reward_func_math": 0.28125, |
| "step": 521, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.0174, |
| "grad_norm": 0.7442397475242615, |
| "learning_rate": 3e-06, |
| "loss": 0.2189, |
| "step": 522 |
| }, |
| { |
| "epoch": 0.017433333333333332, |
| "grad_norm": 0.7644712924957275, |
| "learning_rate": 3e-06, |
| "loss": 0.2158, |
| "step": 523 |
| }, |
| { |
| "epoch": 0.017466666666666665, |
| "grad_norm": 0.6951637268066406, |
| "learning_rate": 3e-06, |
| "loss": 0.213, |
| "step": 524 |
| }, |
| { |
| "epoch": 0.0175, |
| "grad_norm": 0.6513010263442993, |
| "learning_rate": 3e-06, |
| "loss": 0.2096, |
| "step": 525 |
| }, |
| { |
| "epoch": 0.017533333333333335, |
| "grad_norm": 0.6772620677947998, |
| "learning_rate": 3e-06, |
| "loss": 0.2092, |
| "step": 526 |
| }, |
| { |
| "epoch": 0.017566666666666668, |
| "grad_norm": 0.5934609174728394, |
| "learning_rate": 3e-06, |
| "loss": 0.2018, |
| "step": 527 |
| }, |
| { |
| "epoch": 0.0176, |
| "grad_norm": 0.5944212675094604, |
| "learning_rate": 3e-06, |
| "loss": 0.1991, |
| "step": 528 |
| }, |
| { |
| "completion_length": 128.46875, |
| "epoch": 0.017633333333333334, |
| "grad_norm": 51.00457000732422, |
| "learning_rate": 3e-06, |
| "loss": 2.1766, |
| "reward": 0.0, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.0, |
| "step": 529, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.017666666666666667, |
| "grad_norm": 50.54049301147461, |
| "learning_rate": 3e-06, |
| "loss": 2.1198, |
| "step": 530 |
| }, |
| { |
| "epoch": 0.0177, |
| "grad_norm": 48.74490737915039, |
| "learning_rate": 3e-06, |
| "loss": 1.9658, |
| "step": 531 |
| }, |
| { |
| "epoch": 0.017733333333333334, |
| "grad_norm": 45.3642692565918, |
| "learning_rate": 3e-06, |
| "loss": 1.8162, |
| "step": 532 |
| }, |
| { |
| "epoch": 0.017766666666666667, |
| "grad_norm": 40.74528884887695, |
| "learning_rate": 3e-06, |
| "loss": 1.5698, |
| "step": 533 |
| }, |
| { |
| "epoch": 0.0178, |
| "grad_norm": 36.77062225341797, |
| "learning_rate": 3e-06, |
| "loss": 1.4395, |
| "step": 534 |
| }, |
| { |
| "epoch": 0.017833333333333333, |
| "grad_norm": 30.610965728759766, |
| "learning_rate": 3e-06, |
| "loss": 1.2355, |
| "step": 535 |
| }, |
| { |
| "epoch": 0.017866666666666666, |
| "grad_norm": 23.18577766418457, |
| "learning_rate": 3e-06, |
| "loss": 1.0555, |
| "step": 536 |
| }, |
| { |
| "completion_length": 144.6875, |
| "epoch": 0.0179, |
| "grad_norm": 10.381141662597656, |
| "learning_rate": 3e-06, |
| "loss": 0.7584, |
| "reward": 0.46875, |
| "reward_std": 0.5143726468086243, |
| "rewards/correctness_reward_func_math": 0.46875, |
| "step": 537, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.017933333333333332, |
| "grad_norm": 9.528056144714355, |
| "learning_rate": 3e-06, |
| "loss": 0.7238, |
| "step": 538 |
| }, |
| { |
| "epoch": 0.017966666666666666, |
| "grad_norm": 9.058717727661133, |
| "learning_rate": 3e-06, |
| "loss": 0.6923, |
| "step": 539 |
| }, |
| { |
| "epoch": 0.018, |
| "grad_norm": 8.492630004882812, |
| "learning_rate": 3e-06, |
| "loss": 0.6513, |
| "step": 540 |
| }, |
| { |
| "epoch": 0.018033333333333332, |
| "grad_norm": 7.519481182098389, |
| "learning_rate": 3e-06, |
| "loss": 0.606, |
| "step": 541 |
| }, |
| { |
| "epoch": 0.01806666666666667, |
| "grad_norm": 6.655992031097412, |
| "learning_rate": 3e-06, |
| "loss": 0.5632, |
| "step": 542 |
| }, |
| { |
| "epoch": 0.0181, |
| "grad_norm": 5.521195411682129, |
| "learning_rate": 3e-06, |
| "loss": 0.53, |
| "step": 543 |
| }, |
| { |
| "epoch": 0.018133333333333335, |
| "grad_norm": 4.6811699867248535, |
| "learning_rate": 3e-06, |
| "loss": 0.4979, |
| "step": 544 |
| }, |
| { |
| "completion_length": 254.9375, |
| "epoch": 0.018166666666666668, |
| "grad_norm": 0.10951890051364899, |
| "learning_rate": 3e-06, |
| "loss": 0.0837, |
| "reward": 0.40625, |
| "reward_std": 0.20155644416809082, |
| "rewards/correctness_reward_func_math": 0.40625, |
| "step": 545, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0182, |
| "grad_norm": 0.16542638838291168, |
| "learning_rate": 3e-06, |
| "loss": 0.0837, |
| "step": 546 |
| }, |
| { |
| "epoch": 0.018233333333333334, |
| "grad_norm": 0.11413931846618652, |
| "learning_rate": 3e-06, |
| "loss": 0.0839, |
| "step": 547 |
| }, |
| { |
| "epoch": 0.018266666666666667, |
| "grad_norm": 0.09522175043821335, |
| "learning_rate": 3e-06, |
| "loss": 0.0838, |
| "step": 548 |
| }, |
| { |
| "epoch": 0.0183, |
| "grad_norm": 0.09395573288202286, |
| "learning_rate": 3e-06, |
| "loss": 0.0829, |
| "step": 549 |
| }, |
| { |
| "epoch": 0.018333333333333333, |
| "grad_norm": 0.10129772126674652, |
| "learning_rate": 3e-06, |
| "loss": 0.082, |
| "step": 550 |
| }, |
| { |
| "epoch": 0.018366666666666667, |
| "grad_norm": 0.09348804503679276, |
| "learning_rate": 3e-06, |
| "loss": 0.0816, |
| "step": 551 |
| }, |
| { |
| "epoch": 0.0184, |
| "grad_norm": 0.08705902844667435, |
| "learning_rate": 3e-06, |
| "loss": 0.0812, |
| "step": 552 |
| }, |
| { |
| "completion_length": 246.4375, |
| "epoch": 0.018433333333333333, |
| "grad_norm": 0.03405891731381416, |
| "learning_rate": 3e-06, |
| "loss": 0.0041, |
| "reward": 0.0, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.0, |
| "step": 553, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.018466666666666666, |
| "grad_norm": 0.03481290116906166, |
| "learning_rate": 3e-06, |
| "loss": 0.004, |
| "step": 554 |
| }, |
| { |
| "epoch": 0.0185, |
| "grad_norm": 0.029280848801136017, |
| "learning_rate": 3e-06, |
| "loss": 0.0039, |
| "step": 555 |
| }, |
| { |
| "epoch": 0.018533333333333332, |
| "grad_norm": 0.03009914606809616, |
| "learning_rate": 3e-06, |
| "loss": 0.0039, |
| "step": 556 |
| }, |
| { |
| "epoch": 0.018566666666666665, |
| "grad_norm": 0.029852785170078278, |
| "learning_rate": 3e-06, |
| "loss": 0.0039, |
| "step": 557 |
| }, |
| { |
| "epoch": 0.0186, |
| "grad_norm": 0.026293713599443436, |
| "learning_rate": 3e-06, |
| "loss": 0.0038, |
| "step": 558 |
| }, |
| { |
| "epoch": 0.01863333333333333, |
| "grad_norm": 0.023329606279730797, |
| "learning_rate": 3e-06, |
| "loss": 0.0037, |
| "step": 559 |
| }, |
| { |
| "epoch": 0.018666666666666668, |
| "grad_norm": 0.023238757625222206, |
| "learning_rate": 3e-06, |
| "loss": 0.0036, |
| "step": 560 |
| }, |
| { |
| "completion_length": 253.59375, |
| "epoch": 0.0187, |
| "grad_norm": 0.057715628296136856, |
| "learning_rate": 3e-06, |
| "loss": 0.0326, |
| "reward": 0.03125, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.03125, |
| "step": 561, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.018733333333333334, |
| "grad_norm": 0.056737713515758514, |
| "learning_rate": 3e-06, |
| "loss": 0.0324, |
| "step": 562 |
| }, |
| { |
| "epoch": 0.018766666666666668, |
| "grad_norm": 0.05326418578624725, |
| "learning_rate": 3e-06, |
| "loss": 0.0324, |
| "step": 563 |
| }, |
| { |
| "epoch": 0.0188, |
| "grad_norm": 0.049857933074235916, |
| "learning_rate": 3e-06, |
| "loss": 0.0323, |
| "step": 564 |
| }, |
| { |
| "epoch": 0.018833333333333334, |
| "grad_norm": 0.04564490541815758, |
| "learning_rate": 3e-06, |
| "loss": 0.0323, |
| "step": 565 |
| }, |
| { |
| "epoch": 0.018866666666666667, |
| "grad_norm": 0.03852638602256775, |
| "learning_rate": 3e-06, |
| "loss": 0.0316, |
| "step": 566 |
| }, |
| { |
| "epoch": 0.0189, |
| "grad_norm": 0.03701968118548393, |
| "learning_rate": 3e-06, |
| "loss": 0.0316, |
| "step": 567 |
| }, |
| { |
| "epoch": 0.018933333333333333, |
| "grad_norm": 0.03204011172056198, |
| "learning_rate": 3e-06, |
| "loss": 0.0318, |
| "step": 568 |
| }, |
| { |
| "completion_length": 254.34375, |
| "epoch": 0.018966666666666666, |
| "grad_norm": 0.09220577776432037, |
| "learning_rate": 3e-06, |
| "loss": 0.0348, |
| "reward": 0.03125, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.03125, |
| "step": 569, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.019, |
| "grad_norm": 0.08948923647403717, |
| "learning_rate": 3e-06, |
| "loss": 0.0344, |
| "step": 570 |
| }, |
| { |
| "epoch": 0.019033333333333333, |
| "grad_norm": 0.09117864072322845, |
| "learning_rate": 3e-06, |
| "loss": 0.0343, |
| "step": 571 |
| }, |
| { |
| "epoch": 0.019066666666666666, |
| "grad_norm": 0.07967361062765121, |
| "learning_rate": 3e-06, |
| "loss": 0.0338, |
| "step": 572 |
| }, |
| { |
| "epoch": 0.0191, |
| "grad_norm": 0.0787007212638855, |
| "learning_rate": 3e-06, |
| "loss": 0.0336, |
| "step": 573 |
| }, |
| { |
| "epoch": 0.019133333333333332, |
| "grad_norm": 0.06947869062423706, |
| "learning_rate": 3e-06, |
| "loss": 0.0329, |
| "step": 574 |
| }, |
| { |
| "epoch": 0.019166666666666665, |
| "grad_norm": 0.056921955198049545, |
| "learning_rate": 3e-06, |
| "loss": 0.0326, |
| "step": 575 |
| }, |
| { |
| "epoch": 0.0192, |
| "grad_norm": 0.05582869425415993, |
| "learning_rate": 3e-06, |
| "loss": 0.0325, |
| "step": 576 |
| }, |
| { |
| "completion_length": 247.5625, |
| "epoch": 0.019233333333333335, |
| "grad_norm": 0.2367156744003296, |
| "learning_rate": 3e-06, |
| "loss": 0.2002, |
| "reward": 0.5625, |
| "reward_std": 0.44091323018074036, |
| "rewards/correctness_reward_func_math": 0.5625, |
| "step": 577, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.019266666666666668, |
| "grad_norm": 0.22939331829547882, |
| "learning_rate": 3e-06, |
| "loss": 0.1998, |
| "step": 578 |
| }, |
| { |
| "epoch": 0.0193, |
| "grad_norm": 0.23170040547847748, |
| "learning_rate": 3e-06, |
| "loss": 0.2004, |
| "step": 579 |
| }, |
| { |
| "epoch": 0.019333333333333334, |
| "grad_norm": 0.21678820252418518, |
| "learning_rate": 3e-06, |
| "loss": 0.1983, |
| "step": 580 |
| }, |
| { |
| "epoch": 0.019366666666666667, |
| "grad_norm": 0.19934621453285217, |
| "learning_rate": 3e-06, |
| "loss": 0.1967, |
| "step": 581 |
| }, |
| { |
| "epoch": 0.0194, |
| "grad_norm": 0.1918189376592636, |
| "learning_rate": 3e-06, |
| "loss": 0.1949, |
| "step": 582 |
| }, |
| { |
| "epoch": 0.019433333333333334, |
| "grad_norm": 0.20486488938331604, |
| "learning_rate": 3e-06, |
| "loss": 0.1941, |
| "step": 583 |
| }, |
| { |
| "epoch": 0.019466666666666667, |
| "grad_norm": 0.16366831958293915, |
| "learning_rate": 3e-06, |
| "loss": 0.1937, |
| "step": 584 |
| }, |
| { |
| "completion_length": 254.96875, |
| "epoch": 0.0195, |
| "grad_norm": 0.22691594064235687, |
| "learning_rate": 3e-06, |
| "loss": 0.1304, |
| "reward": 0.28125, |
| "reward_std": 0.2561737596988678, |
| "rewards/correctness_reward_func_math": 0.28125, |
| "step": 585, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.019533333333333333, |
| "grad_norm": 0.2821173667907715, |
| "learning_rate": 3e-06, |
| "loss": 0.1291, |
| "step": 586 |
| }, |
| { |
| "epoch": 0.019566666666666666, |
| "grad_norm": 0.2265429049730301, |
| "learning_rate": 3e-06, |
| "loss": 0.1285, |
| "step": 587 |
| }, |
| { |
| "epoch": 0.0196, |
| "grad_norm": 0.23872216045856476, |
| "learning_rate": 3e-06, |
| "loss": 0.1283, |
| "step": 588 |
| }, |
| { |
| "epoch": 0.019633333333333332, |
| "grad_norm": 0.2252172976732254, |
| "learning_rate": 3e-06, |
| "loss": 0.1267, |
| "step": 589 |
| }, |
| { |
| "epoch": 0.019666666666666666, |
| "grad_norm": 0.2180308699607849, |
| "learning_rate": 3e-06, |
| "loss": 0.1263, |
| "step": 590 |
| }, |
| { |
| "epoch": 0.0197, |
| "grad_norm": 0.2200622856616974, |
| "learning_rate": 3e-06, |
| "loss": 0.125, |
| "step": 591 |
| }, |
| { |
| "epoch": 0.019733333333333332, |
| "grad_norm": 0.20470121502876282, |
| "learning_rate": 3e-06, |
| "loss": 0.1229, |
| "step": 592 |
| }, |
| { |
| "completion_length": 252.5, |
| "epoch": 0.019766666666666665, |
| "grad_norm": 0.2684352695941925, |
| "learning_rate": 3e-06, |
| "loss": 0.1369, |
| "reward": 0.78125, |
| "reward_std": 0.2561737596988678, |
| "rewards/correctness_reward_func_math": 0.78125, |
| "step": 593, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0198, |
| "grad_norm": 0.24670590460300446, |
| "learning_rate": 3e-06, |
| "loss": 0.1355, |
| "step": 594 |
| }, |
| { |
| "epoch": 0.019833333333333335, |
| "grad_norm": 0.2284523993730545, |
| "learning_rate": 3e-06, |
| "loss": 0.1341, |
| "step": 595 |
| }, |
| { |
| "epoch": 0.019866666666666668, |
| "grad_norm": 0.24029229581356049, |
| "learning_rate": 3e-06, |
| "loss": 0.1336, |
| "step": 596 |
| }, |
| { |
| "epoch": 0.0199, |
| "grad_norm": 0.21675048768520355, |
| "learning_rate": 3e-06, |
| "loss": 0.1314, |
| "step": 597 |
| }, |
| { |
| "epoch": 0.019933333333333334, |
| "grad_norm": 0.21117031574249268, |
| "learning_rate": 3e-06, |
| "loss": 0.1293, |
| "step": 598 |
| }, |
| { |
| "epoch": 0.019966666666666667, |
| "grad_norm": 0.2220994234085083, |
| "learning_rate": 3e-06, |
| "loss": 0.1288, |
| "step": 599 |
| }, |
| { |
| "epoch": 0.02, |
| "grad_norm": 0.1723368614912033, |
| "learning_rate": 3e-06, |
| "loss": 0.1272, |
| "step": 600 |
| }, |
| { |
| "completion_length": 241.375, |
| "epoch": 0.020033333333333334, |
| "grad_norm": 0.07640348374843597, |
| "learning_rate": 3e-06, |
| "loss": 0.009, |
| "reward": 0.0, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.0, |
| "step": 601, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.020066666666666667, |
| "grad_norm": 0.07882135361433029, |
| "learning_rate": 3e-06, |
| "loss": 0.0092, |
| "step": 602 |
| }, |
| { |
| "epoch": 0.0201, |
| "grad_norm": 0.07822681218385696, |
| "learning_rate": 3e-06, |
| "loss": 0.0092, |
| "step": 603 |
| }, |
| { |
| "epoch": 0.020133333333333333, |
| "grad_norm": 0.07297497987747192, |
| "learning_rate": 3e-06, |
| "loss": 0.009, |
| "step": 604 |
| }, |
| { |
| "epoch": 0.020166666666666666, |
| "grad_norm": 0.07143469899892807, |
| "learning_rate": 3e-06, |
| "loss": 0.0089, |
| "step": 605 |
| }, |
| { |
| "epoch": 0.0202, |
| "grad_norm": 0.06426458805799484, |
| "learning_rate": 3e-06, |
| "loss": 0.0088, |
| "step": 606 |
| }, |
| { |
| "epoch": 0.020233333333333332, |
| "grad_norm": 0.058468036353588104, |
| "learning_rate": 3e-06, |
| "loss": 0.0085, |
| "step": 607 |
| }, |
| { |
| "epoch": 0.020266666666666665, |
| "grad_norm": 0.05152331292629242, |
| "learning_rate": 3e-06, |
| "loss": 0.0082, |
| "step": 608 |
| }, |
| { |
| "completion_length": 253.34375, |
| "epoch": 0.0203, |
| "grad_norm": 0.2791162133216858, |
| "learning_rate": 3e-06, |
| "loss": 0.1574, |
| "reward": 0.21875, |
| "reward_std": 0.375, |
| "rewards/correctness_reward_func_math": 0.21875, |
| "step": 609, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.02033333333333333, |
| "grad_norm": 0.26485180854797363, |
| "learning_rate": 3e-06, |
| "loss": 0.157, |
| "step": 610 |
| }, |
| { |
| "epoch": 0.02036666666666667, |
| "grad_norm": 0.2667366862297058, |
| "learning_rate": 3e-06, |
| "loss": 0.1569, |
| "step": 611 |
| }, |
| { |
| "epoch": 0.0204, |
| "grad_norm": 0.2520108222961426, |
| "learning_rate": 3e-06, |
| "loss": 0.1567, |
| "step": 612 |
| }, |
| { |
| "epoch": 0.020433333333333335, |
| "grad_norm": 0.2390986531972885, |
| "learning_rate": 3e-06, |
| "loss": 0.1557, |
| "step": 613 |
| }, |
| { |
| "epoch": 0.020466666666666668, |
| "grad_norm": 0.22745676338672638, |
| "learning_rate": 3e-06, |
| "loss": 0.1528, |
| "step": 614 |
| }, |
| { |
| "epoch": 0.0205, |
| "grad_norm": 0.20473045110702515, |
| "learning_rate": 3e-06, |
| "loss": 0.1528, |
| "step": 615 |
| }, |
| { |
| "epoch": 0.020533333333333334, |
| "grad_norm": 0.18802469968795776, |
| "learning_rate": 3e-06, |
| "loss": 0.1508, |
| "step": 616 |
| }, |
| { |
| "completion_length": 246.625, |
| "epoch": 0.020566666666666667, |
| "grad_norm": 0.1385502815246582, |
| "learning_rate": 3e-06, |
| "loss": 0.015, |
| "reward": 0.0, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.0, |
| "step": 617, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.0206, |
| "grad_norm": 0.13571585714817047, |
| "learning_rate": 3e-06, |
| "loss": 0.0147, |
| "step": 618 |
| }, |
| { |
| "epoch": 0.020633333333333333, |
| "grad_norm": 0.11419779062271118, |
| "learning_rate": 3e-06, |
| "loss": 0.0141, |
| "step": 619 |
| }, |
| { |
| "epoch": 0.020666666666666667, |
| "grad_norm": 0.09848921000957489, |
| "learning_rate": 3e-06, |
| "loss": 0.0135, |
| "step": 620 |
| }, |
| { |
| "epoch": 0.0207, |
| "grad_norm": 0.06989388912916183, |
| "learning_rate": 3e-06, |
| "loss": 0.013, |
| "step": 621 |
| }, |
| { |
| "epoch": 0.020733333333333333, |
| "grad_norm": 0.05299505218863487, |
| "learning_rate": 3e-06, |
| "loss": 0.0125, |
| "step": 622 |
| }, |
| { |
| "epoch": 0.020766666666666666, |
| "grad_norm": 0.040529634803533554, |
| "learning_rate": 3e-06, |
| "loss": 0.0123, |
| "step": 623 |
| }, |
| { |
| "epoch": 0.0208, |
| "grad_norm": 0.036628056317567825, |
| "learning_rate": 3e-06, |
| "loss": 0.0122, |
| "step": 624 |
| }, |
| { |
| "completion_length": 246.03125, |
| "epoch": 0.020833333333333332, |
| "grad_norm": 0.32629990577697754, |
| "learning_rate": 3e-06, |
| "loss": 0.138, |
| "reward": 0.25, |
| "reward_std": 0.25819888710975647, |
| "rewards/correctness_reward_func_math": 0.25, |
| "step": 625, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.020866666666666665, |
| "grad_norm": 0.3073112666606903, |
| "learning_rate": 3e-06, |
| "loss": 0.1367, |
| "step": 626 |
| }, |
| { |
| "epoch": 0.0209, |
| "grad_norm": 0.3077579140663147, |
| "learning_rate": 3e-06, |
| "loss": 0.1373, |
| "step": 627 |
| }, |
| { |
| "epoch": 0.020933333333333335, |
| "grad_norm": 0.27855443954467773, |
| "learning_rate": 3e-06, |
| "loss": 0.1363, |
| "step": 628 |
| }, |
| { |
| "epoch": 0.020966666666666668, |
| "grad_norm": 0.24856598675251007, |
| "learning_rate": 3e-06, |
| "loss": 0.1354, |
| "step": 629 |
| }, |
| { |
| "epoch": 0.021, |
| "grad_norm": 0.2266528159379959, |
| "learning_rate": 3e-06, |
| "loss": 0.1341, |
| "step": 630 |
| }, |
| { |
| "epoch": 0.021033333333333334, |
| "grad_norm": 0.16952791810035706, |
| "learning_rate": 3e-06, |
| "loss": 0.132, |
| "step": 631 |
| }, |
| { |
| "epoch": 0.021066666666666668, |
| "grad_norm": 0.1391206532716751, |
| "learning_rate": 3e-06, |
| "loss": 0.1295, |
| "step": 632 |
| }, |
| { |
| "completion_length": 240.75, |
| "epoch": 0.0211, |
| "grad_norm": 0.049883145838975906, |
| "learning_rate": 3e-06, |
| "loss": 0.0045, |
| "reward": 0.0, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.0, |
| "step": 633, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.021133333333333334, |
| "grad_norm": 0.047280583530664444, |
| "learning_rate": 3e-06, |
| "loss": 0.0045, |
| "step": 634 |
| }, |
| { |
| "epoch": 0.021166666666666667, |
| "grad_norm": 0.050835393369197845, |
| "learning_rate": 3e-06, |
| "loss": 0.0045, |
| "step": 635 |
| }, |
| { |
| "epoch": 0.0212, |
| "grad_norm": 0.04853646829724312, |
| "learning_rate": 3e-06, |
| "loss": 0.0045, |
| "step": 636 |
| }, |
| { |
| "epoch": 0.021233333333333333, |
| "grad_norm": 0.04763779416680336, |
| "learning_rate": 3e-06, |
| "loss": 0.0044, |
| "step": 637 |
| }, |
| { |
| "epoch": 0.021266666666666666, |
| "grad_norm": 0.046408865600824356, |
| "learning_rate": 3e-06, |
| "loss": 0.0044, |
| "step": 638 |
| }, |
| { |
| "epoch": 0.0213, |
| "grad_norm": 0.04248230531811714, |
| "learning_rate": 3e-06, |
| "loss": 0.0043, |
| "step": 639 |
| }, |
| { |
| "epoch": 0.021333333333333333, |
| "grad_norm": 0.03676373139023781, |
| "learning_rate": 3e-06, |
| "loss": 0.0043, |
| "step": 640 |
| }, |
| { |
| "completion_length": 255.71875, |
| "epoch": 0.021366666666666666, |
| "grad_norm": 0.3204866349697113, |
| "learning_rate": 3e-06, |
| "loss": 0.136, |
| "reward": 0.21875, |
| "reward_std": 0.2561737596988678, |
| "rewards/correctness_reward_func_math": 0.21875, |
| "step": 641, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0214, |
| "grad_norm": 0.3221829831600189, |
| "learning_rate": 3e-06, |
| "loss": 0.138, |
| "step": 642 |
| }, |
| { |
| "epoch": 0.021433333333333332, |
| "grad_norm": 0.28479665517807007, |
| "learning_rate": 3e-06, |
| "loss": 0.133, |
| "step": 643 |
| }, |
| { |
| "epoch": 0.021466666666666665, |
| "grad_norm": 0.2850269377231598, |
| "learning_rate": 3e-06, |
| "loss": 0.1358, |
| "step": 644 |
| }, |
| { |
| "epoch": 0.0215, |
| "grad_norm": 0.22942297160625458, |
| "learning_rate": 3e-06, |
| "loss": 0.1326, |
| "step": 645 |
| }, |
| { |
| "epoch": 0.021533333333333335, |
| "grad_norm": 0.21840253472328186, |
| "learning_rate": 3e-06, |
| "loss": 0.1325, |
| "step": 646 |
| }, |
| { |
| "epoch": 0.021566666666666668, |
| "grad_norm": 0.16937127709388733, |
| "learning_rate": 3e-06, |
| "loss": 0.1302, |
| "step": 647 |
| }, |
| { |
| "epoch": 0.0216, |
| "grad_norm": 0.13493740558624268, |
| "learning_rate": 3e-06, |
| "loss": 0.1307, |
| "step": 648 |
| }, |
| { |
| "completion_length": 248.46875, |
| "epoch": 0.021633333333333334, |
| "grad_norm": 0.0879768505692482, |
| "learning_rate": 3e-06, |
| "loss": 0.0071, |
| "reward": 0.5, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.5, |
| "step": 649, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.021666666666666667, |
| "grad_norm": 0.08184010535478592, |
| "learning_rate": 3e-06, |
| "loss": 0.007, |
| "step": 650 |
| }, |
| { |
| "epoch": 0.0217, |
| "grad_norm": 0.07330097258090973, |
| "learning_rate": 3e-06, |
| "loss": 0.0067, |
| "step": 651 |
| }, |
| { |
| "epoch": 0.021733333333333334, |
| "grad_norm": 0.05064280331134796, |
| "learning_rate": 3e-06, |
| "loss": 0.0063, |
| "step": 652 |
| }, |
| { |
| "epoch": 0.021766666666666667, |
| "grad_norm": 0.037193555384874344, |
| "learning_rate": 3e-06, |
| "loss": 0.0061, |
| "step": 653 |
| }, |
| { |
| "epoch": 0.0218, |
| "grad_norm": 0.030613679438829422, |
| "learning_rate": 3e-06, |
| "loss": 0.006, |
| "step": 654 |
| }, |
| { |
| "epoch": 0.021833333333333333, |
| "grad_norm": 0.035365261137485504, |
| "learning_rate": 3e-06, |
| "loss": 0.006, |
| "step": 655 |
| }, |
| { |
| "epoch": 0.021866666666666666, |
| "grad_norm": 0.040082454681396484, |
| "learning_rate": 3e-06, |
| "loss": 0.0058, |
| "step": 656 |
| }, |
| { |
| "completion_length": 255.46875, |
| "epoch": 0.0219, |
| "grad_norm": 0.10759374499320984, |
| "learning_rate": 3e-06, |
| "loss": 0.0349, |
| "reward": 0.53125, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.53125, |
| "step": 657, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.021933333333333332, |
| "grad_norm": 0.09798838943243027, |
| "learning_rate": 3e-06, |
| "loss": 0.034, |
| "step": 658 |
| }, |
| { |
| "epoch": 0.021966666666666666, |
| "grad_norm": 0.08553671836853027, |
| "learning_rate": 3e-06, |
| "loss": 0.0341, |
| "step": 659 |
| }, |
| { |
| "epoch": 0.022, |
| "grad_norm": 0.09832609444856644, |
| "learning_rate": 3e-06, |
| "loss": 0.0334, |
| "step": 660 |
| }, |
| { |
| "epoch": 0.022033333333333332, |
| "grad_norm": 0.08982772380113602, |
| "learning_rate": 3e-06, |
| "loss": 0.0332, |
| "step": 661 |
| }, |
| { |
| "epoch": 0.022066666666666665, |
| "grad_norm": 0.10507001727819443, |
| "learning_rate": 3e-06, |
| "loss": 0.033, |
| "step": 662 |
| }, |
| { |
| "epoch": 0.0221, |
| "grad_norm": 0.12107499688863754, |
| "learning_rate": 3e-06, |
| "loss": 0.0321, |
| "step": 663 |
| }, |
| { |
| "epoch": 0.022133333333333335, |
| "grad_norm": 0.1017480120062828, |
| "learning_rate": 3e-06, |
| "loss": 0.0317, |
| "step": 664 |
| }, |
| { |
| "completion_length": 252.84375, |
| "epoch": 0.022166666666666668, |
| "grad_norm": 0.21831579506397247, |
| "learning_rate": 3e-06, |
| "loss": 0.1386, |
| "reward": 0.46875, |
| "reward_std": 0.3723389506340027, |
| "rewards/correctness_reward_func_math": 0.46875, |
| "step": 665, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.0222, |
| "grad_norm": 0.27363094687461853, |
| "learning_rate": 3e-06, |
| "loss": 0.138, |
| "step": 666 |
| }, |
| { |
| "epoch": 0.022233333333333334, |
| "grad_norm": 0.22916384041309357, |
| "learning_rate": 3e-06, |
| "loss": 0.1379, |
| "step": 667 |
| }, |
| { |
| "epoch": 0.022266666666666667, |
| "grad_norm": 0.175353541970253, |
| "learning_rate": 3e-06, |
| "loss": 0.1355, |
| "step": 668 |
| }, |
| { |
| "epoch": 0.0223, |
| "grad_norm": 0.21288332343101501, |
| "learning_rate": 3e-06, |
| "loss": 0.1352, |
| "step": 669 |
| }, |
| { |
| "epoch": 0.022333333333333334, |
| "grad_norm": 0.1713663786649704, |
| "learning_rate": 3e-06, |
| "loss": 0.1348, |
| "step": 670 |
| }, |
| { |
| "epoch": 0.022366666666666667, |
| "grad_norm": 0.15769831836223602, |
| "learning_rate": 3e-06, |
| "loss": 0.1337, |
| "step": 671 |
| }, |
| { |
| "epoch": 0.0224, |
| "grad_norm": 0.15111659467220306, |
| "learning_rate": 3e-06, |
| "loss": 0.1333, |
| "step": 672 |
| }, |
| { |
| "completion_length": 239.84375, |
| "epoch": 0.022433333333333333, |
| "grad_norm": 0.1714680939912796, |
| "learning_rate": 3e-06, |
| "loss": 0.1879, |
| "reward": 0.375, |
| "reward_std": 0.42078250646591187, |
| "rewards/correctness_reward_func_math": 0.375, |
| "step": 673, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.022466666666666666, |
| "grad_norm": 0.18847879767417908, |
| "learning_rate": 3e-06, |
| "loss": 0.1869, |
| "step": 674 |
| }, |
| { |
| "epoch": 0.0225, |
| "grad_norm": 0.1777140349149704, |
| "learning_rate": 3e-06, |
| "loss": 0.1854, |
| "step": 675 |
| }, |
| { |
| "epoch": 0.022533333333333332, |
| "grad_norm": 0.1616886854171753, |
| "learning_rate": 3e-06, |
| "loss": 0.1857, |
| "step": 676 |
| }, |
| { |
| "epoch": 0.022566666666666665, |
| "grad_norm": 0.16282643377780914, |
| "learning_rate": 3e-06, |
| "loss": 0.1841, |
| "step": 677 |
| }, |
| { |
| "epoch": 0.0226, |
| "grad_norm": 0.15794432163238525, |
| "learning_rate": 3e-06, |
| "loss": 0.1842, |
| "step": 678 |
| }, |
| { |
| "epoch": 0.02263333333333333, |
| "grad_norm": 0.15265411138534546, |
| "learning_rate": 3e-06, |
| "loss": 0.1823, |
| "step": 679 |
| }, |
| { |
| "epoch": 0.02266666666666667, |
| "grad_norm": 0.15520979464054108, |
| "learning_rate": 3e-06, |
| "loss": 0.1812, |
| "step": 680 |
| }, |
| { |
| "completion_length": 242.6875, |
| "epoch": 0.0227, |
| "grad_norm": 0.28260353207588196, |
| "learning_rate": 3e-06, |
| "loss": 0.091, |
| "reward": 0.09375, |
| "reward_std": 0.20155644416809082, |
| "rewards/correctness_reward_func_math": 0.09375, |
| "step": 681, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.022733333333333335, |
| "grad_norm": 0.25428634881973267, |
| "learning_rate": 3e-06, |
| "loss": 0.0885, |
| "step": 682 |
| }, |
| { |
| "epoch": 0.022766666666666668, |
| "grad_norm": 0.239933580160141, |
| "learning_rate": 3e-06, |
| "loss": 0.0899, |
| "step": 683 |
| }, |
| { |
| "epoch": 0.0228, |
| "grad_norm": 0.20977343618869781, |
| "learning_rate": 3e-06, |
| "loss": 0.0872, |
| "step": 684 |
| }, |
| { |
| "epoch": 0.022833333333333334, |
| "grad_norm": 0.18862693011760712, |
| "learning_rate": 3e-06, |
| "loss": 0.0868, |
| "step": 685 |
| }, |
| { |
| "epoch": 0.022866666666666667, |
| "grad_norm": 0.15840667486190796, |
| "learning_rate": 3e-06, |
| "loss": 0.0866, |
| "step": 686 |
| }, |
| { |
| "epoch": 0.0229, |
| "grad_norm": 0.2250598818063736, |
| "learning_rate": 3e-06, |
| "loss": 0.0843, |
| "step": 687 |
| }, |
| { |
| "epoch": 0.022933333333333333, |
| "grad_norm": 0.24348339438438416, |
| "learning_rate": 3e-06, |
| "loss": 0.0857, |
| "step": 688 |
| }, |
| { |
| "completion_length": 251.90625, |
| "epoch": 0.022966666666666666, |
| "grad_norm": 0.16345077753067017, |
| "learning_rate": 3e-06, |
| "loss": 0.1363, |
| "reward": 0.84375, |
| "reward_std": 0.3723389506340027, |
| "rewards/correctness_reward_func_math": 0.84375, |
| "step": 689, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.023, |
| "grad_norm": 0.16351933777332306, |
| "learning_rate": 3e-06, |
| "loss": 0.1362, |
| "step": 690 |
| }, |
| { |
| "epoch": 0.023033333333333333, |
| "grad_norm": 0.15600211918354034, |
| "learning_rate": 3e-06, |
| "loss": 0.1372, |
| "step": 691 |
| }, |
| { |
| "epoch": 0.023066666666666666, |
| "grad_norm": 0.1627737581729889, |
| "learning_rate": 3e-06, |
| "loss": 0.135, |
| "step": 692 |
| }, |
| { |
| "epoch": 0.0231, |
| "grad_norm": 0.16115888953208923, |
| "learning_rate": 3e-06, |
| "loss": 0.1352, |
| "step": 693 |
| }, |
| { |
| "epoch": 0.023133333333333332, |
| "grad_norm": 0.15062019228935242, |
| "learning_rate": 3e-06, |
| "loss": 0.1345, |
| "step": 694 |
| }, |
| { |
| "epoch": 0.023166666666666665, |
| "grad_norm": 0.15278786420822144, |
| "learning_rate": 3e-06, |
| "loss": 0.133, |
| "step": 695 |
| }, |
| { |
| "epoch": 0.0232, |
| "grad_norm": 0.13167370855808258, |
| "learning_rate": 3e-06, |
| "loss": 0.1311, |
| "step": 696 |
| }, |
| { |
| "completion_length": 255.03125, |
| "epoch": 0.023233333333333335, |
| "grad_norm": 0.08396071195602417, |
| "learning_rate": 3e-06, |
| "loss": 0.081, |
| "reward": 0.90625, |
| "reward_std": 0.20155644416809082, |
| "rewards/correctness_reward_func_math": 0.90625, |
| "step": 697, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.023266666666666668, |
| "grad_norm": 0.08707322180271149, |
| "learning_rate": 3e-06, |
| "loss": 0.0812, |
| "step": 698 |
| }, |
| { |
| "epoch": 0.0233, |
| "grad_norm": 0.09031737595796585, |
| "learning_rate": 3e-06, |
| "loss": 0.0804, |
| "step": 699 |
| }, |
| { |
| "epoch": 0.023333333333333334, |
| "grad_norm": 0.08772151917219162, |
| "learning_rate": 3e-06, |
| "loss": 0.0808, |
| "step": 700 |
| }, |
| { |
| "epoch": 0.023366666666666668, |
| "grad_norm": 0.08840345591306686, |
| "learning_rate": 3e-06, |
| "loss": 0.0798, |
| "step": 701 |
| }, |
| { |
| "epoch": 0.0234, |
| "grad_norm": 0.08512651175260544, |
| "learning_rate": 3e-06, |
| "loss": 0.0783, |
| "step": 702 |
| }, |
| { |
| "epoch": 0.023433333333333334, |
| "grad_norm": 0.0979035273194313, |
| "learning_rate": 3e-06, |
| "loss": 0.0785, |
| "step": 703 |
| }, |
| { |
| "epoch": 0.023466666666666667, |
| "grad_norm": 0.07177457213401794, |
| "learning_rate": 3e-06, |
| "loss": 0.0778, |
| "step": 704 |
| }, |
| { |
| "completion_length": 244.84375, |
| "epoch": 0.0235, |
| "grad_norm": 0.31261497735977173, |
| "learning_rate": 3e-06, |
| "loss": 0.1918, |
| "reward": 0.65625, |
| "reward_std": 0.42695626616477966, |
| "rewards/correctness_reward_func_math": 0.65625, |
| "step": 705, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.023533333333333333, |
| "grad_norm": 0.3377317488193512, |
| "learning_rate": 3e-06, |
| "loss": 0.1905, |
| "step": 706 |
| }, |
| { |
| "epoch": 0.023566666666666666, |
| "grad_norm": 0.27854228019714355, |
| "learning_rate": 3e-06, |
| "loss": 0.1892, |
| "step": 707 |
| }, |
| { |
| "epoch": 0.0236, |
| "grad_norm": 0.29239997267723083, |
| "learning_rate": 3e-06, |
| "loss": 0.1889, |
| "step": 708 |
| }, |
| { |
| "epoch": 0.023633333333333333, |
| "grad_norm": 0.26856452226638794, |
| "learning_rate": 3e-06, |
| "loss": 0.1887, |
| "step": 709 |
| }, |
| { |
| "epoch": 0.023666666666666666, |
| "grad_norm": 0.2893252968788147, |
| "learning_rate": 3e-06, |
| "loss": 0.1854, |
| "step": 710 |
| }, |
| { |
| "epoch": 0.0237, |
| "grad_norm": 0.2844485342502594, |
| "learning_rate": 3e-06, |
| "loss": 0.1822, |
| "step": 711 |
| }, |
| { |
| "epoch": 0.023733333333333332, |
| "grad_norm": 0.2569761574268341, |
| "learning_rate": 3e-06, |
| "loss": 0.1819, |
| "step": 712 |
| }, |
| { |
| "completion_length": 255.28125, |
| "epoch": 0.023766666666666665, |
| "grad_norm": 0.046206481754779816, |
| "learning_rate": 3e-06, |
| "loss": 0.0038, |
| "reward": 0.5, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.5, |
| "step": 713, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.0238, |
| "grad_norm": 0.047775525599718094, |
| "learning_rate": 3e-06, |
| "loss": 0.0038, |
| "step": 714 |
| }, |
| { |
| "epoch": 0.023833333333333335, |
| "grad_norm": 0.048487693071365356, |
| "learning_rate": 3e-06, |
| "loss": 0.0038, |
| "step": 715 |
| }, |
| { |
| "epoch": 0.023866666666666668, |
| "grad_norm": 0.04671302065253258, |
| "learning_rate": 3e-06, |
| "loss": 0.0038, |
| "step": 716 |
| }, |
| { |
| "epoch": 0.0239, |
| "grad_norm": 0.036609306931495667, |
| "learning_rate": 3e-06, |
| "loss": 0.0036, |
| "step": 717 |
| }, |
| { |
| "epoch": 0.023933333333333334, |
| "grad_norm": 0.03511708602309227, |
| "learning_rate": 3e-06, |
| "loss": 0.0035, |
| "step": 718 |
| }, |
| { |
| "epoch": 0.023966666666666667, |
| "grad_norm": 0.03090088814496994, |
| "learning_rate": 3e-06, |
| "loss": 0.0035, |
| "step": 719 |
| }, |
| { |
| "epoch": 0.024, |
| "grad_norm": 0.026946770027279854, |
| "learning_rate": 3e-06, |
| "loss": 0.0034, |
| "step": 720 |
| }, |
| { |
| "completion_length": 247.625, |
| "epoch": 0.024033333333333334, |
| "grad_norm": 0.23009751737117767, |
| "learning_rate": 3e-06, |
| "loss": 0.1196, |
| "reward": 0.34375, |
| "reward_std": 0.23935678601264954, |
| "rewards/correctness_reward_func_math": 0.34375, |
| "step": 721, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.024066666666666667, |
| "grad_norm": 0.21754537522792816, |
| "learning_rate": 3e-06, |
| "loss": 0.1183, |
| "step": 722 |
| }, |
| { |
| "epoch": 0.0241, |
| "grad_norm": 0.2135201096534729, |
| "learning_rate": 3e-06, |
| "loss": 0.1172, |
| "step": 723 |
| }, |
| { |
| "epoch": 0.024133333333333333, |
| "grad_norm": 0.20299206674098969, |
| "learning_rate": 3e-06, |
| "loss": 0.1163, |
| "step": 724 |
| }, |
| { |
| "epoch": 0.024166666666666666, |
| "grad_norm": 0.20742520689964294, |
| "learning_rate": 3e-06, |
| "loss": 0.1155, |
| "step": 725 |
| }, |
| { |
| "epoch": 0.0242, |
| "grad_norm": 0.20791539549827576, |
| "learning_rate": 3e-06, |
| "loss": 0.1136, |
| "step": 726 |
| }, |
| { |
| "epoch": 0.024233333333333332, |
| "grad_norm": 0.18482159078121185, |
| "learning_rate": 3e-06, |
| "loss": 0.1124, |
| "step": 727 |
| }, |
| { |
| "epoch": 0.024266666666666666, |
| "grad_norm": 0.22239640355110168, |
| "learning_rate": 3e-06, |
| "loss": 0.1113, |
| "step": 728 |
| }, |
| { |
| "completion_length": 247.71875, |
| "epoch": 0.0243, |
| "grad_norm": 0.21010254323482513, |
| "learning_rate": 3e-06, |
| "loss": 0.1267, |
| "reward": 0.3125, |
| "reward_std": 0.25, |
| "rewards/correctness_reward_func_math": 0.3125, |
| "step": 729, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.024333333333333332, |
| "grad_norm": 0.2185763120651245, |
| "learning_rate": 3e-06, |
| "loss": 0.1278, |
| "step": 730 |
| }, |
| { |
| "epoch": 0.024366666666666665, |
| "grad_norm": 0.21800334751605988, |
| "learning_rate": 3e-06, |
| "loss": 0.1261, |
| "step": 731 |
| }, |
| { |
| "epoch": 0.0244, |
| "grad_norm": 0.21290436387062073, |
| "learning_rate": 3e-06, |
| "loss": 0.1269, |
| "step": 732 |
| }, |
| { |
| "epoch": 0.024433333333333335, |
| "grad_norm": 0.2061312049627304, |
| "learning_rate": 3e-06, |
| "loss": 0.1253, |
| "step": 733 |
| }, |
| { |
| "epoch": 0.024466666666666668, |
| "grad_norm": 0.19918671250343323, |
| "learning_rate": 3e-06, |
| "loss": 0.1235, |
| "step": 734 |
| }, |
| { |
| "epoch": 0.0245, |
| "grad_norm": 0.19995979964733124, |
| "learning_rate": 3e-06, |
| "loss": 0.1222, |
| "step": 735 |
| }, |
| { |
| "epoch": 0.024533333333333334, |
| "grad_norm": 0.17539291083812714, |
| "learning_rate": 3e-06, |
| "loss": 0.1213, |
| "step": 736 |
| }, |
| { |
| "completion_length": 239.6875, |
| "epoch": 0.024566666666666667, |
| "grad_norm": 0.13900496065616608, |
| "learning_rate": 3e-06, |
| "loss": 0.0156, |
| "reward": 0.0, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.0, |
| "step": 737, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.0246, |
| "grad_norm": 0.06708495318889618, |
| "learning_rate": 3e-06, |
| "loss": 0.0152, |
| "step": 738 |
| }, |
| { |
| "epoch": 0.024633333333333333, |
| "grad_norm": 0.06012329086661339, |
| "learning_rate": 3e-06, |
| "loss": 0.015, |
| "step": 739 |
| }, |
| { |
| "epoch": 0.024666666666666667, |
| "grad_norm": 0.08619344979524612, |
| "learning_rate": 3e-06, |
| "loss": 0.0151, |
| "step": 740 |
| }, |
| { |
| "epoch": 0.0247, |
| "grad_norm": 0.07060866057872772, |
| "learning_rate": 3e-06, |
| "loss": 0.0149, |
| "step": 741 |
| }, |
| { |
| "epoch": 0.024733333333333333, |
| "grad_norm": 0.05254815146327019, |
| "learning_rate": 3e-06, |
| "loss": 0.0147, |
| "step": 742 |
| }, |
| { |
| "epoch": 0.024766666666666666, |
| "grad_norm": 0.08026646077632904, |
| "learning_rate": 3e-06, |
| "loss": 0.0148, |
| "step": 743 |
| }, |
| { |
| "epoch": 0.0248, |
| "grad_norm": 0.07480411231517792, |
| "learning_rate": 3e-06, |
| "loss": 0.0146, |
| "step": 744 |
| }, |
| { |
| "completion_length": 238.65625, |
| "epoch": 0.024833333333333332, |
| "grad_norm": 0.0974910780787468, |
| "learning_rate": 3e-06, |
| "loss": 0.0095, |
| "reward": 0.5, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.5, |
| "step": 745, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.024866666666666665, |
| "grad_norm": 0.0991777554154396, |
| "learning_rate": 3e-06, |
| "loss": 0.0095, |
| "step": 746 |
| }, |
| { |
| "epoch": 0.0249, |
| "grad_norm": 0.06893762946128845, |
| "learning_rate": 3e-06, |
| "loss": 0.0092, |
| "step": 747 |
| }, |
| { |
| "epoch": 0.02493333333333333, |
| "grad_norm": 0.053532958030700684, |
| "learning_rate": 3e-06, |
| "loss": 0.009, |
| "step": 748 |
| }, |
| { |
| "epoch": 0.024966666666666668, |
| "grad_norm": 0.036119211465120316, |
| "learning_rate": 3e-06, |
| "loss": 0.0089, |
| "step": 749 |
| }, |
| { |
| "epoch": 0.025, |
| "grad_norm": 0.04017861187458038, |
| "learning_rate": 3e-06, |
| "loss": 0.0089, |
| "step": 750 |
| }, |
| { |
| "epoch": 0.025033333333333335, |
| "grad_norm": 0.049689896404743195, |
| "learning_rate": 3e-06, |
| "loss": 0.0088, |
| "step": 751 |
| }, |
| { |
| "epoch": 0.025066666666666668, |
| "grad_norm": 0.05642947927117348, |
| "learning_rate": 3e-06, |
| "loss": 0.0088, |
| "step": 752 |
| }, |
| { |
| "completion_length": 244.90625, |
| "epoch": 0.0251, |
| "grad_norm": 0.25779128074645996, |
| "learning_rate": 3e-06, |
| "loss": 0.1182, |
| "reward": 0.34375, |
| "reward_std": 0.23935678601264954, |
| "rewards/correctness_reward_func_math": 0.34375, |
| "step": 753, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.025133333333333334, |
| "grad_norm": 0.2438766062259674, |
| "learning_rate": 3e-06, |
| "loss": 0.117, |
| "step": 754 |
| }, |
| { |
| "epoch": 0.025166666666666667, |
| "grad_norm": 0.22470083832740784, |
| "learning_rate": 3e-06, |
| "loss": 0.1184, |
| "step": 755 |
| }, |
| { |
| "epoch": 0.0252, |
| "grad_norm": 0.18962667882442474, |
| "learning_rate": 3e-06, |
| "loss": 0.1173, |
| "step": 756 |
| }, |
| { |
| "epoch": 0.025233333333333333, |
| "grad_norm": 0.1737639456987381, |
| "learning_rate": 3e-06, |
| "loss": 0.1147, |
| "step": 757 |
| }, |
| { |
| "epoch": 0.025266666666666666, |
| "grad_norm": 0.14542007446289062, |
| "learning_rate": 3e-06, |
| "loss": 0.1148, |
| "step": 758 |
| }, |
| { |
| "epoch": 0.0253, |
| "grad_norm": 0.14449511468410492, |
| "learning_rate": 3e-06, |
| "loss": 0.1154, |
| "step": 759 |
| }, |
| { |
| "epoch": 0.025333333333333333, |
| "grad_norm": 0.14705954492092133, |
| "learning_rate": 3e-06, |
| "loss": 0.1128, |
| "step": 760 |
| }, |
| { |
| "completion_length": 250.25, |
| "epoch": 0.025366666666666666, |
| "grad_norm": 0.17668400704860687, |
| "learning_rate": 3e-06, |
| "loss": 0.1117, |
| "reward": 0.875, |
| "reward_std": 0.3265564441680908, |
| "rewards/correctness_reward_func_math": 0.875, |
| "step": 761, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.0254, |
| "grad_norm": 0.1647891402244568, |
| "learning_rate": 3e-06, |
| "loss": 0.1119, |
| "step": 762 |
| }, |
| { |
| "epoch": 0.025433333333333332, |
| "grad_norm": 0.15626925230026245, |
| "learning_rate": 3e-06, |
| "loss": 0.1129, |
| "step": 763 |
| }, |
| { |
| "epoch": 0.025466666666666665, |
| "grad_norm": 0.15357746183872223, |
| "learning_rate": 3e-06, |
| "loss": 0.1117, |
| "step": 764 |
| }, |
| { |
| "epoch": 0.0255, |
| "grad_norm": 0.1542324274778366, |
| "learning_rate": 3e-06, |
| "loss": 0.1123, |
| "step": 765 |
| }, |
| { |
| "epoch": 0.025533333333333335, |
| "grad_norm": 0.15983571112155914, |
| "learning_rate": 3e-06, |
| "loss": 0.1105, |
| "step": 766 |
| }, |
| { |
| "epoch": 0.025566666666666668, |
| "grad_norm": 0.15159860253334045, |
| "learning_rate": 3e-06, |
| "loss": 0.1103, |
| "step": 767 |
| }, |
| { |
| "epoch": 0.0256, |
| "grad_norm": 0.12948967516422272, |
| "learning_rate": 3e-06, |
| "loss": 0.1062, |
| "step": 768 |
| }, |
| { |
| "completion_length": 250.6875, |
| "epoch": 0.025633333333333334, |
| "grad_norm": 0.4765929579734802, |
| "learning_rate": 3e-06, |
| "loss": 0.1364, |
| "reward": 0.21875, |
| "reward_std": 0.2561737596988678, |
| "rewards/correctness_reward_func_math": 0.21875, |
| "step": 769, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.025666666666666667, |
| "grad_norm": 0.4570774435997009, |
| "learning_rate": 3e-06, |
| "loss": 0.1356, |
| "step": 770 |
| }, |
| { |
| "epoch": 0.0257, |
| "grad_norm": 0.4285106360912323, |
| "learning_rate": 3e-06, |
| "loss": 0.1329, |
| "step": 771 |
| }, |
| { |
| "epoch": 0.025733333333333334, |
| "grad_norm": 0.41094741225242615, |
| "learning_rate": 3e-06, |
| "loss": 0.1314, |
| "step": 772 |
| }, |
| { |
| "epoch": 0.025766666666666667, |
| "grad_norm": 0.39978161454200745, |
| "learning_rate": 3e-06, |
| "loss": 0.1303, |
| "step": 773 |
| }, |
| { |
| "epoch": 0.0258, |
| "grad_norm": 0.37832513451576233, |
| "learning_rate": 3e-06, |
| "loss": 0.1271, |
| "step": 774 |
| }, |
| { |
| "epoch": 0.025833333333333333, |
| "grad_norm": 0.3629801869392395, |
| "learning_rate": 3e-06, |
| "loss": 0.1244, |
| "step": 775 |
| }, |
| { |
| "epoch": 0.025866666666666666, |
| "grad_norm": 0.29954993724823, |
| "learning_rate": 3e-06, |
| "loss": 0.1217, |
| "step": 776 |
| }, |
| { |
| "completion_length": 244.625, |
| "epoch": 0.0259, |
| "grad_norm": 0.04062335565686226, |
| "learning_rate": 3e-06, |
| "loss": 0.0064, |
| "reward": 1.0, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 1.0, |
| "step": 777, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.025933333333333333, |
| "grad_norm": 0.04237827658653259, |
| "learning_rate": 3e-06, |
| "loss": 0.0064, |
| "step": 778 |
| }, |
| { |
| "epoch": 0.025966666666666666, |
| "grad_norm": 0.04504085332155228, |
| "learning_rate": 3e-06, |
| "loss": 0.0065, |
| "step": 779 |
| }, |
| { |
| "epoch": 0.026, |
| "grad_norm": 0.04303231090307236, |
| "learning_rate": 3e-06, |
| "loss": 0.0065, |
| "step": 780 |
| }, |
| { |
| "epoch": 0.026033333333333332, |
| "grad_norm": 0.04287688806653023, |
| "learning_rate": 3e-06, |
| "loss": 0.0065, |
| "step": 781 |
| }, |
| { |
| "epoch": 0.026066666666666665, |
| "grad_norm": 0.042737774550914764, |
| "learning_rate": 3e-06, |
| "loss": 0.0065, |
| "step": 782 |
| }, |
| { |
| "epoch": 0.0261, |
| "grad_norm": 0.042864058166742325, |
| "learning_rate": 3e-06, |
| "loss": 0.0063, |
| "step": 783 |
| }, |
| { |
| "epoch": 0.026133333333333335, |
| "grad_norm": 0.0408710278570652, |
| "learning_rate": 3e-06, |
| "loss": 0.0063, |
| "step": 784 |
| }, |
| { |
| "completion_length": 255.75, |
| "epoch": 0.026166666666666668, |
| "grad_norm": 0.4980374574661255, |
| "learning_rate": 3e-06, |
| "loss": 0.2133, |
| "reward": 0.59375, |
| "reward_std": 0.4515564441680908, |
| "rewards/correctness_reward_func_math": 0.59375, |
| "step": 785, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.0262, |
| "grad_norm": 0.4943053722381592, |
| "learning_rate": 3e-06, |
| "loss": 0.2139, |
| "step": 786 |
| }, |
| { |
| "epoch": 0.026233333333333334, |
| "grad_norm": 0.4804594814777374, |
| "learning_rate": 3e-06, |
| "loss": 0.21, |
| "step": 787 |
| }, |
| { |
| "epoch": 0.026266666666666667, |
| "grad_norm": 0.47911620140075684, |
| "learning_rate": 3e-06, |
| "loss": 0.2091, |
| "step": 788 |
| }, |
| { |
| "epoch": 0.0263, |
| "grad_norm": 0.4405660033226013, |
| "learning_rate": 3e-06, |
| "loss": 0.2046, |
| "step": 789 |
| }, |
| { |
| "epoch": 0.026333333333333334, |
| "grad_norm": 0.42381811141967773, |
| "learning_rate": 3e-06, |
| "loss": 0.2018, |
| "step": 790 |
| }, |
| { |
| "epoch": 0.026366666666666667, |
| "grad_norm": 0.40700316429138184, |
| "learning_rate": 3e-06, |
| "loss": 0.1994, |
| "step": 791 |
| }, |
| { |
| "epoch": 0.0264, |
| "grad_norm": 0.38233137130737305, |
| "learning_rate": 3e-06, |
| "loss": 0.1954, |
| "step": 792 |
| }, |
| { |
| "completion_length": 256.0, |
| "epoch": 0.026433333333333333, |
| "grad_norm": 0.37426674365997314, |
| "learning_rate": 3e-06, |
| "loss": 0.2655, |
| "reward": 0.4375, |
| "reward_std": 0.5081988573074341, |
| "rewards/correctness_reward_func_math": 0.4375, |
| "step": 793, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.026466666666666666, |
| "grad_norm": 0.38293734192848206, |
| "learning_rate": 3e-06, |
| "loss": 0.2651, |
| "step": 794 |
| }, |
| { |
| "epoch": 0.0265, |
| "grad_norm": 0.3487165868282318, |
| "learning_rate": 3e-06, |
| "loss": 0.2627, |
| "step": 795 |
| }, |
| { |
| "epoch": 0.026533333333333332, |
| "grad_norm": 0.3412543833255768, |
| "learning_rate": 3e-06, |
| "loss": 0.2607, |
| "step": 796 |
| }, |
| { |
| "epoch": 0.026566666666666666, |
| "grad_norm": 0.29909440875053406, |
| "learning_rate": 3e-06, |
| "loss": 0.2607, |
| "step": 797 |
| }, |
| { |
| "epoch": 0.0266, |
| "grad_norm": 0.28048011660575867, |
| "learning_rate": 3e-06, |
| "loss": 0.2581, |
| "step": 798 |
| }, |
| { |
| "epoch": 0.026633333333333332, |
| "grad_norm": 0.2826901376247406, |
| "learning_rate": 3e-06, |
| "loss": 0.2584, |
| "step": 799 |
| }, |
| { |
| "epoch": 0.02666666666666667, |
| "grad_norm": 0.2614368498325348, |
| "learning_rate": 3e-06, |
| "loss": 0.2543, |
| "step": 800 |
| }, |
| { |
| "completion_length": 253.125, |
| "epoch": 0.0267, |
| "grad_norm": 0.3285641372203827, |
| "learning_rate": 3e-06, |
| "loss": 0.1296, |
| "reward": 0.8125, |
| "reward_std": 0.25, |
| "rewards/correctness_reward_func_math": 0.8125, |
| "step": 801, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.026733333333333335, |
| "grad_norm": 0.33160874247550964, |
| "learning_rate": 3e-06, |
| "loss": 0.1308, |
| "step": 802 |
| }, |
| { |
| "epoch": 0.026766666666666668, |
| "grad_norm": 0.3097575902938843, |
| "learning_rate": 3e-06, |
| "loss": 0.1266, |
| "step": 803 |
| }, |
| { |
| "epoch": 0.0268, |
| "grad_norm": 0.3555019199848175, |
| "learning_rate": 3e-06, |
| "loss": 0.1278, |
| "step": 804 |
| }, |
| { |
| "epoch": 0.026833333333333334, |
| "grad_norm": 0.3375462293624878, |
| "learning_rate": 3e-06, |
| "loss": 0.1268, |
| "step": 805 |
| }, |
| { |
| "epoch": 0.026866666666666667, |
| "grad_norm": 0.30325841903686523, |
| "learning_rate": 3e-06, |
| "loss": 0.1238, |
| "step": 806 |
| }, |
| { |
| "epoch": 0.0269, |
| "grad_norm": 0.3013198673725128, |
| "learning_rate": 3e-06, |
| "loss": 0.1225, |
| "step": 807 |
| }, |
| { |
| "epoch": 0.026933333333333333, |
| "grad_norm": 0.3042747676372528, |
| "learning_rate": 3e-06, |
| "loss": 0.118, |
| "step": 808 |
| }, |
| { |
| "completion_length": 252.875, |
| "epoch": 0.026966666666666667, |
| "grad_norm": 0.12249862402677536, |
| "learning_rate": 3e-06, |
| "loss": 0.0599, |
| "reward": 0.4375, |
| "reward_std": 0.17078250646591187, |
| "rewards/correctness_reward_func_math": 0.4375, |
| "step": 809, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.027, |
| "grad_norm": 0.11716050654649734, |
| "learning_rate": 3e-06, |
| "loss": 0.0604, |
| "step": 810 |
| }, |
| { |
| "epoch": 0.027033333333333333, |
| "grad_norm": 0.13154226541519165, |
| "learning_rate": 3e-06, |
| "loss": 0.0599, |
| "step": 811 |
| }, |
| { |
| "epoch": 0.027066666666666666, |
| "grad_norm": 0.1222083568572998, |
| "learning_rate": 3e-06, |
| "loss": 0.0587, |
| "step": 812 |
| }, |
| { |
| "epoch": 0.0271, |
| "grad_norm": 0.11689935624599457, |
| "learning_rate": 3e-06, |
| "loss": 0.0577, |
| "step": 813 |
| }, |
| { |
| "epoch": 0.027133333333333332, |
| "grad_norm": 0.11977628618478775, |
| "learning_rate": 3e-06, |
| "loss": 0.0582, |
| "step": 814 |
| }, |
| { |
| "epoch": 0.027166666666666665, |
| "grad_norm": 0.1273588389158249, |
| "learning_rate": 3e-06, |
| "loss": 0.0574, |
| "step": 815 |
| }, |
| { |
| "epoch": 0.0272, |
| "grad_norm": 0.10599751770496368, |
| "learning_rate": 3e-06, |
| "loss": 0.0565, |
| "step": 816 |
| }, |
| { |
| "completion_length": 244.75, |
| "epoch": 0.02723333333333333, |
| "grad_norm": 0.14326849579811096, |
| "learning_rate": 3e-06, |
| "loss": 0.07, |
| "reward": 0.0625, |
| "reward_std": 0.17078250646591187, |
| "rewards/correctness_reward_func_math": 0.0625, |
| "step": 817, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.027266666666666668, |
| "grad_norm": 0.14236772060394287, |
| "learning_rate": 3e-06, |
| "loss": 0.0707, |
| "step": 818 |
| }, |
| { |
| "epoch": 0.0273, |
| "grad_norm": 0.1253625601530075, |
| "learning_rate": 3e-06, |
| "loss": 0.0696, |
| "step": 819 |
| }, |
| { |
| "epoch": 0.027333333333333334, |
| "grad_norm": 0.1351059526205063, |
| "learning_rate": 3e-06, |
| "loss": 0.0684, |
| "step": 820 |
| }, |
| { |
| "epoch": 0.027366666666666668, |
| "grad_norm": 0.11593537777662277, |
| "learning_rate": 3e-06, |
| "loss": 0.0694, |
| "step": 821 |
| }, |
| { |
| "epoch": 0.0274, |
| "grad_norm": 0.11155024915933609, |
| "learning_rate": 3e-06, |
| "loss": 0.0677, |
| "step": 822 |
| }, |
| { |
| "epoch": 0.027433333333333334, |
| "grad_norm": 0.14150574803352356, |
| "learning_rate": 3e-06, |
| "loss": 0.0669, |
| "step": 823 |
| }, |
| { |
| "epoch": 0.027466666666666667, |
| "grad_norm": 0.13199634850025177, |
| "learning_rate": 3e-06, |
| "loss": 0.067, |
| "step": 824 |
| }, |
| { |
| "completion_length": 234.53125, |
| "epoch": 0.0275, |
| "grad_norm": 0.15058286488056183, |
| "learning_rate": 3e-06, |
| "loss": 0.0504, |
| "reward": 0.03125, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.03125, |
| "step": 825, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.027533333333333333, |
| "grad_norm": 0.14183367788791656, |
| "learning_rate": 3e-06, |
| "loss": 0.0507, |
| "step": 826 |
| }, |
| { |
| "epoch": 0.027566666666666666, |
| "grad_norm": 0.12045426666736603, |
| "learning_rate": 3e-06, |
| "loss": 0.0506, |
| "step": 827 |
| }, |
| { |
| "epoch": 0.0276, |
| "grad_norm": 0.12341350317001343, |
| "learning_rate": 3e-06, |
| "loss": 0.05, |
| "step": 828 |
| }, |
| { |
| "epoch": 0.027633333333333333, |
| "grad_norm": 0.09977436065673828, |
| "learning_rate": 3e-06, |
| "loss": 0.049, |
| "step": 829 |
| }, |
| { |
| "epoch": 0.027666666666666666, |
| "grad_norm": 0.0901474729180336, |
| "learning_rate": 3e-06, |
| "loss": 0.0481, |
| "step": 830 |
| }, |
| { |
| "epoch": 0.0277, |
| "grad_norm": 0.08091679215431213, |
| "learning_rate": 3e-06, |
| "loss": 0.0476, |
| "step": 831 |
| }, |
| { |
| "epoch": 0.027733333333333332, |
| "grad_norm": 0.07991020381450653, |
| "learning_rate": 3e-06, |
| "loss": 0.0475, |
| "step": 832 |
| }, |
| { |
| "completion_length": 248.6875, |
| "epoch": 0.027766666666666665, |
| "grad_norm": 0.3151090741157532, |
| "learning_rate": 3e-06, |
| "loss": 0.2437, |
| "reward": 0.53125, |
| "reward_std": 0.48935678601264954, |
| "rewards/correctness_reward_func_math": 0.53125, |
| "step": 833, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.0278, |
| "grad_norm": 0.33745652437210083, |
| "learning_rate": 3e-06, |
| "loss": 0.2425, |
| "step": 834 |
| }, |
| { |
| "epoch": 0.027833333333333335, |
| "grad_norm": 0.32945045828819275, |
| "learning_rate": 3e-06, |
| "loss": 0.2433, |
| "step": 835 |
| }, |
| { |
| "epoch": 0.027866666666666668, |
| "grad_norm": 0.30727189779281616, |
| "learning_rate": 3e-06, |
| "loss": 0.2445, |
| "step": 836 |
| }, |
| { |
| "epoch": 0.0279, |
| "grad_norm": 0.31093016266822815, |
| "learning_rate": 3e-06, |
| "loss": 0.2417, |
| "step": 837 |
| }, |
| { |
| "epoch": 0.027933333333333334, |
| "grad_norm": 0.3083430528640747, |
| "learning_rate": 3e-06, |
| "loss": 0.241, |
| "step": 838 |
| }, |
| { |
| "epoch": 0.027966666666666667, |
| "grad_norm": 0.2979103624820709, |
| "learning_rate": 3e-06, |
| "loss": 0.2374, |
| "step": 839 |
| }, |
| { |
| "epoch": 0.028, |
| "grad_norm": 0.30351006984710693, |
| "learning_rate": 3e-06, |
| "loss": 0.2366, |
| "step": 840 |
| }, |
| { |
| "completion_length": 181.5625, |
| "epoch": 0.028033333333333334, |
| "grad_norm": 6.74680233001709, |
| "learning_rate": 3e-06, |
| "loss": 1.3804, |
| "reward": 0.0, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.0, |
| "step": 841, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.028066666666666667, |
| "grad_norm": 6.727161407470703, |
| "learning_rate": 3e-06, |
| "loss": 1.3756, |
| "step": 842 |
| }, |
| { |
| "epoch": 0.0281, |
| "grad_norm": 6.633174419403076, |
| "learning_rate": 3e-06, |
| "loss": 1.362, |
| "step": 843 |
| }, |
| { |
| "epoch": 0.028133333333333333, |
| "grad_norm": 6.37052059173584, |
| "learning_rate": 3e-06, |
| "loss": 1.337, |
| "step": 844 |
| }, |
| { |
| "epoch": 0.028166666666666666, |
| "grad_norm": 6.2779669761657715, |
| "learning_rate": 3e-06, |
| "loss": 1.3132, |
| "step": 845 |
| }, |
| { |
| "epoch": 0.0282, |
| "grad_norm": 6.129253387451172, |
| "learning_rate": 3e-06, |
| "loss": 1.2824, |
| "step": 846 |
| }, |
| { |
| "epoch": 0.028233333333333333, |
| "grad_norm": 5.834165096282959, |
| "learning_rate": 3e-06, |
| "loss": 1.2467, |
| "step": 847 |
| }, |
| { |
| "epoch": 0.028266666666666666, |
| "grad_norm": 5.611079216003418, |
| "learning_rate": 3e-06, |
| "loss": 1.2185, |
| "step": 848 |
| }, |
| { |
| "completion_length": 250.53125, |
| "epoch": 0.0283, |
| "grad_norm": 0.19626370072364807, |
| "learning_rate": 3e-06, |
| "loss": 0.0162, |
| "reward": 0.5, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.5, |
| "step": 849, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.028333333333333332, |
| "grad_norm": 0.1629708856344223, |
| "learning_rate": 3e-06, |
| "loss": 0.0153, |
| "step": 850 |
| }, |
| { |
| "epoch": 0.028366666666666665, |
| "grad_norm": 0.1246650367975235, |
| "learning_rate": 3e-06, |
| "loss": 0.0148, |
| "step": 851 |
| }, |
| { |
| "epoch": 0.0284, |
| "grad_norm": 0.10462331026792526, |
| "learning_rate": 3e-06, |
| "loss": 0.0145, |
| "step": 852 |
| }, |
| { |
| "epoch": 0.028433333333333335, |
| "grad_norm": 0.05112575367093086, |
| "learning_rate": 3e-06, |
| "loss": 0.014, |
| "step": 853 |
| }, |
| { |
| "epoch": 0.028466666666666668, |
| "grad_norm": 0.04512950778007507, |
| "learning_rate": 3e-06, |
| "loss": 0.0138, |
| "step": 854 |
| }, |
| { |
| "epoch": 0.0285, |
| "grad_norm": 0.051628731191158295, |
| "learning_rate": 3e-06, |
| "loss": 0.0138, |
| "step": 855 |
| }, |
| { |
| "epoch": 0.028533333333333334, |
| "grad_norm": 0.08184687793254852, |
| "learning_rate": 3e-06, |
| "loss": 0.0139, |
| "step": 856 |
| }, |
| { |
| "completion_length": 246.625, |
| "epoch": 0.028566666666666667, |
| "grad_norm": 0.4994732141494751, |
| "learning_rate": 3e-06, |
| "loss": 0.1497, |
| "reward": 0.375, |
| "reward_std": 0.36435678601264954, |
| "rewards/correctness_reward_func_math": 0.375, |
| "step": 857, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.0286, |
| "grad_norm": 0.3222411274909973, |
| "learning_rate": 3e-06, |
| "loss": 0.1501, |
| "step": 858 |
| }, |
| { |
| "epoch": 0.028633333333333334, |
| "grad_norm": 0.29160332679748535, |
| "learning_rate": 3e-06, |
| "loss": 0.1502, |
| "step": 859 |
| }, |
| { |
| "epoch": 0.028666666666666667, |
| "grad_norm": 0.2954889237880707, |
| "learning_rate": 3e-06, |
| "loss": 0.1495, |
| "step": 860 |
| }, |
| { |
| "epoch": 0.0287, |
| "grad_norm": 0.3091564476490021, |
| "learning_rate": 3e-06, |
| "loss": 0.1485, |
| "step": 861 |
| }, |
| { |
| "epoch": 0.028733333333333333, |
| "grad_norm": 0.27093881368637085, |
| "learning_rate": 3e-06, |
| "loss": 0.1468, |
| "step": 862 |
| }, |
| { |
| "epoch": 0.028766666666666666, |
| "grad_norm": 0.24647128582000732, |
| "learning_rate": 3e-06, |
| "loss": 0.1454, |
| "step": 863 |
| }, |
| { |
| "epoch": 0.0288, |
| "grad_norm": 0.3137691617012024, |
| "learning_rate": 3e-06, |
| "loss": 0.1447, |
| "step": 864 |
| }, |
| { |
| "completion_length": 254.84375, |
| "epoch": 0.028833333333333332, |
| "grad_norm": 0.32444024085998535, |
| "learning_rate": 3e-06, |
| "loss": 0.2039, |
| "reward": 0.5, |
| "reward_std": 0.4472135901451111, |
| "rewards/correctness_reward_func_math": 0.5, |
| "step": 865, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.028866666666666665, |
| "grad_norm": 0.31766873598098755, |
| "learning_rate": 3e-06, |
| "loss": 0.2051, |
| "step": 866 |
| }, |
| { |
| "epoch": 0.0289, |
| "grad_norm": 0.32438626885414124, |
| "learning_rate": 3e-06, |
| "loss": 0.2019, |
| "step": 867 |
| }, |
| { |
| "epoch": 0.028933333333333332, |
| "grad_norm": 0.3003137409687042, |
| "learning_rate": 3e-06, |
| "loss": 0.2014, |
| "step": 868 |
| }, |
| { |
| "epoch": 0.02896666666666667, |
| "grad_norm": 0.29627397656440735, |
| "learning_rate": 3e-06, |
| "loss": 0.1995, |
| "step": 869 |
| }, |
| { |
| "epoch": 0.029, |
| "grad_norm": 0.2782343924045563, |
| "learning_rate": 3e-06, |
| "loss": 0.1993, |
| "step": 870 |
| }, |
| { |
| "epoch": 0.029033333333333335, |
| "grad_norm": 0.2617970108985901, |
| "learning_rate": 3e-06, |
| "loss": 0.198, |
| "step": 871 |
| }, |
| { |
| "epoch": 0.029066666666666668, |
| "grad_norm": 0.26356929540634155, |
| "learning_rate": 3e-06, |
| "loss": 0.1943, |
| "step": 872 |
| }, |
| { |
| "completion_length": 243.0625, |
| "epoch": 0.0291, |
| "grad_norm": 0.08470126986503601, |
| "learning_rate": 3e-06, |
| "loss": 0.038, |
| "reward": 0.03125, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.03125, |
| "step": 873, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.029133333333333334, |
| "grad_norm": 0.09277769178152084, |
| "learning_rate": 3e-06, |
| "loss": 0.0383, |
| "step": 874 |
| }, |
| { |
| "epoch": 0.029166666666666667, |
| "grad_norm": 0.09781992435455322, |
| "learning_rate": 3e-06, |
| "loss": 0.0382, |
| "step": 875 |
| }, |
| { |
| "epoch": 0.0292, |
| "grad_norm": 0.0689656138420105, |
| "learning_rate": 3e-06, |
| "loss": 0.0379, |
| "step": 876 |
| }, |
| { |
| "epoch": 0.029233333333333333, |
| "grad_norm": 0.08308801800012589, |
| "learning_rate": 3e-06, |
| "loss": 0.0381, |
| "step": 877 |
| }, |
| { |
| "epoch": 0.029266666666666667, |
| "grad_norm": 0.10251674801111221, |
| "learning_rate": 3e-06, |
| "loss": 0.0382, |
| "step": 878 |
| }, |
| { |
| "epoch": 0.0293, |
| "grad_norm": 0.08735918253660202, |
| "learning_rate": 3e-06, |
| "loss": 0.0374, |
| "step": 879 |
| }, |
| { |
| "epoch": 0.029333333333333333, |
| "grad_norm": 0.11333655565977097, |
| "learning_rate": 3e-06, |
| "loss": 0.037, |
| "step": 880 |
| }, |
| { |
| "completion_length": 218.4375, |
| "epoch": 0.029366666666666666, |
| "grad_norm": 2.5152249336242676, |
| "learning_rate": 3e-06, |
| "loss": 0.7456, |
| "reward": 0.15625, |
| "reward_std": 0.3723389506340027, |
| "rewards/correctness_reward_func_math": 0.15625, |
| "step": 881, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.0294, |
| "grad_norm": 2.576875686645508, |
| "learning_rate": 3e-06, |
| "loss": 0.7446, |
| "step": 882 |
| }, |
| { |
| "epoch": 0.029433333333333332, |
| "grad_norm": 2.4908974170684814, |
| "learning_rate": 3e-06, |
| "loss": 0.74, |
| "step": 883 |
| }, |
| { |
| "epoch": 0.029466666666666665, |
| "grad_norm": 2.507587432861328, |
| "learning_rate": 3e-06, |
| "loss": 0.7315, |
| "step": 884 |
| }, |
| { |
| "epoch": 0.0295, |
| "grad_norm": 2.2474420070648193, |
| "learning_rate": 3e-06, |
| "loss": 0.7235, |
| "step": 885 |
| }, |
| { |
| "epoch": 0.029533333333333335, |
| "grad_norm": 2.2731220722198486, |
| "learning_rate": 3e-06, |
| "loss": 0.7087, |
| "step": 886 |
| }, |
| { |
| "epoch": 0.029566666666666668, |
| "grad_norm": 2.208087682723999, |
| "learning_rate": 3e-06, |
| "loss": 0.7067, |
| "step": 887 |
| }, |
| { |
| "epoch": 0.0296, |
| "grad_norm": 2.19282865524292, |
| "learning_rate": 3e-06, |
| "loss": 0.7015, |
| "step": 888 |
| }, |
| { |
| "completion_length": 253.59375, |
| "epoch": 0.029633333333333334, |
| "grad_norm": 0.07223352044820786, |
| "learning_rate": 3e-06, |
| "loss": 0.0379, |
| "reward": 0.53125, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.53125, |
| "step": 889, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.029666666666666668, |
| "grad_norm": 0.0807349681854248, |
| "learning_rate": 3e-06, |
| "loss": 0.0372, |
| "step": 890 |
| }, |
| { |
| "epoch": 0.0297, |
| "grad_norm": 0.07354079186916351, |
| "learning_rate": 3e-06, |
| "loss": 0.0373, |
| "step": 891 |
| }, |
| { |
| "epoch": 0.029733333333333334, |
| "grad_norm": 0.06826967746019363, |
| "learning_rate": 3e-06, |
| "loss": 0.0372, |
| "step": 892 |
| }, |
| { |
| "epoch": 0.029766666666666667, |
| "grad_norm": 0.067253477871418, |
| "learning_rate": 3e-06, |
| "loss": 0.0366, |
| "step": 893 |
| }, |
| { |
| "epoch": 0.0298, |
| "grad_norm": 0.06586315482854843, |
| "learning_rate": 3e-06, |
| "loss": 0.0364, |
| "step": 894 |
| }, |
| { |
| "epoch": 0.029833333333333333, |
| "grad_norm": 0.05908999592065811, |
| "learning_rate": 3e-06, |
| "loss": 0.037, |
| "step": 895 |
| }, |
| { |
| "epoch": 0.029866666666666666, |
| "grad_norm": 0.058404114097356796, |
| "learning_rate": 3e-06, |
| "loss": 0.0364, |
| "step": 896 |
| }, |
| { |
| "completion_length": 128.125, |
| "epoch": 0.0299, |
| "grad_norm": 21.952566146850586, |
| "learning_rate": 3e-06, |
| "loss": 2.3435, |
| "reward": 0.46875, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.46875, |
| "step": 897, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.029933333333333333, |
| "grad_norm": 21.36253547668457, |
| "learning_rate": 3e-06, |
| "loss": 2.2875, |
| "step": 898 |
| }, |
| { |
| "epoch": 0.029966666666666666, |
| "grad_norm": 21.17510986328125, |
| "learning_rate": 3e-06, |
| "loss": 2.2443, |
| "step": 899 |
| }, |
| { |
| "epoch": 0.03, |
| "grad_norm": 20.22600555419922, |
| "learning_rate": 3e-06, |
| "loss": 2.1681, |
| "step": 900 |
| }, |
| { |
| "epoch": 0.030033333333333332, |
| "grad_norm": 19.358848571777344, |
| "learning_rate": 3e-06, |
| "loss": 2.0863, |
| "step": 901 |
| }, |
| { |
| "epoch": 0.030066666666666665, |
| "grad_norm": 18.21709632873535, |
| "learning_rate": 3e-06, |
| "loss": 1.9862, |
| "step": 902 |
| }, |
| { |
| "epoch": 0.0301, |
| "grad_norm": 17.28249740600586, |
| "learning_rate": 3e-06, |
| "loss": 1.9077, |
| "step": 903 |
| }, |
| { |
| "epoch": 0.030133333333333335, |
| "grad_norm": 16.246383666992188, |
| "learning_rate": 3e-06, |
| "loss": 1.8072, |
| "step": 904 |
| }, |
| { |
| "completion_length": 247.25, |
| "epoch": 0.030166666666666668, |
| "grad_norm": 0.11125402897596359, |
| "learning_rate": 3e-06, |
| "loss": 0.011, |
| "reward": 0.0, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.0, |
| "step": 905, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.0302, |
| "grad_norm": 0.10331876575946808, |
| "learning_rate": 3e-06, |
| "loss": 0.0109, |
| "step": 906 |
| }, |
| { |
| "epoch": 0.030233333333333334, |
| "grad_norm": 0.07556278258562088, |
| "learning_rate": 3e-06, |
| "loss": 0.0105, |
| "step": 907 |
| }, |
| { |
| "epoch": 0.030266666666666667, |
| "grad_norm": 0.049843136221170425, |
| "learning_rate": 3e-06, |
| "loss": 0.0103, |
| "step": 908 |
| }, |
| { |
| "epoch": 0.0303, |
| "grad_norm": 0.036547474563121796, |
| "learning_rate": 3e-06, |
| "loss": 0.0102, |
| "step": 909 |
| }, |
| { |
| "epoch": 0.030333333333333334, |
| "grad_norm": 0.03715581074357033, |
| "learning_rate": 3e-06, |
| "loss": 0.0101, |
| "step": 910 |
| }, |
| { |
| "epoch": 0.030366666666666667, |
| "grad_norm": 0.04080696403980255, |
| "learning_rate": 3e-06, |
| "loss": 0.0101, |
| "step": 911 |
| }, |
| { |
| "epoch": 0.0304, |
| "grad_norm": 0.04690460488200188, |
| "learning_rate": 3e-06, |
| "loss": 0.0101, |
| "step": 912 |
| }, |
| { |
| "completion_length": 253.03125, |
| "epoch": 0.030433333333333333, |
| "grad_norm": 0.18849335610866547, |
| "learning_rate": 3e-06, |
| "loss": 0.1154, |
| "reward": 0.5625, |
| "reward_std": 0.3265564441680908, |
| "rewards/correctness_reward_func_math": 0.5625, |
| "step": 913, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.030466666666666666, |
| "grad_norm": 0.1918591409921646, |
| "learning_rate": 3e-06, |
| "loss": 0.1158, |
| "step": 914 |
| }, |
| { |
| "epoch": 0.0305, |
| "grad_norm": 0.18599672615528107, |
| "learning_rate": 3e-06, |
| "loss": 0.1164, |
| "step": 915 |
| }, |
| { |
| "epoch": 0.030533333333333332, |
| "grad_norm": 0.17836067080497742, |
| "learning_rate": 3e-06, |
| "loss": 0.1139, |
| "step": 916 |
| }, |
| { |
| "epoch": 0.030566666666666666, |
| "grad_norm": 0.19149254262447357, |
| "learning_rate": 3e-06, |
| "loss": 0.1132, |
| "step": 917 |
| }, |
| { |
| "epoch": 0.0306, |
| "grad_norm": 0.2216927409172058, |
| "learning_rate": 3e-06, |
| "loss": 0.1121, |
| "step": 918 |
| }, |
| { |
| "epoch": 0.030633333333333332, |
| "grad_norm": 0.2193494439125061, |
| "learning_rate": 3e-06, |
| "loss": 0.1121, |
| "step": 919 |
| }, |
| { |
| "epoch": 0.030666666666666665, |
| "grad_norm": 0.15185581147670746, |
| "learning_rate": 3e-06, |
| "loss": 0.1106, |
| "step": 920 |
| }, |
| { |
| "completion_length": 255.53125, |
| "epoch": 0.0307, |
| "grad_norm": 0.4129735827445984, |
| "learning_rate": 3e-06, |
| "loss": 0.1883, |
| "reward": 0.75, |
| "reward_std": 0.42078250646591187, |
| "rewards/correctness_reward_func_math": 0.75, |
| "step": 921, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.030733333333333335, |
| "grad_norm": 0.39084768295288086, |
| "learning_rate": 3e-06, |
| "loss": 0.185, |
| "step": 922 |
| }, |
| { |
| "epoch": 0.030766666666666668, |
| "grad_norm": 0.36958104372024536, |
| "learning_rate": 3e-06, |
| "loss": 0.1835, |
| "step": 923 |
| }, |
| { |
| "epoch": 0.0308, |
| "grad_norm": 0.37202778458595276, |
| "learning_rate": 3e-06, |
| "loss": 0.1824, |
| "step": 924 |
| }, |
| { |
| "epoch": 0.030833333333333334, |
| "grad_norm": 0.34371259808540344, |
| "learning_rate": 3e-06, |
| "loss": 0.181, |
| "step": 925 |
| }, |
| { |
| "epoch": 0.030866666666666667, |
| "grad_norm": 0.30380067229270935, |
| "learning_rate": 3e-06, |
| "loss": 0.1771, |
| "step": 926 |
| }, |
| { |
| "epoch": 0.0309, |
| "grad_norm": 0.25776323676109314, |
| "learning_rate": 3e-06, |
| "loss": 0.1743, |
| "step": 927 |
| }, |
| { |
| "epoch": 0.030933333333333334, |
| "grad_norm": 0.2443040907382965, |
| "learning_rate": 3e-06, |
| "loss": 0.1725, |
| "step": 928 |
| }, |
| { |
| "completion_length": 233.3125, |
| "epoch": 0.030966666666666667, |
| "grad_norm": 0.15135619044303894, |
| "learning_rate": 3e-06, |
| "loss": 0.0165, |
| "reward": 0.0, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.0, |
| "step": 929, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.031, |
| "grad_norm": 0.12982214987277985, |
| "learning_rate": 3e-06, |
| "loss": 0.0164, |
| "step": 930 |
| }, |
| { |
| "epoch": 0.031033333333333333, |
| "grad_norm": 0.10461676865816116, |
| "learning_rate": 3e-06, |
| "loss": 0.0161, |
| "step": 931 |
| }, |
| { |
| "epoch": 0.031066666666666666, |
| "grad_norm": 0.09519170969724655, |
| "learning_rate": 3e-06, |
| "loss": 0.016, |
| "step": 932 |
| }, |
| { |
| "epoch": 0.0311, |
| "grad_norm": 0.06658390909433365, |
| "learning_rate": 3e-06, |
| "loss": 0.0156, |
| "step": 933 |
| }, |
| { |
| "epoch": 0.031133333333333332, |
| "grad_norm": 0.06314490735530853, |
| "learning_rate": 3e-06, |
| "loss": 0.0154, |
| "step": 934 |
| }, |
| { |
| "epoch": 0.031166666666666665, |
| "grad_norm": 0.0762525424361229, |
| "learning_rate": 3e-06, |
| "loss": 0.0155, |
| "step": 935 |
| }, |
| { |
| "epoch": 0.0312, |
| "grad_norm": 0.05378495156764984, |
| "learning_rate": 3e-06, |
| "loss": 0.0151, |
| "step": 936 |
| }, |
| { |
| "completion_length": 250.59375, |
| "epoch": 0.03123333333333333, |
| "grad_norm": 0.17529116570949554, |
| "learning_rate": 3e-06, |
| "loss": 0.1157, |
| "reward": 0.34375, |
| "reward_std": 0.23935678601264954, |
| "rewards/correctness_reward_func_math": 0.34375, |
| "step": 937, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.031266666666666665, |
| "grad_norm": 0.1782500296831131, |
| "learning_rate": 3e-06, |
| "loss": 0.1158, |
| "step": 938 |
| }, |
| { |
| "epoch": 0.0313, |
| "grad_norm": 0.16718171536922455, |
| "learning_rate": 3e-06, |
| "loss": 0.1145, |
| "step": 939 |
| }, |
| { |
| "epoch": 0.03133333333333333, |
| "grad_norm": 0.15703602135181427, |
| "learning_rate": 3e-06, |
| "loss": 0.1142, |
| "step": 940 |
| }, |
| { |
| "epoch": 0.03136666666666667, |
| "grad_norm": 0.15732254087924957, |
| "learning_rate": 3e-06, |
| "loss": 0.1138, |
| "step": 941 |
| }, |
| { |
| "epoch": 0.0314, |
| "grad_norm": 0.1318134069442749, |
| "learning_rate": 3e-06, |
| "loss": 0.1122, |
| "step": 942 |
| }, |
| { |
| "epoch": 0.031433333333333334, |
| "grad_norm": 0.14116458594799042, |
| "learning_rate": 3e-06, |
| "loss": 0.1117, |
| "step": 943 |
| }, |
| { |
| "epoch": 0.031466666666666664, |
| "grad_norm": 0.12743791937828064, |
| "learning_rate": 3e-06, |
| "loss": 0.1103, |
| "step": 944 |
| }, |
| { |
| "completion_length": 183.03125, |
| "epoch": 0.0315, |
| "grad_norm": 1.9519177675247192, |
| "learning_rate": 3e-06, |
| "loss": 0.2803, |
| "reward": 0.03125, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.03125, |
| "step": 945, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.03153333333333333, |
| "grad_norm": 2.245788097381592, |
| "learning_rate": 3e-06, |
| "loss": 0.2895, |
| "step": 946 |
| }, |
| { |
| "epoch": 0.031566666666666666, |
| "grad_norm": 1.5359492301940918, |
| "learning_rate": 3e-06, |
| "loss": 0.2756, |
| "step": 947 |
| }, |
| { |
| "epoch": 0.0316, |
| "grad_norm": 1.710587501525879, |
| "learning_rate": 3e-06, |
| "loss": 0.2701, |
| "step": 948 |
| }, |
| { |
| "epoch": 0.03163333333333333, |
| "grad_norm": 1.74666428565979, |
| "learning_rate": 3e-06, |
| "loss": 0.2687, |
| "step": 949 |
| }, |
| { |
| "epoch": 0.03166666666666667, |
| "grad_norm": 1.572556495666504, |
| "learning_rate": 3e-06, |
| "loss": 0.2617, |
| "step": 950 |
| }, |
| { |
| "epoch": 0.0317, |
| "grad_norm": 1.3949527740478516, |
| "learning_rate": 3e-06, |
| "loss": 0.255, |
| "step": 951 |
| }, |
| { |
| "epoch": 0.031733333333333336, |
| "grad_norm": 1.3180463314056396, |
| "learning_rate": 3e-06, |
| "loss": 0.2517, |
| "step": 952 |
| }, |
| { |
| "completion_length": 247.46875, |
| "epoch": 0.031766666666666665, |
| "grad_norm": 0.10195865482091904, |
| "learning_rate": 3e-06, |
| "loss": 0.0393, |
| "reward": 0.03125, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.03125, |
| "step": 953, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0318, |
| "grad_norm": 0.09276338666677475, |
| "learning_rate": 3e-06, |
| "loss": 0.0395, |
| "step": 954 |
| }, |
| { |
| "epoch": 0.03183333333333333, |
| "grad_norm": 0.07619660347700119, |
| "learning_rate": 3e-06, |
| "loss": 0.0392, |
| "step": 955 |
| }, |
| { |
| "epoch": 0.03186666666666667, |
| "grad_norm": 0.06481079012155533, |
| "learning_rate": 3e-06, |
| "loss": 0.0385, |
| "step": 956 |
| }, |
| { |
| "epoch": 0.0319, |
| "grad_norm": 0.06405751407146454, |
| "learning_rate": 3e-06, |
| "loss": 0.0381, |
| "step": 957 |
| }, |
| { |
| "epoch": 0.031933333333333334, |
| "grad_norm": 0.06054898723959923, |
| "learning_rate": 3e-06, |
| "loss": 0.0378, |
| "step": 958 |
| }, |
| { |
| "epoch": 0.031966666666666664, |
| "grad_norm": 0.0873836949467659, |
| "learning_rate": 3e-06, |
| "loss": 0.0379, |
| "step": 959 |
| }, |
| { |
| "epoch": 0.032, |
| "grad_norm": 0.0667489692568779, |
| "learning_rate": 3e-06, |
| "loss": 0.0368, |
| "step": 960 |
| }, |
| { |
| "completion_length": 230.46875, |
| "epoch": 0.03203333333333333, |
| "grad_norm": 0.15566089749336243, |
| "learning_rate": 3e-06, |
| "loss": 0.0851, |
| "reward": 0.90625, |
| "reward_std": 0.20155644416809082, |
| "rewards/correctness_reward_func_math": 0.90625, |
| "step": 961, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.03206666666666667, |
| "grad_norm": 0.2701675593852997, |
| "learning_rate": 3e-06, |
| "loss": 0.0851, |
| "step": 962 |
| }, |
| { |
| "epoch": 0.0321, |
| "grad_norm": 0.1515188366174698, |
| "learning_rate": 3e-06, |
| "loss": 0.0846, |
| "step": 963 |
| }, |
| { |
| "epoch": 0.03213333333333333, |
| "grad_norm": 0.14782550930976868, |
| "learning_rate": 3e-06, |
| "loss": 0.0848, |
| "step": 964 |
| }, |
| { |
| "epoch": 0.03216666666666667, |
| "grad_norm": 0.1399134248495102, |
| "learning_rate": 3e-06, |
| "loss": 0.0839, |
| "step": 965 |
| }, |
| { |
| "epoch": 0.0322, |
| "grad_norm": 0.13435325026512146, |
| "learning_rate": 3e-06, |
| "loss": 0.0821, |
| "step": 966 |
| }, |
| { |
| "epoch": 0.032233333333333336, |
| "grad_norm": 0.1312652975320816, |
| "learning_rate": 3e-06, |
| "loss": 0.0821, |
| "step": 967 |
| }, |
| { |
| "epoch": 0.032266666666666666, |
| "grad_norm": 0.12022103369235992, |
| "learning_rate": 3e-06, |
| "loss": 0.081, |
| "step": 968 |
| }, |
| { |
| "completion_length": 248.90625, |
| "epoch": 0.0323, |
| "grad_norm": 0.4809502363204956, |
| "learning_rate": 3e-06, |
| "loss": 0.2389, |
| "reward": 0.3125, |
| "reward_std": 0.4787135720252991, |
| "rewards/correctness_reward_func_math": 0.3125, |
| "step": 969, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.03233333333333333, |
| "grad_norm": 0.5163947343826294, |
| "learning_rate": 3e-06, |
| "loss": 0.2375, |
| "step": 970 |
| }, |
| { |
| "epoch": 0.03236666666666667, |
| "grad_norm": 0.37964582443237305, |
| "learning_rate": 3e-06, |
| "loss": 0.2368, |
| "step": 971 |
| }, |
| { |
| "epoch": 0.0324, |
| "grad_norm": 0.36279717087745667, |
| "learning_rate": 3e-06, |
| "loss": 0.2364, |
| "step": 972 |
| }, |
| { |
| "epoch": 0.032433333333333335, |
| "grad_norm": 0.387662410736084, |
| "learning_rate": 3e-06, |
| "loss": 0.2346, |
| "step": 973 |
| }, |
| { |
| "epoch": 0.032466666666666665, |
| "grad_norm": 0.31319835782051086, |
| "learning_rate": 3e-06, |
| "loss": 0.2304, |
| "step": 974 |
| }, |
| { |
| "epoch": 0.0325, |
| "grad_norm": 0.31895172595977783, |
| "learning_rate": 3e-06, |
| "loss": 0.2299, |
| "step": 975 |
| }, |
| { |
| "epoch": 0.03253333333333333, |
| "grad_norm": 0.29657474160194397, |
| "learning_rate": 3e-06, |
| "loss": 0.2288, |
| "step": 976 |
| }, |
| { |
| "completion_length": 254.84375, |
| "epoch": 0.03256666666666667, |
| "grad_norm": 0.10478316247463226, |
| "learning_rate": 3e-06, |
| "loss": 0.0364, |
| "reward": 0.03125, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.03125, |
| "step": 977, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0326, |
| "grad_norm": 0.104634590446949, |
| "learning_rate": 3e-06, |
| "loss": 0.0363, |
| "step": 978 |
| }, |
| { |
| "epoch": 0.032633333333333334, |
| "grad_norm": 0.09649943560361862, |
| "learning_rate": 3e-06, |
| "loss": 0.0358, |
| "step": 979 |
| }, |
| { |
| "epoch": 0.03266666666666666, |
| "grad_norm": 0.08238526433706284, |
| "learning_rate": 3e-06, |
| "loss": 0.0354, |
| "step": 980 |
| }, |
| { |
| "epoch": 0.0327, |
| "grad_norm": 0.08271540701389313, |
| "learning_rate": 3e-06, |
| "loss": 0.0347, |
| "step": 981 |
| }, |
| { |
| "epoch": 0.032733333333333337, |
| "grad_norm": 0.0727728009223938, |
| "learning_rate": 3e-06, |
| "loss": 0.0348, |
| "step": 982 |
| }, |
| { |
| "epoch": 0.032766666666666666, |
| "grad_norm": 0.06432349234819412, |
| "learning_rate": 3e-06, |
| "loss": 0.0347, |
| "step": 983 |
| }, |
| { |
| "epoch": 0.0328, |
| "grad_norm": 0.06484989076852798, |
| "learning_rate": 3e-06, |
| "loss": 0.0343, |
| "step": 984 |
| }, |
| { |
| "completion_length": 250.25, |
| "epoch": 0.03283333333333333, |
| "grad_norm": 0.17470334470272064, |
| "learning_rate": 3e-06, |
| "loss": 0.0819, |
| "reward": 0.90625, |
| "reward_std": 0.20155644416809082, |
| "rewards/correctness_reward_func_math": 0.90625, |
| "step": 985, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.03286666666666667, |
| "grad_norm": 0.35445547103881836, |
| "learning_rate": 3e-06, |
| "loss": 0.0846, |
| "step": 986 |
| }, |
| { |
| "epoch": 0.0329, |
| "grad_norm": 0.1545129120349884, |
| "learning_rate": 3e-06, |
| "loss": 0.0815, |
| "step": 987 |
| }, |
| { |
| "epoch": 0.032933333333333335, |
| "grad_norm": 0.1716327667236328, |
| "learning_rate": 3e-06, |
| "loss": 0.0817, |
| "step": 988 |
| }, |
| { |
| "epoch": 0.032966666666666665, |
| "grad_norm": 0.16181465983390808, |
| "learning_rate": 3e-06, |
| "loss": 0.0803, |
| "step": 989 |
| }, |
| { |
| "epoch": 0.033, |
| "grad_norm": 0.14644548296928406, |
| "learning_rate": 3e-06, |
| "loss": 0.0804, |
| "step": 990 |
| }, |
| { |
| "epoch": 0.03303333333333333, |
| "grad_norm": 0.15587134659290314, |
| "learning_rate": 3e-06, |
| "loss": 0.0783, |
| "step": 991 |
| }, |
| { |
| "epoch": 0.03306666666666667, |
| "grad_norm": 0.15565869212150574, |
| "learning_rate": 3e-06, |
| "loss": 0.0765, |
| "step": 992 |
| }, |
| { |
| "completion_length": 255.09375, |
| "epoch": 0.0331, |
| "grad_norm": 0.06323772668838501, |
| "learning_rate": 3e-06, |
| "loss": 0.0054, |
| "reward": 0.0, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.0, |
| "step": 993, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.033133333333333334, |
| "grad_norm": 0.05310962349176407, |
| "learning_rate": 3e-06, |
| "loss": 0.0054, |
| "step": 994 |
| }, |
| { |
| "epoch": 0.033166666666666664, |
| "grad_norm": 0.05140407010912895, |
| "learning_rate": 3e-06, |
| "loss": 0.0052, |
| "step": 995 |
| }, |
| { |
| "epoch": 0.0332, |
| "grad_norm": 0.03666391968727112, |
| "learning_rate": 3e-06, |
| "loss": 0.0051, |
| "step": 996 |
| }, |
| { |
| "epoch": 0.03323333333333333, |
| "grad_norm": 0.03174639493227005, |
| "learning_rate": 3e-06, |
| "loss": 0.005, |
| "step": 997 |
| }, |
| { |
| "epoch": 0.03326666666666667, |
| "grad_norm": 0.024189170449972153, |
| "learning_rate": 3e-06, |
| "loss": 0.005, |
| "step": 998 |
| }, |
| { |
| "epoch": 0.0333, |
| "grad_norm": 0.0224724430590868, |
| "learning_rate": 3e-06, |
| "loss": 0.005, |
| "step": 999 |
| }, |
| { |
| "epoch": 0.03333333333333333, |
| "grad_norm": 0.01928894966840744, |
| "learning_rate": 3e-06, |
| "loss": 0.0049, |
| "step": 1000 |
| }, |
| { |
| "completion_length": 245.96875, |
| "epoch": 0.03336666666666667, |
| "grad_norm": 0.1300058513879776, |
| "learning_rate": 3e-06, |
| "loss": 0.0719, |
| "reward": 0.0625, |
| "reward_std": 0.17078250646591187, |
| "rewards/correctness_reward_func_math": 0.0625, |
| "step": 1001, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0334, |
| "grad_norm": 0.13645794987678528, |
| "learning_rate": 3e-06, |
| "loss": 0.0712, |
| "step": 1002 |
| }, |
| { |
| "epoch": 0.033433333333333336, |
| "grad_norm": 0.13123734295368195, |
| "learning_rate": 3e-06, |
| "loss": 0.0706, |
| "step": 1003 |
| }, |
| { |
| "epoch": 0.033466666666666665, |
| "grad_norm": 0.12015818804502487, |
| "learning_rate": 3e-06, |
| "loss": 0.068, |
| "step": 1004 |
| }, |
| { |
| "epoch": 0.0335, |
| "grad_norm": 0.14607129991054535, |
| "learning_rate": 3e-06, |
| "loss": 0.0695, |
| "step": 1005 |
| }, |
| { |
| "epoch": 0.03353333333333333, |
| "grad_norm": 0.08656314760446548, |
| "learning_rate": 3e-06, |
| "loss": 0.0687, |
| "step": 1006 |
| }, |
| { |
| "epoch": 0.03356666666666667, |
| "grad_norm": 0.07611936330795288, |
| "learning_rate": 3e-06, |
| "loss": 0.0681, |
| "step": 1007 |
| }, |
| { |
| "epoch": 0.0336, |
| "grad_norm": 0.12742027640342712, |
| "learning_rate": 3e-06, |
| "loss": 0.0687, |
| "step": 1008 |
| }, |
| { |
| "completion_length": 249.375, |
| "epoch": 0.033633333333333335, |
| "grad_norm": 0.3027721345424652, |
| "learning_rate": 3e-06, |
| "loss": 0.1365, |
| "reward": 0.21875, |
| "reward_std": 0.2561737596988678, |
| "rewards/correctness_reward_func_math": 0.21875, |
| "step": 1009, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.033666666666666664, |
| "grad_norm": 0.27824389934539795, |
| "learning_rate": 3e-06, |
| "loss": 0.138, |
| "step": 1010 |
| }, |
| { |
| "epoch": 0.0337, |
| "grad_norm": 0.26802554726600647, |
| "learning_rate": 3e-06, |
| "loss": 0.1367, |
| "step": 1011 |
| }, |
| { |
| "epoch": 0.03373333333333333, |
| "grad_norm": 0.2650611102581024, |
| "learning_rate": 3e-06, |
| "loss": 0.1347, |
| "step": 1012 |
| }, |
| { |
| "epoch": 0.03376666666666667, |
| "grad_norm": 0.27685195207595825, |
| "learning_rate": 3e-06, |
| "loss": 0.1339, |
| "step": 1013 |
| }, |
| { |
| "epoch": 0.0338, |
| "grad_norm": 0.2419142872095108, |
| "learning_rate": 3e-06, |
| "loss": 0.1317, |
| "step": 1014 |
| }, |
| { |
| "epoch": 0.03383333333333333, |
| "grad_norm": 0.20290249586105347, |
| "learning_rate": 3e-06, |
| "loss": 0.1308, |
| "step": 1015 |
| }, |
| { |
| "epoch": 0.03386666666666667, |
| "grad_norm": 0.23457594215869904, |
| "learning_rate": 3e-06, |
| "loss": 0.1288, |
| "step": 1016 |
| }, |
| { |
| "completion_length": 255.25, |
| "epoch": 0.0339, |
| "grad_norm": 0.20145626366138458, |
| "learning_rate": 3e-06, |
| "loss": 0.1486, |
| "reward": 0.625, |
| "reward_std": 0.36435678601264954, |
| "rewards/correctness_reward_func_math": 0.625, |
| "step": 1017, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.033933333333333336, |
| "grad_norm": 0.21847817301750183, |
| "learning_rate": 3e-06, |
| "loss": 0.1485, |
| "step": 1018 |
| }, |
| { |
| "epoch": 0.033966666666666666, |
| "grad_norm": 0.18349294364452362, |
| "learning_rate": 3e-06, |
| "loss": 0.149, |
| "step": 1019 |
| }, |
| { |
| "epoch": 0.034, |
| "grad_norm": 0.17740820348262787, |
| "learning_rate": 3e-06, |
| "loss": 0.1476, |
| "step": 1020 |
| }, |
| { |
| "epoch": 0.03403333333333333, |
| "grad_norm": 0.16408662497997284, |
| "learning_rate": 3e-06, |
| "loss": 0.1449, |
| "step": 1021 |
| }, |
| { |
| "epoch": 0.03406666666666667, |
| "grad_norm": 0.14820440113544464, |
| "learning_rate": 3e-06, |
| "loss": 0.1457, |
| "step": 1022 |
| }, |
| { |
| "epoch": 0.0341, |
| "grad_norm": 0.16253526508808136, |
| "learning_rate": 3e-06, |
| "loss": 0.1442, |
| "step": 1023 |
| }, |
| { |
| "epoch": 0.034133333333333335, |
| "grad_norm": 0.1433018445968628, |
| "learning_rate": 3e-06, |
| "loss": 0.1457, |
| "step": 1024 |
| }, |
| { |
| "completion_length": 251.71875, |
| "epoch": 0.034166666666666665, |
| "grad_norm": 0.10680565237998962, |
| "learning_rate": 3e-06, |
| "loss": 0.0351, |
| "reward": 0.03125, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.03125, |
| "step": 1025, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0342, |
| "grad_norm": 0.08578264713287354, |
| "learning_rate": 3e-06, |
| "loss": 0.0351, |
| "step": 1026 |
| }, |
| { |
| "epoch": 0.03423333333333333, |
| "grad_norm": 0.08467423915863037, |
| "learning_rate": 3e-06, |
| "loss": 0.0348, |
| "step": 1027 |
| }, |
| { |
| "epoch": 0.03426666666666667, |
| "grad_norm": 0.07423865795135498, |
| "learning_rate": 3e-06, |
| "loss": 0.0345, |
| "step": 1028 |
| }, |
| { |
| "epoch": 0.0343, |
| "grad_norm": 0.08462617546319962, |
| "learning_rate": 3e-06, |
| "loss": 0.0339, |
| "step": 1029 |
| }, |
| { |
| "epoch": 0.034333333333333334, |
| "grad_norm": 0.0944114699959755, |
| "learning_rate": 3e-06, |
| "loss": 0.0329, |
| "step": 1030 |
| }, |
| { |
| "epoch": 0.03436666666666666, |
| "grad_norm": 0.08845286816358566, |
| "learning_rate": 3e-06, |
| "loss": 0.0331, |
| "step": 1031 |
| }, |
| { |
| "epoch": 0.0344, |
| "grad_norm": 0.08899787813425064, |
| "learning_rate": 3e-06, |
| "loss": 0.032, |
| "step": 1032 |
| }, |
| { |
| "completion_length": 238.78125, |
| "epoch": 0.03443333333333334, |
| "grad_norm": 0.15678392350673676, |
| "learning_rate": 3e-06, |
| "loss": 0.1062, |
| "reward": 0.375, |
| "reward_std": 0.22360679507255554, |
| "rewards/correctness_reward_func_math": 0.375, |
| "step": 1033, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.034466666666666666, |
| "grad_norm": 0.14116446673870087, |
| "learning_rate": 3e-06, |
| "loss": 0.1056, |
| "step": 1034 |
| }, |
| { |
| "epoch": 0.0345, |
| "grad_norm": 0.1361791044473648, |
| "learning_rate": 3e-06, |
| "loss": 0.1041, |
| "step": 1035 |
| }, |
| { |
| "epoch": 0.03453333333333333, |
| "grad_norm": 0.15958596765995026, |
| "learning_rate": 3e-06, |
| "loss": 0.1039, |
| "step": 1036 |
| }, |
| { |
| "epoch": 0.03456666666666667, |
| "grad_norm": 0.1506490707397461, |
| "learning_rate": 3e-06, |
| "loss": 0.1035, |
| "step": 1037 |
| }, |
| { |
| "epoch": 0.0346, |
| "grad_norm": 0.14494788646697998, |
| "learning_rate": 3e-06, |
| "loss": 0.1035, |
| "step": 1038 |
| }, |
| { |
| "epoch": 0.034633333333333335, |
| "grad_norm": 0.14232201874256134, |
| "learning_rate": 3e-06, |
| "loss": 0.1016, |
| "step": 1039 |
| }, |
| { |
| "epoch": 0.034666666666666665, |
| "grad_norm": 0.1374843716621399, |
| "learning_rate": 3e-06, |
| "loss": 0.0998, |
| "step": 1040 |
| }, |
| { |
| "completion_length": 254.5, |
| "epoch": 0.0347, |
| "grad_norm": 0.5466945171356201, |
| "learning_rate": 3e-06, |
| "loss": 0.1693, |
| "reward": 0.8125, |
| "reward_std": 0.40311288833618164, |
| "rewards/correctness_reward_func_math": 0.8125, |
| "step": 1041, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.03473333333333333, |
| "grad_norm": 0.4727940261363983, |
| "learning_rate": 3e-06, |
| "loss": 0.1681, |
| "step": 1042 |
| }, |
| { |
| "epoch": 0.03476666666666667, |
| "grad_norm": 0.46374690532684326, |
| "learning_rate": 3e-06, |
| "loss": 0.1662, |
| "step": 1043 |
| }, |
| { |
| "epoch": 0.0348, |
| "grad_norm": 0.4748273491859436, |
| "learning_rate": 3e-06, |
| "loss": 0.1647, |
| "step": 1044 |
| }, |
| { |
| "epoch": 0.034833333333333334, |
| "grad_norm": 0.4575069844722748, |
| "learning_rate": 3e-06, |
| "loss": 0.1629, |
| "step": 1045 |
| }, |
| { |
| "epoch": 0.034866666666666664, |
| "grad_norm": 0.42330142855644226, |
| "learning_rate": 3e-06, |
| "loss": 0.16, |
| "step": 1046 |
| }, |
| { |
| "epoch": 0.0349, |
| "grad_norm": 0.394876629114151, |
| "learning_rate": 3e-06, |
| "loss": 0.1574, |
| "step": 1047 |
| }, |
| { |
| "epoch": 0.03493333333333333, |
| "grad_norm": 0.35237663984298706, |
| "learning_rate": 3e-06, |
| "loss": 0.1543, |
| "step": 1048 |
| }, |
| { |
| "completion_length": 251.6875, |
| "epoch": 0.03496666666666667, |
| "grad_norm": 0.18571512401103973, |
| "learning_rate": 3e-06, |
| "loss": 0.1384, |
| "reward": 0.40625, |
| "reward_std": 0.34860679507255554, |
| "rewards/correctness_reward_func_math": 0.40625, |
| "step": 1049, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.035, |
| "grad_norm": 0.17443479597568512, |
| "learning_rate": 3e-06, |
| "loss": 0.1366, |
| "step": 1050 |
| }, |
| { |
| "epoch": 0.03503333333333333, |
| "grad_norm": 0.16585789620876312, |
| "learning_rate": 3e-06, |
| "loss": 0.1371, |
| "step": 1051 |
| }, |
| { |
| "epoch": 0.03506666666666667, |
| "grad_norm": 0.16354313492774963, |
| "learning_rate": 3e-06, |
| "loss": 0.1374, |
| "step": 1052 |
| }, |
| { |
| "epoch": 0.0351, |
| "grad_norm": 0.1693667769432068, |
| "learning_rate": 3e-06, |
| "loss": 0.1355, |
| "step": 1053 |
| }, |
| { |
| "epoch": 0.035133333333333336, |
| "grad_norm": 0.15366947650909424, |
| "learning_rate": 3e-06, |
| "loss": 0.1336, |
| "step": 1054 |
| }, |
| { |
| "epoch": 0.035166666666666666, |
| "grad_norm": 0.14895740151405334, |
| "learning_rate": 3e-06, |
| "loss": 0.1328, |
| "step": 1055 |
| }, |
| { |
| "epoch": 0.0352, |
| "grad_norm": 0.1341189295053482, |
| "learning_rate": 3e-06, |
| "loss": 0.1318, |
| "step": 1056 |
| }, |
| { |
| "completion_length": 241.5625, |
| "epoch": 0.03523333333333333, |
| "grad_norm": 0.4317583739757538, |
| "learning_rate": 3e-06, |
| "loss": 0.1063, |
| "reward": 0.125, |
| "reward_std": 0.22360679507255554, |
| "rewards/correctness_reward_func_math": 0.125, |
| "step": 1057, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.03526666666666667, |
| "grad_norm": 0.45221447944641113, |
| "learning_rate": 3e-06, |
| "loss": 0.105, |
| "step": 1058 |
| }, |
| { |
| "epoch": 0.0353, |
| "grad_norm": 0.4438345432281494, |
| "learning_rate": 3e-06, |
| "loss": 0.1014, |
| "step": 1059 |
| }, |
| { |
| "epoch": 0.035333333333333335, |
| "grad_norm": 0.45792561769485474, |
| "learning_rate": 3e-06, |
| "loss": 0.0984, |
| "step": 1060 |
| }, |
| { |
| "epoch": 0.035366666666666664, |
| "grad_norm": 0.447086364030838, |
| "learning_rate": 3e-06, |
| "loss": 0.0973, |
| "step": 1061 |
| }, |
| { |
| "epoch": 0.0354, |
| "grad_norm": 0.6408032178878784, |
| "learning_rate": 3e-06, |
| "loss": 0.0966, |
| "step": 1062 |
| }, |
| { |
| "epoch": 0.03543333333333333, |
| "grad_norm": 0.40243759751319885, |
| "learning_rate": 3e-06, |
| "loss": 0.0937, |
| "step": 1063 |
| }, |
| { |
| "epoch": 0.03546666666666667, |
| "grad_norm": 0.5021228790283203, |
| "learning_rate": 3e-06, |
| "loss": 0.0914, |
| "step": 1064 |
| }, |
| { |
| "completion_length": 253.375, |
| "epoch": 0.0355, |
| "grad_norm": 0.27089691162109375, |
| "learning_rate": 3e-06, |
| "loss": 0.1631, |
| "reward": 0.78125, |
| "reward_std": 0.375, |
| "rewards/correctness_reward_func_math": 0.78125, |
| "step": 1065, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.03553333333333333, |
| "grad_norm": 0.24373586475849152, |
| "learning_rate": 3e-06, |
| "loss": 0.162, |
| "step": 1066 |
| }, |
| { |
| "epoch": 0.03556666666666667, |
| "grad_norm": 0.22820116579532623, |
| "learning_rate": 3e-06, |
| "loss": 0.1603, |
| "step": 1067 |
| }, |
| { |
| "epoch": 0.0356, |
| "grad_norm": 0.22224998474121094, |
| "learning_rate": 3e-06, |
| "loss": 0.1593, |
| "step": 1068 |
| }, |
| { |
| "epoch": 0.035633333333333336, |
| "grad_norm": 0.22970391809940338, |
| "learning_rate": 3e-06, |
| "loss": 0.1604, |
| "step": 1069 |
| }, |
| { |
| "epoch": 0.035666666666666666, |
| "grad_norm": 0.1953325867652893, |
| "learning_rate": 3e-06, |
| "loss": 0.1585, |
| "step": 1070 |
| }, |
| { |
| "epoch": 0.0357, |
| "grad_norm": 0.18729107081890106, |
| "learning_rate": 3e-06, |
| "loss": 0.1587, |
| "step": 1071 |
| }, |
| { |
| "epoch": 0.03573333333333333, |
| "grad_norm": 0.19014033675193787, |
| "learning_rate": 3e-06, |
| "loss": 0.1534, |
| "step": 1072 |
| }, |
| { |
| "completion_length": 220.3125, |
| "epoch": 0.03576666666666667, |
| "grad_norm": 0.988413393497467, |
| "learning_rate": 3e-06, |
| "loss": 0.1511, |
| "reward": 0.5, |
| "reward_std": 0.34156501293182373, |
| "rewards/correctness_reward_func_math": 0.5, |
| "step": 1073, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.0358, |
| "grad_norm": 2.1757404804229736, |
| "learning_rate": 3e-06, |
| "loss": 0.1569, |
| "step": 1074 |
| }, |
| { |
| "epoch": 0.035833333333333335, |
| "grad_norm": 1.2399039268493652, |
| "learning_rate": 3e-06, |
| "loss": 0.1538, |
| "step": 1075 |
| }, |
| { |
| "epoch": 0.035866666666666665, |
| "grad_norm": 0.6959274411201477, |
| "learning_rate": 3e-06, |
| "loss": 0.153, |
| "step": 1076 |
| }, |
| { |
| "epoch": 0.0359, |
| "grad_norm": 0.542428731918335, |
| "learning_rate": 3e-06, |
| "loss": 0.1462, |
| "step": 1077 |
| }, |
| { |
| "epoch": 0.03593333333333333, |
| "grad_norm": 1.1614465713500977, |
| "learning_rate": 3e-06, |
| "loss": 0.15, |
| "step": 1078 |
| }, |
| { |
| "epoch": 0.03596666666666667, |
| "grad_norm": 0.7393024563789368, |
| "learning_rate": 3e-06, |
| "loss": 0.1443, |
| "step": 1079 |
| }, |
| { |
| "epoch": 0.036, |
| "grad_norm": 0.9945587515830994, |
| "learning_rate": 3e-06, |
| "loss": 0.1432, |
| "step": 1080 |
| }, |
| { |
| "completion_length": 254.125, |
| "epoch": 0.036033333333333334, |
| "grad_norm": 0.2751837372779846, |
| "learning_rate": 3e-06, |
| "loss": 0.106, |
| "reward": 0.375, |
| "reward_std": 0.22360679507255554, |
| "rewards/correctness_reward_func_math": 0.375, |
| "step": 1081, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.036066666666666664, |
| "grad_norm": 0.19160528481006622, |
| "learning_rate": 3e-06, |
| "loss": 0.1063, |
| "step": 1082 |
| }, |
| { |
| "epoch": 0.0361, |
| "grad_norm": 0.21930015087127686, |
| "learning_rate": 3e-06, |
| "loss": 0.1075, |
| "step": 1083 |
| }, |
| { |
| "epoch": 0.03613333333333334, |
| "grad_norm": 0.19952435791492462, |
| "learning_rate": 3e-06, |
| "loss": 0.1054, |
| "step": 1084 |
| }, |
| { |
| "epoch": 0.036166666666666666, |
| "grad_norm": 0.21034124493598938, |
| "learning_rate": 3e-06, |
| "loss": 0.104, |
| "step": 1085 |
| }, |
| { |
| "epoch": 0.0362, |
| "grad_norm": 0.217341348528862, |
| "learning_rate": 3e-06, |
| "loss": 0.1044, |
| "step": 1086 |
| }, |
| { |
| "epoch": 0.03623333333333333, |
| "grad_norm": 0.20154766738414764, |
| "learning_rate": 3e-06, |
| "loss": 0.1045, |
| "step": 1087 |
| }, |
| { |
| "epoch": 0.03626666666666667, |
| "grad_norm": 0.17877817153930664, |
| "learning_rate": 3e-06, |
| "loss": 0.101, |
| "step": 1088 |
| }, |
| { |
| "completion_length": 192.6875, |
| "epoch": 0.0363, |
| "grad_norm": 6.845195770263672, |
| "learning_rate": 3e-06, |
| "loss": 1.2108, |
| "reward": 0.15625, |
| "reward_std": 0.23935678601264954, |
| "rewards/correctness_reward_func_math": 0.15625, |
| "step": 1089, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.036333333333333336, |
| "grad_norm": 6.897146224975586, |
| "learning_rate": 3e-06, |
| "loss": 1.2193, |
| "step": 1090 |
| }, |
| { |
| "epoch": 0.036366666666666665, |
| "grad_norm": 6.728276252746582, |
| "learning_rate": 3e-06, |
| "loss": 1.2005, |
| "step": 1091 |
| }, |
| { |
| "epoch": 0.0364, |
| "grad_norm": 6.475564479827881, |
| "learning_rate": 3e-06, |
| "loss": 1.1893, |
| "step": 1092 |
| }, |
| { |
| "epoch": 0.03643333333333333, |
| "grad_norm": 6.202358245849609, |
| "learning_rate": 3e-06, |
| "loss": 1.1557, |
| "step": 1093 |
| }, |
| { |
| "epoch": 0.03646666666666667, |
| "grad_norm": 5.867295265197754, |
| "learning_rate": 3e-06, |
| "loss": 1.1439, |
| "step": 1094 |
| }, |
| { |
| "epoch": 0.0365, |
| "grad_norm": 5.2547736167907715, |
| "learning_rate": 3e-06, |
| "loss": 1.1129, |
| "step": 1095 |
| }, |
| { |
| "epoch": 0.036533333333333334, |
| "grad_norm": 4.81318473815918, |
| "learning_rate": 3e-06, |
| "loss": 1.0675, |
| "step": 1096 |
| }, |
| { |
| "completion_length": 249.875, |
| "epoch": 0.036566666666666664, |
| "grad_norm": 0.2811627984046936, |
| "learning_rate": 3e-06, |
| "loss": 0.1117, |
| "reward": 0.125, |
| "reward_std": 0.22360679507255554, |
| "rewards/correctness_reward_func_math": 0.125, |
| "step": 1097, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0366, |
| "grad_norm": 0.27520275115966797, |
| "learning_rate": 3e-06, |
| "loss": 0.1111, |
| "step": 1098 |
| }, |
| { |
| "epoch": 0.03663333333333333, |
| "grad_norm": 0.2788986563682556, |
| "learning_rate": 3e-06, |
| "loss": 0.1112, |
| "step": 1099 |
| }, |
| { |
| "epoch": 0.03666666666666667, |
| "grad_norm": 0.25667765736579895, |
| "learning_rate": 3e-06, |
| "loss": 0.1087, |
| "step": 1100 |
| }, |
| { |
| "epoch": 0.0367, |
| "grad_norm": 0.2332039773464203, |
| "learning_rate": 3e-06, |
| "loss": 0.1084, |
| "step": 1101 |
| }, |
| { |
| "epoch": 0.03673333333333333, |
| "grad_norm": 0.2040964961051941, |
| "learning_rate": 3e-06, |
| "loss": 0.1063, |
| "step": 1102 |
| }, |
| { |
| "epoch": 0.03676666666666667, |
| "grad_norm": 0.18265306949615479, |
| "learning_rate": 3e-06, |
| "loss": 0.1053, |
| "step": 1103 |
| }, |
| { |
| "epoch": 0.0368, |
| "grad_norm": 0.1694479137659073, |
| "learning_rate": 3e-06, |
| "loss": 0.1037, |
| "step": 1104 |
| }, |
| { |
| "completion_length": 242.15625, |
| "epoch": 0.036833333333333336, |
| "grad_norm": 0.09724559634923935, |
| "learning_rate": 3e-06, |
| "loss": 0.01, |
| "reward": 0.0, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.0, |
| "step": 1105, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.036866666666666666, |
| "grad_norm": 0.08962823450565338, |
| "learning_rate": 3e-06, |
| "loss": 0.0098, |
| "step": 1106 |
| }, |
| { |
| "epoch": 0.0369, |
| "grad_norm": 0.07348349690437317, |
| "learning_rate": 3e-06, |
| "loss": 0.0096, |
| "step": 1107 |
| }, |
| { |
| "epoch": 0.03693333333333333, |
| "grad_norm": 0.061543237417936325, |
| "learning_rate": 3e-06, |
| "loss": 0.0093, |
| "step": 1108 |
| }, |
| { |
| "epoch": 0.03696666666666667, |
| "grad_norm": 0.051598791033029556, |
| "learning_rate": 3e-06, |
| "loss": 0.0092, |
| "step": 1109 |
| }, |
| { |
| "epoch": 0.037, |
| "grad_norm": 0.03892870619893074, |
| "learning_rate": 3e-06, |
| "loss": 0.009, |
| "step": 1110 |
| }, |
| { |
| "epoch": 0.037033333333333335, |
| "grad_norm": 0.02800181321799755, |
| "learning_rate": 3e-06, |
| "loss": 0.009, |
| "step": 1111 |
| }, |
| { |
| "epoch": 0.037066666666666664, |
| "grad_norm": 0.03151165321469307, |
| "learning_rate": 3e-06, |
| "loss": 0.0089, |
| "step": 1112 |
| }, |
| { |
| "completion_length": 250.5, |
| "epoch": 0.0371, |
| "grad_norm": 0.09992168843746185, |
| "learning_rate": 3e-06, |
| "loss": 0.0379, |
| "reward": 0.03125, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.03125, |
| "step": 1113, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.03713333333333333, |
| "grad_norm": 0.0988185927271843, |
| "learning_rate": 3e-06, |
| "loss": 0.0375, |
| "step": 1114 |
| }, |
| { |
| "epoch": 0.03716666666666667, |
| "grad_norm": 0.08927521854639053, |
| "learning_rate": 3e-06, |
| "loss": 0.0378, |
| "step": 1115 |
| }, |
| { |
| "epoch": 0.0372, |
| "grad_norm": 0.08743361383676529, |
| "learning_rate": 3e-06, |
| "loss": 0.0377, |
| "step": 1116 |
| }, |
| { |
| "epoch": 0.037233333333333334, |
| "grad_norm": 0.08153776824474335, |
| "learning_rate": 3e-06, |
| "loss": 0.037, |
| "step": 1117 |
| }, |
| { |
| "epoch": 0.03726666666666666, |
| "grad_norm": 0.0721680298447609, |
| "learning_rate": 3e-06, |
| "loss": 0.0366, |
| "step": 1118 |
| }, |
| { |
| "epoch": 0.0373, |
| "grad_norm": 0.0869482010602951, |
| "learning_rate": 3e-06, |
| "loss": 0.0363, |
| "step": 1119 |
| }, |
| { |
| "epoch": 0.037333333333333336, |
| "grad_norm": 0.0678432360291481, |
| "learning_rate": 3e-06, |
| "loss": 0.0354, |
| "step": 1120 |
| }, |
| { |
| "completion_length": 246.9375, |
| "epoch": 0.037366666666666666, |
| "grad_norm": 0.21729013323783875, |
| "learning_rate": 3e-06, |
| "loss": 0.0419, |
| "reward": 0.46875, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.46875, |
| "step": 1121, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0374, |
| "grad_norm": 0.1865081638097763, |
| "learning_rate": 3e-06, |
| "loss": 0.0433, |
| "step": 1122 |
| }, |
| { |
| "epoch": 0.03743333333333333, |
| "grad_norm": 0.1818612962961197, |
| "learning_rate": 3e-06, |
| "loss": 0.0425, |
| "step": 1123 |
| }, |
| { |
| "epoch": 0.03746666666666667, |
| "grad_norm": 0.13701914250850677, |
| "learning_rate": 3e-06, |
| "loss": 0.0424, |
| "step": 1124 |
| }, |
| { |
| "epoch": 0.0375, |
| "grad_norm": 0.2519417703151703, |
| "learning_rate": 3e-06, |
| "loss": 0.0414, |
| "step": 1125 |
| }, |
| { |
| "epoch": 0.037533333333333335, |
| "grad_norm": 0.12741561233997345, |
| "learning_rate": 3e-06, |
| "loss": 0.043, |
| "step": 1126 |
| }, |
| { |
| "epoch": 0.037566666666666665, |
| "grad_norm": 0.1042279452085495, |
| "learning_rate": 3e-06, |
| "loss": 0.0416, |
| "step": 1127 |
| }, |
| { |
| "epoch": 0.0376, |
| "grad_norm": 0.1377723515033722, |
| "learning_rate": 3e-06, |
| "loss": 0.0403, |
| "step": 1128 |
| }, |
| { |
| "completion_length": 248.15625, |
| "epoch": 0.03763333333333333, |
| "grad_norm": 0.13222867250442505, |
| "learning_rate": 3e-06, |
| "loss": 0.0374, |
| "reward": 0.03125, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.03125, |
| "step": 1129, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.03766666666666667, |
| "grad_norm": 0.12638776004314423, |
| "learning_rate": 3e-06, |
| "loss": 0.0376, |
| "step": 1130 |
| }, |
| { |
| "epoch": 0.0377, |
| "grad_norm": 0.12123610079288483, |
| "learning_rate": 3e-06, |
| "loss": 0.0373, |
| "step": 1131 |
| }, |
| { |
| "epoch": 0.037733333333333334, |
| "grad_norm": 0.10618145018815994, |
| "learning_rate": 3e-06, |
| "loss": 0.0366, |
| "step": 1132 |
| }, |
| { |
| "epoch": 0.037766666666666664, |
| "grad_norm": 0.09220066666603088, |
| "learning_rate": 3e-06, |
| "loss": 0.0368, |
| "step": 1133 |
| }, |
| { |
| "epoch": 0.0378, |
| "grad_norm": 0.07213561236858368, |
| "learning_rate": 3e-06, |
| "loss": 0.0359, |
| "step": 1134 |
| }, |
| { |
| "epoch": 0.03783333333333333, |
| "grad_norm": 0.05881815403699875, |
| "learning_rate": 3e-06, |
| "loss": 0.0356, |
| "step": 1135 |
| }, |
| { |
| "epoch": 0.037866666666666667, |
| "grad_norm": 0.06986034661531448, |
| "learning_rate": 3e-06, |
| "loss": 0.0356, |
| "step": 1136 |
| }, |
| { |
| "completion_length": 245.5, |
| "epoch": 0.0379, |
| "grad_norm": 0.06382188946008682, |
| "learning_rate": 3e-06, |
| "loss": 0.009, |
| "reward": 0.5, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.5, |
| "step": 1137, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.03793333333333333, |
| "grad_norm": 0.06001730635762215, |
| "learning_rate": 3e-06, |
| "loss": 0.009, |
| "step": 1138 |
| }, |
| { |
| "epoch": 0.03796666666666667, |
| "grad_norm": 0.08677556365728378, |
| "learning_rate": 3e-06, |
| "loss": 0.0089, |
| "step": 1139 |
| }, |
| { |
| "epoch": 0.038, |
| "grad_norm": 0.05003276839852333, |
| "learning_rate": 3e-06, |
| "loss": 0.0085, |
| "step": 1140 |
| }, |
| { |
| "epoch": 0.038033333333333336, |
| "grad_norm": 0.04423540458083153, |
| "learning_rate": 3e-06, |
| "loss": 0.0085, |
| "step": 1141 |
| }, |
| { |
| "epoch": 0.038066666666666665, |
| "grad_norm": 0.038173891603946686, |
| "learning_rate": 3e-06, |
| "loss": 0.0083, |
| "step": 1142 |
| }, |
| { |
| "epoch": 0.0381, |
| "grad_norm": 0.03637485206127167, |
| "learning_rate": 3e-06, |
| "loss": 0.0082, |
| "step": 1143 |
| }, |
| { |
| "epoch": 0.03813333333333333, |
| "grad_norm": 0.03237668424844742, |
| "learning_rate": 3e-06, |
| "loss": 0.0081, |
| "step": 1144 |
| }, |
| { |
| "completion_length": 251.40625, |
| "epoch": 0.03816666666666667, |
| "grad_norm": 0.15508528053760529, |
| "learning_rate": 3e-06, |
| "loss": 0.0418, |
| "reward": 0.46875, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.46875, |
| "step": 1145, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0382, |
| "grad_norm": 0.14286530017852783, |
| "learning_rate": 3e-06, |
| "loss": 0.0411, |
| "step": 1146 |
| }, |
| { |
| "epoch": 0.038233333333333334, |
| "grad_norm": 0.13450852036476135, |
| "learning_rate": 3e-06, |
| "loss": 0.041, |
| "step": 1147 |
| }, |
| { |
| "epoch": 0.038266666666666664, |
| "grad_norm": 0.09698207676410675, |
| "learning_rate": 3e-06, |
| "loss": 0.0402, |
| "step": 1148 |
| }, |
| { |
| "epoch": 0.0383, |
| "grad_norm": 0.10916008800268173, |
| "learning_rate": 3e-06, |
| "loss": 0.0396, |
| "step": 1149 |
| }, |
| { |
| "epoch": 0.03833333333333333, |
| "grad_norm": 0.11014330387115479, |
| "learning_rate": 3e-06, |
| "loss": 0.0393, |
| "step": 1150 |
| }, |
| { |
| "epoch": 0.03836666666666667, |
| "grad_norm": 0.09548075497150421, |
| "learning_rate": 3e-06, |
| "loss": 0.0384, |
| "step": 1151 |
| }, |
| { |
| "epoch": 0.0384, |
| "grad_norm": 0.10518888384103775, |
| "learning_rate": 3e-06, |
| "loss": 0.0379, |
| "step": 1152 |
| }, |
| { |
| "completion_length": 252.03125, |
| "epoch": 0.03843333333333333, |
| "grad_norm": 0.2809561789035797, |
| "learning_rate": 3e-06, |
| "loss": 0.1303, |
| "reward": 0.6875, |
| "reward_std": 0.25, |
| "rewards/correctness_reward_func_math": 0.6875, |
| "step": 1153, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.03846666666666667, |
| "grad_norm": 0.29885008931159973, |
| "learning_rate": 3e-06, |
| "loss": 0.1292, |
| "step": 1154 |
| }, |
| { |
| "epoch": 0.0385, |
| "grad_norm": 0.5217714905738831, |
| "learning_rate": 3e-06, |
| "loss": 0.1259, |
| "step": 1155 |
| }, |
| { |
| "epoch": 0.038533333333333336, |
| "grad_norm": 0.339626669883728, |
| "learning_rate": 3e-06, |
| "loss": 0.124, |
| "step": 1156 |
| }, |
| { |
| "epoch": 0.038566666666666666, |
| "grad_norm": 0.40646469593048096, |
| "learning_rate": 3e-06, |
| "loss": 0.1239, |
| "step": 1157 |
| }, |
| { |
| "epoch": 0.0386, |
| "grad_norm": 0.32586702704429626, |
| "learning_rate": 3e-06, |
| "loss": 0.1232, |
| "step": 1158 |
| }, |
| { |
| "epoch": 0.03863333333333333, |
| "grad_norm": 0.3826848268508911, |
| "learning_rate": 3e-06, |
| "loss": 0.1222, |
| "step": 1159 |
| }, |
| { |
| "epoch": 0.03866666666666667, |
| "grad_norm": 0.20624837279319763, |
| "learning_rate": 3e-06, |
| "loss": 0.1201, |
| "step": 1160 |
| }, |
| { |
| "completion_length": 255.875, |
| "epoch": 0.0387, |
| "grad_norm": 0.17041213810443878, |
| "learning_rate": 3e-06, |
| "loss": 0.0877, |
| "reward": 0.90625, |
| "reward_std": 0.20155644416809082, |
| "rewards/correctness_reward_func_math": 0.90625, |
| "step": 1161, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.038733333333333335, |
| "grad_norm": 0.1572151631116867, |
| "learning_rate": 3e-06, |
| "loss": 0.0869, |
| "step": 1162 |
| }, |
| { |
| "epoch": 0.038766666666666665, |
| "grad_norm": 0.1790526807308197, |
| "learning_rate": 3e-06, |
| "loss": 0.087, |
| "step": 1163 |
| }, |
| { |
| "epoch": 0.0388, |
| "grad_norm": 0.1576666533946991, |
| "learning_rate": 3e-06, |
| "loss": 0.0865, |
| "step": 1164 |
| }, |
| { |
| "epoch": 0.03883333333333333, |
| "grad_norm": 0.1885707825422287, |
| "learning_rate": 3e-06, |
| "loss": 0.0848, |
| "step": 1165 |
| }, |
| { |
| "epoch": 0.03886666666666667, |
| "grad_norm": 0.15056979656219482, |
| "learning_rate": 3e-06, |
| "loss": 0.0831, |
| "step": 1166 |
| }, |
| { |
| "epoch": 0.0389, |
| "grad_norm": 0.13065695762634277, |
| "learning_rate": 3e-06, |
| "loss": 0.0842, |
| "step": 1167 |
| }, |
| { |
| "epoch": 0.038933333333333334, |
| "grad_norm": 0.13578306138515472, |
| "learning_rate": 3e-06, |
| "loss": 0.0817, |
| "step": 1168 |
| }, |
| { |
| "completion_length": 247.46875, |
| "epoch": 0.03896666666666666, |
| "grad_norm": 0.1590975522994995, |
| "learning_rate": 3e-06, |
| "loss": 0.0662, |
| "reward": 0.5625, |
| "reward_std": 0.17078250646591187, |
| "rewards/correctness_reward_func_math": 0.5625, |
| "step": 1169, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.039, |
| "grad_norm": 0.15599462389945984, |
| "learning_rate": 3e-06, |
| "loss": 0.066, |
| "step": 1170 |
| }, |
| { |
| "epoch": 0.03903333333333334, |
| "grad_norm": 0.1564629226922989, |
| "learning_rate": 3e-06, |
| "loss": 0.0657, |
| "step": 1171 |
| }, |
| { |
| "epoch": 0.039066666666666666, |
| "grad_norm": 0.15594100952148438, |
| "learning_rate": 3e-06, |
| "loss": 0.0652, |
| "step": 1172 |
| }, |
| { |
| "epoch": 0.0391, |
| "grad_norm": 0.1474727988243103, |
| "learning_rate": 3e-06, |
| "loss": 0.064, |
| "step": 1173 |
| }, |
| { |
| "epoch": 0.03913333333333333, |
| "grad_norm": 0.1408667266368866, |
| "learning_rate": 3e-06, |
| "loss": 0.0636, |
| "step": 1174 |
| }, |
| { |
| "epoch": 0.03916666666666667, |
| "grad_norm": 0.14258000254631042, |
| "learning_rate": 3e-06, |
| "loss": 0.0625, |
| "step": 1175 |
| }, |
| { |
| "epoch": 0.0392, |
| "grad_norm": 0.13873790204524994, |
| "learning_rate": 3e-06, |
| "loss": 0.0617, |
| "step": 1176 |
| }, |
| { |
| "completion_length": 233.375, |
| "epoch": 0.039233333333333335, |
| "grad_norm": 0.09470241516828537, |
| "learning_rate": 3e-06, |
| "loss": 0.0068, |
| "reward": 0.0, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.0, |
| "step": 1177, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.039266666666666665, |
| "grad_norm": 0.07768533378839493, |
| "learning_rate": 3e-06, |
| "loss": 0.0067, |
| "step": 1178 |
| }, |
| { |
| "epoch": 0.0393, |
| "grad_norm": 0.07244566082954407, |
| "learning_rate": 3e-06, |
| "loss": 0.0068, |
| "step": 1179 |
| }, |
| { |
| "epoch": 0.03933333333333333, |
| "grad_norm": 0.06073782220482826, |
| "learning_rate": 3e-06, |
| "loss": 0.0065, |
| "step": 1180 |
| }, |
| { |
| "epoch": 0.03936666666666667, |
| "grad_norm": 0.07853775471448898, |
| "learning_rate": 3e-06, |
| "loss": 0.0065, |
| "step": 1181 |
| }, |
| { |
| "epoch": 0.0394, |
| "grad_norm": 0.06908097118139267, |
| "learning_rate": 3e-06, |
| "loss": 0.0065, |
| "step": 1182 |
| }, |
| { |
| "epoch": 0.039433333333333334, |
| "grad_norm": 0.05858816206455231, |
| "learning_rate": 3e-06, |
| "loss": 0.0063, |
| "step": 1183 |
| }, |
| { |
| "epoch": 0.039466666666666664, |
| "grad_norm": 0.04564308747649193, |
| "learning_rate": 3e-06, |
| "loss": 0.0061, |
| "step": 1184 |
| }, |
| { |
| "completion_length": 248.59375, |
| "epoch": 0.0395, |
| "grad_norm": 0.7837366461753845, |
| "learning_rate": 3e-06, |
| "loss": 0.2616, |
| "reward": 0.46875, |
| "reward_std": 0.5061737298965454, |
| "rewards/correctness_reward_func_math": 0.46875, |
| "step": 1185, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.03953333333333333, |
| "grad_norm": 0.729447603225708, |
| "learning_rate": 3e-06, |
| "loss": 0.2606, |
| "step": 1186 |
| }, |
| { |
| "epoch": 0.03956666666666667, |
| "grad_norm": 0.7528496384620667, |
| "learning_rate": 3e-06, |
| "loss": 0.2581, |
| "step": 1187 |
| }, |
| { |
| "epoch": 0.0396, |
| "grad_norm": 0.7421455979347229, |
| "learning_rate": 3e-06, |
| "loss": 0.2531, |
| "step": 1188 |
| }, |
| { |
| "epoch": 0.03963333333333333, |
| "grad_norm": 0.6383472681045532, |
| "learning_rate": 3e-06, |
| "loss": 0.2497, |
| "step": 1189 |
| }, |
| { |
| "epoch": 0.03966666666666667, |
| "grad_norm": 0.6820692420005798, |
| "learning_rate": 3e-06, |
| "loss": 0.2481, |
| "step": 1190 |
| }, |
| { |
| "epoch": 0.0397, |
| "grad_norm": 0.6194692254066467, |
| "learning_rate": 3e-06, |
| "loss": 0.2426, |
| "step": 1191 |
| }, |
| { |
| "epoch": 0.039733333333333336, |
| "grad_norm": 0.6068683862686157, |
| "learning_rate": 3e-06, |
| "loss": 0.2398, |
| "step": 1192 |
| }, |
| { |
| "completion_length": 251.59375, |
| "epoch": 0.039766666666666665, |
| "grad_norm": 0.06570769101381302, |
| "learning_rate": 3e-06, |
| "loss": 0.0069, |
| "reward": 0.0, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.0, |
| "step": 1193, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.0398, |
| "grad_norm": 0.06815807521343231, |
| "learning_rate": 3e-06, |
| "loss": 0.0068, |
| "step": 1194 |
| }, |
| { |
| "epoch": 0.03983333333333333, |
| "grad_norm": 0.060357313603162766, |
| "learning_rate": 3e-06, |
| "loss": 0.0067, |
| "step": 1195 |
| }, |
| { |
| "epoch": 0.03986666666666667, |
| "grad_norm": 0.05609077587723732, |
| "learning_rate": 3e-06, |
| "loss": 0.0066, |
| "step": 1196 |
| }, |
| { |
| "epoch": 0.0399, |
| "grad_norm": 0.04564317688345909, |
| "learning_rate": 3e-06, |
| "loss": 0.0063, |
| "step": 1197 |
| }, |
| { |
| "epoch": 0.039933333333333335, |
| "grad_norm": 0.03556285426020622, |
| "learning_rate": 3e-06, |
| "loss": 0.0061, |
| "step": 1198 |
| }, |
| { |
| "epoch": 0.039966666666666664, |
| "grad_norm": 0.038435716181993484, |
| "learning_rate": 3e-06, |
| "loss": 0.0061, |
| "step": 1199 |
| }, |
| { |
| "epoch": 0.04, |
| "grad_norm": 0.02613815851509571, |
| "learning_rate": 3e-06, |
| "loss": 0.006, |
| "step": 1200 |
| }, |
| { |
| "completion_length": 253.8125, |
| "epoch": 0.04003333333333333, |
| "grad_norm": 0.12683774530887604, |
| "learning_rate": 3e-06, |
| "loss": 0.0836, |
| "reward": 0.40625, |
| "reward_std": 0.20155644416809082, |
| "rewards/correctness_reward_func_math": 0.40625, |
| "step": 1201, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.04006666666666667, |
| "grad_norm": 0.13124971091747284, |
| "learning_rate": 3e-06, |
| "loss": 0.0833, |
| "step": 1202 |
| }, |
| { |
| "epoch": 0.0401, |
| "grad_norm": 0.12949474155902863, |
| "learning_rate": 3e-06, |
| "loss": 0.0818, |
| "step": 1203 |
| }, |
| { |
| "epoch": 0.04013333333333333, |
| "grad_norm": 0.13979212939739227, |
| "learning_rate": 3e-06, |
| "loss": 0.0824, |
| "step": 1204 |
| }, |
| { |
| "epoch": 0.04016666666666667, |
| "grad_norm": 0.13219134509563446, |
| "learning_rate": 3e-06, |
| "loss": 0.0809, |
| "step": 1205 |
| }, |
| { |
| "epoch": 0.0402, |
| "grad_norm": 0.12553533911705017, |
| "learning_rate": 3e-06, |
| "loss": 0.0802, |
| "step": 1206 |
| }, |
| { |
| "epoch": 0.040233333333333336, |
| "grad_norm": 0.12410596013069153, |
| "learning_rate": 3e-06, |
| "loss": 0.0797, |
| "step": 1207 |
| }, |
| { |
| "epoch": 0.040266666666666666, |
| "grad_norm": 0.12662915885448456, |
| "learning_rate": 3e-06, |
| "loss": 0.079, |
| "step": 1208 |
| }, |
| { |
| "completion_length": 204.84375, |
| "epoch": 0.0403, |
| "grad_norm": 0.17810280621051788, |
| "learning_rate": 3e-06, |
| "loss": 0.0525, |
| "reward": 0.03125, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.03125, |
| "step": 1209, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.04033333333333333, |
| "grad_norm": 0.17428863048553467, |
| "learning_rate": 3e-06, |
| "loss": 0.0526, |
| "step": 1210 |
| }, |
| { |
| "epoch": 0.04036666666666667, |
| "grad_norm": 0.17163105309009552, |
| "learning_rate": 3e-06, |
| "loss": 0.0523, |
| "step": 1211 |
| }, |
| { |
| "epoch": 0.0404, |
| "grad_norm": 0.17285925149917603, |
| "learning_rate": 3e-06, |
| "loss": 0.0516, |
| "step": 1212 |
| }, |
| { |
| "epoch": 0.040433333333333335, |
| "grad_norm": 0.1694248616695404, |
| "learning_rate": 3e-06, |
| "loss": 0.0506, |
| "step": 1213 |
| }, |
| { |
| "epoch": 0.040466666666666665, |
| "grad_norm": 0.16183939576148987, |
| "learning_rate": 3e-06, |
| "loss": 0.0502, |
| "step": 1214 |
| }, |
| { |
| "epoch": 0.0405, |
| "grad_norm": 0.15943589806556702, |
| "learning_rate": 3e-06, |
| "loss": 0.0492, |
| "step": 1215 |
| }, |
| { |
| "epoch": 0.04053333333333333, |
| "grad_norm": 0.15363821387290955, |
| "learning_rate": 3e-06, |
| "loss": 0.0485, |
| "step": 1216 |
| }, |
| { |
| "completion_length": 252.59375, |
| "epoch": 0.04056666666666667, |
| "grad_norm": 0.22539129853248596, |
| "learning_rate": 3e-06, |
| "loss": 0.1314, |
| "reward": 0.28125, |
| "reward_std": 0.2561737596988678, |
| "rewards/correctness_reward_func_math": 0.28125, |
| "step": 1217, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0406, |
| "grad_norm": 0.21028558909893036, |
| "learning_rate": 3e-06, |
| "loss": 0.1311, |
| "step": 1218 |
| }, |
| { |
| "epoch": 0.040633333333333334, |
| "grad_norm": 0.2075134664773941, |
| "learning_rate": 3e-06, |
| "loss": 0.1292, |
| "step": 1219 |
| }, |
| { |
| "epoch": 0.04066666666666666, |
| "grad_norm": 0.20712244510650635, |
| "learning_rate": 3e-06, |
| "loss": 0.1279, |
| "step": 1220 |
| }, |
| { |
| "epoch": 0.0407, |
| "grad_norm": 0.20241022109985352, |
| "learning_rate": 3e-06, |
| "loss": 0.128, |
| "step": 1221 |
| }, |
| { |
| "epoch": 0.04073333333333334, |
| "grad_norm": 0.1900181621313095, |
| "learning_rate": 3e-06, |
| "loss": 0.1272, |
| "step": 1222 |
| }, |
| { |
| "epoch": 0.040766666666666666, |
| "grad_norm": 0.17713408172130585, |
| "learning_rate": 3e-06, |
| "loss": 0.1256, |
| "step": 1223 |
| }, |
| { |
| "epoch": 0.0408, |
| "grad_norm": 0.1898873895406723, |
| "learning_rate": 3e-06, |
| "loss": 0.1236, |
| "step": 1224 |
| }, |
| { |
| "completion_length": 232.46875, |
| "epoch": 0.04083333333333333, |
| "grad_norm": 0.2911894917488098, |
| "learning_rate": 3e-06, |
| "loss": 0.0463, |
| "reward": 0.03125, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.03125, |
| "step": 1225, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.04086666666666667, |
| "grad_norm": 0.2735547721385956, |
| "learning_rate": 3e-06, |
| "loss": 0.0449, |
| "step": 1226 |
| }, |
| { |
| "epoch": 0.0409, |
| "grad_norm": 0.23644503951072693, |
| "learning_rate": 3e-06, |
| "loss": 0.0434, |
| "step": 1227 |
| }, |
| { |
| "epoch": 0.040933333333333335, |
| "grad_norm": 0.302605003118515, |
| "learning_rate": 3e-06, |
| "loss": 0.0447, |
| "step": 1228 |
| }, |
| { |
| "epoch": 0.040966666666666665, |
| "grad_norm": 0.20925043523311615, |
| "learning_rate": 3e-06, |
| "loss": 0.0417, |
| "step": 1229 |
| }, |
| { |
| "epoch": 0.041, |
| "grad_norm": 0.20531818270683289, |
| "learning_rate": 3e-06, |
| "loss": 0.0414, |
| "step": 1230 |
| }, |
| { |
| "epoch": 0.04103333333333333, |
| "grad_norm": 0.1333693563938141, |
| "learning_rate": 3e-06, |
| "loss": 0.0392, |
| "step": 1231 |
| }, |
| { |
| "epoch": 0.04106666666666667, |
| "grad_norm": 0.14160728454589844, |
| "learning_rate": 3e-06, |
| "loss": 0.0404, |
| "step": 1232 |
| }, |
| { |
| "completion_length": 231.21875, |
| "epoch": 0.0411, |
| "grad_norm": 0.23780308663845062, |
| "learning_rate": 3e-06, |
| "loss": 0.0716, |
| "reward": 0.0625, |
| "reward_std": 0.25, |
| "rewards/correctness_reward_func_math": 0.0625, |
| "step": 1233, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.041133333333333334, |
| "grad_norm": 0.1875021904706955, |
| "learning_rate": 3e-06, |
| "loss": 0.0722, |
| "step": 1234 |
| }, |
| { |
| "epoch": 0.041166666666666664, |
| "grad_norm": 0.18207892775535583, |
| "learning_rate": 3e-06, |
| "loss": 0.0745, |
| "step": 1235 |
| }, |
| { |
| "epoch": 0.0412, |
| "grad_norm": 0.17320051789283752, |
| "learning_rate": 3e-06, |
| "loss": 0.0701, |
| "step": 1236 |
| }, |
| { |
| "epoch": 0.04123333333333333, |
| "grad_norm": 0.7105273604393005, |
| "learning_rate": 3e-06, |
| "loss": 0.0716, |
| "step": 1237 |
| }, |
| { |
| "epoch": 0.04126666666666667, |
| "grad_norm": 0.5314026474952698, |
| "learning_rate": 3e-06, |
| "loss": 0.0689, |
| "step": 1238 |
| }, |
| { |
| "epoch": 0.0413, |
| "grad_norm": 0.17269432544708252, |
| "learning_rate": 3e-06, |
| "loss": 0.0679, |
| "step": 1239 |
| }, |
| { |
| "epoch": 0.04133333333333333, |
| "grad_norm": 0.15828640758991241, |
| "learning_rate": 3e-06, |
| "loss": 0.068, |
| "step": 1240 |
| }, |
| { |
| "completion_length": 248.25, |
| "epoch": 0.04136666666666667, |
| "grad_norm": 0.19831602275371552, |
| "learning_rate": 3e-06, |
| "loss": 0.1809, |
| "reward": 0.21875, |
| "reward_std": 0.4101392924785614, |
| "rewards/correctness_reward_func_math": 0.21875, |
| "step": 1241, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.0414, |
| "grad_norm": 0.20271098613739014, |
| "learning_rate": 3e-06, |
| "loss": 0.1804, |
| "step": 1242 |
| }, |
| { |
| "epoch": 0.041433333333333336, |
| "grad_norm": 0.1865813434123993, |
| "learning_rate": 3e-06, |
| "loss": 0.1783, |
| "step": 1243 |
| }, |
| { |
| "epoch": 0.041466666666666666, |
| "grad_norm": 0.18555627763271332, |
| "learning_rate": 3e-06, |
| "loss": 0.1783, |
| "step": 1244 |
| }, |
| { |
| "epoch": 0.0415, |
| "grad_norm": 0.17374183237552643, |
| "learning_rate": 3e-06, |
| "loss": 0.1771, |
| "step": 1245 |
| }, |
| { |
| "epoch": 0.04153333333333333, |
| "grad_norm": 0.1896713674068451, |
| "learning_rate": 3e-06, |
| "loss": 0.1777, |
| "step": 1246 |
| }, |
| { |
| "epoch": 0.04156666666666667, |
| "grad_norm": 0.17510639131069183, |
| "learning_rate": 3e-06, |
| "loss": 0.1755, |
| "step": 1247 |
| }, |
| { |
| "epoch": 0.0416, |
| "grad_norm": 0.1834803968667984, |
| "learning_rate": 3e-06, |
| "loss": 0.1756, |
| "step": 1248 |
| }, |
| { |
| "completion_length": 243.09375, |
| "epoch": 0.041633333333333335, |
| "grad_norm": 0.08111850172281265, |
| "learning_rate": 3e-06, |
| "loss": 0.0074, |
| "reward": 0.5, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.5, |
| "step": 1249, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.041666666666666664, |
| "grad_norm": 0.07085826247930527, |
| "learning_rate": 3e-06, |
| "loss": 0.0073, |
| "step": 1250 |
| }, |
| { |
| "epoch": 0.0417, |
| "grad_norm": 0.07034741342067719, |
| "learning_rate": 3e-06, |
| "loss": 0.0072, |
| "step": 1251 |
| }, |
| { |
| "epoch": 0.04173333333333333, |
| "grad_norm": 0.05835133418440819, |
| "learning_rate": 3e-06, |
| "loss": 0.007, |
| "step": 1252 |
| }, |
| { |
| "epoch": 0.04176666666666667, |
| "grad_norm": 0.03952647000551224, |
| "learning_rate": 3e-06, |
| "loss": 0.007, |
| "step": 1253 |
| }, |
| { |
| "epoch": 0.0418, |
| "grad_norm": 0.027786627411842346, |
| "learning_rate": 3e-06, |
| "loss": 0.0068, |
| "step": 1254 |
| }, |
| { |
| "epoch": 0.041833333333333333, |
| "grad_norm": 0.020669469609856606, |
| "learning_rate": 3e-06, |
| "loss": 0.0068, |
| "step": 1255 |
| }, |
| { |
| "epoch": 0.04186666666666667, |
| "grad_norm": 0.017302891239523888, |
| "learning_rate": 3e-06, |
| "loss": 0.0067, |
| "step": 1256 |
| }, |
| { |
| "completion_length": 251.0625, |
| "epoch": 0.0419, |
| "grad_norm": 0.24360023438930511, |
| "learning_rate": 3e-06, |
| "loss": 0.1382, |
| "reward": 0.75, |
| "reward_std": 0.25819888710975647, |
| "rewards/correctness_reward_func_math": 0.75, |
| "step": 1257, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.041933333333333336, |
| "grad_norm": 0.2754175066947937, |
| "learning_rate": 3e-06, |
| "loss": 0.137, |
| "step": 1258 |
| }, |
| { |
| "epoch": 0.041966666666666666, |
| "grad_norm": 0.24558553099632263, |
| "learning_rate": 3e-06, |
| "loss": 0.1376, |
| "step": 1259 |
| }, |
| { |
| "epoch": 0.042, |
| "grad_norm": 0.26455336809158325, |
| "learning_rate": 3e-06, |
| "loss": 0.1378, |
| "step": 1260 |
| }, |
| { |
| "epoch": 0.04203333333333333, |
| "grad_norm": 0.24498197436332703, |
| "learning_rate": 3e-06, |
| "loss": 0.1368, |
| "step": 1261 |
| }, |
| { |
| "epoch": 0.04206666666666667, |
| "grad_norm": 0.22113963961601257, |
| "learning_rate": 3e-06, |
| "loss": 0.1338, |
| "step": 1262 |
| }, |
| { |
| "epoch": 0.0421, |
| "grad_norm": 0.22764645516872406, |
| "learning_rate": 3e-06, |
| "loss": 0.1321, |
| "step": 1263 |
| }, |
| { |
| "epoch": 0.042133333333333335, |
| "grad_norm": 0.21630293130874634, |
| "learning_rate": 3e-06, |
| "loss": 0.1312, |
| "step": 1264 |
| }, |
| { |
| "completion_length": 250.15625, |
| "epoch": 0.042166666666666665, |
| "grad_norm": 0.23653137683868408, |
| "learning_rate": 3e-06, |
| "loss": 0.1027, |
| "reward": 0.90625, |
| "reward_std": 0.20155644416809082, |
| "rewards/correctness_reward_func_math": 0.90625, |
| "step": 1265, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0422, |
| "grad_norm": 0.18874193727970123, |
| "learning_rate": 3e-06, |
| "loss": 0.1017, |
| "step": 1266 |
| }, |
| { |
| "epoch": 0.04223333333333333, |
| "grad_norm": 0.1894417703151703, |
| "learning_rate": 3e-06, |
| "loss": 0.102, |
| "step": 1267 |
| }, |
| { |
| "epoch": 0.04226666666666667, |
| "grad_norm": 0.1736340969800949, |
| "learning_rate": 3e-06, |
| "loss": 0.1011, |
| "step": 1268 |
| }, |
| { |
| "epoch": 0.0423, |
| "grad_norm": 0.16614238917827606, |
| "learning_rate": 3e-06, |
| "loss": 0.0988, |
| "step": 1269 |
| }, |
| { |
| "epoch": 0.042333333333333334, |
| "grad_norm": 0.15588539838790894, |
| "learning_rate": 3e-06, |
| "loss": 0.0977, |
| "step": 1270 |
| }, |
| { |
| "epoch": 0.042366666666666664, |
| "grad_norm": 0.18824079632759094, |
| "learning_rate": 3e-06, |
| "loss": 0.097, |
| "step": 1271 |
| }, |
| { |
| "epoch": 0.0424, |
| "grad_norm": 0.16305284202098846, |
| "learning_rate": 3e-06, |
| "loss": 0.0962, |
| "step": 1272 |
| }, |
| { |
| "completion_length": 236.25, |
| "epoch": 0.04243333333333334, |
| "grad_norm": 0.10276592522859573, |
| "learning_rate": 3e-06, |
| "loss": 0.0438, |
| "reward": 0.03125, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.03125, |
| "step": 1273, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.042466666666666666, |
| "grad_norm": 0.10065162926912308, |
| "learning_rate": 3e-06, |
| "loss": 0.0442, |
| "step": 1274 |
| }, |
| { |
| "epoch": 0.0425, |
| "grad_norm": 0.10048094391822815, |
| "learning_rate": 3e-06, |
| "loss": 0.0434, |
| "step": 1275 |
| }, |
| { |
| "epoch": 0.04253333333333333, |
| "grad_norm": 0.09218808263540268, |
| "learning_rate": 3e-06, |
| "loss": 0.0433, |
| "step": 1276 |
| }, |
| { |
| "epoch": 0.04256666666666667, |
| "grad_norm": 0.08327342569828033, |
| "learning_rate": 3e-06, |
| "loss": 0.043, |
| "step": 1277 |
| }, |
| { |
| "epoch": 0.0426, |
| "grad_norm": 0.090260811150074, |
| "learning_rate": 3e-06, |
| "loss": 0.0425, |
| "step": 1278 |
| }, |
| { |
| "epoch": 0.042633333333333336, |
| "grad_norm": 0.10080470144748688, |
| "learning_rate": 3e-06, |
| "loss": 0.042, |
| "step": 1279 |
| }, |
| { |
| "epoch": 0.042666666666666665, |
| "grad_norm": 0.06978421658277512, |
| "learning_rate": 3e-06, |
| "loss": 0.041, |
| "step": 1280 |
| }, |
| { |
| "completion_length": 233.09375, |
| "epoch": 0.0427, |
| "grad_norm": 0.15625745058059692, |
| "learning_rate": 3e-06, |
| "loss": 0.1367, |
| "reward": 0.28125, |
| "reward_std": 0.2561737596988678, |
| "rewards/correctness_reward_func_math": 0.28125, |
| "step": 1281, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.04273333333333333, |
| "grad_norm": 0.14208756387233734, |
| "learning_rate": 3e-06, |
| "loss": 0.1366, |
| "step": 1282 |
| }, |
| { |
| "epoch": 0.04276666666666667, |
| "grad_norm": 0.1476888656616211, |
| "learning_rate": 3e-06, |
| "loss": 0.1363, |
| "step": 1283 |
| }, |
| { |
| "epoch": 0.0428, |
| "grad_norm": 0.1662600338459015, |
| "learning_rate": 3e-06, |
| "loss": 0.1352, |
| "step": 1284 |
| }, |
| { |
| "epoch": 0.042833333333333334, |
| "grad_norm": 0.11616342514753342, |
| "learning_rate": 3e-06, |
| "loss": 0.1358, |
| "step": 1285 |
| }, |
| { |
| "epoch": 0.042866666666666664, |
| "grad_norm": 0.1286487728357315, |
| "learning_rate": 3e-06, |
| "loss": 0.1346, |
| "step": 1286 |
| }, |
| { |
| "epoch": 0.0429, |
| "grad_norm": 0.1190117672085762, |
| "learning_rate": 3e-06, |
| "loss": 0.1344, |
| "step": 1287 |
| }, |
| { |
| "epoch": 0.04293333333333333, |
| "grad_norm": 0.1148218885064125, |
| "learning_rate": 3e-06, |
| "loss": 0.1331, |
| "step": 1288 |
| }, |
| { |
| "completion_length": 249.0, |
| "epoch": 0.04296666666666667, |
| "grad_norm": 0.2881479859352112, |
| "learning_rate": 3e-06, |
| "loss": 0.091, |
| "reward": 0.46875, |
| "reward_std": 0.29578250646591187, |
| "rewards/correctness_reward_func_math": 0.46875, |
| "step": 1289, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.043, |
| "grad_norm": 0.2850145995616913, |
| "learning_rate": 3e-06, |
| "loss": 0.09, |
| "step": 1290 |
| }, |
| { |
| "epoch": 0.04303333333333333, |
| "grad_norm": 0.2833481431007385, |
| "learning_rate": 3e-06, |
| "loss": 0.0902, |
| "step": 1291 |
| }, |
| { |
| "epoch": 0.04306666666666667, |
| "grad_norm": 0.25467443466186523, |
| "learning_rate": 3e-06, |
| "loss": 0.0882, |
| "step": 1292 |
| }, |
| { |
| "epoch": 0.0431, |
| "grad_norm": 0.23497824370861053, |
| "learning_rate": 3e-06, |
| "loss": 0.0874, |
| "step": 1293 |
| }, |
| { |
| "epoch": 0.043133333333333336, |
| "grad_norm": 0.218675896525383, |
| "learning_rate": 3e-06, |
| "loss": 0.0853, |
| "step": 1294 |
| }, |
| { |
| "epoch": 0.043166666666666666, |
| "grad_norm": 0.19636178016662598, |
| "learning_rate": 3e-06, |
| "loss": 0.0845, |
| "step": 1295 |
| }, |
| { |
| "epoch": 0.0432, |
| "grad_norm": 0.17459912598133087, |
| "learning_rate": 3e-06, |
| "loss": 0.0831, |
| "step": 1296 |
| }, |
| { |
| "completion_length": 255.96875, |
| "epoch": 0.04323333333333333, |
| "grad_norm": 0.06534198671579361, |
| "learning_rate": 3e-06, |
| "loss": 0.0052, |
| "reward": 0.0, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.0, |
| "step": 1297, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.04326666666666667, |
| "grad_norm": 0.06812389940023422, |
| "learning_rate": 3e-06, |
| "loss": 0.0053, |
| "step": 1298 |
| }, |
| { |
| "epoch": 0.0433, |
| "grad_norm": 0.05845356360077858, |
| "learning_rate": 3e-06, |
| "loss": 0.0051, |
| "step": 1299 |
| }, |
| { |
| "epoch": 0.043333333333333335, |
| "grad_norm": 0.054101575165987015, |
| "learning_rate": 3e-06, |
| "loss": 0.0049, |
| "step": 1300 |
| }, |
| { |
| "epoch": 0.043366666666666664, |
| "grad_norm": 0.05138677358627319, |
| "learning_rate": 3e-06, |
| "loss": 0.0048, |
| "step": 1301 |
| }, |
| { |
| "epoch": 0.0434, |
| "grad_norm": 0.04004233703017235, |
| "learning_rate": 3e-06, |
| "loss": 0.0046, |
| "step": 1302 |
| }, |
| { |
| "epoch": 0.04343333333333333, |
| "grad_norm": 0.039354074746370316, |
| "learning_rate": 3e-06, |
| "loss": 0.0045, |
| "step": 1303 |
| }, |
| { |
| "epoch": 0.04346666666666667, |
| "grad_norm": 0.02462739497423172, |
| "learning_rate": 3e-06, |
| "loss": 0.0043, |
| "step": 1304 |
| }, |
| { |
| "completion_length": 255.5625, |
| "epoch": 0.0435, |
| "grad_norm": 0.07814393937587738, |
| "learning_rate": 3e-06, |
| "loss": 0.0051, |
| "reward": 0.5, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.5, |
| "step": 1305, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.043533333333333334, |
| "grad_norm": 0.07192434370517731, |
| "learning_rate": 3e-06, |
| "loss": 0.0049, |
| "step": 1306 |
| }, |
| { |
| "epoch": 0.04356666666666666, |
| "grad_norm": 0.03712638095021248, |
| "learning_rate": 3e-06, |
| "loss": 0.0047, |
| "step": 1307 |
| }, |
| { |
| "epoch": 0.0436, |
| "grad_norm": 0.032275207340717316, |
| "learning_rate": 3e-06, |
| "loss": 0.0045, |
| "step": 1308 |
| }, |
| { |
| "epoch": 0.043633333333333336, |
| "grad_norm": 0.019034771248698235, |
| "learning_rate": 3e-06, |
| "loss": 0.0044, |
| "step": 1309 |
| }, |
| { |
| "epoch": 0.043666666666666666, |
| "grad_norm": 0.027677353471517563, |
| "learning_rate": 3e-06, |
| "loss": 0.0045, |
| "step": 1310 |
| }, |
| { |
| "epoch": 0.0437, |
| "grad_norm": 0.03792901337146759, |
| "learning_rate": 3e-06, |
| "loss": 0.0045, |
| "step": 1311 |
| }, |
| { |
| "epoch": 0.04373333333333333, |
| "grad_norm": 0.039650484919548035, |
| "learning_rate": 3e-06, |
| "loss": 0.0045, |
| "step": 1312 |
| }, |
| { |
| "completion_length": 253.6875, |
| "epoch": 0.04376666666666667, |
| "grad_norm": 0.16964580118656158, |
| "learning_rate": 3e-06, |
| "loss": 0.0644, |
| "reward": 0.9375, |
| "reward_std": 0.17078250646591187, |
| "rewards/correctness_reward_func_math": 0.9375, |
| "step": 1313, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0438, |
| "grad_norm": 0.18767298758029938, |
| "learning_rate": 3e-06, |
| "loss": 0.0641, |
| "step": 1314 |
| }, |
| { |
| "epoch": 0.043833333333333335, |
| "grad_norm": 0.14583227038383484, |
| "learning_rate": 3e-06, |
| "loss": 0.0635, |
| "step": 1315 |
| }, |
| { |
| "epoch": 0.043866666666666665, |
| "grad_norm": 0.21094247698783875, |
| "learning_rate": 3e-06, |
| "loss": 0.0636, |
| "step": 1316 |
| }, |
| { |
| "epoch": 0.0439, |
| "grad_norm": 0.09995721280574799, |
| "learning_rate": 3e-06, |
| "loss": 0.0631, |
| "step": 1317 |
| }, |
| { |
| "epoch": 0.04393333333333333, |
| "grad_norm": 0.105036661028862, |
| "learning_rate": 3e-06, |
| "loss": 0.0626, |
| "step": 1318 |
| }, |
| { |
| "epoch": 0.04396666666666667, |
| "grad_norm": 0.14870531857013702, |
| "learning_rate": 3e-06, |
| "loss": 0.0623, |
| "step": 1319 |
| }, |
| { |
| "epoch": 0.044, |
| "grad_norm": 0.1270669549703598, |
| "learning_rate": 3e-06, |
| "loss": 0.0618, |
| "step": 1320 |
| }, |
| { |
| "completion_length": 246.4375, |
| "epoch": 0.044033333333333334, |
| "grad_norm": 0.05354250967502594, |
| "learning_rate": 3e-06, |
| "loss": 0.0081, |
| "reward": 0.0, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.0, |
| "step": 1321, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.044066666666666664, |
| "grad_norm": 0.05499863997101784, |
| "learning_rate": 3e-06, |
| "loss": 0.0082, |
| "step": 1322 |
| }, |
| { |
| "epoch": 0.0441, |
| "grad_norm": 0.08030810207128525, |
| "learning_rate": 3e-06, |
| "loss": 0.008, |
| "step": 1323 |
| }, |
| { |
| "epoch": 0.04413333333333333, |
| "grad_norm": 0.08405372500419617, |
| "learning_rate": 3e-06, |
| "loss": 0.008, |
| "step": 1324 |
| }, |
| { |
| "epoch": 0.04416666666666667, |
| "grad_norm": 0.17248214781284332, |
| "learning_rate": 3e-06, |
| "loss": 0.0082, |
| "step": 1325 |
| }, |
| { |
| "epoch": 0.0442, |
| "grad_norm": 0.1044781431555748, |
| "learning_rate": 3e-06, |
| "loss": 0.0079, |
| "step": 1326 |
| }, |
| { |
| "epoch": 0.04423333333333333, |
| "grad_norm": 0.05087236687541008, |
| "learning_rate": 3e-06, |
| "loss": 0.0077, |
| "step": 1327 |
| }, |
| { |
| "epoch": 0.04426666666666667, |
| "grad_norm": 0.09604676067829132, |
| "learning_rate": 3e-06, |
| "loss": 0.0076, |
| "step": 1328 |
| }, |
| { |
| "completion_length": 235.8125, |
| "epoch": 0.0443, |
| "grad_norm": 0.06466595083475113, |
| "learning_rate": 3e-06, |
| "loss": 0.0358, |
| "reward": 0.46875, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.46875, |
| "step": 1329, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.044333333333333336, |
| "grad_norm": 0.060752905905246735, |
| "learning_rate": 3e-06, |
| "loss": 0.0355, |
| "step": 1330 |
| }, |
| { |
| "epoch": 0.044366666666666665, |
| "grad_norm": 0.054815832525491714, |
| "learning_rate": 3e-06, |
| "loss": 0.0354, |
| "step": 1331 |
| }, |
| { |
| "epoch": 0.0444, |
| "grad_norm": 0.05278829112648964, |
| "learning_rate": 3e-06, |
| "loss": 0.0358, |
| "step": 1332 |
| }, |
| { |
| "epoch": 0.04443333333333333, |
| "grad_norm": 0.05578245222568512, |
| "learning_rate": 3e-06, |
| "loss": 0.0353, |
| "step": 1333 |
| }, |
| { |
| "epoch": 0.04446666666666667, |
| "grad_norm": 0.05509086698293686, |
| "learning_rate": 3e-06, |
| "loss": 0.0353, |
| "step": 1334 |
| }, |
| { |
| "epoch": 0.0445, |
| "grad_norm": 0.053300678730010986, |
| "learning_rate": 3e-06, |
| "loss": 0.0347, |
| "step": 1335 |
| }, |
| { |
| "epoch": 0.044533333333333334, |
| "grad_norm": 0.05789167433977127, |
| "learning_rate": 3e-06, |
| "loss": 0.0348, |
| "step": 1336 |
| }, |
| { |
| "completion_length": 253.5625, |
| "epoch": 0.044566666666666664, |
| "grad_norm": 0.03163622319698334, |
| "learning_rate": 3e-06, |
| "loss": 0.0028, |
| "reward": 0.5, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.5, |
| "step": 1337, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.0446, |
| "grad_norm": 0.030102279037237167, |
| "learning_rate": 3e-06, |
| "loss": 0.0026, |
| "step": 1338 |
| }, |
| { |
| "epoch": 0.04463333333333333, |
| "grad_norm": 0.027015862986445427, |
| "learning_rate": 3e-06, |
| "loss": 0.0026, |
| "step": 1339 |
| }, |
| { |
| "epoch": 0.04466666666666667, |
| "grad_norm": 0.06740744411945343, |
| "learning_rate": 3e-06, |
| "loss": 0.0026, |
| "step": 1340 |
| }, |
| { |
| "epoch": 0.0447, |
| "grad_norm": 0.019920874387025833, |
| "learning_rate": 3e-06, |
| "loss": 0.0025, |
| "step": 1341 |
| }, |
| { |
| "epoch": 0.04473333333333333, |
| "grad_norm": 0.025682078674435616, |
| "learning_rate": 3e-06, |
| "loss": 0.0025, |
| "step": 1342 |
| }, |
| { |
| "epoch": 0.04476666666666667, |
| "grad_norm": 0.01616826467216015, |
| "learning_rate": 3e-06, |
| "loss": 0.0025, |
| "step": 1343 |
| }, |
| { |
| "epoch": 0.0448, |
| "grad_norm": 0.01479593850672245, |
| "learning_rate": 3e-06, |
| "loss": 0.0023, |
| "step": 1344 |
| }, |
| { |
| "completion_length": 250.34375, |
| "epoch": 0.044833333333333336, |
| "grad_norm": 0.03634990006685257, |
| "learning_rate": 3e-06, |
| "loss": 0.0027, |
| "reward": 0.0, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.0, |
| "step": 1345, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.044866666666666666, |
| "grad_norm": 0.034966882318258286, |
| "learning_rate": 3e-06, |
| "loss": 0.0026, |
| "step": 1346 |
| }, |
| { |
| "epoch": 0.0449, |
| "grad_norm": 0.045817114412784576, |
| "learning_rate": 3e-06, |
| "loss": 0.0025, |
| "step": 1347 |
| }, |
| { |
| "epoch": 0.04493333333333333, |
| "grad_norm": 0.030671628192067146, |
| "learning_rate": 3e-06, |
| "loss": 0.0026, |
| "step": 1348 |
| }, |
| { |
| "epoch": 0.04496666666666667, |
| "grad_norm": 0.03673558682203293, |
| "learning_rate": 3e-06, |
| "loss": 0.0026, |
| "step": 1349 |
| }, |
| { |
| "epoch": 0.045, |
| "grad_norm": 0.03456122800707817, |
| "learning_rate": 3e-06, |
| "loss": 0.0025, |
| "step": 1350 |
| }, |
| { |
| "epoch": 0.045033333333333335, |
| "grad_norm": 0.017483094707131386, |
| "learning_rate": 3e-06, |
| "loss": 0.0023, |
| "step": 1351 |
| }, |
| { |
| "epoch": 0.045066666666666665, |
| "grad_norm": 0.026852404698729515, |
| "learning_rate": 3e-06, |
| "loss": 0.0024, |
| "step": 1352 |
| }, |
| { |
| "completion_length": 250.0, |
| "epoch": 0.0451, |
| "grad_norm": 0.024333864450454712, |
| "learning_rate": 3e-06, |
| "loss": 0.0029, |
| "reward": 0.5, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.5, |
| "step": 1353, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.04513333333333333, |
| "grad_norm": 0.024488670751452446, |
| "learning_rate": 3e-06, |
| "loss": 0.0029, |
| "step": 1354 |
| }, |
| { |
| "epoch": 0.04516666666666667, |
| "grad_norm": 0.021411802619695663, |
| "learning_rate": 3e-06, |
| "loss": 0.0028, |
| "step": 1355 |
| }, |
| { |
| "epoch": 0.0452, |
| "grad_norm": 0.01871107518672943, |
| "learning_rate": 3e-06, |
| "loss": 0.0027, |
| "step": 1356 |
| }, |
| { |
| "epoch": 0.045233333333333334, |
| "grad_norm": 0.02223369851708412, |
| "learning_rate": 3e-06, |
| "loss": 0.0027, |
| "step": 1357 |
| }, |
| { |
| "epoch": 0.04526666666666666, |
| "grad_norm": 0.017866289243102074, |
| "learning_rate": 3e-06, |
| "loss": 0.0027, |
| "step": 1358 |
| }, |
| { |
| "epoch": 0.0453, |
| "grad_norm": 0.016158122569322586, |
| "learning_rate": 3e-06, |
| "loss": 0.0027, |
| "step": 1359 |
| }, |
| { |
| "epoch": 0.04533333333333334, |
| "grad_norm": 0.01581208035349846, |
| "learning_rate": 3e-06, |
| "loss": 0.0026, |
| "step": 1360 |
| }, |
| { |
| "completion_length": 256.0, |
| "epoch": 0.045366666666666666, |
| "grad_norm": 0.061078209429979324, |
| "learning_rate": 3e-06, |
| "loss": 0.0345, |
| "reward": 0.46875, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.46875, |
| "step": 1361, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0454, |
| "grad_norm": 0.057114388793706894, |
| "learning_rate": 3e-06, |
| "loss": 0.0344, |
| "step": 1362 |
| }, |
| { |
| "epoch": 0.04543333333333333, |
| "grad_norm": 0.049756623804569244, |
| "learning_rate": 3e-06, |
| "loss": 0.0341, |
| "step": 1363 |
| }, |
| { |
| "epoch": 0.04546666666666667, |
| "grad_norm": 0.043655410408973694, |
| "learning_rate": 3e-06, |
| "loss": 0.034, |
| "step": 1364 |
| }, |
| { |
| "epoch": 0.0455, |
| "grad_norm": 0.039942942559719086, |
| "learning_rate": 3e-06, |
| "loss": 0.0342, |
| "step": 1365 |
| }, |
| { |
| "epoch": 0.045533333333333335, |
| "grad_norm": 0.045738015323877335, |
| "learning_rate": 3e-06, |
| "loss": 0.0334, |
| "step": 1366 |
| }, |
| { |
| "epoch": 0.045566666666666665, |
| "grad_norm": 0.04575677216053009, |
| "learning_rate": 3e-06, |
| "loss": 0.034, |
| "step": 1367 |
| }, |
| { |
| "epoch": 0.0456, |
| "grad_norm": 0.04586080461740494, |
| "learning_rate": 3e-06, |
| "loss": 0.0338, |
| "step": 1368 |
| }, |
| { |
| "completion_length": 254.28125, |
| "epoch": 0.04563333333333333, |
| "grad_norm": 0.029736308380961418, |
| "learning_rate": 3e-06, |
| "loss": 0.0025, |
| "reward": 0.0, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.0, |
| "step": 1369, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.04566666666666667, |
| "grad_norm": 0.027602357789874077, |
| "learning_rate": 3e-06, |
| "loss": 0.0025, |
| "step": 1370 |
| }, |
| { |
| "epoch": 0.0457, |
| "grad_norm": 0.02478105016052723, |
| "learning_rate": 3e-06, |
| "loss": 0.0025, |
| "step": 1371 |
| }, |
| { |
| "epoch": 0.045733333333333334, |
| "grad_norm": 0.0222614835947752, |
| "learning_rate": 3e-06, |
| "loss": 0.0024, |
| "step": 1372 |
| }, |
| { |
| "epoch": 0.045766666666666664, |
| "grad_norm": 0.02130105346441269, |
| "learning_rate": 3e-06, |
| "loss": 0.0024, |
| "step": 1373 |
| }, |
| { |
| "epoch": 0.0458, |
| "grad_norm": 0.018622133880853653, |
| "learning_rate": 3e-06, |
| "loss": 0.0023, |
| "step": 1374 |
| }, |
| { |
| "epoch": 0.04583333333333333, |
| "grad_norm": 0.017691385000944138, |
| "learning_rate": 3e-06, |
| "loss": 0.0023, |
| "step": 1375 |
| }, |
| { |
| "epoch": 0.04586666666666667, |
| "grad_norm": 0.012226966209709644, |
| "learning_rate": 3e-06, |
| "loss": 0.0023, |
| "step": 1376 |
| }, |
| { |
| "completion_length": 252.0625, |
| "epoch": 0.0459, |
| "grad_norm": 0.23014993965625763, |
| "learning_rate": 3e-06, |
| "loss": 0.1642, |
| "reward": 0.25, |
| "reward_std": 0.3811737596988678, |
| "rewards/correctness_reward_func_math": 0.25, |
| "step": 1377, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.04593333333333333, |
| "grad_norm": 0.23351915180683136, |
| "learning_rate": 3e-06, |
| "loss": 0.1649, |
| "step": 1378 |
| }, |
| { |
| "epoch": 0.04596666666666667, |
| "grad_norm": 0.2159285545349121, |
| "learning_rate": 3e-06, |
| "loss": 0.1618, |
| "step": 1379 |
| }, |
| { |
| "epoch": 0.046, |
| "grad_norm": 0.19856536388397217, |
| "learning_rate": 3e-06, |
| "loss": 0.1614, |
| "step": 1380 |
| }, |
| { |
| "epoch": 0.046033333333333336, |
| "grad_norm": 0.2136208862066269, |
| "learning_rate": 3e-06, |
| "loss": 0.1591, |
| "step": 1381 |
| }, |
| { |
| "epoch": 0.046066666666666665, |
| "grad_norm": 0.17231211066246033, |
| "learning_rate": 3e-06, |
| "loss": 0.1597, |
| "step": 1382 |
| }, |
| { |
| "epoch": 0.0461, |
| "grad_norm": 0.16108743846416473, |
| "learning_rate": 3e-06, |
| "loss": 0.1568, |
| "step": 1383 |
| }, |
| { |
| "epoch": 0.04613333333333333, |
| "grad_norm": 0.152730792760849, |
| "learning_rate": 3e-06, |
| "loss": 0.156, |
| "step": 1384 |
| }, |
| { |
| "completion_length": 239.6875, |
| "epoch": 0.04616666666666667, |
| "grad_norm": 0.3357212245464325, |
| "learning_rate": 3e-06, |
| "loss": 0.1978, |
| "reward": 0.34375, |
| "reward_std": 0.42695626616477966, |
| "rewards/correctness_reward_func_math": 0.34375, |
| "step": 1385, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.0462, |
| "grad_norm": 0.3073735535144806, |
| "learning_rate": 3e-06, |
| "loss": 0.197, |
| "step": 1386 |
| }, |
| { |
| "epoch": 0.046233333333333335, |
| "grad_norm": 0.332206666469574, |
| "learning_rate": 3e-06, |
| "loss": 0.1969, |
| "step": 1387 |
| }, |
| { |
| "epoch": 0.046266666666666664, |
| "grad_norm": 0.3077825903892517, |
| "learning_rate": 3e-06, |
| "loss": 0.1949, |
| "step": 1388 |
| }, |
| { |
| "epoch": 0.0463, |
| "grad_norm": 0.3089907169342041, |
| "learning_rate": 3e-06, |
| "loss": 0.1928, |
| "step": 1389 |
| }, |
| { |
| "epoch": 0.04633333333333333, |
| "grad_norm": 0.27995601296424866, |
| "learning_rate": 3e-06, |
| "loss": 0.1891, |
| "step": 1390 |
| }, |
| { |
| "epoch": 0.04636666666666667, |
| "grad_norm": 0.27766379714012146, |
| "learning_rate": 3e-06, |
| "loss": 0.1865, |
| "step": 1391 |
| }, |
| { |
| "epoch": 0.0464, |
| "grad_norm": 0.27810049057006836, |
| "learning_rate": 3e-06, |
| "loss": 0.1843, |
| "step": 1392 |
| }, |
| { |
| "completion_length": 252.71875, |
| "epoch": 0.04643333333333333, |
| "grad_norm": 0.11156199872493744, |
| "learning_rate": 3e-06, |
| "loss": 0.0616, |
| "reward": 0.5625, |
| "reward_std": 0.17078250646591187, |
| "rewards/correctness_reward_func_math": 0.5625, |
| "step": 1393, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.04646666666666667, |
| "grad_norm": 0.10402116924524307, |
| "learning_rate": 3e-06, |
| "loss": 0.0622, |
| "step": 1394 |
| }, |
| { |
| "epoch": 0.0465, |
| "grad_norm": 0.1066533550620079, |
| "learning_rate": 3e-06, |
| "loss": 0.062, |
| "step": 1395 |
| }, |
| { |
| "epoch": 0.046533333333333336, |
| "grad_norm": 0.09639869630336761, |
| "learning_rate": 3e-06, |
| "loss": 0.0605, |
| "step": 1396 |
| }, |
| { |
| "epoch": 0.046566666666666666, |
| "grad_norm": 0.08363742381334305, |
| "learning_rate": 3e-06, |
| "loss": 0.0606, |
| "step": 1397 |
| }, |
| { |
| "epoch": 0.0466, |
| "grad_norm": 0.07860293984413147, |
| "learning_rate": 3e-06, |
| "loss": 0.0603, |
| "step": 1398 |
| }, |
| { |
| "epoch": 0.04663333333333333, |
| "grad_norm": 0.06883884966373444, |
| "learning_rate": 3e-06, |
| "loss": 0.06, |
| "step": 1399 |
| }, |
| { |
| "epoch": 0.04666666666666667, |
| "grad_norm": 0.0731160119175911, |
| "learning_rate": 3e-06, |
| "loss": 0.0594, |
| "step": 1400 |
| }, |
| { |
| "completion_length": 255.34375, |
| "epoch": 0.0467, |
| "grad_norm": 0.19816578924655914, |
| "learning_rate": 3e-06, |
| "loss": 0.165, |
| "reward": 0.71875, |
| "reward_std": 0.38319888710975647, |
| "rewards/correctness_reward_func_math": 0.71875, |
| "step": 1401, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.046733333333333335, |
| "grad_norm": 0.18081672489643097, |
| "learning_rate": 3e-06, |
| "loss": 0.1645, |
| "step": 1402 |
| }, |
| { |
| "epoch": 0.046766666666666665, |
| "grad_norm": 0.18132072687149048, |
| "learning_rate": 3e-06, |
| "loss": 0.1634, |
| "step": 1403 |
| }, |
| { |
| "epoch": 0.0468, |
| "grad_norm": 0.19431625306606293, |
| "learning_rate": 3e-06, |
| "loss": 0.1625, |
| "step": 1404 |
| }, |
| { |
| "epoch": 0.04683333333333333, |
| "grad_norm": 0.20083452761173248, |
| "learning_rate": 3e-06, |
| "loss": 0.16, |
| "step": 1405 |
| }, |
| { |
| "epoch": 0.04686666666666667, |
| "grad_norm": 0.19956934452056885, |
| "learning_rate": 3e-06, |
| "loss": 0.1594, |
| "step": 1406 |
| }, |
| { |
| "epoch": 0.0469, |
| "grad_norm": 0.20804114639759064, |
| "learning_rate": 3e-06, |
| "loss": 0.1572, |
| "step": 1407 |
| }, |
| { |
| "epoch": 0.046933333333333334, |
| "grad_norm": 0.1582537144422531, |
| "learning_rate": 3e-06, |
| "loss": 0.1571, |
| "step": 1408 |
| }, |
| { |
| "completion_length": 184.34375, |
| "epoch": 0.046966666666666664, |
| "grad_norm": 17.14986228942871, |
| "learning_rate": 3e-06, |
| "loss": 1.3678, |
| "reward": 0.0, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.0, |
| "step": 1409, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.047, |
| "grad_norm": 17.014127731323242, |
| "learning_rate": 3e-06, |
| "loss": 1.3257, |
| "step": 1410 |
| }, |
| { |
| "epoch": 0.04703333333333334, |
| "grad_norm": 16.846445083618164, |
| "learning_rate": 3e-06, |
| "loss": 1.3173, |
| "step": 1411 |
| }, |
| { |
| "epoch": 0.047066666666666666, |
| "grad_norm": 15.994141578674316, |
| "learning_rate": 3e-06, |
| "loss": 1.2646, |
| "step": 1412 |
| }, |
| { |
| "epoch": 0.0471, |
| "grad_norm": 15.135900497436523, |
| "learning_rate": 3e-06, |
| "loss": 1.2001, |
| "step": 1413 |
| }, |
| { |
| "epoch": 0.04713333333333333, |
| "grad_norm": 13.971061706542969, |
| "learning_rate": 3e-06, |
| "loss": 1.1376, |
| "step": 1414 |
| }, |
| { |
| "epoch": 0.04716666666666667, |
| "grad_norm": 13.380853652954102, |
| "learning_rate": 3e-06, |
| "loss": 1.0751, |
| "step": 1415 |
| }, |
| { |
| "epoch": 0.0472, |
| "grad_norm": 12.541315078735352, |
| "learning_rate": 3e-06, |
| "loss": 0.996, |
| "step": 1416 |
| }, |
| { |
| "completion_length": 251.125, |
| "epoch": 0.047233333333333336, |
| "grad_norm": 0.24034744501113892, |
| "learning_rate": 3e-06, |
| "loss": 0.105, |
| "reward": 0.125, |
| "reward_std": 0.22360679507255554, |
| "rewards/correctness_reward_func_math": 0.125, |
| "step": 1417, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.047266666666666665, |
| "grad_norm": 0.16014638543128967, |
| "learning_rate": 3e-06, |
| "loss": 0.1045, |
| "step": 1418 |
| }, |
| { |
| "epoch": 0.0473, |
| "grad_norm": 0.18009281158447266, |
| "learning_rate": 3e-06, |
| "loss": 0.1042, |
| "step": 1419 |
| }, |
| { |
| "epoch": 0.04733333333333333, |
| "grad_norm": 0.1511000394821167, |
| "learning_rate": 3e-06, |
| "loss": 0.1038, |
| "step": 1420 |
| }, |
| { |
| "epoch": 0.04736666666666667, |
| "grad_norm": 0.1865791380405426, |
| "learning_rate": 3e-06, |
| "loss": 0.1032, |
| "step": 1421 |
| }, |
| { |
| "epoch": 0.0474, |
| "grad_norm": 0.16475264728069305, |
| "learning_rate": 3e-06, |
| "loss": 0.1032, |
| "step": 1422 |
| }, |
| { |
| "epoch": 0.047433333333333334, |
| "grad_norm": 0.14053814113140106, |
| "learning_rate": 3e-06, |
| "loss": 0.1014, |
| "step": 1423 |
| }, |
| { |
| "epoch": 0.047466666666666664, |
| "grad_norm": 0.1329917013645172, |
| "learning_rate": 3e-06, |
| "loss": 0.1006, |
| "step": 1424 |
| }, |
| { |
| "completion_length": 254.0, |
| "epoch": 0.0475, |
| "grad_norm": 0.20007120072841644, |
| "learning_rate": 3e-06, |
| "loss": 0.1167, |
| "reward": 0.34375, |
| "reward_std": 0.23935678601264954, |
| "rewards/correctness_reward_func_math": 0.34375, |
| "step": 1425, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.04753333333333333, |
| "grad_norm": 0.23590752482414246, |
| "learning_rate": 3e-06, |
| "loss": 0.1167, |
| "step": 1426 |
| }, |
| { |
| "epoch": 0.04756666666666667, |
| "grad_norm": 0.20339913666248322, |
| "learning_rate": 3e-06, |
| "loss": 0.1172, |
| "step": 1427 |
| }, |
| { |
| "epoch": 0.0476, |
| "grad_norm": 0.24539320170879364, |
| "learning_rate": 3e-06, |
| "loss": 0.1154, |
| "step": 1428 |
| }, |
| { |
| "epoch": 0.04763333333333333, |
| "grad_norm": 0.18829266726970673, |
| "learning_rate": 3e-06, |
| "loss": 0.1135, |
| "step": 1429 |
| }, |
| { |
| "epoch": 0.04766666666666667, |
| "grad_norm": 0.18865181505680084, |
| "learning_rate": 3e-06, |
| "loss": 0.1133, |
| "step": 1430 |
| }, |
| { |
| "epoch": 0.0477, |
| "grad_norm": 0.19600848853588104, |
| "learning_rate": 3e-06, |
| "loss": 0.1105, |
| "step": 1431 |
| }, |
| { |
| "epoch": 0.047733333333333336, |
| "grad_norm": 0.2188960462808609, |
| "learning_rate": 3e-06, |
| "loss": 0.1091, |
| "step": 1432 |
| }, |
| { |
| "completion_length": 249.6875, |
| "epoch": 0.047766666666666666, |
| "grad_norm": 0.14445124566555023, |
| "learning_rate": 3e-06, |
| "loss": 0.0848, |
| "reward": 0.09375, |
| "reward_std": 0.20155644416809082, |
| "rewards/correctness_reward_func_math": 0.09375, |
| "step": 1433, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0478, |
| "grad_norm": 0.14152617752552032, |
| "learning_rate": 3e-06, |
| "loss": 0.0839, |
| "step": 1434 |
| }, |
| { |
| "epoch": 0.04783333333333333, |
| "grad_norm": 0.12116482108831406, |
| "learning_rate": 3e-06, |
| "loss": 0.0837, |
| "step": 1435 |
| }, |
| { |
| "epoch": 0.04786666666666667, |
| "grad_norm": 0.12300706654787064, |
| "learning_rate": 3e-06, |
| "loss": 0.0826, |
| "step": 1436 |
| }, |
| { |
| "epoch": 0.0479, |
| "grad_norm": 0.09233906865119934, |
| "learning_rate": 3e-06, |
| "loss": 0.0826, |
| "step": 1437 |
| }, |
| { |
| "epoch": 0.047933333333333335, |
| "grad_norm": 0.0907946228981018, |
| "learning_rate": 3e-06, |
| "loss": 0.0822, |
| "step": 1438 |
| }, |
| { |
| "epoch": 0.047966666666666664, |
| "grad_norm": 0.0836271345615387, |
| "learning_rate": 3e-06, |
| "loss": 0.0822, |
| "step": 1439 |
| }, |
| { |
| "epoch": 0.048, |
| "grad_norm": 0.0965438261628151, |
| "learning_rate": 3e-06, |
| "loss": 0.0806, |
| "step": 1440 |
| }, |
| { |
| "completion_length": 254.75, |
| "epoch": 0.04803333333333333, |
| "grad_norm": 0.11104796081781387, |
| "learning_rate": 3e-06, |
| "loss": 0.0406, |
| "reward": 0.46875, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.46875, |
| "step": 1441, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.04806666666666667, |
| "grad_norm": 0.0933348760008812, |
| "learning_rate": 3e-06, |
| "loss": 0.0402, |
| "step": 1442 |
| }, |
| { |
| "epoch": 0.0481, |
| "grad_norm": 0.08195942640304565, |
| "learning_rate": 3e-06, |
| "loss": 0.0403, |
| "step": 1443 |
| }, |
| { |
| "epoch": 0.048133333333333334, |
| "grad_norm": 0.07299939543008804, |
| "learning_rate": 3e-06, |
| "loss": 0.0394, |
| "step": 1444 |
| }, |
| { |
| "epoch": 0.04816666666666667, |
| "grad_norm": 0.09467977285385132, |
| "learning_rate": 3e-06, |
| "loss": 0.0394, |
| "step": 1445 |
| }, |
| { |
| "epoch": 0.0482, |
| "grad_norm": 0.06709664314985275, |
| "learning_rate": 3e-06, |
| "loss": 0.0397, |
| "step": 1446 |
| }, |
| { |
| "epoch": 0.048233333333333336, |
| "grad_norm": 0.0602833554148674, |
| "learning_rate": 3e-06, |
| "loss": 0.0386, |
| "step": 1447 |
| }, |
| { |
| "epoch": 0.048266666666666666, |
| "grad_norm": 0.06221834942698479, |
| "learning_rate": 3e-06, |
| "loss": 0.0385, |
| "step": 1448 |
| }, |
| { |
| "completion_length": 254.1875, |
| "epoch": 0.0483, |
| "grad_norm": 0.06285559386014938, |
| "learning_rate": 3e-06, |
| "loss": 0.0063, |
| "reward": 0.0, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.0, |
| "step": 1449, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.04833333333333333, |
| "grad_norm": 0.060872673988342285, |
| "learning_rate": 3e-06, |
| "loss": 0.0062, |
| "step": 1450 |
| }, |
| { |
| "epoch": 0.04836666666666667, |
| "grad_norm": 0.050539351999759674, |
| "learning_rate": 3e-06, |
| "loss": 0.006, |
| "step": 1451 |
| }, |
| { |
| "epoch": 0.0484, |
| "grad_norm": 0.04205344617366791, |
| "learning_rate": 3e-06, |
| "loss": 0.0058, |
| "step": 1452 |
| }, |
| { |
| "epoch": 0.048433333333333335, |
| "grad_norm": 0.04059898480772972, |
| "learning_rate": 3e-06, |
| "loss": 0.0058, |
| "step": 1453 |
| }, |
| { |
| "epoch": 0.048466666666666665, |
| "grad_norm": 0.033937305212020874, |
| "learning_rate": 3e-06, |
| "loss": 0.0056, |
| "step": 1454 |
| }, |
| { |
| "epoch": 0.0485, |
| "grad_norm": 0.02262023463845253, |
| "learning_rate": 3e-06, |
| "loss": 0.0055, |
| "step": 1455 |
| }, |
| { |
| "epoch": 0.04853333333333333, |
| "grad_norm": 0.021515004336833954, |
| "learning_rate": 3e-06, |
| "loss": 0.0054, |
| "step": 1456 |
| }, |
| { |
| "completion_length": 246.8125, |
| "epoch": 0.04856666666666667, |
| "grad_norm": 0.2971879541873932, |
| "learning_rate": 3e-06, |
| "loss": 0.1358, |
| "reward": 0.28125, |
| "reward_std": 0.2561737596988678, |
| "rewards/correctness_reward_func_math": 0.28125, |
| "step": 1457, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0486, |
| "grad_norm": 0.2692025303840637, |
| "learning_rate": 3e-06, |
| "loss": 0.134, |
| "step": 1458 |
| }, |
| { |
| "epoch": 0.048633333333333334, |
| "grad_norm": 0.2372675985097885, |
| "learning_rate": 3e-06, |
| "loss": 0.1343, |
| "step": 1459 |
| }, |
| { |
| "epoch": 0.048666666666666664, |
| "grad_norm": 0.2359243929386139, |
| "learning_rate": 3e-06, |
| "loss": 0.1332, |
| "step": 1460 |
| }, |
| { |
| "epoch": 0.0487, |
| "grad_norm": 0.23707279562950134, |
| "learning_rate": 3e-06, |
| "loss": 0.1326, |
| "step": 1461 |
| }, |
| { |
| "epoch": 0.04873333333333333, |
| "grad_norm": 0.21997582912445068, |
| "learning_rate": 3e-06, |
| "loss": 0.1318, |
| "step": 1462 |
| }, |
| { |
| "epoch": 0.048766666666666666, |
| "grad_norm": 0.23907022178173065, |
| "learning_rate": 3e-06, |
| "loss": 0.1294, |
| "step": 1463 |
| }, |
| { |
| "epoch": 0.0488, |
| "grad_norm": 0.20247843861579895, |
| "learning_rate": 3e-06, |
| "loss": 0.1269, |
| "step": 1464 |
| }, |
| { |
| "completion_length": 242.5625, |
| "epoch": 0.04883333333333333, |
| "grad_norm": 0.06284216046333313, |
| "learning_rate": 3e-06, |
| "loss": 0.0067, |
| "reward": 0.0, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.0, |
| "step": 1465, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.04886666666666667, |
| "grad_norm": 0.05778082087635994, |
| "learning_rate": 3e-06, |
| "loss": 0.0067, |
| "step": 1466 |
| }, |
| { |
| "epoch": 0.0489, |
| "grad_norm": 0.054916925728321075, |
| "learning_rate": 3e-06, |
| "loss": 0.0066, |
| "step": 1467 |
| }, |
| { |
| "epoch": 0.048933333333333336, |
| "grad_norm": 0.04636479169130325, |
| "learning_rate": 3e-06, |
| "loss": 0.0065, |
| "step": 1468 |
| }, |
| { |
| "epoch": 0.048966666666666665, |
| "grad_norm": 0.04401632025837898, |
| "learning_rate": 3e-06, |
| "loss": 0.0064, |
| "step": 1469 |
| }, |
| { |
| "epoch": 0.049, |
| "grad_norm": 0.033022623509168625, |
| "learning_rate": 3e-06, |
| "loss": 0.0063, |
| "step": 1470 |
| }, |
| { |
| "epoch": 0.04903333333333333, |
| "grad_norm": 0.02671346813440323, |
| "learning_rate": 3e-06, |
| "loss": 0.0063, |
| "step": 1471 |
| }, |
| { |
| "epoch": 0.04906666666666667, |
| "grad_norm": 0.01854526810348034, |
| "learning_rate": 3e-06, |
| "loss": 0.0062, |
| "step": 1472 |
| }, |
| { |
| "completion_length": 253.875, |
| "epoch": 0.0491, |
| "grad_norm": 0.5275839567184448, |
| "learning_rate": 3e-06, |
| "loss": 0.168, |
| "reward": 0.3125, |
| "reward_std": 0.3811737596988678, |
| "rewards/correctness_reward_func_math": 0.3125, |
| "step": 1473, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.049133333333333334, |
| "grad_norm": 0.554264485836029, |
| "learning_rate": 3e-06, |
| "loss": 0.1668, |
| "step": 1474 |
| }, |
| { |
| "epoch": 0.049166666666666664, |
| "grad_norm": 0.5380470156669617, |
| "learning_rate": 3e-06, |
| "loss": 0.1671, |
| "step": 1475 |
| }, |
| { |
| "epoch": 0.0492, |
| "grad_norm": 0.4706686735153198, |
| "learning_rate": 3e-06, |
| "loss": 0.1622, |
| "step": 1476 |
| }, |
| { |
| "epoch": 0.04923333333333333, |
| "grad_norm": 0.4374648630619049, |
| "learning_rate": 3e-06, |
| "loss": 0.1606, |
| "step": 1477 |
| }, |
| { |
| "epoch": 0.04926666666666667, |
| "grad_norm": 0.41051018238067627, |
| "learning_rate": 3e-06, |
| "loss": 0.1563, |
| "step": 1478 |
| }, |
| { |
| "epoch": 0.0493, |
| "grad_norm": 0.39222389459609985, |
| "learning_rate": 3e-06, |
| "loss": 0.1524, |
| "step": 1479 |
| }, |
| { |
| "epoch": 0.04933333333333333, |
| "grad_norm": 0.3211610019207001, |
| "learning_rate": 3e-06, |
| "loss": 0.1523, |
| "step": 1480 |
| }, |
| { |
| "completion_length": 253.8125, |
| "epoch": 0.04936666666666667, |
| "grad_norm": 0.29773733019828796, |
| "learning_rate": 3e-06, |
| "loss": 0.1853, |
| "reward": 0.25, |
| "reward_std": 0.42078250646591187, |
| "rewards/correctness_reward_func_math": 0.25, |
| "step": 1481, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.0494, |
| "grad_norm": 0.29620200395584106, |
| "learning_rate": 3e-06, |
| "loss": 0.1842, |
| "step": 1482 |
| }, |
| { |
| "epoch": 0.049433333333333336, |
| "grad_norm": 0.30779269337654114, |
| "learning_rate": 3e-06, |
| "loss": 0.1847, |
| "step": 1483 |
| }, |
| { |
| "epoch": 0.049466666666666666, |
| "grad_norm": 0.2874087393283844, |
| "learning_rate": 3e-06, |
| "loss": 0.1822, |
| "step": 1484 |
| }, |
| { |
| "epoch": 0.0495, |
| "grad_norm": 0.29702794551849365, |
| "learning_rate": 3e-06, |
| "loss": 0.1808, |
| "step": 1485 |
| }, |
| { |
| "epoch": 0.04953333333333333, |
| "grad_norm": 0.2929514944553375, |
| "learning_rate": 3e-06, |
| "loss": 0.1791, |
| "step": 1486 |
| }, |
| { |
| "epoch": 0.04956666666666667, |
| "grad_norm": 0.27243390679359436, |
| "learning_rate": 3e-06, |
| "loss": 0.1763, |
| "step": 1487 |
| }, |
| { |
| "epoch": 0.0496, |
| "grad_norm": 0.26037123799324036, |
| "learning_rate": 3e-06, |
| "loss": 0.1742, |
| "step": 1488 |
| }, |
| { |
| "completion_length": 254.625, |
| "epoch": 0.049633333333333335, |
| "grad_norm": 0.18075157701969147, |
| "learning_rate": 3e-06, |
| "loss": 0.0345, |
| "reward": 0.53125, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.53125, |
| "step": 1489, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.049666666666666665, |
| "grad_norm": 0.20608097314834595, |
| "learning_rate": 3e-06, |
| "loss": 0.0349, |
| "step": 1490 |
| }, |
| { |
| "epoch": 0.0497, |
| "grad_norm": 0.1507950872182846, |
| "learning_rate": 3e-06, |
| "loss": 0.0348, |
| "step": 1491 |
| }, |
| { |
| "epoch": 0.04973333333333333, |
| "grad_norm": 0.11649920046329498, |
| "learning_rate": 3e-06, |
| "loss": 0.0348, |
| "step": 1492 |
| }, |
| { |
| "epoch": 0.04976666666666667, |
| "grad_norm": 0.14879146218299866, |
| "learning_rate": 3e-06, |
| "loss": 0.0342, |
| "step": 1493 |
| }, |
| { |
| "epoch": 0.0498, |
| "grad_norm": 0.11663413792848587, |
| "learning_rate": 3e-06, |
| "loss": 0.0338, |
| "step": 1494 |
| }, |
| { |
| "epoch": 0.049833333333333334, |
| "grad_norm": 0.14703652262687683, |
| "learning_rate": 3e-06, |
| "loss": 0.0335, |
| "step": 1495 |
| }, |
| { |
| "epoch": 0.04986666666666666, |
| "grad_norm": 0.13113050162792206, |
| "learning_rate": 3e-06, |
| "loss": 0.0329, |
| "step": 1496 |
| }, |
| { |
| "completion_length": 232.78125, |
| "epoch": 0.0499, |
| "grad_norm": 0.3216227889060974, |
| "learning_rate": 3e-06, |
| "loss": 0.1405, |
| "reward": 0.25, |
| "reward_std": 0.25819888710975647, |
| "rewards/correctness_reward_func_math": 0.25, |
| "step": 1497, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.049933333333333337, |
| "grad_norm": 0.3237127363681793, |
| "learning_rate": 3e-06, |
| "loss": 0.1405, |
| "step": 1498 |
| }, |
| { |
| "epoch": 0.049966666666666666, |
| "grad_norm": 0.3071592450141907, |
| "learning_rate": 3e-06, |
| "loss": 0.139, |
| "step": 1499 |
| }, |
| { |
| "epoch": 0.05, |
| "grad_norm": 0.3138082027435303, |
| "learning_rate": 3e-06, |
| "loss": 0.138, |
| "step": 1500 |
| }, |
| { |
| "epoch": 0.05003333333333333, |
| "grad_norm": 0.29736122488975525, |
| "learning_rate": 3e-06, |
| "loss": 0.1359, |
| "step": 1501 |
| }, |
| { |
| "epoch": 0.05006666666666667, |
| "grad_norm": 0.29749348759651184, |
| "learning_rate": 3e-06, |
| "loss": 0.1336, |
| "step": 1502 |
| }, |
| { |
| "epoch": 0.0501, |
| "grad_norm": 0.28787168860435486, |
| "learning_rate": 3e-06, |
| "loss": 0.1321, |
| "step": 1503 |
| }, |
| { |
| "epoch": 0.050133333333333335, |
| "grad_norm": 0.2753235697746277, |
| "learning_rate": 3e-06, |
| "loss": 0.1305, |
| "step": 1504 |
| }, |
| { |
| "completion_length": 244.75, |
| "epoch": 0.050166666666666665, |
| "grad_norm": 0.23533514142036438, |
| "learning_rate": 3e-06, |
| "loss": 0.1927, |
| "reward": 0.71875, |
| "reward_std": 0.42695626616477966, |
| "rewards/correctness_reward_func_math": 0.71875, |
| "step": 1505, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.0502, |
| "grad_norm": 0.22737225890159607, |
| "learning_rate": 3e-06, |
| "loss": 0.1914, |
| "step": 1506 |
| }, |
| { |
| "epoch": 0.05023333333333333, |
| "grad_norm": 0.21402603387832642, |
| "learning_rate": 3e-06, |
| "loss": 0.192, |
| "step": 1507 |
| }, |
| { |
| "epoch": 0.05026666666666667, |
| "grad_norm": 0.2249138206243515, |
| "learning_rate": 3e-06, |
| "loss": 0.1901, |
| "step": 1508 |
| }, |
| { |
| "epoch": 0.0503, |
| "grad_norm": 0.2024301439523697, |
| "learning_rate": 3e-06, |
| "loss": 0.1902, |
| "step": 1509 |
| }, |
| { |
| "epoch": 0.050333333333333334, |
| "grad_norm": 0.17059683799743652, |
| "learning_rate": 3e-06, |
| "loss": 0.1872, |
| "step": 1510 |
| }, |
| { |
| "epoch": 0.050366666666666664, |
| "grad_norm": 0.17103542387485504, |
| "learning_rate": 3e-06, |
| "loss": 0.1865, |
| "step": 1511 |
| }, |
| { |
| "epoch": 0.0504, |
| "grad_norm": 0.19049455225467682, |
| "learning_rate": 3e-06, |
| "loss": 0.1858, |
| "step": 1512 |
| }, |
| { |
| "completion_length": 248.96875, |
| "epoch": 0.05043333333333333, |
| "grad_norm": 0.27840203046798706, |
| "learning_rate": 3e-06, |
| "loss": 0.1325, |
| "reward": 0.1875, |
| "reward_std": 0.25, |
| "rewards/correctness_reward_func_math": 0.1875, |
| "step": 1513, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.05046666666666667, |
| "grad_norm": 0.35982492566108704, |
| "learning_rate": 3e-06, |
| "loss": 0.1324, |
| "step": 1514 |
| }, |
| { |
| "epoch": 0.0505, |
| "grad_norm": 0.28412455320358276, |
| "learning_rate": 3e-06, |
| "loss": 0.1318, |
| "step": 1515 |
| }, |
| { |
| "epoch": 0.05053333333333333, |
| "grad_norm": 0.30263611674308777, |
| "learning_rate": 3e-06, |
| "loss": 0.1303, |
| "step": 1516 |
| }, |
| { |
| "epoch": 0.05056666666666667, |
| "grad_norm": 0.2870819866657257, |
| "learning_rate": 3e-06, |
| "loss": 0.1289, |
| "step": 1517 |
| }, |
| { |
| "epoch": 0.0506, |
| "grad_norm": 0.2824283242225647, |
| "learning_rate": 3e-06, |
| "loss": 0.127, |
| "step": 1518 |
| }, |
| { |
| "epoch": 0.050633333333333336, |
| "grad_norm": 0.27163439989089966, |
| "learning_rate": 3e-06, |
| "loss": 0.1247, |
| "step": 1519 |
| }, |
| { |
| "epoch": 0.050666666666666665, |
| "grad_norm": 0.2753116190433502, |
| "learning_rate": 3e-06, |
| "loss": 0.1224, |
| "step": 1520 |
| }, |
| { |
| "completion_length": 235.28125, |
| "epoch": 0.0507, |
| "grad_norm": 0.1899942308664322, |
| "learning_rate": 3e-06, |
| "loss": 0.147, |
| "reward": 0.84375, |
| "reward_std": 0.34860679507255554, |
| "rewards/correctness_reward_func_math": 0.84375, |
| "step": 1521, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.05073333333333333, |
| "grad_norm": 0.18991850316524506, |
| "learning_rate": 3e-06, |
| "loss": 0.1455, |
| "step": 1522 |
| }, |
| { |
| "epoch": 0.05076666666666667, |
| "grad_norm": 0.1785658448934555, |
| "learning_rate": 3e-06, |
| "loss": 0.1449, |
| "step": 1523 |
| }, |
| { |
| "epoch": 0.0508, |
| "grad_norm": 0.16625156998634338, |
| "learning_rate": 3e-06, |
| "loss": 0.1446, |
| "step": 1524 |
| }, |
| { |
| "epoch": 0.050833333333333335, |
| "grad_norm": 0.21187733113765717, |
| "learning_rate": 3e-06, |
| "loss": 0.1433, |
| "step": 1525 |
| }, |
| { |
| "epoch": 0.050866666666666664, |
| "grad_norm": 0.16006319224834442, |
| "learning_rate": 3e-06, |
| "loss": 0.1435, |
| "step": 1526 |
| }, |
| { |
| "epoch": 0.0509, |
| "grad_norm": 0.17056898772716522, |
| "learning_rate": 3e-06, |
| "loss": 0.142, |
| "step": 1527 |
| }, |
| { |
| "epoch": 0.05093333333333333, |
| "grad_norm": 0.15811577439308167, |
| "learning_rate": 3e-06, |
| "loss": 0.1421, |
| "step": 1528 |
| }, |
| { |
| "completion_length": 183.53125, |
| "epoch": 0.05096666666666667, |
| "grad_norm": 5.379082679748535, |
| "learning_rate": 3e-06, |
| "loss": 0.7876, |
| "reward": 0.0, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.0, |
| "step": 1529, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.051, |
| "grad_norm": 5.294602870941162, |
| "learning_rate": 3e-06, |
| "loss": 0.7771, |
| "step": 1530 |
| }, |
| { |
| "epoch": 0.05103333333333333, |
| "grad_norm": 5.190073490142822, |
| "learning_rate": 3e-06, |
| "loss": 0.7721, |
| "step": 1531 |
| }, |
| { |
| "epoch": 0.05106666666666667, |
| "grad_norm": 5.567417144775391, |
| "learning_rate": 3e-06, |
| "loss": 0.7616, |
| "step": 1532 |
| }, |
| { |
| "epoch": 0.0511, |
| "grad_norm": 5.272940635681152, |
| "learning_rate": 3e-06, |
| "loss": 0.7372, |
| "step": 1533 |
| }, |
| { |
| "epoch": 0.051133333333333336, |
| "grad_norm": 4.963688850402832, |
| "learning_rate": 3e-06, |
| "loss": 0.7323, |
| "step": 1534 |
| }, |
| { |
| "epoch": 0.051166666666666666, |
| "grad_norm": 4.621523857116699, |
| "learning_rate": 3e-06, |
| "loss": 0.6942, |
| "step": 1535 |
| }, |
| { |
| "epoch": 0.0512, |
| "grad_norm": 4.537539005279541, |
| "learning_rate": 3e-06, |
| "loss": 0.6871, |
| "step": 1536 |
| }, |
| { |
| "completion_length": 200.28125, |
| "epoch": 0.05123333333333333, |
| "grad_norm": 3.9101438522338867, |
| "learning_rate": 3e-06, |
| "loss": 1.1122, |
| "reward": 0.09375, |
| "reward_std": 0.20155644416809082, |
| "rewards/correctness_reward_func_math": 0.09375, |
| "step": 1537, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.05126666666666667, |
| "grad_norm": 3.8600802421569824, |
| "learning_rate": 3e-06, |
| "loss": 1.1088, |
| "step": 1538 |
| }, |
| { |
| "epoch": 0.0513, |
| "grad_norm": 5.163720607757568, |
| "learning_rate": 3e-06, |
| "loss": 1.0825, |
| "step": 1539 |
| }, |
| { |
| "epoch": 0.051333333333333335, |
| "grad_norm": 6.1911773681640625, |
| "learning_rate": 3e-06, |
| "loss": 1.0641, |
| "step": 1540 |
| }, |
| { |
| "epoch": 0.051366666666666665, |
| "grad_norm": 3.343125820159912, |
| "learning_rate": 3e-06, |
| "loss": 1.0626, |
| "step": 1541 |
| }, |
| { |
| "epoch": 0.0514, |
| "grad_norm": 3.1478517055511475, |
| "learning_rate": 3e-06, |
| "loss": 1.0494, |
| "step": 1542 |
| }, |
| { |
| "epoch": 0.05143333333333333, |
| "grad_norm": 3.744682550430298, |
| "learning_rate": 3e-06, |
| "loss": 1.0292, |
| "step": 1543 |
| }, |
| { |
| "epoch": 0.05146666666666667, |
| "grad_norm": 2.912240505218506, |
| "learning_rate": 3e-06, |
| "loss": 1.0272, |
| "step": 1544 |
| }, |
| { |
| "completion_length": 248.21875, |
| "epoch": 0.0515, |
| "grad_norm": 0.2519960105419159, |
| "learning_rate": 3e-06, |
| "loss": 0.1992, |
| "reward": 0.65625, |
| "reward_std": 0.42695626616477966, |
| "rewards/correctness_reward_func_math": 0.65625, |
| "step": 1545, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.051533333333333334, |
| "grad_norm": 0.2561526298522949, |
| "learning_rate": 3e-06, |
| "loss": 0.1974, |
| "step": 1546 |
| }, |
| { |
| "epoch": 0.05156666666666666, |
| "grad_norm": 0.26231077313423157, |
| "learning_rate": 3e-06, |
| "loss": 0.1979, |
| "step": 1547 |
| }, |
| { |
| "epoch": 0.0516, |
| "grad_norm": 0.2676127851009369, |
| "learning_rate": 3e-06, |
| "loss": 0.1965, |
| "step": 1548 |
| }, |
| { |
| "epoch": 0.05163333333333334, |
| "grad_norm": 0.2702215909957886, |
| "learning_rate": 3e-06, |
| "loss": 0.196, |
| "step": 1549 |
| }, |
| { |
| "epoch": 0.051666666666666666, |
| "grad_norm": 0.26127076148986816, |
| "learning_rate": 3e-06, |
| "loss": 0.1951, |
| "step": 1550 |
| }, |
| { |
| "epoch": 0.0517, |
| "grad_norm": 0.27322623133659363, |
| "learning_rate": 3e-06, |
| "loss": 0.1939, |
| "step": 1551 |
| }, |
| { |
| "epoch": 0.05173333333333333, |
| "grad_norm": 0.2524160146713257, |
| "learning_rate": 3e-06, |
| "loss": 0.1936, |
| "step": 1552 |
| }, |
| { |
| "completion_length": 254.0, |
| "epoch": 0.05176666666666667, |
| "grad_norm": 0.2876618802547455, |
| "learning_rate": 3e-06, |
| "loss": 0.1027, |
| "reward": 0.375, |
| "reward_std": 0.22360679507255554, |
| "rewards/correctness_reward_func_math": 0.375, |
| "step": 1553, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0518, |
| "grad_norm": 0.2592063248157501, |
| "learning_rate": 3e-06, |
| "loss": 0.1043, |
| "step": 1554 |
| }, |
| { |
| "epoch": 0.051833333333333335, |
| "grad_norm": 0.29030370712280273, |
| "learning_rate": 3e-06, |
| "loss": 0.1016, |
| "step": 1555 |
| }, |
| { |
| "epoch": 0.051866666666666665, |
| "grad_norm": 0.2753410041332245, |
| "learning_rate": 3e-06, |
| "loss": 0.1, |
| "step": 1556 |
| }, |
| { |
| "epoch": 0.0519, |
| "grad_norm": 0.20868481695652008, |
| "learning_rate": 3e-06, |
| "loss": 0.1013, |
| "step": 1557 |
| }, |
| { |
| "epoch": 0.05193333333333333, |
| "grad_norm": 0.17180320620536804, |
| "learning_rate": 3e-06, |
| "loss": 0.0986, |
| "step": 1558 |
| }, |
| { |
| "epoch": 0.05196666666666667, |
| "grad_norm": 0.16166988015174866, |
| "learning_rate": 3e-06, |
| "loss": 0.0965, |
| "step": 1559 |
| }, |
| { |
| "epoch": 0.052, |
| "grad_norm": 0.19196717441082, |
| "learning_rate": 3e-06, |
| "loss": 0.0962, |
| "step": 1560 |
| }, |
| { |
| "completion_length": 242.1875, |
| "epoch": 0.052033333333333334, |
| "grad_norm": 0.28496232628822327, |
| "learning_rate": 3e-06, |
| "loss": 0.1717, |
| "reward": 0.25, |
| "reward_std": 0.3811737596988678, |
| "rewards/correctness_reward_func_math": 0.25, |
| "step": 1561, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.052066666666666664, |
| "grad_norm": 0.2808539867401123, |
| "learning_rate": 3e-06, |
| "loss": 0.1707, |
| "step": 1562 |
| }, |
| { |
| "epoch": 0.0521, |
| "grad_norm": 0.2739051878452301, |
| "learning_rate": 3e-06, |
| "loss": 0.1705, |
| "step": 1563 |
| }, |
| { |
| "epoch": 0.05213333333333333, |
| "grad_norm": 0.27784237265586853, |
| "learning_rate": 3e-06, |
| "loss": 0.1673, |
| "step": 1564 |
| }, |
| { |
| "epoch": 0.05216666666666667, |
| "grad_norm": 0.2698833644390106, |
| "learning_rate": 3e-06, |
| "loss": 0.1658, |
| "step": 1565 |
| }, |
| { |
| "epoch": 0.0522, |
| "grad_norm": 0.25611448287963867, |
| "learning_rate": 3e-06, |
| "loss": 0.1652, |
| "step": 1566 |
| }, |
| { |
| "epoch": 0.05223333333333333, |
| "grad_norm": 0.25798577070236206, |
| "learning_rate": 3e-06, |
| "loss": 0.1617, |
| "step": 1567 |
| }, |
| { |
| "epoch": 0.05226666666666667, |
| "grad_norm": 0.24130210280418396, |
| "learning_rate": 3e-06, |
| "loss": 0.1594, |
| "step": 1568 |
| }, |
| { |
| "completion_length": 255.15625, |
| "epoch": 0.0523, |
| "grad_norm": 0.3055150806903839, |
| "learning_rate": 3e-06, |
| "loss": 0.2688, |
| "reward": 0.46875, |
| "reward_std": 0.5143726468086243, |
| "rewards/correctness_reward_func_math": 0.46875, |
| "step": 1569, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.052333333333333336, |
| "grad_norm": 0.30249297618865967, |
| "learning_rate": 3e-06, |
| "loss": 0.2675, |
| "step": 1570 |
| }, |
| { |
| "epoch": 0.052366666666666666, |
| "grad_norm": 0.29845359921455383, |
| "learning_rate": 3e-06, |
| "loss": 0.2683, |
| "step": 1571 |
| }, |
| { |
| "epoch": 0.0524, |
| "grad_norm": 0.29230496287345886, |
| "learning_rate": 3e-06, |
| "loss": 0.2662, |
| "step": 1572 |
| }, |
| { |
| "epoch": 0.05243333333333333, |
| "grad_norm": 0.2750018835067749, |
| "learning_rate": 3e-06, |
| "loss": 0.2661, |
| "step": 1573 |
| }, |
| { |
| "epoch": 0.05246666666666667, |
| "grad_norm": 0.269535630941391, |
| "learning_rate": 3e-06, |
| "loss": 0.2654, |
| "step": 1574 |
| }, |
| { |
| "epoch": 0.0525, |
| "grad_norm": 0.28202304244041443, |
| "learning_rate": 3e-06, |
| "loss": 0.2622, |
| "step": 1575 |
| }, |
| { |
| "epoch": 0.052533333333333335, |
| "grad_norm": 0.24338462948799133, |
| "learning_rate": 3e-06, |
| "loss": 0.2604, |
| "step": 1576 |
| }, |
| { |
| "completion_length": 253.0625, |
| "epoch": 0.052566666666666664, |
| "grad_norm": 0.07899879664182663, |
| "learning_rate": 3e-06, |
| "loss": 0.0085, |
| "reward": 0.0, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.0, |
| "step": 1577, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.0526, |
| "grad_norm": 0.08809391409158707, |
| "learning_rate": 3e-06, |
| "loss": 0.0087, |
| "step": 1578 |
| }, |
| { |
| "epoch": 0.05263333333333333, |
| "grad_norm": 0.07725213468074799, |
| "learning_rate": 3e-06, |
| "loss": 0.0084, |
| "step": 1579 |
| }, |
| { |
| "epoch": 0.05266666666666667, |
| "grad_norm": 0.07352132350206375, |
| "learning_rate": 3e-06, |
| "loss": 0.0083, |
| "step": 1580 |
| }, |
| { |
| "epoch": 0.0527, |
| "grad_norm": 0.06681083887815475, |
| "learning_rate": 3e-06, |
| "loss": 0.0081, |
| "step": 1581 |
| }, |
| { |
| "epoch": 0.05273333333333333, |
| "grad_norm": 0.05827196314930916, |
| "learning_rate": 3e-06, |
| "loss": 0.0079, |
| "step": 1582 |
| }, |
| { |
| "epoch": 0.05276666666666667, |
| "grad_norm": 0.044709209352731705, |
| "learning_rate": 3e-06, |
| "loss": 0.0077, |
| "step": 1583 |
| }, |
| { |
| "epoch": 0.0528, |
| "grad_norm": 0.033734701573848724, |
| "learning_rate": 3e-06, |
| "loss": 0.0075, |
| "step": 1584 |
| }, |
| { |
| "completion_length": 252.375, |
| "epoch": 0.052833333333333336, |
| "grad_norm": 0.20026268064975739, |
| "learning_rate": 3e-06, |
| "loss": 0.0701, |
| "reward": 0.5625, |
| "reward_std": 0.17078250646591187, |
| "rewards/correctness_reward_func_math": 0.5625, |
| "step": 1585, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.052866666666666666, |
| "grad_norm": 0.18569020926952362, |
| "learning_rate": 3e-06, |
| "loss": 0.0701, |
| "step": 1586 |
| }, |
| { |
| "epoch": 0.0529, |
| "grad_norm": 0.16603229939937592, |
| "learning_rate": 3e-06, |
| "loss": 0.0691, |
| "step": 1587 |
| }, |
| { |
| "epoch": 0.05293333333333333, |
| "grad_norm": 0.17058143019676208, |
| "learning_rate": 3e-06, |
| "loss": 0.069, |
| "step": 1588 |
| }, |
| { |
| "epoch": 0.05296666666666667, |
| "grad_norm": 0.1553438901901245, |
| "learning_rate": 3e-06, |
| "loss": 0.0672, |
| "step": 1589 |
| }, |
| { |
| "epoch": 0.053, |
| "grad_norm": 0.151481032371521, |
| "learning_rate": 3e-06, |
| "loss": 0.0683, |
| "step": 1590 |
| }, |
| { |
| "epoch": 0.053033333333333335, |
| "grad_norm": 0.15485313534736633, |
| "learning_rate": 3e-06, |
| "loss": 0.0664, |
| "step": 1591 |
| }, |
| { |
| "epoch": 0.053066666666666665, |
| "grad_norm": 0.17105649411678314, |
| "learning_rate": 3e-06, |
| "loss": 0.0663, |
| "step": 1592 |
| }, |
| { |
| "completion_length": 238.0, |
| "epoch": 0.0531, |
| "grad_norm": 0.4432382583618164, |
| "learning_rate": 3e-06, |
| "loss": 0.243, |
| "reward": 0.5, |
| "reward_std": 0.4787135720252991, |
| "rewards/correctness_reward_func_math": 0.5, |
| "step": 1593, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.05313333333333333, |
| "grad_norm": 0.4461991786956787, |
| "learning_rate": 3e-06, |
| "loss": 0.2414, |
| "step": 1594 |
| }, |
| { |
| "epoch": 0.05316666666666667, |
| "grad_norm": 0.4520772099494934, |
| "learning_rate": 3e-06, |
| "loss": 0.2413, |
| "step": 1595 |
| }, |
| { |
| "epoch": 0.0532, |
| "grad_norm": 0.4452292323112488, |
| "learning_rate": 3e-06, |
| "loss": 0.2403, |
| "step": 1596 |
| }, |
| { |
| "epoch": 0.053233333333333334, |
| "grad_norm": 0.43045634031295776, |
| "learning_rate": 3e-06, |
| "loss": 0.2359, |
| "step": 1597 |
| }, |
| { |
| "epoch": 0.053266666666666664, |
| "grad_norm": 0.40069329738616943, |
| "learning_rate": 3e-06, |
| "loss": 0.2323, |
| "step": 1598 |
| }, |
| { |
| "epoch": 0.0533, |
| "grad_norm": 0.3801378607749939, |
| "learning_rate": 3e-06, |
| "loss": 0.2286, |
| "step": 1599 |
| }, |
| { |
| "epoch": 0.05333333333333334, |
| "grad_norm": 0.36563870310783386, |
| "learning_rate": 3e-06, |
| "loss": 0.2264, |
| "step": 1600 |
| }, |
| { |
| "completion_length": 233.03125, |
| "epoch": 0.053366666666666666, |
| "grad_norm": 0.19375073909759521, |
| "learning_rate": 3e-06, |
| "loss": 0.1065, |
| "reward": 0.40625, |
| "reward_std": 0.20155644416809082, |
| "rewards/correctness_reward_func_math": 0.40625, |
| "step": 1601, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0534, |
| "grad_norm": 0.18908612430095673, |
| "learning_rate": 3e-06, |
| "loss": 0.1057, |
| "step": 1602 |
| }, |
| { |
| "epoch": 0.05343333333333333, |
| "grad_norm": 0.18463055789470673, |
| "learning_rate": 3e-06, |
| "loss": 0.1052, |
| "step": 1603 |
| }, |
| { |
| "epoch": 0.05346666666666667, |
| "grad_norm": 0.1749989092350006, |
| "learning_rate": 3e-06, |
| "loss": 0.1043, |
| "step": 1604 |
| }, |
| { |
| "epoch": 0.0535, |
| "grad_norm": 0.17054888606071472, |
| "learning_rate": 3e-06, |
| "loss": 0.1026, |
| "step": 1605 |
| }, |
| { |
| "epoch": 0.053533333333333336, |
| "grad_norm": 0.15285414457321167, |
| "learning_rate": 3e-06, |
| "loss": 0.1008, |
| "step": 1606 |
| }, |
| { |
| "epoch": 0.053566666666666665, |
| "grad_norm": 0.1555665135383606, |
| "learning_rate": 3e-06, |
| "loss": 0.1002, |
| "step": 1607 |
| }, |
| { |
| "epoch": 0.0536, |
| "grad_norm": 0.13729426264762878, |
| "learning_rate": 3e-06, |
| "loss": 0.0987, |
| "step": 1608 |
| }, |
| { |
| "completion_length": 245.78125, |
| "epoch": 0.05363333333333333, |
| "grad_norm": 0.2621360123157501, |
| "learning_rate": 3e-06, |
| "loss": 0.1341, |
| "reward": 0.1875, |
| "reward_std": 0.25, |
| "rewards/correctness_reward_func_math": 0.1875, |
| "step": 1609, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.05366666666666667, |
| "grad_norm": 0.2306748926639557, |
| "learning_rate": 3e-06, |
| "loss": 0.1334, |
| "step": 1610 |
| }, |
| { |
| "epoch": 0.0537, |
| "grad_norm": 0.22244994342327118, |
| "learning_rate": 3e-06, |
| "loss": 0.1329, |
| "step": 1611 |
| }, |
| { |
| "epoch": 0.053733333333333334, |
| "grad_norm": 0.20417103171348572, |
| "learning_rate": 3e-06, |
| "loss": 0.1315, |
| "step": 1612 |
| }, |
| { |
| "epoch": 0.053766666666666664, |
| "grad_norm": 0.23233039677143097, |
| "learning_rate": 3e-06, |
| "loss": 0.1309, |
| "step": 1613 |
| }, |
| { |
| "epoch": 0.0538, |
| "grad_norm": 0.19430069625377655, |
| "learning_rate": 3e-06, |
| "loss": 0.13, |
| "step": 1614 |
| }, |
| { |
| "epoch": 0.05383333333333333, |
| "grad_norm": 0.20964951813220978, |
| "learning_rate": 3e-06, |
| "loss": 0.1288, |
| "step": 1615 |
| }, |
| { |
| "epoch": 0.05386666666666667, |
| "grad_norm": 0.23972201347351074, |
| "learning_rate": 3e-06, |
| "loss": 0.1265, |
| "step": 1616 |
| }, |
| { |
| "completion_length": 238.75, |
| "epoch": 0.0539, |
| "grad_norm": 0.2255379855632782, |
| "learning_rate": 3e-06, |
| "loss": 0.0763, |
| "reward": 0.5625, |
| "reward_std": 0.17078250646591187, |
| "rewards/correctness_reward_func_math": 0.5625, |
| "step": 1617, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.05393333333333333, |
| "grad_norm": 0.20867635309696198, |
| "learning_rate": 3e-06, |
| "loss": 0.0754, |
| "step": 1618 |
| }, |
| { |
| "epoch": 0.05396666666666667, |
| "grad_norm": 0.18960921466350555, |
| "learning_rate": 3e-06, |
| "loss": 0.0745, |
| "step": 1619 |
| }, |
| { |
| "epoch": 0.054, |
| "grad_norm": 0.16259737312793732, |
| "learning_rate": 3e-06, |
| "loss": 0.0726, |
| "step": 1620 |
| }, |
| { |
| "epoch": 0.054033333333333336, |
| "grad_norm": 0.15113703906536102, |
| "learning_rate": 3e-06, |
| "loss": 0.0725, |
| "step": 1621 |
| }, |
| { |
| "epoch": 0.054066666666666666, |
| "grad_norm": 0.1299036294221878, |
| "learning_rate": 3e-06, |
| "loss": 0.0708, |
| "step": 1622 |
| }, |
| { |
| "epoch": 0.0541, |
| "grad_norm": 0.1295892298221588, |
| "learning_rate": 3e-06, |
| "loss": 0.071, |
| "step": 1623 |
| }, |
| { |
| "epoch": 0.05413333333333333, |
| "grad_norm": 0.1408979594707489, |
| "learning_rate": 3e-06, |
| "loss": 0.0699, |
| "step": 1624 |
| }, |
| { |
| "completion_length": 228.53125, |
| "epoch": 0.05416666666666667, |
| "grad_norm": 0.21668359637260437, |
| "learning_rate": 3e-06, |
| "loss": 0.1526, |
| "reward": 0.25, |
| "reward_std": 0.25819888710975647, |
| "rewards/correctness_reward_func_math": 0.25, |
| "step": 1625, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0542, |
| "grad_norm": 0.20603559911251068, |
| "learning_rate": 3e-06, |
| "loss": 0.1505, |
| "step": 1626 |
| }, |
| { |
| "epoch": 0.054233333333333335, |
| "grad_norm": 0.1969224512577057, |
| "learning_rate": 3e-06, |
| "loss": 0.1501, |
| "step": 1627 |
| }, |
| { |
| "epoch": 0.054266666666666664, |
| "grad_norm": 0.24191619455814362, |
| "learning_rate": 3e-06, |
| "loss": 0.1502, |
| "step": 1628 |
| }, |
| { |
| "epoch": 0.0543, |
| "grad_norm": 0.22686970233917236, |
| "learning_rate": 3e-06, |
| "loss": 0.1495, |
| "step": 1629 |
| }, |
| { |
| "epoch": 0.05433333333333333, |
| "grad_norm": 0.18943332135677338, |
| "learning_rate": 3e-06, |
| "loss": 0.1483, |
| "step": 1630 |
| }, |
| { |
| "epoch": 0.05436666666666667, |
| "grad_norm": 0.2334376871585846, |
| "learning_rate": 3e-06, |
| "loss": 0.1443, |
| "step": 1631 |
| }, |
| { |
| "epoch": 0.0544, |
| "grad_norm": 0.2222411185503006, |
| "learning_rate": 3e-06, |
| "loss": 0.1437, |
| "step": 1632 |
| }, |
| { |
| "completion_length": 246.84375, |
| "epoch": 0.054433333333333334, |
| "grad_norm": 0.1527053862810135, |
| "learning_rate": 3e-06, |
| "loss": 0.0145, |
| "reward": 0.5, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.5, |
| "step": 1633, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.05446666666666666, |
| "grad_norm": 0.14784280955791473, |
| "learning_rate": 3e-06, |
| "loss": 0.0144, |
| "step": 1634 |
| }, |
| { |
| "epoch": 0.0545, |
| "grad_norm": 0.12617087364196777, |
| "learning_rate": 3e-06, |
| "loss": 0.0142, |
| "step": 1635 |
| }, |
| { |
| "epoch": 0.054533333333333336, |
| "grad_norm": 0.09969992935657501, |
| "learning_rate": 3e-06, |
| "loss": 0.014, |
| "step": 1636 |
| }, |
| { |
| "epoch": 0.054566666666666666, |
| "grad_norm": 0.08068403601646423, |
| "learning_rate": 3e-06, |
| "loss": 0.0137, |
| "step": 1637 |
| }, |
| { |
| "epoch": 0.0546, |
| "grad_norm": 0.04167131707072258, |
| "learning_rate": 3e-06, |
| "loss": 0.0134, |
| "step": 1638 |
| }, |
| { |
| "epoch": 0.05463333333333333, |
| "grad_norm": 0.042570121586322784, |
| "learning_rate": 3e-06, |
| "loss": 0.0134, |
| "step": 1639 |
| }, |
| { |
| "epoch": 0.05466666666666667, |
| "grad_norm": 0.059948425740003586, |
| "learning_rate": 3e-06, |
| "loss": 0.0135, |
| "step": 1640 |
| }, |
| { |
| "completion_length": 228.6875, |
| "epoch": 0.0547, |
| "grad_norm": 0.17177724838256836, |
| "learning_rate": 3e-06, |
| "loss": 0.1142, |
| "reward": 0.375, |
| "reward_std": 0.22360679507255554, |
| "rewards/correctness_reward_func_math": 0.375, |
| "step": 1641, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.054733333333333335, |
| "grad_norm": 0.17348991334438324, |
| "learning_rate": 3e-06, |
| "loss": 0.1137, |
| "step": 1642 |
| }, |
| { |
| "epoch": 0.054766666666666665, |
| "grad_norm": 0.1652490496635437, |
| "learning_rate": 3e-06, |
| "loss": 0.1134, |
| "step": 1643 |
| }, |
| { |
| "epoch": 0.0548, |
| "grad_norm": 0.16295836865901947, |
| "learning_rate": 3e-06, |
| "loss": 0.112, |
| "step": 1644 |
| }, |
| { |
| "epoch": 0.05483333333333333, |
| "grad_norm": 0.15881240367889404, |
| "learning_rate": 3e-06, |
| "loss": 0.1117, |
| "step": 1645 |
| }, |
| { |
| "epoch": 0.05486666666666667, |
| "grad_norm": 0.14986133575439453, |
| "learning_rate": 3e-06, |
| "loss": 0.1108, |
| "step": 1646 |
| }, |
| { |
| "epoch": 0.0549, |
| "grad_norm": 0.14981204271316528, |
| "learning_rate": 3e-06, |
| "loss": 0.1097, |
| "step": 1647 |
| }, |
| { |
| "epoch": 0.054933333333333334, |
| "grad_norm": 0.1459341198205948, |
| "learning_rate": 3e-06, |
| "loss": 0.1083, |
| "step": 1648 |
| }, |
| { |
| "completion_length": 239.5, |
| "epoch": 0.054966666666666664, |
| "grad_norm": 0.24271708726882935, |
| "learning_rate": 3e-06, |
| "loss": 0.0574, |
| "reward": 0.46875, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.46875, |
| "step": 1649, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.055, |
| "grad_norm": 0.2174004167318344, |
| "learning_rate": 3e-06, |
| "loss": 0.0569, |
| "step": 1650 |
| }, |
| { |
| "epoch": 0.05503333333333333, |
| "grad_norm": 0.18040905892848969, |
| "learning_rate": 3e-06, |
| "loss": 0.0558, |
| "step": 1651 |
| }, |
| { |
| "epoch": 0.05506666666666667, |
| "grad_norm": 0.137916699051857, |
| "learning_rate": 3e-06, |
| "loss": 0.055, |
| "step": 1652 |
| }, |
| { |
| "epoch": 0.0551, |
| "grad_norm": 0.11561326682567596, |
| "learning_rate": 3e-06, |
| "loss": 0.0545, |
| "step": 1653 |
| }, |
| { |
| "epoch": 0.05513333333333333, |
| "grad_norm": 0.10518098622560501, |
| "learning_rate": 3e-06, |
| "loss": 0.0539, |
| "step": 1654 |
| }, |
| { |
| "epoch": 0.05516666666666667, |
| "grad_norm": 0.11917734146118164, |
| "learning_rate": 3e-06, |
| "loss": 0.0529, |
| "step": 1655 |
| }, |
| { |
| "epoch": 0.0552, |
| "grad_norm": 0.13306376338005066, |
| "learning_rate": 3e-06, |
| "loss": 0.0521, |
| "step": 1656 |
| }, |
| { |
| "completion_length": 248.5, |
| "epoch": 0.055233333333333336, |
| "grad_norm": 0.951671838760376, |
| "learning_rate": 3e-06, |
| "loss": 0.1664, |
| "reward": 0.65625, |
| "reward_std": 0.375, |
| "rewards/correctness_reward_func_math": 0.65625, |
| "step": 1657, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.055266666666666665, |
| "grad_norm": 0.9794697165489197, |
| "learning_rate": 3e-06, |
| "loss": 0.1641, |
| "step": 1658 |
| }, |
| { |
| "epoch": 0.0553, |
| "grad_norm": 0.956179141998291, |
| "learning_rate": 3e-06, |
| "loss": 0.1623, |
| "step": 1659 |
| }, |
| { |
| "epoch": 0.05533333333333333, |
| "grad_norm": 1.1352803707122803, |
| "learning_rate": 3e-06, |
| "loss": 0.158, |
| "step": 1660 |
| }, |
| { |
| "epoch": 0.05536666666666667, |
| "grad_norm": 0.9455515742301941, |
| "learning_rate": 3e-06, |
| "loss": 0.1504, |
| "step": 1661 |
| }, |
| { |
| "epoch": 0.0554, |
| "grad_norm": 0.8986855149269104, |
| "learning_rate": 3e-06, |
| "loss": 0.1431, |
| "step": 1662 |
| }, |
| { |
| "epoch": 0.055433333333333334, |
| "grad_norm": 0.884671688079834, |
| "learning_rate": 3e-06, |
| "loss": 0.1365, |
| "step": 1663 |
| }, |
| { |
| "epoch": 0.055466666666666664, |
| "grad_norm": 0.7072070240974426, |
| "learning_rate": 3e-06, |
| "loss": 0.1307, |
| "step": 1664 |
| }, |
| { |
| "completion_length": 254.78125, |
| "epoch": 0.0555, |
| "grad_norm": 0.23971621692180634, |
| "learning_rate": 3e-06, |
| "loss": 0.1077, |
| "reward": 0.125, |
| "reward_std": 0.22360679507255554, |
| "rewards/correctness_reward_func_math": 0.125, |
| "step": 1665, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.05553333333333333, |
| "grad_norm": 0.23501349985599518, |
| "learning_rate": 3e-06, |
| "loss": 0.1079, |
| "step": 1666 |
| }, |
| { |
| "epoch": 0.05556666666666667, |
| "grad_norm": 0.2331189066171646, |
| "learning_rate": 3e-06, |
| "loss": 0.1071, |
| "step": 1667 |
| }, |
| { |
| "epoch": 0.0556, |
| "grad_norm": 0.24440321326255798, |
| "learning_rate": 3e-06, |
| "loss": 0.1054, |
| "step": 1668 |
| }, |
| { |
| "epoch": 0.05563333333333333, |
| "grad_norm": 0.23394343256950378, |
| "learning_rate": 3e-06, |
| "loss": 0.1039, |
| "step": 1669 |
| }, |
| { |
| "epoch": 0.05566666666666667, |
| "grad_norm": 0.2394144982099533, |
| "learning_rate": 3e-06, |
| "loss": 0.1029, |
| "step": 1670 |
| }, |
| { |
| "epoch": 0.0557, |
| "grad_norm": 0.2398831844329834, |
| "learning_rate": 3e-06, |
| "loss": 0.0991, |
| "step": 1671 |
| }, |
| { |
| "epoch": 0.055733333333333336, |
| "grad_norm": 0.24641746282577515, |
| "learning_rate": 3e-06, |
| "loss": 0.0983, |
| "step": 1672 |
| }, |
| { |
| "completion_length": 249.0625, |
| "epoch": 0.055766666666666666, |
| "grad_norm": 0.6047961711883545, |
| "learning_rate": 3e-06, |
| "loss": 0.2393, |
| "reward": 0.40625, |
| "reward_std": 0.47978055477142334, |
| "rewards/correctness_reward_func_math": 0.40625, |
| "step": 1673, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.0558, |
| "grad_norm": 0.6172682046890259, |
| "learning_rate": 3e-06, |
| "loss": 0.2391, |
| "step": 1674 |
| }, |
| { |
| "epoch": 0.05583333333333333, |
| "grad_norm": 0.5890278816223145, |
| "learning_rate": 3e-06, |
| "loss": 0.2371, |
| "step": 1675 |
| }, |
| { |
| "epoch": 0.05586666666666667, |
| "grad_norm": 0.5960976481437683, |
| "learning_rate": 3e-06, |
| "loss": 0.2313, |
| "step": 1676 |
| }, |
| { |
| "epoch": 0.0559, |
| "grad_norm": 0.5679032802581787, |
| "learning_rate": 3e-06, |
| "loss": 0.2292, |
| "step": 1677 |
| }, |
| { |
| "epoch": 0.055933333333333335, |
| "grad_norm": 0.5436708927154541, |
| "learning_rate": 3e-06, |
| "loss": 0.2243, |
| "step": 1678 |
| }, |
| { |
| "epoch": 0.055966666666666665, |
| "grad_norm": 0.4896470308303833, |
| "learning_rate": 3e-06, |
| "loss": 0.2195, |
| "step": 1679 |
| }, |
| { |
| "epoch": 0.056, |
| "grad_norm": 0.46741580963134766, |
| "learning_rate": 3e-06, |
| "loss": 0.2175, |
| "step": 1680 |
| }, |
| { |
| "completion_length": 227.8125, |
| "epoch": 0.05603333333333333, |
| "grad_norm": 0.4459920823574066, |
| "learning_rate": 3e-06, |
| "loss": 0.0886, |
| "reward": 0.09375, |
| "reward_std": 0.20155644416809082, |
| "rewards/correctness_reward_func_math": 0.09375, |
| "step": 1681, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.05606666666666667, |
| "grad_norm": 0.4030301868915558, |
| "learning_rate": 3e-06, |
| "loss": 0.0872, |
| "step": 1682 |
| }, |
| { |
| "epoch": 0.0561, |
| "grad_norm": 0.5257895588874817, |
| "learning_rate": 3e-06, |
| "loss": 0.0878, |
| "step": 1683 |
| }, |
| { |
| "epoch": 0.056133333333333334, |
| "grad_norm": 0.310937762260437, |
| "learning_rate": 3e-06, |
| "loss": 0.085, |
| "step": 1684 |
| }, |
| { |
| "epoch": 0.05616666666666666, |
| "grad_norm": 0.3546542525291443, |
| "learning_rate": 3e-06, |
| "loss": 0.0847, |
| "step": 1685 |
| }, |
| { |
| "epoch": 0.0562, |
| "grad_norm": 0.27772390842437744, |
| "learning_rate": 3e-06, |
| "loss": 0.0834, |
| "step": 1686 |
| }, |
| { |
| "epoch": 0.05623333333333334, |
| "grad_norm": 0.35217908024787903, |
| "learning_rate": 3e-06, |
| "loss": 0.0836, |
| "step": 1687 |
| }, |
| { |
| "epoch": 0.056266666666666666, |
| "grad_norm": 0.26466086506843567, |
| "learning_rate": 3e-06, |
| "loss": 0.0824, |
| "step": 1688 |
| }, |
| { |
| "completion_length": 249.09375, |
| "epoch": 0.0563, |
| "grad_norm": 0.21031266450881958, |
| "learning_rate": 3e-06, |
| "loss": 0.1564, |
| "reward": 0.8125, |
| "reward_std": 0.36435678601264954, |
| "rewards/correctness_reward_func_math": 0.8125, |
| "step": 1689, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.05633333333333333, |
| "grad_norm": 0.21376827359199524, |
| "learning_rate": 3e-06, |
| "loss": 0.1553, |
| "step": 1690 |
| }, |
| { |
| "epoch": 0.05636666666666667, |
| "grad_norm": 0.20904387533664703, |
| "learning_rate": 3e-06, |
| "loss": 0.1539, |
| "step": 1691 |
| }, |
| { |
| "epoch": 0.0564, |
| "grad_norm": 0.21314197778701782, |
| "learning_rate": 3e-06, |
| "loss": 0.1539, |
| "step": 1692 |
| }, |
| { |
| "epoch": 0.056433333333333335, |
| "grad_norm": 0.20473940670490265, |
| "learning_rate": 3e-06, |
| "loss": 0.1524, |
| "step": 1693 |
| }, |
| { |
| "epoch": 0.056466666666666665, |
| "grad_norm": 0.21252557635307312, |
| "learning_rate": 3e-06, |
| "loss": 0.1501, |
| "step": 1694 |
| }, |
| { |
| "epoch": 0.0565, |
| "grad_norm": 0.21179981529712677, |
| "learning_rate": 3e-06, |
| "loss": 0.1508, |
| "step": 1695 |
| }, |
| { |
| "epoch": 0.05653333333333333, |
| "grad_norm": 0.1973676234483719, |
| "learning_rate": 3e-06, |
| "loss": 0.1498, |
| "step": 1696 |
| }, |
| { |
| "completion_length": 249.46875, |
| "epoch": 0.05656666666666667, |
| "grad_norm": 0.16930261254310608, |
| "learning_rate": 3e-06, |
| "loss": 0.0418, |
| "reward": 0.96875, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.96875, |
| "step": 1697, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0566, |
| "grad_norm": 0.16575777530670166, |
| "learning_rate": 3e-06, |
| "loss": 0.0412, |
| "step": 1698 |
| }, |
| { |
| "epoch": 0.056633333333333334, |
| "grad_norm": 0.15888549387454987, |
| "learning_rate": 3e-06, |
| "loss": 0.0405, |
| "step": 1699 |
| }, |
| { |
| "epoch": 0.056666666666666664, |
| "grad_norm": 0.1260458081960678, |
| "learning_rate": 3e-06, |
| "loss": 0.0394, |
| "step": 1700 |
| }, |
| { |
| "epoch": 0.0567, |
| "grad_norm": 0.10817345231771469, |
| "learning_rate": 3e-06, |
| "loss": 0.0388, |
| "step": 1701 |
| }, |
| { |
| "epoch": 0.05673333333333333, |
| "grad_norm": 0.12600553035736084, |
| "learning_rate": 3e-06, |
| "loss": 0.038, |
| "step": 1702 |
| }, |
| { |
| "epoch": 0.05676666666666667, |
| "grad_norm": 0.09273850917816162, |
| "learning_rate": 3e-06, |
| "loss": 0.0371, |
| "step": 1703 |
| }, |
| { |
| "epoch": 0.0568, |
| "grad_norm": 0.09260569512844086, |
| "learning_rate": 3e-06, |
| "loss": 0.0365, |
| "step": 1704 |
| }, |
| { |
| "completion_length": 245.375, |
| "epoch": 0.05683333333333333, |
| "grad_norm": 0.07443758100271225, |
| "learning_rate": 3e-06, |
| "loss": 0.0459, |
| "reward": 0.46875, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.46875, |
| "step": 1705, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.05686666666666667, |
| "grad_norm": 0.07281555235385895, |
| "learning_rate": 3e-06, |
| "loss": 0.0458, |
| "step": 1706 |
| }, |
| { |
| "epoch": 0.0569, |
| "grad_norm": 0.09382864087820053, |
| "learning_rate": 3e-06, |
| "loss": 0.0456, |
| "step": 1707 |
| }, |
| { |
| "epoch": 0.056933333333333336, |
| "grad_norm": 0.07116400450468063, |
| "learning_rate": 3e-06, |
| "loss": 0.0454, |
| "step": 1708 |
| }, |
| { |
| "epoch": 0.056966666666666665, |
| "grad_norm": 0.1046074628829956, |
| "learning_rate": 3e-06, |
| "loss": 0.0453, |
| "step": 1709 |
| }, |
| { |
| "epoch": 0.057, |
| "grad_norm": 1.9001870155334473, |
| "learning_rate": 3e-06, |
| "loss": 0.0475, |
| "step": 1710 |
| }, |
| { |
| "epoch": 0.05703333333333333, |
| "grad_norm": 0.07268626242876053, |
| "learning_rate": 3e-06, |
| "loss": 0.0443, |
| "step": 1711 |
| }, |
| { |
| "epoch": 0.05706666666666667, |
| "grad_norm": 0.07787516713142395, |
| "learning_rate": 3e-06, |
| "loss": 0.0444, |
| "step": 1712 |
| }, |
| { |
| "completion_length": 231.28125, |
| "epoch": 0.0571, |
| "grad_norm": 0.10354837775230408, |
| "learning_rate": 3e-06, |
| "loss": 0.0112, |
| "reward": 0.5, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.5, |
| "step": 1713, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.057133333333333335, |
| "grad_norm": 0.08684965968132019, |
| "learning_rate": 3e-06, |
| "loss": 0.011, |
| "step": 1714 |
| }, |
| { |
| "epoch": 0.057166666666666664, |
| "grad_norm": 0.1391308754682541, |
| "learning_rate": 3e-06, |
| "loss": 0.0111, |
| "step": 1715 |
| }, |
| { |
| "epoch": 0.0572, |
| "grad_norm": 0.0779588595032692, |
| "learning_rate": 3e-06, |
| "loss": 0.0107, |
| "step": 1716 |
| }, |
| { |
| "epoch": 0.05723333333333333, |
| "grad_norm": 0.10443651676177979, |
| "learning_rate": 3e-06, |
| "loss": 0.0105, |
| "step": 1717 |
| }, |
| { |
| "epoch": 0.05726666666666667, |
| "grad_norm": 0.15442004799842834, |
| "learning_rate": 3e-06, |
| "loss": 0.0108, |
| "step": 1718 |
| }, |
| { |
| "epoch": 0.0573, |
| "grad_norm": 0.055060215294361115, |
| "learning_rate": 3e-06, |
| "loss": 0.01, |
| "step": 1719 |
| }, |
| { |
| "epoch": 0.05733333333333333, |
| "grad_norm": 0.07023460417985916, |
| "learning_rate": 3e-06, |
| "loss": 0.01, |
| "step": 1720 |
| }, |
| { |
| "completion_length": 255.34375, |
| "epoch": 0.05736666666666667, |
| "grad_norm": 0.12739254534244537, |
| "learning_rate": 3e-06, |
| "loss": 0.0861, |
| "reward": 0.59375, |
| "reward_std": 0.20155644416809082, |
| "rewards/correctness_reward_func_math": 0.59375, |
| "step": 1721, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0574, |
| "grad_norm": 0.12717752158641815, |
| "learning_rate": 3e-06, |
| "loss": 0.0861, |
| "step": 1722 |
| }, |
| { |
| "epoch": 0.057433333333333336, |
| "grad_norm": 0.12834273278713226, |
| "learning_rate": 3e-06, |
| "loss": 0.0855, |
| "step": 1723 |
| }, |
| { |
| "epoch": 0.057466666666666666, |
| "grad_norm": 0.12179774045944214, |
| "learning_rate": 3e-06, |
| "loss": 0.0854, |
| "step": 1724 |
| }, |
| { |
| "epoch": 0.0575, |
| "grad_norm": 0.11645210534334183, |
| "learning_rate": 3e-06, |
| "loss": 0.0847, |
| "step": 1725 |
| }, |
| { |
| "epoch": 0.05753333333333333, |
| "grad_norm": 0.10764140635728836, |
| "learning_rate": 3e-06, |
| "loss": 0.0844, |
| "step": 1726 |
| }, |
| { |
| "epoch": 0.05756666666666667, |
| "grad_norm": 0.09548311680555344, |
| "learning_rate": 3e-06, |
| "loss": 0.0834, |
| "step": 1727 |
| }, |
| { |
| "epoch": 0.0576, |
| "grad_norm": 0.08859223127365112, |
| "learning_rate": 3e-06, |
| "loss": 0.0831, |
| "step": 1728 |
| }, |
| { |
| "completion_length": 234.9375, |
| "epoch": 0.057633333333333335, |
| "grad_norm": 0.07489707320928574, |
| "learning_rate": 3e-06, |
| "loss": 0.0091, |
| "reward": 0.5, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.5, |
| "step": 1729, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.057666666666666665, |
| "grad_norm": 0.07884868234395981, |
| "learning_rate": 3e-06, |
| "loss": 0.0091, |
| "step": 1730 |
| }, |
| { |
| "epoch": 0.0577, |
| "grad_norm": 0.06900548189878464, |
| "learning_rate": 3e-06, |
| "loss": 0.0089, |
| "step": 1731 |
| }, |
| { |
| "epoch": 0.05773333333333333, |
| "grad_norm": 0.06630001962184906, |
| "learning_rate": 3e-06, |
| "loss": 0.0088, |
| "step": 1732 |
| }, |
| { |
| "epoch": 0.05776666666666667, |
| "grad_norm": 0.0576147586107254, |
| "learning_rate": 3e-06, |
| "loss": 0.0086, |
| "step": 1733 |
| }, |
| { |
| "epoch": 0.0578, |
| "grad_norm": 0.05361408367753029, |
| "learning_rate": 3e-06, |
| "loss": 0.0085, |
| "step": 1734 |
| }, |
| { |
| "epoch": 0.057833333333333334, |
| "grad_norm": 0.04995980113744736, |
| "learning_rate": 3e-06, |
| "loss": 0.0083, |
| "step": 1735 |
| }, |
| { |
| "epoch": 0.057866666666666663, |
| "grad_norm": 0.044102270156145096, |
| "learning_rate": 3e-06, |
| "loss": 0.0081, |
| "step": 1736 |
| }, |
| { |
| "completion_length": 247.46875, |
| "epoch": 0.0579, |
| "grad_norm": 0.06444850564002991, |
| "learning_rate": 3e-06, |
| "loss": 0.0344, |
| "reward": 0.46875, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.46875, |
| "step": 1737, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.05793333333333334, |
| "grad_norm": 0.06368491798639297, |
| "learning_rate": 3e-06, |
| "loss": 0.0339, |
| "step": 1738 |
| }, |
| { |
| "epoch": 0.057966666666666666, |
| "grad_norm": 0.06100434064865112, |
| "learning_rate": 3e-06, |
| "loss": 0.0338, |
| "step": 1739 |
| }, |
| { |
| "epoch": 0.058, |
| "grad_norm": 0.05995892733335495, |
| "learning_rate": 3e-06, |
| "loss": 0.0345, |
| "step": 1740 |
| }, |
| { |
| "epoch": 0.05803333333333333, |
| "grad_norm": 0.05838857591152191, |
| "learning_rate": 3e-06, |
| "loss": 0.0332, |
| "step": 1741 |
| }, |
| { |
| "epoch": 0.05806666666666667, |
| "grad_norm": 0.06055672839283943, |
| "learning_rate": 3e-06, |
| "loss": 0.0331, |
| "step": 1742 |
| }, |
| { |
| "epoch": 0.0581, |
| "grad_norm": 0.05849483981728554, |
| "learning_rate": 3e-06, |
| "loss": 0.0336, |
| "step": 1743 |
| }, |
| { |
| "epoch": 0.058133333333333335, |
| "grad_norm": 0.044652555137872696, |
| "learning_rate": 3e-06, |
| "loss": 0.0329, |
| "step": 1744 |
| }, |
| { |
| "completion_length": 250.4375, |
| "epoch": 0.058166666666666665, |
| "grad_norm": 0.1587267369031906, |
| "learning_rate": 3e-06, |
| "loss": 0.1173, |
| "reward": 0.65625, |
| "reward_std": 0.23935678601264954, |
| "rewards/correctness_reward_func_math": 0.65625, |
| "step": 1745, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0582, |
| "grad_norm": 0.16159160435199738, |
| "learning_rate": 3e-06, |
| "loss": 0.1172, |
| "step": 1746 |
| }, |
| { |
| "epoch": 0.05823333333333333, |
| "grad_norm": 0.1593158096075058, |
| "learning_rate": 3e-06, |
| "loss": 0.1161, |
| "step": 1747 |
| }, |
| { |
| "epoch": 0.05826666666666667, |
| "grad_norm": 0.16082753241062164, |
| "learning_rate": 3e-06, |
| "loss": 0.1154, |
| "step": 1748 |
| }, |
| { |
| "epoch": 0.0583, |
| "grad_norm": 0.13686244189739227, |
| "learning_rate": 3e-06, |
| "loss": 0.1154, |
| "step": 1749 |
| }, |
| { |
| "epoch": 0.058333333333333334, |
| "grad_norm": 0.142325758934021, |
| "learning_rate": 3e-06, |
| "loss": 0.1143, |
| "step": 1750 |
| }, |
| { |
| "epoch": 0.058366666666666664, |
| "grad_norm": 0.1417737603187561, |
| "learning_rate": 3e-06, |
| "loss": 0.113, |
| "step": 1751 |
| }, |
| { |
| "epoch": 0.0584, |
| "grad_norm": 0.1301846206188202, |
| "learning_rate": 3e-06, |
| "loss": 0.1116, |
| "step": 1752 |
| }, |
| { |
| "completion_length": 256.0, |
| "epoch": 0.05843333333333333, |
| "grad_norm": 0.06794056296348572, |
| "learning_rate": 3e-06, |
| "loss": 0.0338, |
| "reward": 0.53125, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.53125, |
| "step": 1753, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.05846666666666667, |
| "grad_norm": 0.07705505937337875, |
| "learning_rate": 3e-06, |
| "loss": 0.0332, |
| "step": 1754 |
| }, |
| { |
| "epoch": 0.0585, |
| "grad_norm": 0.06511757522821426, |
| "learning_rate": 3e-06, |
| "loss": 0.0338, |
| "step": 1755 |
| }, |
| { |
| "epoch": 0.05853333333333333, |
| "grad_norm": 0.08166729658842087, |
| "learning_rate": 3e-06, |
| "loss": 0.0336, |
| "step": 1756 |
| }, |
| { |
| "epoch": 0.05856666666666667, |
| "grad_norm": 0.07341329008340836, |
| "learning_rate": 3e-06, |
| "loss": 0.0334, |
| "step": 1757 |
| }, |
| { |
| "epoch": 0.0586, |
| "grad_norm": 0.05583718791604042, |
| "learning_rate": 3e-06, |
| "loss": 0.0328, |
| "step": 1758 |
| }, |
| { |
| "epoch": 0.058633333333333336, |
| "grad_norm": 0.08097627013921738, |
| "learning_rate": 3e-06, |
| "loss": 0.0332, |
| "step": 1759 |
| }, |
| { |
| "epoch": 0.058666666666666666, |
| "grad_norm": 0.04752197489142418, |
| "learning_rate": 3e-06, |
| "loss": 0.0328, |
| "step": 1760 |
| }, |
| { |
| "completion_length": 253.125, |
| "epoch": 0.0587, |
| "grad_norm": 0.360992431640625, |
| "learning_rate": 3e-06, |
| "loss": 0.1203, |
| "reward": 0.65625, |
| "reward_std": 0.23935678601264954, |
| "rewards/correctness_reward_func_math": 0.65625, |
| "step": 1761, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.05873333333333333, |
| "grad_norm": 0.36144810914993286, |
| "learning_rate": 3e-06, |
| "loss": 0.121, |
| "step": 1762 |
| }, |
| { |
| "epoch": 0.05876666666666667, |
| "grad_norm": 0.29194068908691406, |
| "learning_rate": 3e-06, |
| "loss": 0.1196, |
| "step": 1763 |
| }, |
| { |
| "epoch": 0.0588, |
| "grad_norm": 0.2681698203086853, |
| "learning_rate": 3e-06, |
| "loss": 0.1199, |
| "step": 1764 |
| }, |
| { |
| "epoch": 0.058833333333333335, |
| "grad_norm": 0.20152784883975983, |
| "learning_rate": 3e-06, |
| "loss": 0.1178, |
| "step": 1765 |
| }, |
| { |
| "epoch": 0.058866666666666664, |
| "grad_norm": 0.1904839724302292, |
| "learning_rate": 3e-06, |
| "loss": 0.1174, |
| "step": 1766 |
| }, |
| { |
| "epoch": 0.0589, |
| "grad_norm": 0.16319148242473602, |
| "learning_rate": 3e-06, |
| "loss": 0.1153, |
| "step": 1767 |
| }, |
| { |
| "epoch": 0.05893333333333333, |
| "grad_norm": 0.16463755071163177, |
| "learning_rate": 3e-06, |
| "loss": 0.1141, |
| "step": 1768 |
| }, |
| { |
| "completion_length": 254.90625, |
| "epoch": 0.05896666666666667, |
| "grad_norm": 0.3858882188796997, |
| "learning_rate": 3e-06, |
| "loss": 0.2159, |
| "reward": 0.53125, |
| "reward_std": 0.4629635810852051, |
| "rewards/correctness_reward_func_math": 0.53125, |
| "step": 1769, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.059, |
| "grad_norm": 0.3869569003582001, |
| "learning_rate": 3e-06, |
| "loss": 0.2174, |
| "step": 1770 |
| }, |
| { |
| "epoch": 0.059033333333333333, |
| "grad_norm": 0.37453633546829224, |
| "learning_rate": 3e-06, |
| "loss": 0.2145, |
| "step": 1771 |
| }, |
| { |
| "epoch": 0.05906666666666667, |
| "grad_norm": 0.36241471767425537, |
| "learning_rate": 3e-06, |
| "loss": 0.213, |
| "step": 1772 |
| }, |
| { |
| "epoch": 0.0591, |
| "grad_norm": 0.34296801686286926, |
| "learning_rate": 3e-06, |
| "loss": 0.21, |
| "step": 1773 |
| }, |
| { |
| "epoch": 0.059133333333333336, |
| "grad_norm": 0.33335763216018677, |
| "learning_rate": 3e-06, |
| "loss": 0.2074, |
| "step": 1774 |
| }, |
| { |
| "epoch": 0.059166666666666666, |
| "grad_norm": 0.29405051469802856, |
| "learning_rate": 3e-06, |
| "loss": 0.2043, |
| "step": 1775 |
| }, |
| { |
| "epoch": 0.0592, |
| "grad_norm": 0.2841731309890747, |
| "learning_rate": 3e-06, |
| "loss": 0.2023, |
| "step": 1776 |
| }, |
| { |
| "completion_length": 243.65625, |
| "epoch": 0.05923333333333333, |
| "grad_norm": 0.10953359305858612, |
| "learning_rate": 3e-06, |
| "loss": 0.0701, |
| "reward": 0.5625, |
| "reward_std": 0.17078250646591187, |
| "rewards/correctness_reward_func_math": 0.5625, |
| "step": 1777, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.05926666666666667, |
| "grad_norm": 0.11621461063623428, |
| "learning_rate": 3e-06, |
| "loss": 0.0704, |
| "step": 1778 |
| }, |
| { |
| "epoch": 0.0593, |
| "grad_norm": 0.113054059445858, |
| "learning_rate": 3e-06, |
| "loss": 0.0698, |
| "step": 1779 |
| }, |
| { |
| "epoch": 0.059333333333333335, |
| "grad_norm": 0.12514598667621613, |
| "learning_rate": 3e-06, |
| "loss": 0.0706, |
| "step": 1780 |
| }, |
| { |
| "epoch": 0.059366666666666665, |
| "grad_norm": 0.12311658263206482, |
| "learning_rate": 3e-06, |
| "loss": 0.0695, |
| "step": 1781 |
| }, |
| { |
| "epoch": 0.0594, |
| "grad_norm": 0.10992835462093353, |
| "learning_rate": 3e-06, |
| "loss": 0.0694, |
| "step": 1782 |
| }, |
| { |
| "epoch": 0.05943333333333333, |
| "grad_norm": 0.09687048196792603, |
| "learning_rate": 3e-06, |
| "loss": 0.0687, |
| "step": 1783 |
| }, |
| { |
| "epoch": 0.05946666666666667, |
| "grad_norm": 0.09277870506048203, |
| "learning_rate": 3e-06, |
| "loss": 0.068, |
| "step": 1784 |
| }, |
| { |
| "completion_length": 243.375, |
| "epoch": 0.0595, |
| "grad_norm": 0.14808954298496246, |
| "learning_rate": 3e-06, |
| "loss": 0.0366, |
| "reward": 0.46875, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.46875, |
| "step": 1785, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.059533333333333334, |
| "grad_norm": 0.12353605777025223, |
| "learning_rate": 3e-06, |
| "loss": 0.0379, |
| "step": 1786 |
| }, |
| { |
| "epoch": 0.059566666666666664, |
| "grad_norm": 0.13085032999515533, |
| "learning_rate": 3e-06, |
| "loss": 0.0365, |
| "step": 1787 |
| }, |
| { |
| "epoch": 0.0596, |
| "grad_norm": 0.11070671677589417, |
| "learning_rate": 3e-06, |
| "loss": 0.0366, |
| "step": 1788 |
| }, |
| { |
| "epoch": 0.05963333333333334, |
| "grad_norm": 0.11436684429645538, |
| "learning_rate": 3e-06, |
| "loss": 0.036, |
| "step": 1789 |
| }, |
| { |
| "epoch": 0.059666666666666666, |
| "grad_norm": 0.11333391070365906, |
| "learning_rate": 3e-06, |
| "loss": 0.0356, |
| "step": 1790 |
| }, |
| { |
| "epoch": 0.0597, |
| "grad_norm": 0.11856944859027863, |
| "learning_rate": 3e-06, |
| "loss": 0.0333, |
| "step": 1791 |
| }, |
| { |
| "epoch": 0.05973333333333333, |
| "grad_norm": 0.1240927204489708, |
| "learning_rate": 3e-06, |
| "loss": 0.0347, |
| "step": 1792 |
| }, |
| { |
| "completion_length": 256.0, |
| "epoch": 0.05976666666666667, |
| "grad_norm": 0.28191158175468445, |
| "learning_rate": 3e-06, |
| "loss": 0.1215, |
| "reward": 0.34375, |
| "reward_std": 0.23935678601264954, |
| "rewards/correctness_reward_func_math": 0.34375, |
| "step": 1793, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0598, |
| "grad_norm": 0.4792408347129822, |
| "learning_rate": 3e-06, |
| "loss": 0.1204, |
| "step": 1794 |
| }, |
| { |
| "epoch": 0.059833333333333336, |
| "grad_norm": 0.3921617865562439, |
| "learning_rate": 3e-06, |
| "loss": 0.1216, |
| "step": 1795 |
| }, |
| { |
| "epoch": 0.059866666666666665, |
| "grad_norm": 0.25970259308815, |
| "learning_rate": 3e-06, |
| "loss": 0.1209, |
| "step": 1796 |
| }, |
| { |
| "epoch": 0.0599, |
| "grad_norm": 0.24418655037879944, |
| "learning_rate": 3e-06, |
| "loss": 0.1181, |
| "step": 1797 |
| }, |
| { |
| "epoch": 0.05993333333333333, |
| "grad_norm": 0.29293838143348694, |
| "learning_rate": 3e-06, |
| "loss": 0.1168, |
| "step": 1798 |
| }, |
| { |
| "epoch": 0.05996666666666667, |
| "grad_norm": 0.25854581594467163, |
| "learning_rate": 3e-06, |
| "loss": 0.1155, |
| "step": 1799 |
| }, |
| { |
| "epoch": 0.06, |
| "grad_norm": 0.30058786273002625, |
| "learning_rate": 3e-06, |
| "loss": 0.1155, |
| "step": 1800 |
| }, |
| { |
| "completion_length": 252.71875, |
| "epoch": 0.060033333333333334, |
| "grad_norm": 0.37477976083755493, |
| "learning_rate": 3e-06, |
| "loss": 0.1334, |
| "reward": 0.3125, |
| "reward_std": 0.25, |
| "rewards/correctness_reward_func_math": 0.3125, |
| "step": 1801, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.060066666666666664, |
| "grad_norm": 0.3531322181224823, |
| "learning_rate": 3e-06, |
| "loss": 0.1313, |
| "step": 1802 |
| }, |
| { |
| "epoch": 0.0601, |
| "grad_norm": 0.3565762937068939, |
| "learning_rate": 3e-06, |
| "loss": 0.1299, |
| "step": 1803 |
| }, |
| { |
| "epoch": 0.06013333333333333, |
| "grad_norm": 0.34621021151542664, |
| "learning_rate": 3e-06, |
| "loss": 0.1283, |
| "step": 1804 |
| }, |
| { |
| "epoch": 0.06016666666666667, |
| "grad_norm": 0.3161306083202362, |
| "learning_rate": 3e-06, |
| "loss": 0.1247, |
| "step": 1805 |
| }, |
| { |
| "epoch": 0.0602, |
| "grad_norm": 0.3095146119594574, |
| "learning_rate": 3e-06, |
| "loss": 0.1229, |
| "step": 1806 |
| }, |
| { |
| "epoch": 0.06023333333333333, |
| "grad_norm": 0.28297969698905945, |
| "learning_rate": 3e-06, |
| "loss": 0.1206, |
| "step": 1807 |
| }, |
| { |
| "epoch": 0.06026666666666667, |
| "grad_norm": 0.23653137683868408, |
| "learning_rate": 3e-06, |
| "loss": 0.1179, |
| "step": 1808 |
| }, |
| { |
| "completion_length": 251.15625, |
| "epoch": 0.0603, |
| "grad_norm": 0.1891864836215973, |
| "learning_rate": 3e-06, |
| "loss": 0.1416, |
| "reward": 0.84375, |
| "reward_std": 0.3723389506340027, |
| "rewards/correctness_reward_func_math": 0.84375, |
| "step": 1809, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.060333333333333336, |
| "grad_norm": 0.1668434590101242, |
| "learning_rate": 3e-06, |
| "loss": 0.1412, |
| "step": 1810 |
| }, |
| { |
| "epoch": 0.060366666666666666, |
| "grad_norm": 0.21866954863071442, |
| "learning_rate": 3e-06, |
| "loss": 0.1433, |
| "step": 1811 |
| }, |
| { |
| "epoch": 0.0604, |
| "grad_norm": 0.17338134348392487, |
| "learning_rate": 3e-06, |
| "loss": 0.141, |
| "step": 1812 |
| }, |
| { |
| "epoch": 0.06043333333333333, |
| "grad_norm": 0.17477814853191376, |
| "learning_rate": 3e-06, |
| "loss": 0.1402, |
| "step": 1813 |
| }, |
| { |
| "epoch": 0.06046666666666667, |
| "grad_norm": 0.17322474718093872, |
| "learning_rate": 3e-06, |
| "loss": 0.14, |
| "step": 1814 |
| }, |
| { |
| "epoch": 0.0605, |
| "grad_norm": 0.15521250665187836, |
| "learning_rate": 3e-06, |
| "loss": 0.1391, |
| "step": 1815 |
| }, |
| { |
| "epoch": 0.060533333333333335, |
| "grad_norm": 0.14684684574604034, |
| "learning_rate": 3e-06, |
| "loss": 0.1388, |
| "step": 1816 |
| }, |
| { |
| "completion_length": 255.0, |
| "epoch": 0.060566666666666664, |
| "grad_norm": 0.46004533767700195, |
| "learning_rate": 3e-06, |
| "loss": 0.1909, |
| "reward": 0.25, |
| "reward_std": 0.42078250646591187, |
| "rewards/correctness_reward_func_math": 0.25, |
| "step": 1817, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.0606, |
| "grad_norm": 0.4636804163455963, |
| "learning_rate": 3e-06, |
| "loss": 0.1906, |
| "step": 1818 |
| }, |
| { |
| "epoch": 0.06063333333333333, |
| "grad_norm": 0.4316295385360718, |
| "learning_rate": 3e-06, |
| "loss": 0.1893, |
| "step": 1819 |
| }, |
| { |
| "epoch": 0.06066666666666667, |
| "grad_norm": 0.4159581661224365, |
| "learning_rate": 3e-06, |
| "loss": 0.1868, |
| "step": 1820 |
| }, |
| { |
| "epoch": 0.0607, |
| "grad_norm": 0.3864031136035919, |
| "learning_rate": 3e-06, |
| "loss": 0.185, |
| "step": 1821 |
| }, |
| { |
| "epoch": 0.060733333333333334, |
| "grad_norm": 0.3501303493976593, |
| "learning_rate": 3e-06, |
| "loss": 0.1822, |
| "step": 1822 |
| }, |
| { |
| "epoch": 0.06076666666666666, |
| "grad_norm": 0.3482702672481537, |
| "learning_rate": 3e-06, |
| "loss": 0.1789, |
| "step": 1823 |
| }, |
| { |
| "epoch": 0.0608, |
| "grad_norm": 0.30272406339645386, |
| "learning_rate": 3e-06, |
| "loss": 0.1759, |
| "step": 1824 |
| }, |
| { |
| "completion_length": 243.0, |
| "epoch": 0.060833333333333336, |
| "grad_norm": 0.15900784730911255, |
| "learning_rate": 3e-06, |
| "loss": 0.041, |
| "reward": 0.53125, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.53125, |
| "step": 1825, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.060866666666666666, |
| "grad_norm": 0.16723616421222687, |
| "learning_rate": 3e-06, |
| "loss": 0.0401, |
| "step": 1826 |
| }, |
| { |
| "epoch": 0.0609, |
| "grad_norm": 0.16744385659694672, |
| "learning_rate": 3e-06, |
| "loss": 0.0403, |
| "step": 1827 |
| }, |
| { |
| "epoch": 0.06093333333333333, |
| "grad_norm": 0.1548798680305481, |
| "learning_rate": 3e-06, |
| "loss": 0.0398, |
| "step": 1828 |
| }, |
| { |
| "epoch": 0.06096666666666667, |
| "grad_norm": 0.146221324801445, |
| "learning_rate": 3e-06, |
| "loss": 0.0397, |
| "step": 1829 |
| }, |
| { |
| "epoch": 0.061, |
| "grad_norm": 0.14268910884857178, |
| "learning_rate": 3e-06, |
| "loss": 0.0381, |
| "step": 1830 |
| }, |
| { |
| "epoch": 0.061033333333333335, |
| "grad_norm": 0.12407243251800537, |
| "learning_rate": 3e-06, |
| "loss": 0.0379, |
| "step": 1831 |
| }, |
| { |
| "epoch": 0.061066666666666665, |
| "grad_norm": 0.11111710220575333, |
| "learning_rate": 3e-06, |
| "loss": 0.0369, |
| "step": 1832 |
| }, |
| { |
| "completion_length": 185.75, |
| "epoch": 0.0611, |
| "grad_norm": 1.6425055265426636, |
| "learning_rate": 3e-06, |
| "loss": 0.2343, |
| "reward": 0.0, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.0, |
| "step": 1833, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.06113333333333333, |
| "grad_norm": 1.6475173234939575, |
| "learning_rate": 3e-06, |
| "loss": 0.2352, |
| "step": 1834 |
| }, |
| { |
| "epoch": 0.06116666666666667, |
| "grad_norm": 1.6070164442062378, |
| "learning_rate": 3e-06, |
| "loss": 0.2331, |
| "step": 1835 |
| }, |
| { |
| "epoch": 0.0612, |
| "grad_norm": 1.6015102863311768, |
| "learning_rate": 3e-06, |
| "loss": 0.2325, |
| "step": 1836 |
| }, |
| { |
| "epoch": 0.061233333333333334, |
| "grad_norm": 1.575899600982666, |
| "learning_rate": 3e-06, |
| "loss": 0.2291, |
| "step": 1837 |
| }, |
| { |
| "epoch": 0.061266666666666664, |
| "grad_norm": 1.550963044166565, |
| "learning_rate": 3e-06, |
| "loss": 0.2258, |
| "step": 1838 |
| }, |
| { |
| "epoch": 0.0613, |
| "grad_norm": 1.5243844985961914, |
| "learning_rate": 3e-06, |
| "loss": 0.2214, |
| "step": 1839 |
| }, |
| { |
| "epoch": 0.06133333333333333, |
| "grad_norm": 1.496927261352539, |
| "learning_rate": 3e-06, |
| "loss": 0.2175, |
| "step": 1840 |
| }, |
| { |
| "completion_length": 255.96875, |
| "epoch": 0.06136666666666667, |
| "grad_norm": 0.25522732734680176, |
| "learning_rate": 3e-06, |
| "loss": 0.1327, |
| "reward": 0.3125, |
| "reward_std": 0.25, |
| "rewards/correctness_reward_func_math": 0.3125, |
| "step": 1841, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0614, |
| "grad_norm": 0.25779587030410767, |
| "learning_rate": 3e-06, |
| "loss": 0.1316, |
| "step": 1842 |
| }, |
| { |
| "epoch": 0.06143333333333333, |
| "grad_norm": 0.2425825446844101, |
| "learning_rate": 3e-06, |
| "loss": 0.1285, |
| "step": 1843 |
| }, |
| { |
| "epoch": 0.06146666666666667, |
| "grad_norm": 0.24206620454788208, |
| "learning_rate": 3e-06, |
| "loss": 0.1301, |
| "step": 1844 |
| }, |
| { |
| "epoch": 0.0615, |
| "grad_norm": 0.23751582205295563, |
| "learning_rate": 3e-06, |
| "loss": 0.1297, |
| "step": 1845 |
| }, |
| { |
| "epoch": 0.061533333333333336, |
| "grad_norm": 0.24768762290477753, |
| "learning_rate": 3e-06, |
| "loss": 0.1284, |
| "step": 1846 |
| }, |
| { |
| "epoch": 0.061566666666666665, |
| "grad_norm": 0.218784362077713, |
| "learning_rate": 3e-06, |
| "loss": 0.1266, |
| "step": 1847 |
| }, |
| { |
| "epoch": 0.0616, |
| "grad_norm": 0.2257787436246872, |
| "learning_rate": 3e-06, |
| "loss": 0.1258, |
| "step": 1848 |
| }, |
| { |
| "completion_length": 247.25, |
| "epoch": 0.06163333333333333, |
| "grad_norm": 0.06892331689596176, |
| "learning_rate": 3e-06, |
| "loss": 0.0081, |
| "reward": 0.0, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.0, |
| "step": 1849, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.06166666666666667, |
| "grad_norm": 0.07194532454013824, |
| "learning_rate": 3e-06, |
| "loss": 0.0081, |
| "step": 1850 |
| }, |
| { |
| "epoch": 0.0617, |
| "grad_norm": 0.06555168330669403, |
| "learning_rate": 3e-06, |
| "loss": 0.008, |
| "step": 1851 |
| }, |
| { |
| "epoch": 0.061733333333333335, |
| "grad_norm": 0.048004187643527985, |
| "learning_rate": 3e-06, |
| "loss": 0.0078, |
| "step": 1852 |
| }, |
| { |
| "epoch": 0.061766666666666664, |
| "grad_norm": 0.030563561245799065, |
| "learning_rate": 3e-06, |
| "loss": 0.0077, |
| "step": 1853 |
| }, |
| { |
| "epoch": 0.0618, |
| "grad_norm": 0.022723816335201263, |
| "learning_rate": 3e-06, |
| "loss": 0.0076, |
| "step": 1854 |
| }, |
| { |
| "epoch": 0.06183333333333333, |
| "grad_norm": 0.02193901687860489, |
| "learning_rate": 3e-06, |
| "loss": 0.0076, |
| "step": 1855 |
| }, |
| { |
| "epoch": 0.06186666666666667, |
| "grad_norm": 0.028614236041903496, |
| "learning_rate": 3e-06, |
| "loss": 0.0075, |
| "step": 1856 |
| }, |
| { |
| "completion_length": 255.75, |
| "epoch": 0.0619, |
| "grad_norm": 0.14823856949806213, |
| "learning_rate": 3e-06, |
| "loss": 0.0598, |
| "reward": 0.9375, |
| "reward_std": 0.17078250646591187, |
| "rewards/correctness_reward_func_math": 0.9375, |
| "step": 1857, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.06193333333333333, |
| "grad_norm": 0.1741209626197815, |
| "learning_rate": 3e-06, |
| "loss": 0.0593, |
| "step": 1858 |
| }, |
| { |
| "epoch": 0.06196666666666667, |
| "grad_norm": 0.17066523432731628, |
| "learning_rate": 3e-06, |
| "loss": 0.0583, |
| "step": 1859 |
| }, |
| { |
| "epoch": 0.062, |
| "grad_norm": 0.11331308633089066, |
| "learning_rate": 3e-06, |
| "loss": 0.0588, |
| "step": 1860 |
| }, |
| { |
| "epoch": 0.062033333333333336, |
| "grad_norm": 0.11736991256475449, |
| "learning_rate": 3e-06, |
| "loss": 0.0581, |
| "step": 1861 |
| }, |
| { |
| "epoch": 0.062066666666666666, |
| "grad_norm": 0.11256687343120575, |
| "learning_rate": 3e-06, |
| "loss": 0.0574, |
| "step": 1862 |
| }, |
| { |
| "epoch": 0.0621, |
| "grad_norm": 0.11295061558485031, |
| "learning_rate": 3e-06, |
| "loss": 0.0567, |
| "step": 1863 |
| }, |
| { |
| "epoch": 0.06213333333333333, |
| "grad_norm": 0.1321628838777542, |
| "learning_rate": 3e-06, |
| "loss": 0.0568, |
| "step": 1864 |
| }, |
| { |
| "completion_length": 255.71875, |
| "epoch": 0.06216666666666667, |
| "grad_norm": 0.12294372916221619, |
| "learning_rate": 3e-06, |
| "loss": 0.0592, |
| "reward": 0.4375, |
| "reward_std": 0.17078250646591187, |
| "rewards/correctness_reward_func_math": 0.4375, |
| "step": 1865, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0622, |
| "grad_norm": 0.1068810448050499, |
| "learning_rate": 3e-06, |
| "loss": 0.059, |
| "step": 1866 |
| }, |
| { |
| "epoch": 0.062233333333333335, |
| "grad_norm": 0.18457792699337006, |
| "learning_rate": 3e-06, |
| "loss": 0.0583, |
| "step": 1867 |
| }, |
| { |
| "epoch": 0.062266666666666665, |
| "grad_norm": 0.09551732242107391, |
| "learning_rate": 3e-06, |
| "loss": 0.0592, |
| "step": 1868 |
| }, |
| { |
| "epoch": 0.0623, |
| "grad_norm": 0.09707175195217133, |
| "learning_rate": 3e-06, |
| "loss": 0.0587, |
| "step": 1869 |
| }, |
| { |
| "epoch": 0.06233333333333333, |
| "grad_norm": 0.12154439091682434, |
| "learning_rate": 3e-06, |
| "loss": 0.0578, |
| "step": 1870 |
| }, |
| { |
| "epoch": 0.06236666666666667, |
| "grad_norm": 0.1025838628411293, |
| "learning_rate": 3e-06, |
| "loss": 0.0571, |
| "step": 1871 |
| }, |
| { |
| "epoch": 0.0624, |
| "grad_norm": 0.21979300677776337, |
| "learning_rate": 3e-06, |
| "loss": 0.0556, |
| "step": 1872 |
| }, |
| { |
| "completion_length": 242.5625, |
| "epoch": 0.062433333333333334, |
| "grad_norm": 0.08760565519332886, |
| "learning_rate": 3e-06, |
| "loss": 0.0444, |
| "reward": 0.03125, |
| "reward_std": 0.125, |
| "rewards/correctness_reward_func_math": 0.03125, |
| "step": 1873, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.06246666666666666, |
| "grad_norm": 0.08402563631534576, |
| "learning_rate": 3e-06, |
| "loss": 0.0442, |
| "step": 1874 |
| }, |
| { |
| "epoch": 0.0625, |
| "grad_norm": 0.08699683099985123, |
| "learning_rate": 3e-06, |
| "loss": 0.0439, |
| "step": 1875 |
| }, |
| { |
| "epoch": 0.06253333333333333, |
| "grad_norm": 0.08874766528606415, |
| "learning_rate": 3e-06, |
| "loss": 0.0438, |
| "step": 1876 |
| }, |
| { |
| "epoch": 0.06256666666666667, |
| "grad_norm": 0.07176293432712555, |
| "learning_rate": 3e-06, |
| "loss": 0.0436, |
| "step": 1877 |
| }, |
| { |
| "epoch": 0.0626, |
| "grad_norm": 0.06775759905576706, |
| "learning_rate": 3e-06, |
| "loss": 0.0432, |
| "step": 1878 |
| }, |
| { |
| "epoch": 0.06263333333333333, |
| "grad_norm": 0.06863688677549362, |
| "learning_rate": 3e-06, |
| "loss": 0.0425, |
| "step": 1879 |
| }, |
| { |
| "epoch": 0.06266666666666666, |
| "grad_norm": 0.06724990159273148, |
| "learning_rate": 3e-06, |
| "loss": 0.042, |
| "step": 1880 |
| }, |
| { |
| "completion_length": 252.375, |
| "epoch": 0.0627, |
| "grad_norm": 0.19778913259506226, |
| "learning_rate": 3e-06, |
| "loss": 0.1213, |
| "reward": 0.875, |
| "reward_std": 0.34156501293182373, |
| "rewards/correctness_reward_func_math": 0.875, |
| "step": 1881, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.06273333333333334, |
| "grad_norm": 0.23718205094337463, |
| "learning_rate": 3e-06, |
| "loss": 0.1204, |
| "step": 1882 |
| }, |
| { |
| "epoch": 0.06276666666666667, |
| "grad_norm": 0.17450261116027832, |
| "learning_rate": 3e-06, |
| "loss": 0.1217, |
| "step": 1883 |
| }, |
| { |
| "epoch": 0.0628, |
| "grad_norm": 0.18281269073486328, |
| "learning_rate": 3e-06, |
| "loss": 0.1198, |
| "step": 1884 |
| }, |
| { |
| "epoch": 0.06283333333333334, |
| "grad_norm": 0.1570565104484558, |
| "learning_rate": 3e-06, |
| "loss": 0.1178, |
| "step": 1885 |
| }, |
| { |
| "epoch": 0.06286666666666667, |
| "grad_norm": 0.21135437488555908, |
| "learning_rate": 3e-06, |
| "loss": 0.118, |
| "step": 1886 |
| }, |
| { |
| "epoch": 0.0629, |
| "grad_norm": 0.1774282604455948, |
| "learning_rate": 3e-06, |
| "loss": 0.1161, |
| "step": 1887 |
| }, |
| { |
| "epoch": 0.06293333333333333, |
| "grad_norm": 0.15314839780330658, |
| "learning_rate": 3e-06, |
| "loss": 0.1158, |
| "step": 1888 |
| }, |
| { |
| "completion_length": 249.5625, |
| "epoch": 0.06296666666666667, |
| "grad_norm": 0.06029735133051872, |
| "learning_rate": 3e-06, |
| "loss": 0.0077, |
| "reward": 0.5, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.5, |
| "step": 1889, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.063, |
| "grad_norm": 0.05777447298169136, |
| "learning_rate": 3e-06, |
| "loss": 0.0076, |
| "step": 1890 |
| }, |
| { |
| "epoch": 0.06303333333333333, |
| "grad_norm": 0.05558198690414429, |
| "learning_rate": 3e-06, |
| "loss": 0.0074, |
| "step": 1891 |
| }, |
| { |
| "epoch": 0.06306666666666666, |
| "grad_norm": 0.04853600636124611, |
| "learning_rate": 3e-06, |
| "loss": 0.0073, |
| "step": 1892 |
| }, |
| { |
| "epoch": 0.0631, |
| "grad_norm": 0.045975036919116974, |
| "learning_rate": 3e-06, |
| "loss": 0.0072, |
| "step": 1893 |
| }, |
| { |
| "epoch": 0.06313333333333333, |
| "grad_norm": 0.04137445613741875, |
| "learning_rate": 3e-06, |
| "loss": 0.007, |
| "step": 1894 |
| }, |
| { |
| "epoch": 0.06316666666666666, |
| "grad_norm": 0.03394879773259163, |
| "learning_rate": 3e-06, |
| "loss": 0.0069, |
| "step": 1895 |
| }, |
| { |
| "epoch": 0.0632, |
| "grad_norm": 0.028862809762358665, |
| "learning_rate": 3e-06, |
| "loss": 0.0067, |
| "step": 1896 |
| }, |
| { |
| "completion_length": 239.625, |
| "epoch": 0.06323333333333334, |
| "grad_norm": 0.2740474343299866, |
| "learning_rate": 3e-06, |
| "loss": 0.2008, |
| "reward": 0.4375, |
| "reward_std": 0.44091323018074036, |
| "rewards/correctness_reward_func_math": 0.4375, |
| "step": 1897, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.06326666666666667, |
| "grad_norm": 0.26001086831092834, |
| "learning_rate": 3e-06, |
| "loss": 0.2015, |
| "step": 1898 |
| }, |
| { |
| "epoch": 0.0633, |
| "grad_norm": 0.24858087301254272, |
| "learning_rate": 3e-06, |
| "loss": 0.2005, |
| "step": 1899 |
| }, |
| { |
| "epoch": 0.06333333333333334, |
| "grad_norm": 0.22484038770198822, |
| "learning_rate": 3e-06, |
| "loss": 0.1987, |
| "step": 1900 |
| }, |
| { |
| "epoch": 0.06336666666666667, |
| "grad_norm": 0.1965910792350769, |
| "learning_rate": 3e-06, |
| "loss": 0.1991, |
| "step": 1901 |
| }, |
| { |
| "epoch": 0.0634, |
| "grad_norm": 0.1697274148464203, |
| "learning_rate": 3e-06, |
| "loss": 0.1991, |
| "step": 1902 |
| }, |
| { |
| "epoch": 0.06343333333333333, |
| "grad_norm": 0.17321062088012695, |
| "learning_rate": 3e-06, |
| "loss": 0.1956, |
| "step": 1903 |
| }, |
| { |
| "epoch": 0.06346666666666667, |
| "grad_norm": 0.14460676908493042, |
| "learning_rate": 3e-06, |
| "loss": 0.1959, |
| "step": 1904 |
| }, |
| { |
| "completion_length": 251.3125, |
| "epoch": 0.0635, |
| "grad_norm": 0.0701010450720787, |
| "learning_rate": 3e-06, |
| "loss": 0.0061, |
| "reward": 0.5, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.5, |
| "step": 1905, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.06353333333333333, |
| "grad_norm": 0.06173884496092796, |
| "learning_rate": 3e-06, |
| "loss": 0.006, |
| "step": 1906 |
| }, |
| { |
| "epoch": 0.06356666666666666, |
| "grad_norm": 0.054763998836278915, |
| "learning_rate": 3e-06, |
| "loss": 0.006, |
| "step": 1907 |
| }, |
| { |
| "epoch": 0.0636, |
| "grad_norm": 0.04816952347755432, |
| "learning_rate": 3e-06, |
| "loss": 0.006, |
| "step": 1908 |
| }, |
| { |
| "epoch": 0.06363333333333333, |
| "grad_norm": 0.0335032157599926, |
| "learning_rate": 3e-06, |
| "loss": 0.0057, |
| "step": 1909 |
| }, |
| { |
| "epoch": 0.06366666666666666, |
| "grad_norm": 0.029903721064329147, |
| "learning_rate": 3e-06, |
| "loss": 0.0057, |
| "step": 1910 |
| }, |
| { |
| "epoch": 0.0637, |
| "grad_norm": 0.027072889730334282, |
| "learning_rate": 3e-06, |
| "loss": 0.0056, |
| "step": 1911 |
| }, |
| { |
| "epoch": 0.06373333333333334, |
| "grad_norm": 0.03360096737742424, |
| "learning_rate": 3e-06, |
| "loss": 0.0055, |
| "step": 1912 |
| }, |
| { |
| "completion_length": 243.34375, |
| "epoch": 0.06376666666666667, |
| "grad_norm": 0.2378849983215332, |
| "learning_rate": 3e-06, |
| "loss": 0.1108, |
| "reward": 0.375, |
| "reward_std": 0.22360679507255554, |
| "rewards/correctness_reward_func_math": 0.375, |
| "step": 1913, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0638, |
| "grad_norm": 0.24160981178283691, |
| "learning_rate": 3e-06, |
| "loss": 0.1123, |
| "step": 1914 |
| }, |
| { |
| "epoch": 0.06383333333333334, |
| "grad_norm": 0.2541719377040863, |
| "learning_rate": 3e-06, |
| "loss": 0.1102, |
| "step": 1915 |
| }, |
| { |
| "epoch": 0.06386666666666667, |
| "grad_norm": 0.25014373660087585, |
| "learning_rate": 3e-06, |
| "loss": 0.1075, |
| "step": 1916 |
| }, |
| { |
| "epoch": 0.0639, |
| "grad_norm": 0.25003162026405334, |
| "learning_rate": 3e-06, |
| "loss": 0.1062, |
| "step": 1917 |
| }, |
| { |
| "epoch": 0.06393333333333333, |
| "grad_norm": 0.21600143611431122, |
| "learning_rate": 3e-06, |
| "loss": 0.1038, |
| "step": 1918 |
| }, |
| { |
| "epoch": 0.06396666666666667, |
| "grad_norm": 0.22769373655319214, |
| "learning_rate": 3e-06, |
| "loss": 0.1032, |
| "step": 1919 |
| }, |
| { |
| "epoch": 0.064, |
| "grad_norm": 0.1980726569890976, |
| "learning_rate": 3e-06, |
| "loss": 0.0998, |
| "step": 1920 |
| }, |
| { |
| "completion_length": 246.46875, |
| "epoch": 0.06403333333333333, |
| "grad_norm": 0.055729616433382034, |
| "learning_rate": 3e-06, |
| "loss": 0.0078, |
| "reward": 0.5, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.5, |
| "step": 1921, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.06406666666666666, |
| "grad_norm": 0.05523541569709778, |
| "learning_rate": 3e-06, |
| "loss": 0.0078, |
| "step": 1922 |
| }, |
| { |
| "epoch": 0.0641, |
| "grad_norm": 0.05385873094201088, |
| "learning_rate": 3e-06, |
| "loss": 0.0077, |
| "step": 1923 |
| }, |
| { |
| "epoch": 0.06413333333333333, |
| "grad_norm": 0.051388829946517944, |
| "learning_rate": 3e-06, |
| "loss": 0.0077, |
| "step": 1924 |
| }, |
| { |
| "epoch": 0.06416666666666666, |
| "grad_norm": 0.04686552286148071, |
| "learning_rate": 3e-06, |
| "loss": 0.0076, |
| "step": 1925 |
| }, |
| { |
| "epoch": 0.0642, |
| "grad_norm": 0.03716890141367912, |
| "learning_rate": 3e-06, |
| "loss": 0.0074, |
| "step": 1926 |
| }, |
| { |
| "epoch": 0.06423333333333334, |
| "grad_norm": 0.028713032603263855, |
| "learning_rate": 3e-06, |
| "loss": 0.0073, |
| "step": 1927 |
| }, |
| { |
| "epoch": 0.06426666666666667, |
| "grad_norm": 0.02393457107245922, |
| "learning_rate": 3e-06, |
| "loss": 0.0073, |
| "step": 1928 |
| }, |
| { |
| "completion_length": 186.46875, |
| "epoch": 0.0643, |
| "grad_norm": 2.6800127029418945, |
| "learning_rate": 3e-06, |
| "loss": 0.5951, |
| "reward": 0.15625, |
| "reward_std": 0.23935678601264954, |
| "rewards/correctness_reward_func_math": 0.15625, |
| "step": 1929, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.06433333333333334, |
| "grad_norm": 2.6262388229370117, |
| "learning_rate": 3e-06, |
| "loss": 0.5861, |
| "step": 1930 |
| }, |
| { |
| "epoch": 0.06436666666666667, |
| "grad_norm": 2.602653980255127, |
| "learning_rate": 3e-06, |
| "loss": 0.5865, |
| "step": 1931 |
| }, |
| { |
| "epoch": 0.0644, |
| "grad_norm": 2.580411434173584, |
| "learning_rate": 3e-06, |
| "loss": 0.5727, |
| "step": 1932 |
| }, |
| { |
| "epoch": 0.06443333333333333, |
| "grad_norm": 2.5464372634887695, |
| "learning_rate": 3e-06, |
| "loss": 0.556, |
| "step": 1933 |
| }, |
| { |
| "epoch": 0.06446666666666667, |
| "grad_norm": 2.426823616027832, |
| "learning_rate": 3e-06, |
| "loss": 0.5395, |
| "step": 1934 |
| }, |
| { |
| "epoch": 0.0645, |
| "grad_norm": 2.411064624786377, |
| "learning_rate": 3e-06, |
| "loss": 0.5273, |
| "step": 1935 |
| }, |
| { |
| "epoch": 0.06453333333333333, |
| "grad_norm": 2.4469687938690186, |
| "learning_rate": 3e-06, |
| "loss": 0.506, |
| "step": 1936 |
| }, |
| { |
| "completion_length": 250.71875, |
| "epoch": 0.06456666666666666, |
| "grad_norm": 0.3321230113506317, |
| "learning_rate": 3e-06, |
| "loss": 0.1286, |
| "reward": 0.8125, |
| "reward_std": 0.25, |
| "rewards/correctness_reward_func_math": 0.8125, |
| "step": 1937, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.0646, |
| "grad_norm": 0.34432652592658997, |
| "learning_rate": 3e-06, |
| "loss": 0.1285, |
| "step": 1938 |
| }, |
| { |
| "epoch": 0.06463333333333333, |
| "grad_norm": 0.32460397481918335, |
| "learning_rate": 3e-06, |
| "loss": 0.1291, |
| "step": 1939 |
| }, |
| { |
| "epoch": 0.06466666666666666, |
| "grad_norm": 0.3067503869533539, |
| "learning_rate": 3e-06, |
| "loss": 0.1282, |
| "step": 1940 |
| }, |
| { |
| "epoch": 0.0647, |
| "grad_norm": 0.2963985502719879, |
| "learning_rate": 3e-06, |
| "loss": 0.1265, |
| "step": 1941 |
| }, |
| { |
| "epoch": 0.06473333333333334, |
| "grad_norm": 0.2829592227935791, |
| "learning_rate": 3e-06, |
| "loss": 0.125, |
| "step": 1942 |
| }, |
| { |
| "epoch": 0.06476666666666667, |
| "grad_norm": 0.2661295533180237, |
| "learning_rate": 3e-06, |
| "loss": 0.1218, |
| "step": 1943 |
| }, |
| { |
| "epoch": 0.0648, |
| "grad_norm": 0.253111869096756, |
| "learning_rate": 3e-06, |
| "loss": 0.1207, |
| "step": 1944 |
| }, |
| { |
| "completion_length": 250.03125, |
| "epoch": 0.06483333333333334, |
| "grad_norm": 0.13963644206523895, |
| "learning_rate": 3e-06, |
| "loss": 0.0906, |
| "reward": 0.90625, |
| "reward_std": 0.29578250646591187, |
| "rewards/correctness_reward_func_math": 0.90625, |
| "step": 1945, |
| "zero_std_ratio": 0.0 |
| }, |
| { |
| "epoch": 0.06486666666666667, |
| "grad_norm": 0.14928492903709412, |
| "learning_rate": 3e-06, |
| "loss": 0.0898, |
| "step": 1946 |
| }, |
| { |
| "epoch": 0.0649, |
| "grad_norm": 0.12648016214370728, |
| "learning_rate": 3e-06, |
| "loss": 0.0899, |
| "step": 1947 |
| }, |
| { |
| "epoch": 0.06493333333333333, |
| "grad_norm": 0.13013547658920288, |
| "learning_rate": 3e-06, |
| "loss": 0.0888, |
| "step": 1948 |
| }, |
| { |
| "epoch": 0.06496666666666667, |
| "grad_norm": 0.12350853532552719, |
| "learning_rate": 3e-06, |
| "loss": 0.0877, |
| "step": 1949 |
| }, |
| { |
| "epoch": 0.065, |
| "grad_norm": 0.11718573421239853, |
| "learning_rate": 3e-06, |
| "loss": 0.0874, |
| "step": 1950 |
| }, |
| { |
| "epoch": 0.06503333333333333, |
| "grad_norm": 0.11346545070409775, |
| "learning_rate": 3e-06, |
| "loss": 0.0862, |
| "step": 1951 |
| }, |
| { |
| "epoch": 0.06506666666666666, |
| "grad_norm": 0.1122124120593071, |
| "learning_rate": 3e-06, |
| "loss": 0.086, |
| "step": 1952 |
| }, |
| { |
| "completion_length": 220.71875, |
| "epoch": 0.0651, |
| "grad_norm": 3.8339500427246094, |
| "learning_rate": 3e-06, |
| "loss": 0.8747, |
| "reward": 0.28125, |
| "reward_std": 0.2561737596988678, |
| "rewards/correctness_reward_func_math": 0.28125, |
| "step": 1953, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.06513333333333333, |
| "grad_norm": 3.781766891479492, |
| "learning_rate": 3e-06, |
| "loss": 0.8699, |
| "step": 1954 |
| }, |
| { |
| "epoch": 0.06516666666666666, |
| "grad_norm": 3.8422961235046387, |
| "learning_rate": 3e-06, |
| "loss": 0.8724, |
| "step": 1955 |
| }, |
| { |
| "epoch": 0.0652, |
| "grad_norm": 3.5620906352996826, |
| "learning_rate": 3e-06, |
| "loss": 0.8523, |
| "step": 1956 |
| }, |
| { |
| "epoch": 0.06523333333333334, |
| "grad_norm": 3.4850757122039795, |
| "learning_rate": 3e-06, |
| "loss": 0.8419, |
| "step": 1957 |
| }, |
| { |
| "epoch": 0.06526666666666667, |
| "grad_norm": 3.3043105602264404, |
| "learning_rate": 3e-06, |
| "loss": 0.8246, |
| "step": 1958 |
| }, |
| { |
| "epoch": 0.0653, |
| "grad_norm": 3.129692554473877, |
| "learning_rate": 3e-06, |
| "loss": 0.8078, |
| "step": 1959 |
| }, |
| { |
| "epoch": 0.06533333333333333, |
| "grad_norm": 2.98408579826355, |
| "learning_rate": 3e-06, |
| "loss": 0.7929, |
| "step": 1960 |
| }, |
| { |
| "completion_length": 240.0, |
| "epoch": 0.06536666666666667, |
| "grad_norm": 0.05143769457936287, |
| "learning_rate": 3e-06, |
| "loss": 0.0074, |
| "reward": 0.0, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.0, |
| "step": 1961, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.0654, |
| "grad_norm": 0.04680619388818741, |
| "learning_rate": 3e-06, |
| "loss": 0.0073, |
| "step": 1962 |
| }, |
| { |
| "epoch": 0.06543333333333333, |
| "grad_norm": 0.04359707981348038, |
| "learning_rate": 3e-06, |
| "loss": 0.0072, |
| "step": 1963 |
| }, |
| { |
| "epoch": 0.06546666666666667, |
| "grad_norm": 0.03940826281905174, |
| "learning_rate": 3e-06, |
| "loss": 0.0072, |
| "step": 1964 |
| }, |
| { |
| "epoch": 0.0655, |
| "grad_norm": 0.03607490286231041, |
| "learning_rate": 3e-06, |
| "loss": 0.0071, |
| "step": 1965 |
| }, |
| { |
| "epoch": 0.06553333333333333, |
| "grad_norm": 0.02895331010222435, |
| "learning_rate": 3e-06, |
| "loss": 0.007, |
| "step": 1966 |
| }, |
| { |
| "epoch": 0.06556666666666666, |
| "grad_norm": 0.02348491922020912, |
| "learning_rate": 3e-06, |
| "loss": 0.0069, |
| "step": 1967 |
| }, |
| { |
| "epoch": 0.0656, |
| "grad_norm": 0.01740790344774723, |
| "learning_rate": 3e-06, |
| "loss": 0.0069, |
| "step": 1968 |
| }, |
| { |
| "completion_length": 243.21875, |
| "epoch": 0.06563333333333334, |
| "grad_norm": 0.32464173436164856, |
| "learning_rate": 3e-06, |
| "loss": 0.1521, |
| "reward": 0.25, |
| "reward_std": 0.25819888710975647, |
| "rewards/correctness_reward_func_math": 0.25, |
| "step": 1969, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.06566666666666666, |
| "grad_norm": 0.3248634934425354, |
| "learning_rate": 3e-06, |
| "loss": 0.1534, |
| "step": 1970 |
| }, |
| { |
| "epoch": 0.0657, |
| "grad_norm": 0.32473650574684143, |
| "learning_rate": 3e-06, |
| "loss": 0.1508, |
| "step": 1971 |
| }, |
| { |
| "epoch": 0.06573333333333334, |
| "grad_norm": 0.3106275200843811, |
| "learning_rate": 3e-06, |
| "loss": 0.1498, |
| "step": 1972 |
| }, |
| { |
| "epoch": 0.06576666666666667, |
| "grad_norm": 0.291562020778656, |
| "learning_rate": 3e-06, |
| "loss": 0.1451, |
| "step": 1973 |
| }, |
| { |
| "epoch": 0.0658, |
| "grad_norm": 0.28417447209358215, |
| "learning_rate": 3e-06, |
| "loss": 0.143, |
| "step": 1974 |
| }, |
| { |
| "epoch": 0.06583333333333333, |
| "grad_norm": 0.2575417459011078, |
| "learning_rate": 3e-06, |
| "loss": 0.1408, |
| "step": 1975 |
| }, |
| { |
| "epoch": 0.06586666666666667, |
| "grad_norm": 0.2664029002189636, |
| "learning_rate": 3e-06, |
| "loss": 0.1407, |
| "step": 1976 |
| }, |
| { |
| "completion_length": 239.125, |
| "epoch": 0.0659, |
| "grad_norm": 0.12476836889982224, |
| "learning_rate": 3e-06, |
| "loss": 0.0888, |
| "reward": 0.90625, |
| "reward_std": 0.20155644416809082, |
| "rewards/correctness_reward_func_math": 0.90625, |
| "step": 1977, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.06593333333333333, |
| "grad_norm": 0.13822680711746216, |
| "learning_rate": 3e-06, |
| "loss": 0.088, |
| "step": 1978 |
| }, |
| { |
| "epoch": 0.06596666666666667, |
| "grad_norm": 0.13141250610351562, |
| "learning_rate": 3e-06, |
| "loss": 0.0885, |
| "step": 1979 |
| }, |
| { |
| "epoch": 0.066, |
| "grad_norm": 0.13097648322582245, |
| "learning_rate": 3e-06, |
| "loss": 0.0875, |
| "step": 1980 |
| }, |
| { |
| "epoch": 0.06603333333333333, |
| "grad_norm": 0.1123272255063057, |
| "learning_rate": 3e-06, |
| "loss": 0.0867, |
| "step": 1981 |
| }, |
| { |
| "epoch": 0.06606666666666666, |
| "grad_norm": 0.13040874898433685, |
| "learning_rate": 3e-06, |
| "loss": 0.0848, |
| "step": 1982 |
| }, |
| { |
| "epoch": 0.0661, |
| "grad_norm": 0.11424583196640015, |
| "learning_rate": 3e-06, |
| "loss": 0.0857, |
| "step": 1983 |
| }, |
| { |
| "epoch": 0.06613333333333334, |
| "grad_norm": 0.1027456670999527, |
| "learning_rate": 3e-06, |
| "loss": 0.0832, |
| "step": 1984 |
| }, |
| { |
| "completion_length": 254.46875, |
| "epoch": 0.06616666666666667, |
| "grad_norm": 0.12706981599330902, |
| "learning_rate": 3e-06, |
| "loss": 0.0075, |
| "reward": 0.0, |
| "reward_std": 0.0, |
| "rewards/correctness_reward_func_math": 0.0, |
| "step": 1985, |
| "zero_std_ratio": 1.0 |
| }, |
| { |
| "epoch": 0.0662, |
| "grad_norm": 0.07281482964754105, |
| "learning_rate": 3e-06, |
| "loss": 0.0071, |
| "step": 1986 |
| }, |
| { |
| "epoch": 0.06623333333333334, |
| "grad_norm": 0.06916627287864685, |
| "learning_rate": 3e-06, |
| "loss": 0.007, |
| "step": 1987 |
| }, |
| { |
| "epoch": 0.06626666666666667, |
| "grad_norm": 0.03620218113064766, |
| "learning_rate": 3e-06, |
| "loss": 0.0069, |
| "step": 1988 |
| }, |
| { |
| "epoch": 0.0663, |
| "grad_norm": 0.030469687655568123, |
| "learning_rate": 3e-06, |
| "loss": 0.0068, |
| "step": 1989 |
| }, |
| { |
| "epoch": 0.06633333333333333, |
| "grad_norm": 0.052723467350006104, |
| "learning_rate": 3e-06, |
| "loss": 0.0069, |
| "step": 1990 |
| }, |
| { |
| "epoch": 0.06636666666666667, |
| "grad_norm": 0.047346942126750946, |
| "learning_rate": 3e-06, |
| "loss": 0.0068, |
| "step": 1991 |
| }, |
| { |
| "epoch": 0.0664, |
| "grad_norm": 0.054221708327531815, |
| "learning_rate": 3e-06, |
| "loss": 0.0069, |
| "step": 1992 |
| }, |
| { |
| "completion_length": 248.9375, |
| "epoch": 0.06643333333333333, |
| "grad_norm": 0.2771340012550354, |
| "learning_rate": 3e-06, |
| "loss": 0.1062, |
| "reward": 0.875, |
| "reward_std": 0.22360679507255554, |
| "rewards/correctness_reward_func_math": 0.875, |
| "step": 1993, |
| "zero_std_ratio": 0.5 |
| }, |
| { |
| "epoch": 0.06646666666666666, |
| "grad_norm": 0.27088719606399536, |
| "learning_rate": 3e-06, |
| "loss": 0.1049, |
| "step": 1994 |
| }, |
| { |
| "epoch": 0.0665, |
| "grad_norm": 0.2465420663356781, |
| "learning_rate": 3e-06, |
| "loss": 0.1048, |
| "step": 1995 |
| }, |
| { |
| "epoch": 0.06653333333333333, |
| "grad_norm": 0.23436610400676727, |
| "learning_rate": 3e-06, |
| "loss": 0.1038, |
| "step": 1996 |
| }, |
| { |
| "epoch": 0.06656666666666666, |
| "grad_norm": 0.22392910718917847, |
| "learning_rate": 3e-06, |
| "loss": 0.1017, |
| "step": 1997 |
| }, |
| { |
| "epoch": 0.0666, |
| "grad_norm": 0.2210848331451416, |
| "learning_rate": 3e-06, |
| "loss": 0.1004, |
| "step": 1998 |
| }, |
| { |
| "epoch": 0.06663333333333334, |
| "grad_norm": 0.2006128430366516, |
| "learning_rate": 3e-06, |
| "loss": 0.0978, |
| "step": 1999 |
| }, |
| { |
| "epoch": 0.06666666666666667, |
| "grad_norm": 0.20427468419075012, |
| "learning_rate": 3e-06, |
| "loss": 0.0962, |
| "step": 2000 |
| } |
| ], |
| "logging_steps": 1.0, |
| "max_steps": 2500, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 1, |
| "save_steps": 500, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": false |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 0.0, |
| "train_batch_size": 2, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
