File size: 347,264 Bytes
a795f8c | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 340 341 342 343 344 345 346 347 348 349 350 351 352 353 354 355 356 357 358 359 360 361 362 363 364 365 366 367 368 369 370 371 372 373 374 375 376 377 378 379 380 381 382 383 384 385 386 387 388 389 390 391 392 393 394 395 396 397 398 399 400 401 402 403 404 405 406 407 408 409 410 411 412 413 414 415 416 417 418 419 420 421 422 423 424 425 426 427 428 429 430 431 432 433 434 435 436 437 438 439 440 441 442 443 444 445 446 447 448 449 450 451 452 453 454 455 456 457 458 459 460 461 462 463 464 465 466 467 468 469 470 471 472 473 474 475 476 477 478 479 480 481 482 483 484 485 486 487 488 489 490 491 492 493 494 495 496 497 498 499 500 501 502 503 504 505 506 507 508 509 510 511 512 513 514 515 516 517 518 519 520 521 522 523 524 525 526 527 528 529 530 531 532 533 534 535 536 537 538 539 540 541 542 543 544 545 546 547 548 549 550 551 552 553 554 555 556 557 558 559 560 561 562 563 564 565 566 567 568 569 570 571 572 573 574 575 576 577 578 579 580 581 582 583 584 585 586 587 588 589 590 591 592 593 594 595 596 597 598 599 600 601 602 603 604 605 606 607 608 609 610 611 612 613 614 615 616 617 618 619 620 621 622 623 624 625 626 627 628 629 630 631 632 633 634 635 636 637 638 639 640 641 642 643 644 645 646 647 648 649 650 651 652 653 654 655 656 657 658 659 660 661 662 663 664 665 666 667 668 669 670 671 672 673 674 675 676 677 678 679 680 681 682 683 684 685 686 687 688 689 690 691 692 693 694 695 696 697 698 699 700 701 702 703 704 705 706 707 708 709 710 711 712 713 714 715 716 717 718 719 720 721 722 723 724 725 726 727 728 729 730 731 732 733 734 735 736 737 738 739 740 741 742 743 744 745 746 747 748 749 750 751 752 753 754 755 756 757 758 759 760 761 762 763 764 765 766 767 768 769 770 771 772 773 774 775 776 777 778 779 780 781 782 783 784 785 786 787 788 789 790 791 792 793 794 795 796 797 798 799 800 801 802 803 804 805 806 807 808 809 810 811 812 813 814 815 816 817 818 819 820 821 822 823 824 825 826 827 828 829 830 831 832 833 834 835 836 837 838 839 840 841 842 843 844 845 846 847 848 849 850 851 852 853 854 855 856 857 858 859 860 861 862 863 864 865 866 867 868 869 870 871 872 873 874 875 876 877 878 879 880 881 882 883 884 885 886 887 888 889 890 891 892 893 894 895 896 897 898 899 900 901 902 903 904 905 906 907 908 909 910 911 912 913 914 915 916 917 918 919 920 921 922 923 924 925 926 927 928 929 930 931 932 933 934 935 936 937 938 939 940 941 942 943 944 945 946 947 948 949 950 951 952 953 954 955 956 957 958 959 960 961 962 963 964 965 966 967 968 969 970 971 972 973 974 975 976 977 978 979 980 981 982 983 984 985 986 987 988 989 990 991 992 993 994 995 996 997 998 999 1000 1001 1002 1003 1004 1005 1006 1007 1008 1009 1010 1011 1012 1013 1014 1015 1016 1017 1018 1019 1020 1021 1022 1023 1024 1025 1026 1027 1028 1029 1030 1031 1032 1033 1034 1035 1036 1037 1038 1039 1040 1041 1042 1043 1044 1045 1046 1047 1048 1049 1050 1051 1052 1053 1054 1055 1056 1057 1058 1059 1060 1061 1062 1063 1064 1065 1066 1067 1068 1069 1070 1071 1072 1073 1074 1075 1076 1077 1078 1079 1080 1081 1082 1083 1084 1085 1086 1087 1088 1089 1090 1091 1092 1093 1094 1095 1096 1097 1098 1099 1100 1101 1102 1103 1104 1105 1106 1107 1108 1109 1110 1111 1112 1113 1114 1115 1116 1117 1118 1119 1120 1121 1122 1123 1124 1125 1126 1127 1128 1129 1130 1131 1132 1133 1134 1135 1136 1137 1138 1139 1140 1141 1142 1143 1144 1145 1146 1147 1148 1149 1150 1151 1152 1153 1154 1155 1156 1157 1158 1159 1160 1161 1162 1163 1164 1165 1166 1167 1168 1169 1170 1171 1172 1173 1174 1175 1176 1177 1178 1179 1180 1181 1182 1183 1184 1185 1186 1187 1188 1189 1190 1191 1192 1193 1194 1195 1196 1197 1198 1199 1200 1201 1202 1203 1204 1205 1206 1207 1208 1209 1210 1211 1212 1213 1214 1215 1216 1217 1218 1219 1220 1221 1222 1223 1224 1225 1226 1227 1228 1229 1230 1231 1232 1233 1234 1235 1236 1237 1238 1239 1240 1241 1242 1243 1244 1245 1246 1247 1248 1249 1250 1251 1252 1253 1254 1255 1256 1257 1258 1259 1260 1261 1262 1263 1264 1265 1266 1267 1268 1269 1270 1271 1272 1273 1274 1275 1276 1277 1278 1279 1280 1281 1282 1283 1284 1285 1286 1287 1288 1289 1290 1291 1292 1293 1294 1295 1296 1297 1298 1299 1300 1301 1302 1303 1304 1305 1306 1307 1308 1309 1310 1311 1312 1313 1314 1315 1316 1317 1318 1319 1320 1321 1322 1323 1324 1325 1326 1327 1328 1329 1330 1331 1332 1333 1334 1335 1336 1337 1338 1339 1340 1341 1342 1343 1344 1345 1346 1347 1348 1349 1350 1351 1352 1353 1354 1355 1356 1357 1358 1359 1360 1361 1362 1363 1364 1365 1366 1367 1368 1369 1370 1371 1372 1373 1374 1375 1376 1377 1378 1379 1380 1381 1382 1383 1384 1385 1386 1387 1388 1389 1390 1391 1392 1393 1394 1395 1396 1397 1398 1399 1400 1401 1402 1403 1404 1405 1406 1407 1408 1409 1410 1411 1412 1413 1414 1415 1416 1417 1418 1419 1420 1421 1422 1423 1424 1425 1426 1427 1428 1429 1430 1431 1432 1433 1434 1435 1436 1437 1438 1439 1440 1441 1442 1443 1444 1445 1446 1447 1448 1449 1450 1451 1452 1453 1454 1455 1456 1457 1458 1459 1460 1461 1462 1463 1464 1465 1466 1467 1468 1469 1470 1471 1472 1473 1474 1475 1476 1477 1478 1479 1480 1481 1482 1483 1484 1485 1486 1487 1488 1489 1490 1491 1492 1493 1494 1495 1496 1497 1498 1499 1500 1501 1502 1503 1504 1505 1506 1507 1508 1509 1510 1511 1512 1513 1514 1515 1516 1517 1518 1519 1520 1521 1522 1523 1524 1525 1526 1527 1528 1529 1530 1531 1532 1533 1534 1535 1536 1537 1538 1539 1540 1541 1542 1543 1544 1545 1546 1547 1548 1549 1550 1551 1552 1553 1554 1555 1556 1557 1558 1559 1560 1561 1562 1563 1564 1565 1566 1567 1568 1569 1570 1571 1572 1573 1574 1575 1576 1577 1578 1579 1580 1581 1582 1583 1584 1585 1586 1587 1588 1589 1590 1591 1592 1593 1594 1595 1596 1597 1598 1599 1600 1601 1602 1603 1604 1605 1606 1607 1608 1609 1610 1611 1612 1613 1614 1615 1616 1617 1618 1619 1620 1621 1622 1623 1624 1625 1626 1627 1628 1629 1630 1631 1632 1633 1634 1635 1636 1637 1638 1639 1640 1641 1642 1643 1644 1645 1646 1647 1648 1649 1650 1651 1652 1653 1654 1655 1656 1657 1658 1659 1660 1661 1662 1663 1664 1665 1666 1667 1668 1669 1670 1671 1672 1673 1674 1675 1676 1677 1678 1679 1680 1681 1682 1683 1684 1685 1686 1687 1688 1689 1690 1691 1692 1693 1694 1695 1696 1697 1698 1699 1700 1701 1702 1703 1704 1705 1706 1707 1708 1709 1710 1711 1712 1713 1714 1715 1716 1717 1718 1719 1720 1721 1722 1723 1724 1725 1726 1727 1728 1729 1730 1731 1732 1733 1734 1735 1736 1737 1738 1739 1740 1741 1742 1743 1744 1745 1746 1747 1748 1749 1750 1751 1752 1753 1754 1755 1756 1757 1758 1759 1760 1761 1762 1763 1764 1765 1766 1767 1768 1769 1770 1771 1772 1773 1774 1775 1776 1777 1778 1779 1780 1781 1782 1783 1784 1785 1786 1787 1788 1789 1790 1791 1792 1793 1794 1795 1796 1797 1798 1799 1800 1801 1802 1803 1804 1805 1806 1807 1808 1809 1810 1811 1812 1813 1814 1815 1816 1817 1818 1819 1820 1821 1822 1823 1824 1825 1826 1827 1828 1829 1830 1831 1832 1833 1834 1835 1836 1837 1838 1839 1840 1841 1842 1843 1844 1845 1846 1847 1848 | (venv) leo@leo-mint:~/smallm/Supra-50M$ python3 train.py
[*] Loading libraries...
[*] Loading tokenizer...
[*] Preparing 20,000,000,000 tokens (streaming, memmap-backed)...
[=] Reusing existing token file: tokens.bin
[+] Dataset ready: 19,531,250 chunks of 1024 tokens
[*] Setting up model...
[*] Model parameters: 51,786,240
[*] Defining training arguments...
[transformers] warmup_ratio is deprecated and will be removed in v5.2. Use `warmup_steps` instead.
[*] Starting training...
0%| | 0/152588 [00:00<?, ?it/s]W0517 14:59:00.167000 27625 torch/_inductor/utils.py:1731] [0/0] Not enough SMs to use max_autotune_gemm mode
{'loss': '9.822', 'grad_norm': '1.781', 'learning_rate': '1.946e-05', 'epoch': '0.0006554'}
{'loss': '8.539', 'grad_norm': '1.164', 'learning_rate': '3.912e-05', 'epoch': '0.001311'}
{'loss': '7.393', 'grad_norm': '1.282', 'learning_rate': '5.878e-05', 'epoch': '0.001966'}
{'loss': '6.806', 'grad_norm': '2.183', 'learning_rate': '7.844e-05', 'epoch': '0.002621'}
{'loss': '6.413', 'grad_norm': '1.753', 'learning_rate': '9.81e-05', 'epoch': '0.003277'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.54it/s]
{'loss': '6.131', 'grad_norm': '1.552', 'learning_rate': '0.0001178', 'epoch': '0.003932'}
{'loss': '5.908', 'grad_norm': '1.505', 'learning_rate': '0.0001374', 'epoch': '0.004588'}
{'loss': '5.71', 'grad_norm': '1.384', 'learning_rate': '0.0001571', 'epoch': '0.005243'}
{'loss': '5.53', 'grad_norm': '1.439', 'learning_rate': '0.0001767', 'epoch': '0.005898'}
{'loss': '5.372', 'grad_norm': '1.095', 'learning_rate': '0.0001964', 'epoch': '0.006554'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.17it/s]
{'loss': '5.233', 'grad_norm': '1.361', 'learning_rate': '0.0002161', 'epoch': '0.007209'}
{'loss': '5.104', 'grad_norm': '1.061', 'learning_rate': '0.0002357', 'epoch': '0.007864'}
{'loss': '4.973', 'grad_norm': '1.352', 'learning_rate': '0.0002554', 'epoch': '0.00852'}
{'loss': '4.843', 'grad_norm': '1.013', 'learning_rate': '0.000275', 'epoch': '0.009175'}
{'loss': '4.711', 'grad_norm': '0.9927', 'learning_rate': '0.0002947', 'epoch': '0.00983'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.91it/s]
{'loss': '4.585', 'grad_norm': '0.896', 'learning_rate': '0.0003144', 'epoch': '0.01049'}
{'loss': '4.479', 'grad_norm': '0.7985', 'learning_rate': '0.000334', 'epoch': '0.01114'}
{'loss': '4.386', 'grad_norm': '0.7477', 'learning_rate': '0.0003537', 'epoch': '0.0118'}
{'loss': '4.318', 'grad_norm': '0.7296', 'learning_rate': '0.0003733', 'epoch': '0.01245'}
{'loss': '4.255', 'grad_norm': '0.6791', 'learning_rate': '0.000393', 'epoch': '0.01311'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.33it/s]
{'loss': '4.194', 'grad_norm': '0.7175', 'learning_rate': '0.0004126', 'epoch': '0.01376'}
{'loss': '4.151', 'grad_norm': '0.6317', 'learning_rate': '0.0004323', 'epoch': '0.01442'}
{'loss': '4.106', 'grad_norm': '0.5953', 'learning_rate': '0.000452', 'epoch': '0.01507'}
{'loss': '4.069', 'grad_norm': '0.4885', 'learning_rate': '0.0004716', 'epoch': '0.01573'}
{'loss': '4.041', 'grad_norm': '0.5002', 'learning_rate': '0.0004913', 'epoch': '0.01638'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.09it/s]
{'loss': '4.009', 'grad_norm': '0.5133', 'learning_rate': '0.0005109', 'epoch': '0.01704'}
{'loss': '3.978', 'grad_norm': '0.5448', 'learning_rate': '0.0005306', 'epoch': '0.01769'}
{'loss': '3.957', 'grad_norm': '0.5136', 'learning_rate': '0.0005503', 'epoch': '0.01835'}
{'loss': '3.928', 'grad_norm': '0.4771', 'learning_rate': '0.0005699', 'epoch': '0.01901'}
{'loss': '3.911', 'grad_norm': '0.4366', 'learning_rate': '0.0005896', 'epoch': '0.01966'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.08it/s]
{'loss': '3.899', 'grad_norm': '0.4166', 'learning_rate': '0.0006', 'epoch': '0.02032'}
{'loss': '3.876', 'grad_norm': '0.3686', 'learning_rate': '0.0006', 'epoch': '0.02097'}
{'loss': '3.849', 'grad_norm': '0.4205', 'learning_rate': '0.0006', 'epoch': '0.02163'}
{'loss': '3.831', 'grad_norm': '0.4025', 'learning_rate': '0.0006', 'epoch': '0.02228'}
{'loss': '3.815', 'grad_norm': '0.3824', 'learning_rate': '0.0006', 'epoch': '0.02294'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.19it/s]
{'loss': '3.802', 'grad_norm': '0.3756', 'learning_rate': '0.0006', 'epoch': '0.02359'}
{'loss': '3.785', 'grad_norm': '0.3782', 'learning_rate': '0.0006', 'epoch': '0.02425'}
{'loss': '3.773', 'grad_norm': '0.3885', 'learning_rate': '0.0006', 'epoch': '0.0249'}
{'loss': '3.758', 'grad_norm': '0.3821', 'learning_rate': '0.0006', 'epoch': '0.02556'}
{'loss': '3.748', 'grad_norm': '0.3729', 'learning_rate': '0.0005999', 'epoch': '0.02621'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.22it/s]
{'loss': '3.731', 'grad_norm': '0.3965', 'learning_rate': '0.0005999', 'epoch': '0.02687'}
{'loss': '3.722', 'grad_norm': '0.389', 'learning_rate': '0.0005999', 'epoch': '0.02753'}
{'loss': '3.714', 'grad_norm': '0.3952', 'learning_rate': '0.0005999', 'epoch': '0.02818'}
{'loss': '3.703', 'grad_norm': '0.3691', 'learning_rate': '0.0005999', 'epoch': '0.02884'}
{'loss': '3.69', 'grad_norm': '0.3722', 'learning_rate': '0.0005999', 'epoch': '0.02949'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.92it/s]
{'loss': '3.682', 'grad_norm': '0.3461', 'learning_rate': '0.0005998', 'epoch': '0.03015'}
{'loss': '3.671', 'grad_norm': '0.38', 'learning_rate': '0.0005998', 'epoch': '0.0308'}
{'loss': '3.662', 'grad_norm': '0.3693', 'learning_rate': '0.0005998', 'epoch': '0.03146'}
{'loss': '3.655', 'grad_norm': '0.3818', 'learning_rate': '0.0005998', 'epoch': '0.03211'}
{'loss': '3.65', 'grad_norm': '0.3394', 'learning_rate': '0.0005997', 'epoch': '0.03277'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.90it/s]
{'loss': '3.645', 'grad_norm': '0.3594', 'learning_rate': '0.0005997', 'epoch': '0.03342'}
{'loss': '3.632', 'grad_norm': '0.3436', 'learning_rate': '0.0005997', 'epoch': '0.03408'}
{'loss': '3.629', 'grad_norm': '0.3674', 'learning_rate': '0.0005997', 'epoch': '0.03473'}
{'loss': '3.616', 'grad_norm': '0.3732', 'learning_rate': '0.0005996', 'epoch': '0.03539'}
{'loss': '3.624', 'grad_norm': '0.4021', 'learning_rate': '0.0005996', 'epoch': '0.03604'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.32it/s]
{'loss': '3.606', 'grad_norm': '0.3589', 'learning_rate': '0.0005996', 'epoch': '0.0367'}
{'loss': '3.607', 'grad_norm': '0.3607', 'learning_rate': '0.0005995', 'epoch': '0.03736'}
{'loss': '3.593', 'grad_norm': '0.3369', 'learning_rate': '0.0005995', 'epoch': '0.03801'}
{'loss': '3.593', 'grad_norm': '0.3583', 'learning_rate': '0.0005995', 'epoch': '0.03867'}
{'loss': '3.587', 'grad_norm': '0.347', 'learning_rate': '0.0005994', 'epoch': '0.03932'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.00it/s]
{'loss': '3.579', 'grad_norm': '0.3477', 'learning_rate': '0.0005994', 'epoch': '0.03998'}
{'loss': '3.574', 'grad_norm': '0.3275', 'learning_rate': '0.0005993', 'epoch': '0.04063'}
{'loss': '3.578', 'grad_norm': '0.3631', 'learning_rate': '0.0005993', 'epoch': '0.04129'}
{'loss': '3.567', 'grad_norm': '0.3617', 'learning_rate': '0.0005993', 'epoch': '0.04194'}
{'loss': '3.566', 'grad_norm': '0.3838', 'learning_rate': '0.0005992', 'epoch': '0.0426'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 2.95it/s]
{'loss': '3.555', 'grad_norm': '0.3746', 'learning_rate': '0.0005992', 'epoch': '0.04325'}
{'loss': '3.555', 'grad_norm': '0.3321', 'learning_rate': '0.0005991', 'epoch': '0.04391'}
{'loss': '3.547', 'grad_norm': '0.3564', 'learning_rate': '0.0005991', 'epoch': '0.04456'}
{'loss': '3.554', 'grad_norm': '0.3793', 'learning_rate': '0.000599', 'epoch': '0.04522'}
{'loss': '3.547', 'grad_norm': '0.3557', 'learning_rate': '0.000599', 'epoch': '0.04588'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.46it/s]
{'loss': '3.539', 'grad_norm': '0.3665', 'learning_rate': '0.0005989', 'epoch': '0.04653'}
{'loss': '3.54', 'grad_norm': '0.3462', 'learning_rate': '0.0005989', 'epoch': '0.04719'}
{'loss': '3.535', 'grad_norm': '0.3403', 'learning_rate': '0.0005988', 'epoch': '0.04784'}
{'loss': '3.531', 'grad_norm': '0.3762', 'learning_rate': '0.0005987', 'epoch': '0.0485'}
{'loss': '3.528', 'grad_norm': '0.3384', 'learning_rate': '0.0005987', 'epoch': '0.04915'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 2.31it/s]
{'loss': '3.523', 'grad_norm': '0.3551', 'learning_rate': '0.0005986', 'epoch': '0.04981'}
{'loss': '3.523', 'grad_norm': '0.3496', 'learning_rate': '0.0005986', 'epoch': '0.05046'}
{'loss': '3.52', 'grad_norm': '0.3509', 'learning_rate': '0.0005985', 'epoch': '0.05112'}
{'loss': '3.508', 'grad_norm': '0.3552', 'learning_rate': '0.0005984', 'epoch': '0.05177'}
{'loss': '3.506', 'grad_norm': '0.4069', 'learning_rate': '0.0005984', 'epoch': '0.05243'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.85it/s]
{'loss': '3.509', 'grad_norm': '0.3515', 'learning_rate': '0.0005983', 'epoch': '0.05308'}
{'loss': '3.505', 'grad_norm': '0.3485', 'learning_rate': '0.0005982', 'epoch': '0.05374'}
{'loss': '3.501', 'grad_norm': '0.37', 'learning_rate': '0.0005982', 'epoch': '0.05439'}
{'loss': '3.499', 'grad_norm': '0.3799', 'learning_rate': '0.0005981', 'epoch': '0.05505'}
{'loss': '3.503', 'grad_norm': '0.3496', 'learning_rate': '0.000598', 'epoch': '0.05571'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.50it/s]
{'loss': '3.494', 'grad_norm': '0.3906', 'learning_rate': '0.000598', 'epoch': '0.05636'}
{'loss': '3.49', 'grad_norm': '0.3612', 'learning_rate': '0.0005979', 'epoch': '0.05702'}
{'loss': '3.487', 'grad_norm': '0.3826', 'learning_rate': '0.0005978', 'epoch': '0.05767'}
{'loss': '3.49', 'grad_norm': '0.3617', 'learning_rate': '0.0005977', 'epoch': '0.05833'}
{'loss': '3.484', 'grad_norm': '0.3589', 'learning_rate': '0.0005977', 'epoch': '0.05898'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.72it/s]
{'loss': '3.481', 'grad_norm': '0.3567', 'learning_rate': '0.0005976', 'epoch': '0.05964'}
{'loss': '3.479', 'grad_norm': '0.358', 'learning_rate': '0.0005975', 'epoch': '0.06029'}
{'loss': '3.475', 'grad_norm': '0.3492', 'learning_rate': '0.0005974', 'epoch': '0.06095'}
{'loss': '3.476', 'grad_norm': '0.369', 'learning_rate': '0.0005973', 'epoch': '0.0616'}
{'loss': '3.471', 'grad_norm': '0.42', 'learning_rate': '0.0005973', 'epoch': '0.06226'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.84it/s]
{'loss': '3.467', 'grad_norm': '0.3995', 'learning_rate': '0.0005972', 'epoch': '0.06291'}
{'loss': '3.469', 'grad_norm': '0.3499', 'learning_rate': '0.0005971', 'epoch': '0.06357'}
{'loss': '3.466', 'grad_norm': '0.3647', 'learning_rate': '0.000597', 'epoch': '0.06423'}
{'loss': '3.46', 'grad_norm': '0.3487', 'learning_rate': '0.0005969', 'epoch': '0.06488'}
{'loss': '3.461', 'grad_norm': '0.3431', 'learning_rate': '0.0005968', 'epoch': '0.06554'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.54it/s]
{'loss': '3.461', 'grad_norm': '0.3862', 'learning_rate': '0.0005967', 'epoch': '0.06619'}
{'loss': '3.461', 'grad_norm': '0.373', 'learning_rate': '0.0005966', 'epoch': '0.06685'}
{'loss': '3.462', 'grad_norm': '0.367', 'learning_rate': '0.0005965', 'epoch': '0.0675'}
{'loss': '3.457', 'grad_norm': '0.3643', 'learning_rate': '0.0005964', 'epoch': '0.06816'}
{'loss': '3.455', 'grad_norm': '0.3512', 'learning_rate': '0.0005963', 'epoch': '0.06881'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.32it/s]
{'loss': '3.455', 'grad_norm': '0.3911', 'learning_rate': '0.0005962', 'epoch': '0.06947'}
{'loss': '3.446', 'grad_norm': '0.349', 'learning_rate': '0.0005961', 'epoch': '0.07012'}
{'loss': '3.45', 'grad_norm': '0.3599', 'learning_rate': '0.000596', 'epoch': '0.07078'}
{'loss': '3.439', 'grad_norm': '0.3614', 'learning_rate': '0.0005959', 'epoch': '0.07143'}
{'loss': '3.443', 'grad_norm': '0.3775', 'learning_rate': '0.0005958', 'epoch': '0.07209'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.54it/s]
{'loss': '3.448', 'grad_norm': '0.4077', 'learning_rate': '0.0005957', 'epoch': '0.07274'}
{'loss': '3.439', 'grad_norm': '0.384', 'learning_rate': '0.0005956', 'epoch': '0.0734'}
{'loss': '3.442', 'grad_norm': '0.3768', 'learning_rate': '0.0005955', 'epoch': '0.07406'}
{'loss': '3.435', 'grad_norm': '0.3531', 'learning_rate': '0.0005954', 'epoch': '0.07471'}
{'loss': '3.438', 'grad_norm': '0.365', 'learning_rate': '0.0005953', 'epoch': '0.07537'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.74it/s]
{'loss': '3.441', 'grad_norm': '0.3533', 'learning_rate': '0.0005952', 'epoch': '0.07602'}
{'loss': '3.441', 'grad_norm': '0.3584', 'learning_rate': '0.0005951', 'epoch': '0.07668'}
{'loss': '3.434', 'grad_norm': '0.4161', 'learning_rate': '0.0005949', 'epoch': '0.07733'}
{'loss': '3.434', 'grad_norm': '0.3601', 'learning_rate': '0.0005948', 'epoch': '0.07799'}
{'loss': '3.432', 'grad_norm': '0.3707', 'learning_rate': '0.0005947', 'epoch': '0.07864'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.68it/s]
{'loss': '3.422', 'grad_norm': '0.352', 'learning_rate': '0.0005946', 'epoch': '0.0793'}
{'loss': '3.428', 'grad_norm': '0.3649', 'learning_rate': '0.0005945', 'epoch': '0.07995'}
{'loss': '3.425', 'grad_norm': '0.3697', 'learning_rate': '0.0005944', 'epoch': '0.08061'}
{'loss': '3.425', 'grad_norm': '0.3875', 'learning_rate': '0.0005942', 'epoch': '0.08126'}
{'loss': '3.425', 'grad_norm': '0.3726', 'learning_rate': '0.0005941', 'epoch': '0.08192'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.15it/s]
{'loss': '3.423', 'grad_norm': '0.352', 'learning_rate': '0.000594', 'epoch': '0.08258'}
{'loss': '3.421', 'grad_norm': '0.3771', 'learning_rate': '0.0005939', 'epoch': '0.08323'}
{'loss': '3.423', 'grad_norm': '0.4241', 'learning_rate': '0.0005937', 'epoch': '0.08389'}
{'loss': '3.421', 'grad_norm': '0.361', 'learning_rate': '0.0005936', 'epoch': '0.08454'}
{'loss': '3.414', 'grad_norm': '0.3651', 'learning_rate': '0.0005935', 'epoch': '0.0852'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.09it/s]
{'loss': '3.419', 'grad_norm': '0.3694', 'learning_rate': '0.0005933', 'epoch': '0.08585'}
{'loss': '3.417', 'grad_norm': '0.37', 'learning_rate': '0.0005932', 'epoch': '0.08651'}
{'loss': '3.414', 'grad_norm': '0.4199', 'learning_rate': '0.0005931', 'epoch': '0.08716'}
{'loss': '3.415', 'grad_norm': '0.3884', 'learning_rate': '0.0005929', 'epoch': '0.08782'}
{'loss': '3.417', 'grad_norm': '0.3871', 'learning_rate': '0.0005928', 'epoch': '0.08847'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.25it/s]
{'loss': '3.414', 'grad_norm': '0.3685', 'learning_rate': '0.0005927', 'epoch': '0.08913'}
{'loss': '3.411', 'grad_norm': '0.3827', 'learning_rate': '0.0005925', 'epoch': '0.08978'}
{'loss': '3.407', 'grad_norm': '0.3573', 'learning_rate': '0.0005924', 'epoch': '0.09044'}
{'loss': '3.405', 'grad_norm': '0.3688', 'learning_rate': '0.0005922', 'epoch': '0.09109'}
{'loss': '3.405', 'grad_norm': '0.3638', 'learning_rate': '0.0005921', 'epoch': '0.09175'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.93it/s]
{'loss': '3.402', 'grad_norm': '0.3493', 'learning_rate': '0.000592', 'epoch': '0.09241'}
{'loss': '3.397', 'grad_norm': '0.3694', 'learning_rate': '0.0005918', 'epoch': '0.09306'}
{'loss': '3.4', 'grad_norm': '0.3925', 'learning_rate': '0.0005917', 'epoch': '0.09372'}
{'loss': '3.404', 'grad_norm': '0.3872', 'learning_rate': '0.0005915', 'epoch': '0.09437'}
{'loss': '3.397', 'grad_norm': '0.3646', 'learning_rate': '0.0005914', 'epoch': '0.09503'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.40it/s]
{'loss': '3.399', 'grad_norm': '0.3847', 'learning_rate': '0.0005912', 'epoch': '0.09568'}
{'loss': '3.401', 'grad_norm': '0.3837', 'learning_rate': '0.0005911', 'epoch': '0.09634'}
{'loss': '3.397', 'grad_norm': '0.3586', 'learning_rate': '0.0005909', 'epoch': '0.09699'}
{'loss': '3.393', 'grad_norm': '0.4064', 'learning_rate': '0.0005908', 'epoch': '0.09765'}
{'loss': '3.395', 'grad_norm': '0.376', 'learning_rate': '0.0005906', 'epoch': '0.0983'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.80it/s]
{'loss': '3.393', 'grad_norm': '0.4256', 'learning_rate': '0.0005904', 'epoch': '0.09896'}
{'loss': '3.401', 'grad_norm': '0.4047', 'learning_rate': '0.0005903', 'epoch': '0.09961'}
{'loss': '3.394', 'grad_norm': '0.3741', 'learning_rate': '0.0005901', 'epoch': '0.1003'}
{'loss': '3.392', 'grad_norm': '0.3817', 'learning_rate': '0.00059', 'epoch': '0.1009'}
{'loss': '3.387', 'grad_norm': '0.4296', 'learning_rate': '0.0005898', 'epoch': '0.1016'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 2.82it/s]
{'loss': '3.389', 'grad_norm': '0.3564', 'learning_rate': '0.0005896', 'epoch': '0.1022'}
{'loss': '3.39', 'grad_norm': '0.4093', 'learning_rate': '0.0005895', 'epoch': '0.1029'}
{'loss': '3.389', 'grad_norm': '0.3907', 'learning_rate': '0.0005893', 'epoch': '0.1035'}
{'loss': '3.386', 'grad_norm': '0.416', 'learning_rate': '0.0005891', 'epoch': '0.1042'}
{'loss': '3.385', 'grad_norm': '0.3946', 'learning_rate': '0.000589', 'epoch': '0.1049'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 2.75it/s]
{'loss': '3.387', 'grad_norm': '0.3888', 'learning_rate': '0.0005888', 'epoch': '0.1055'}
{'loss': '3.384', 'grad_norm': '0.3953', 'learning_rate': '0.0005886', 'epoch': '0.1062'}
{'loss': '3.385', 'grad_norm': '0.4033', 'learning_rate': '0.0005885', 'epoch': '0.1068'}
{'loss': '3.388', 'grad_norm': '0.4087', 'learning_rate': '0.0005883', 'epoch': '0.1075'}
{'loss': '3.385', 'grad_norm': '0.3681', 'learning_rate': '0.0005881', 'epoch': '0.1081'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.76it/s]
{'loss': '3.381', 'grad_norm': '0.4152', 'learning_rate': '0.0005879', 'epoch': '0.1088'}
{'loss': '3.38', 'grad_norm': '0.3973', 'learning_rate': '0.0005878', 'epoch': '0.1094'}
{'loss': '3.38', 'grad_norm': '0.3795', 'learning_rate': '0.0005876', 'epoch': '0.1101'}
{'loss': '3.384', 'grad_norm': '0.4048', 'learning_rate': '0.0005874', 'epoch': '0.1108'}
{'loss': '3.384', 'grad_norm': '0.3852', 'learning_rate': '0.0005872', 'epoch': '0.1114'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.67it/s]
{'loss': '3.38', 'grad_norm': '0.3918', 'learning_rate': '0.000587', 'epoch': '0.1121'}
{'loss': '3.378', 'grad_norm': '0.4043', 'learning_rate': '0.0005868', 'epoch': '0.1127'}
{'loss': '3.374', 'grad_norm': '0.368', 'learning_rate': '0.0005867', 'epoch': '0.1134'}
{'loss': '3.378', 'grad_norm': '0.3844', 'learning_rate': '0.0005865', 'epoch': '0.114'}
{'loss': '3.371', 'grad_norm': '0.3853', 'learning_rate': '0.0005863', 'epoch': '0.1147'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.40it/s]
{'loss': '3.371', 'grad_norm': '0.3587', 'learning_rate': '0.0005861', 'epoch': '0.1153'}
{'loss': '3.374', 'grad_norm': '0.3656', 'learning_rate': '0.0005859', 'epoch': '0.116'}
{'loss': '3.372', 'grad_norm': '0.3428', 'learning_rate': '0.0005857', 'epoch': '0.1167'}
{'loss': '3.372', 'grad_norm': '0.3704', 'learning_rate': '0.0005855', 'epoch': '0.1173'}
{'loss': '3.37', 'grad_norm': '0.3918', 'learning_rate': '0.0005853', 'epoch': '0.118'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.72it/s]
{'loss': '3.377', 'grad_norm': '0.3739', 'learning_rate': '0.0005851', 'epoch': '0.1186'}
{'loss': '3.367', 'grad_norm': '0.3773', 'learning_rate': '0.0005849', 'epoch': '0.1193'}
{'loss': '3.369', 'grad_norm': '0.3885', 'learning_rate': '0.0005847', 'epoch': '0.1199'}
{'loss': '3.363', 'grad_norm': '0.3729', 'learning_rate': '0.0005845', 'epoch': '0.1206'}
{'loss': '3.37', 'grad_norm': '0.375', 'learning_rate': '0.0005843', 'epoch': '0.1212'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.35it/s]
{'loss': '3.368', 'grad_norm': '0.3634', 'learning_rate': '0.0005841', 'epoch': '0.1219'}
{'loss': '3.368', 'grad_norm': '0.4189', 'learning_rate': '0.0005839', 'epoch': '0.1226'}
{'loss': '3.368', 'grad_norm': '0.3579', 'learning_rate': '0.0005837', 'epoch': '0.1232'}
{'loss': '3.366', 'grad_norm': '0.3531', 'learning_rate': '0.0005835', 'epoch': '0.1239'}
{'loss': '3.366', 'grad_norm': '0.3624', 'learning_rate': '0.0005833', 'epoch': '0.1245'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.83it/s]
{'loss': '3.358', 'grad_norm': '0.3907', 'learning_rate': '0.0005831', 'epoch': '0.1252'}
{'loss': '3.367', 'grad_norm': '0.3936', 'learning_rate': '0.0005829', 'epoch': '0.1258'}
{'loss': '3.364', 'grad_norm': '0.3841', 'learning_rate': '0.0005827', 'epoch': '0.1265'}
{'loss': '3.361', 'grad_norm': '0.3735', 'learning_rate': '0.0005825', 'epoch': '0.1271'}
{'loss': '3.368', 'grad_norm': '0.3932', 'learning_rate': '0.0005823', 'epoch': '0.1278'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.10it/s]
{'loss': '3.351', 'grad_norm': '0.3737', 'learning_rate': '0.0005821', 'epoch': '0.1285'}
{'loss': '3.358', 'grad_norm': '0.3517', 'learning_rate': '0.0005818', 'epoch': '0.1291'}
{'loss': '3.36', 'grad_norm': '0.3841', 'learning_rate': '0.0005816', 'epoch': '0.1298'}
{'loss': '3.363', 'grad_norm': '0.3739', 'learning_rate': '0.0005814', 'epoch': '0.1304'}
{'loss': '3.354', 'grad_norm': '0.4001', 'learning_rate': '0.0005812', 'epoch': '0.1311'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.63it/s]
{'loss': '3.36', 'grad_norm': '0.364', 'learning_rate': '0.000581', 'epoch': '0.1317'}
{'loss': '3.355', 'grad_norm': '0.3792', 'learning_rate': '0.0005807', 'epoch': '0.1324'}
{'loss': '3.363', 'grad_norm': '0.3697', 'learning_rate': '0.0005805', 'epoch': '0.133'}
{'loss': '3.365', 'grad_norm': '0.408', 'learning_rate': '0.0005803', 'epoch': '0.1337'}
{'loss': '3.359', 'grad_norm': '0.367', 'learning_rate': '0.0005801', 'epoch': '0.1343'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.20it/s]
{'loss': '3.36', 'grad_norm': '0.4236', 'learning_rate': '0.0005798', 'epoch': '0.135'}
{'loss': '3.355', 'grad_norm': '0.4047', 'learning_rate': '0.0005796', 'epoch': '0.1357'}
{'loss': '3.354', 'grad_norm': '0.375', 'learning_rate': '0.0005794', 'epoch': '0.1363'}
{'loss': '3.356', 'grad_norm': '0.4076', 'learning_rate': '0.0005792', 'epoch': '0.137'}
{'loss': '3.356', 'grad_norm': '0.4216', 'learning_rate': '0.0005789', 'epoch': '0.1376'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.31it/s]
{'loss': '3.353', 'grad_norm': '0.4283', 'learning_rate': '0.0005787', 'epoch': '0.1383'}
{'loss': '3.352', 'grad_norm': '0.3582', 'learning_rate': '0.0005785', 'epoch': '0.1389'}
{'loss': '3.346', 'grad_norm': '0.4229', 'learning_rate': '0.0005782', 'epoch': '0.1396'}
{'loss': '3.356', 'grad_norm': '0.3956', 'learning_rate': '0.000578', 'epoch': '0.1402'}
{'loss': '3.346', 'grad_norm': '0.3688', 'learning_rate': '0.0005778', 'epoch': '0.1409'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.34it/s]
{'loss': '3.351', 'grad_norm': '0.4167', 'learning_rate': '0.0005775', 'epoch': '0.1416'}
{'loss': '3.355', 'grad_norm': '0.3978', 'learning_rate': '0.0005773', 'epoch': '0.1422'}
{'loss': '3.351', 'grad_norm': '0.4078', 'learning_rate': '0.000577', 'epoch': '0.1429'}
{'loss': '3.348', 'grad_norm': '0.362', 'learning_rate': '0.0005768', 'epoch': '0.1435'}
{'loss': '3.346', 'grad_norm': '0.4139', 'learning_rate': '0.0005765', 'epoch': '0.1442'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.62it/s]
{'loss': '3.345', 'grad_norm': '0.3952', 'learning_rate': '0.0005763', 'epoch': '0.1448'}
{'loss': '3.348', 'grad_norm': '0.3764', 'learning_rate': '0.0005761', 'epoch': '0.1455'}
{'loss': '3.351', 'grad_norm': '0.4298', 'learning_rate': '0.0005758', 'epoch': '0.1461'}
{'loss': '3.347', 'grad_norm': '0.4231', 'learning_rate': '0.0005756', 'epoch': '0.1468'}
{'loss': '3.347', 'grad_norm': '0.4313', 'learning_rate': '0.0005753', 'epoch': '0.1475'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.84it/s]
{'loss': '3.342', 'grad_norm': '0.4146', 'learning_rate': '0.0005751', 'epoch': '0.1481'}
{'loss': '3.346', 'grad_norm': '0.394', 'learning_rate': '0.0005748', 'epoch': '0.1488'}
{'loss': '3.345', 'grad_norm': '0.4244', 'learning_rate': '0.0005746', 'epoch': '0.1494'}
{'loss': '3.349', 'grad_norm': '0.4101', 'learning_rate': '0.0005743', 'epoch': '0.1501'}
{'loss': '3.337', 'grad_norm': '0.3851', 'learning_rate': '0.000574', 'epoch': '0.1507'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.32it/s]
{'loss': '3.344', 'grad_norm': '0.3972', 'learning_rate': '0.0005738', 'epoch': '0.1514'}
{'loss': '3.343', 'grad_norm': '0.4008', 'learning_rate': '0.0005735', 'epoch': '0.152'}
{'loss': '3.345', 'grad_norm': '0.4243', 'learning_rate': '0.0005733', 'epoch': '0.1527'}
{'loss': '3.335', 'grad_norm': '0.4064', 'learning_rate': '0.000573', 'epoch': '0.1534'}
{'loss': '3.337', 'grad_norm': '0.3827', 'learning_rate': '0.0005727', 'epoch': '0.154'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 2.94it/s]
{'loss': '3.338', 'grad_norm': '0.3717', 'learning_rate': '0.0005725', 'epoch': '0.1547'}
{'loss': '3.339', 'grad_norm': '0.3652', 'learning_rate': '0.0005722', 'epoch': '0.1553'}
{'loss': '3.333', 'grad_norm': '0.38', 'learning_rate': '0.000572', 'epoch': '0.156'}
{'loss': '3.34', 'grad_norm': '0.3919', 'learning_rate': '0.0005717', 'epoch': '0.1566'}
{'loss': '3.339', 'grad_norm': '0.424', 'learning_rate': '0.0005714', 'epoch': '0.1573'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.18it/s]
{'loss': '3.338', 'grad_norm': '0.3888', 'learning_rate': '0.0005711', 'epoch': '0.1579'}
{'loss': '3.342', 'grad_norm': '0.3861', 'learning_rate': '0.0005709', 'epoch': '0.1586'}
{'loss': '3.337', 'grad_norm': '0.4329', 'learning_rate': '0.0005706', 'epoch': '0.1593'}
{'loss': '3.332', 'grad_norm': '0.3949', 'learning_rate': '0.0005703', 'epoch': '0.1599'}
{'loss': '3.341', 'grad_norm': '0.3942', 'learning_rate': '0.0005701', 'epoch': '0.1606'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.51it/s]
{'loss': '3.337', 'grad_norm': '0.3761', 'learning_rate': '0.0005698', 'epoch': '0.1612'}
{'loss': '3.332', 'grad_norm': '0.4193', 'learning_rate': '0.0005695', 'epoch': '0.1619'}
{'loss': '3.336', 'grad_norm': '0.3785', 'learning_rate': '0.0005692', 'epoch': '0.1625'}
{'loss': '3.342', 'grad_norm': '0.407', 'learning_rate': '0.000569', 'epoch': '0.1632'}
{'loss': '3.332', 'grad_norm': '0.3972', 'learning_rate': '0.0005687', 'epoch': '0.1638'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.63it/s]
{'loss': '3.335', 'grad_norm': '0.4236', 'learning_rate': '0.0005684', 'epoch': '0.1645'}
{'loss': '3.339', 'grad_norm': '0.4263', 'learning_rate': '0.0005681', 'epoch': '0.1652'}
{'loss': '3.332', 'grad_norm': '0.4147', 'learning_rate': '0.0005678', 'epoch': '0.1658'}
{'loss': '3.332', 'grad_norm': '0.4093', 'learning_rate': '0.0005675', 'epoch': '0.1665'}
{'loss': '3.331', 'grad_norm': '0.4688', 'learning_rate': '0.0005673', 'epoch': '0.1671'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.28it/s]
{'loss': '3.33', 'grad_norm': '0.4011', 'learning_rate': '0.000567', 'epoch': '0.1678'}
{'loss': '3.328', 'grad_norm': '0.3979', 'learning_rate': '0.0005667', 'epoch': '0.1684'}
{'loss': '3.331', 'grad_norm': '0.3958', 'learning_rate': '0.0005664', 'epoch': '0.1691'}
{'loss': '3.33', 'grad_norm': '0.4354', 'learning_rate': '0.0005661', 'epoch': '0.1697'}
{'loss': '3.331', 'grad_norm': '0.4233', 'learning_rate': '0.0005658', 'epoch': '0.1704'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.34it/s]
{'loss': '3.327', 'grad_norm': '0.3645', 'learning_rate': '0.0005655', 'epoch': '0.171'}
{'loss': '3.33', 'grad_norm': '0.4305', 'learning_rate': '0.0005652', 'epoch': '0.1717'}
{'loss': '3.33', 'grad_norm': '0.3957', 'learning_rate': '0.0005649', 'epoch': '0.1724'}
{'loss': '3.333', 'grad_norm': '0.3876', 'learning_rate': '0.0005646', 'epoch': '0.173'}
{'loss': '3.327', 'grad_norm': '0.4283', 'learning_rate': '0.0005643', 'epoch': '0.1737'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.27it/s]
{'loss': '3.323', 'grad_norm': '0.4096', 'learning_rate': '0.000564', 'epoch': '0.1743'}
{'loss': '3.328', 'grad_norm': '0.4385', 'learning_rate': '0.0005637', 'epoch': '0.175'}
{'loss': '3.326', 'grad_norm': '0.4151', 'learning_rate': '0.0005634', 'epoch': '0.1756'}
{'loss': '3.328', 'grad_norm': '0.4207', 'learning_rate': '0.0005631', 'epoch': '0.1763'}
{'loss': '3.327', 'grad_norm': '0.4172', 'learning_rate': '0.0005628', 'epoch': '0.1769'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.16it/s]
{'loss': '3.328', 'grad_norm': '0.4056', 'learning_rate': '0.0005625', 'epoch': '0.1776'}
{'loss': '3.329', 'grad_norm': '0.4142', 'learning_rate': '0.0005622', 'epoch': '0.1783'}
{'loss': '3.326', 'grad_norm': '0.4323', 'learning_rate': '0.0005619', 'epoch': '0.1789'}
{'loss': '3.323', 'grad_norm': '0.3874', 'learning_rate': '0.0005616', 'epoch': '0.1796'}
{'loss': '3.325', 'grad_norm': '0.4138', 'learning_rate': '0.0005613', 'epoch': '0.1802'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 2.98it/s]
{'loss': '3.326', 'grad_norm': '0.4033', 'learning_rate': '0.000561', 'epoch': '0.1809'}
{'loss': '3.324', 'grad_norm': '0.3812', 'learning_rate': '0.0005607', 'epoch': '0.1815'}
{'loss': '3.333', 'grad_norm': '0.4189', 'learning_rate': '0.0005604', 'epoch': '0.1822'}
{'loss': '3.322', 'grad_norm': '0.4055', 'learning_rate': '0.00056', 'epoch': '0.1828'}
{'loss': '3.326', 'grad_norm': '0.4067', 'learning_rate': '0.0005597', 'epoch': '0.1835'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.86it/s]
{'loss': '3.319', 'grad_norm': '0.3985', 'learning_rate': '0.0005594', 'epoch': '0.1842'}
{'loss': '3.318', 'grad_norm': '0.3674', 'learning_rate': '0.0005591', 'epoch': '0.1848'}
{'loss': '3.318', 'grad_norm': '0.4153', 'learning_rate': '0.0005588', 'epoch': '0.1855'}
{'loss': '3.323', 'grad_norm': '0.4415', 'learning_rate': '0.0005585', 'epoch': '0.1861'}
{'loss': '3.317', 'grad_norm': '0.4189', 'learning_rate': '0.0005581', 'epoch': '0.1868'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.64it/s]
{'loss': '3.319', 'grad_norm': '0.4219', 'learning_rate': '0.0005578', 'epoch': '0.1874'}
{'loss': '3.324', 'grad_norm': '0.4226', 'learning_rate': '0.0005575', 'epoch': '0.1881'}
{'loss': '3.318', 'grad_norm': '0.3861', 'learning_rate': '0.0005572', 'epoch': '0.1887'}
{'loss': '3.321', 'grad_norm': '0.4099', 'learning_rate': '0.0005568', 'epoch': '0.1894'}
{'loss': '3.317', 'grad_norm': '0.4526', 'learning_rate': '0.0005565', 'epoch': '0.1901'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.84it/s]
{'loss': '3.323', 'grad_norm': '0.4115', 'learning_rate': '0.0005562', 'epoch': '0.1907'}
{'loss': '3.32', 'grad_norm': '0.3804', 'learning_rate': '0.0005559', 'epoch': '0.1914'}
{'loss': '3.323', 'grad_norm': '0.4126', 'learning_rate': '0.0005555', 'epoch': '0.192'}
{'loss': '3.32', 'grad_norm': '0.397', 'learning_rate': '0.0005552', 'epoch': '0.1927'}
{'loss': '3.315', 'grad_norm': '0.4178', 'learning_rate': '0.0005549', 'epoch': '0.1933'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.60it/s]
{'loss': '3.323', 'grad_norm': '0.4269', 'learning_rate': '0.0005545', 'epoch': '0.194'}
{'loss': '3.309', 'grad_norm': '0.3857', 'learning_rate': '0.0005542', 'epoch': '0.1946'}
{'loss': '3.31', 'grad_norm': '0.4207', 'learning_rate': '0.0005539', 'epoch': '0.1953'}
{'loss': '3.315', 'grad_norm': '0.4172', 'learning_rate': '0.0005535', 'epoch': '0.196'}
{'loss': '3.318', 'grad_norm': '0.4196', 'learning_rate': '0.0005532', 'epoch': '0.1966'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.51it/s]
{'loss': '3.317', 'grad_norm': '0.4169', 'learning_rate': '0.0005529', 'epoch': '0.1973'}
{'loss': '3.317', 'grad_norm': '0.4135', 'learning_rate': '0.0005525', 'epoch': '0.1979'}
{'loss': '3.31', 'grad_norm': '0.4213', 'learning_rate': '0.0005522', 'epoch': '0.1986'}
{'loss': '3.312', 'grad_norm': '0.3907', 'learning_rate': '0.0005518', 'epoch': '0.1992'}
{'loss': '3.308', 'grad_norm': '0.4401', 'learning_rate': '0.0005515', 'epoch': '0.1999'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.49it/s]
{'loss': '3.309', 'grad_norm': '0.4019', 'learning_rate': '0.0005511', 'epoch': '0.2005'}
{'loss': '3.314', 'grad_norm': '0.4282', 'learning_rate': '0.0005508', 'epoch': '0.2012'}
{'loss': '3.312', 'grad_norm': '0.3946', 'learning_rate': '0.0005505', 'epoch': '0.2019'}
{'loss': '3.309', 'grad_norm': '0.3791', 'learning_rate': '0.0005501', 'epoch': '0.2025'}
{'loss': '3.314', 'grad_norm': '0.4115', 'learning_rate': '0.0005498', 'epoch': '0.2032'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.30it/s]
{'loss': '3.315', 'grad_norm': '0.4361', 'learning_rate': '0.0005494', 'epoch': '0.2038'}
{'loss': '3.311', 'grad_norm': '0.3919', 'learning_rate': '0.0005491', 'epoch': '0.2045'}
{'loss': '3.309', 'grad_norm': '0.417', 'learning_rate': '0.0005487', 'epoch': '0.2051'}
{'loss': '3.308', 'grad_norm': '0.434', 'learning_rate': '0.0005484', 'epoch': '0.2058'}
{'loss': '3.311', 'grad_norm': '0.3879', 'learning_rate': '0.000548', 'epoch': '0.2064'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.15it/s]
{'loss': '3.309', 'grad_norm': '0.4034', 'learning_rate': '0.0005476', 'epoch': '0.2071'}
{'loss': '3.312', 'grad_norm': '0.429', 'learning_rate': '0.0005473', 'epoch': '0.2077'}
{'loss': '3.315', 'grad_norm': '0.405', 'learning_rate': '0.0005469', 'epoch': '0.2084'}
{'loss': '3.305', 'grad_norm': '0.4224', 'learning_rate': '0.0005466', 'epoch': '0.2091'}
{'loss': '3.307', 'grad_norm': '0.4002', 'learning_rate': '0.0005462', 'epoch': '0.2097'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.63it/s]
{'loss': '3.315', 'grad_norm': '0.4299', 'learning_rate': '0.0005459', 'epoch': '0.2104'}
{'loss': '3.303', 'grad_norm': '0.3953', 'learning_rate': '0.0005455', 'epoch': '0.211'}
{'loss': '3.31', 'grad_norm': '0.4181', 'learning_rate': '0.0005451', 'epoch': '0.2117'}
{'loss': '3.307', 'grad_norm': '0.4256', 'learning_rate': '0.0005448', 'epoch': '0.2123'}
{'loss': '3.307', 'grad_norm': '0.4429', 'learning_rate': '0.0005444', 'epoch': '0.213'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.07it/s]
{'loss': '3.303', 'grad_norm': '0.4143', 'learning_rate': '0.000544', 'epoch': '0.2136'}
{'loss': '3.311', 'grad_norm': '0.4011', 'learning_rate': '0.0005437', 'epoch': '0.2143'}
{'loss': '3.305', 'grad_norm': '0.4365', 'learning_rate': '0.0005433', 'epoch': '0.215'}
{'loss': '3.309', 'grad_norm': '0.4251', 'learning_rate': '0.0005429', 'epoch': '0.2156'}
{'loss': '3.31', 'grad_norm': '0.4824', 'learning_rate': '0.0005426', 'epoch': '0.2163'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.88it/s]
{'loss': '3.306', 'grad_norm': '0.3786', 'learning_rate': '0.0005422', 'epoch': '0.2169'}
{'loss': '3.308', 'grad_norm': '0.4208', 'learning_rate': '0.0005418', 'epoch': '0.2176'}
{'loss': '3.298', 'grad_norm': '0.4428', 'learning_rate': '0.0005414', 'epoch': '0.2182'}
{'loss': '3.307', 'grad_norm': '0.4398', 'learning_rate': '0.0005411', 'epoch': '0.2189'}
{'loss': '3.303', 'grad_norm': '0.4392', 'learning_rate': '0.0005407', 'epoch': '0.2195'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.61it/s]
{'loss': '3.308', 'grad_norm': '0.3917', 'learning_rate': '0.0005403', 'epoch': '0.2202'}
{'loss': '3.31', 'grad_norm': '0.3676', 'learning_rate': '0.0005399', 'epoch': '0.2209'}
{'loss': '3.304', 'grad_norm': '0.4456', 'learning_rate': '0.0005396', 'epoch': '0.2215'}
{'loss': '3.307', 'grad_norm': '0.4102', 'learning_rate': '0.0005392', 'epoch': '0.2222'}
{'loss': '3.303', 'grad_norm': '0.4049', 'learning_rate': '0.0005388', 'epoch': '0.2228'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.06it/s]
{'loss': '3.313', 'grad_norm': '0.4135', 'learning_rate': '0.0005384', 'epoch': '0.2235'}
{'loss': '3.303', 'grad_norm': '0.4272', 'learning_rate': '0.000538', 'epoch': '0.2241'}
{'loss': '3.301', 'grad_norm': '0.3994', 'learning_rate': '0.0005376', 'epoch': '0.2248'}
{'loss': '3.299', 'grad_norm': '0.3901', 'learning_rate': '0.0005373', 'epoch': '0.2254'}
{'loss': '3.308', 'grad_norm': '0.4429', 'learning_rate': '0.0005369', 'epoch': '0.2261'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.41it/s]
{'loss': '3.306', 'grad_norm': '0.4178', 'learning_rate': '0.0005365', 'epoch': '0.2268'}
{'loss': '3.302', 'grad_norm': '0.4027', 'learning_rate': '0.0005361', 'epoch': '0.2274'}
{'loss': '3.3', 'grad_norm': '0.4094', 'learning_rate': '0.0005357', 'epoch': '0.2281'}
{'loss': '3.303', 'grad_norm': '0.4042', 'learning_rate': '0.0005353', 'epoch': '0.2287'}
{'loss': '3.302', 'grad_norm': '0.4301', 'learning_rate': '0.0005349', 'epoch': '0.2294'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.63it/s]
{'loss': '3.295', 'grad_norm': '0.4202', 'learning_rate': '0.0005345', 'epoch': '0.23'}
{'loss': '3.298', 'grad_norm': '0.4166', 'learning_rate': '0.0005341', 'epoch': '0.2307'}
{'loss': '3.298', 'grad_norm': '0.4179', 'learning_rate': '0.0005337', 'epoch': '0.2313'}
{'loss': '3.297', 'grad_norm': '0.4093', 'learning_rate': '0.0005334', 'epoch': '0.232'}
{'loss': '3.297', 'grad_norm': '0.4061', 'learning_rate': '0.000533', 'epoch': '0.2327'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.39it/s]
{'loss': '3.298', 'grad_norm': '0.4248', 'learning_rate': '0.0005326', 'epoch': '0.2333'}
{'loss': '3.302', 'grad_norm': '0.4083', 'learning_rate': '0.0005322', 'epoch': '0.234'}
{'loss': '3.307', 'grad_norm': '0.436', 'learning_rate': '0.0005318', 'epoch': '0.2346'}
{'loss': '3.295', 'grad_norm': '0.4644', 'learning_rate': '0.0005314', 'epoch': '0.2353'}
{'loss': '3.299', 'grad_norm': '0.4748', 'learning_rate': '0.000531', 'epoch': '0.2359'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.80it/s]
{'loss': '3.298', 'grad_norm': '0.4075', 'learning_rate': '0.0005306', 'epoch': '0.2366'}
{'loss': '3.296', 'grad_norm': '0.4763', 'learning_rate': '0.0005302', 'epoch': '0.2372'}
{'loss': '3.301', 'grad_norm': '0.4135', 'learning_rate': '0.0005297', 'epoch': '0.2379'}
{'loss': '3.29', 'grad_norm': '0.4013', 'learning_rate': '0.0005293', 'epoch': '0.2386'}
{'loss': '3.295', 'grad_norm': '0.4345', 'learning_rate': '0.0005289', 'epoch': '0.2392'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.57it/s]
{'loss': '3.291', 'grad_norm': '0.4374', 'learning_rate': '0.0005285', 'epoch': '0.2399'}
{'loss': '3.294', 'grad_norm': '0.3919', 'learning_rate': '0.0005281', 'epoch': '0.2405'}
{'loss': '3.292', 'grad_norm': '0.3981', 'learning_rate': '0.0005277', 'epoch': '0.2412'}
{'loss': '3.291', 'grad_norm': '0.4253', 'learning_rate': '0.0005273', 'epoch': '0.2418'}
{'loss': '3.292', 'grad_norm': '0.4287', 'learning_rate': '0.0005269', 'epoch': '0.2425'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.31it/s]
{'loss': '3.294', 'grad_norm': '0.4415', 'learning_rate': '0.0005265', 'epoch': '0.2431'}
{'loss': '3.292', 'grad_norm': '0.4087', 'learning_rate': '0.0005261', 'epoch': '0.2438'}
{'loss': '3.297', 'grad_norm': '0.4502', 'learning_rate': '0.0005256', 'epoch': '0.2444'}
{'loss': '3.291', 'grad_norm': '0.3993', 'learning_rate': '0.0005252', 'epoch': '0.2451'}
{'loss': '3.291', 'grad_norm': '0.4159', 'learning_rate': '0.0005248', 'epoch': '0.2458'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.84it/s]
{'loss': '3.295', 'grad_norm': '0.4288', 'learning_rate': '0.0005244', 'epoch': '0.2464'}
{'loss': '3.29', 'grad_norm': '0.4135', 'learning_rate': '0.000524', 'epoch': '0.2471'}
{'loss': '3.289', 'grad_norm': '0.3979', 'learning_rate': '0.0005236', 'epoch': '0.2477'}
{'loss': '3.288', 'grad_norm': '0.46', 'learning_rate': '0.0005231', 'epoch': '0.2484'}
{'loss': '3.292', 'grad_norm': '0.4309', 'learning_rate': '0.0005227', 'epoch': '0.249'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.29it/s]
{'loss': '3.287', 'grad_norm': '0.4198', 'learning_rate': '0.0005223', 'epoch': '0.2497'}
{'loss': '3.292', 'grad_norm': '0.4363', 'learning_rate': '0.0005219', 'epoch': '0.2503'}
{'loss': '3.294', 'grad_norm': '0.4288', 'learning_rate': '0.0005214', 'epoch': '0.251'}
{'loss': '3.285', 'grad_norm': '0.467', 'learning_rate': '0.000521', 'epoch': '0.2517'}
{'loss': '3.297', 'grad_norm': '0.423', 'learning_rate': '0.0005206', 'epoch': '0.2523'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.91it/s]
{'loss': '3.292', 'grad_norm': '0.4233', 'learning_rate': '0.0005202', 'epoch': '0.253'}
{'loss': '3.293', 'grad_norm': '0.39', 'learning_rate': '0.0005197', 'epoch': '0.2536'}
{'loss': '3.287', 'grad_norm': '0.4068', 'learning_rate': '0.0005193', 'epoch': '0.2543'}
{'loss': '3.294', 'grad_norm': '0.4774', 'learning_rate': '0.0005189', 'epoch': '0.2549'}
{'loss': '3.289', 'grad_norm': '0.4119', 'learning_rate': '0.0005184', 'epoch': '0.2556'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.22it/s]
{'loss': '3.285', 'grad_norm': '0.4129', 'learning_rate': '0.000518', 'epoch': '0.2562'}
{'loss': '3.289', 'grad_norm': '0.4281', 'learning_rate': '0.0005176', 'epoch': '0.2569'}
{'loss': '3.296', 'grad_norm': '0.4259', 'learning_rate': '0.0005171', 'epoch': '0.2576'}
{'loss': '3.285', 'grad_norm': '0.4517', 'learning_rate': '0.0005167', 'epoch': '0.2582'}
{'loss': '3.291', 'grad_norm': '0.4411', 'learning_rate': '0.0005163', 'epoch': '0.2589'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.82it/s]
{'loss': '3.293', 'grad_norm': '0.4366', 'learning_rate': '0.0005158', 'epoch': '0.2595'}
{'loss': '3.286', 'grad_norm': '0.4526', 'learning_rate': '0.0005154', 'epoch': '0.2602'}
{'loss': '3.287', 'grad_norm': '0.4371', 'learning_rate': '0.000515', 'epoch': '0.2608'}
{'loss': '3.288', 'grad_norm': '0.4736', 'learning_rate': '0.0005145', 'epoch': '0.2615'}
{'loss': '3.284', 'grad_norm': '0.4448', 'learning_rate': '0.0005141', 'epoch': '0.2621'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.47it/s]
{'loss': '3.289', 'grad_norm': '0.4361', 'learning_rate': '0.0005136', 'epoch': '0.2628'}
{'loss': '3.292', 'grad_norm': '0.4069', 'learning_rate': '0.0005132', 'epoch': '0.2635'}
{'loss': '3.285', 'grad_norm': '0.429', 'learning_rate': '0.0005127', 'epoch': '0.2641'}
{'loss': '3.29', 'grad_norm': '0.45', 'learning_rate': '0.0005123', 'epoch': '0.2648'}
{'loss': '3.29', 'grad_norm': '0.4603', 'learning_rate': '0.0005119', 'epoch': '0.2654'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.59it/s]
{'loss': '3.286', 'grad_norm': '0.4661', 'learning_rate': '0.0005114', 'epoch': '0.2661'}
{'loss': '3.283', 'grad_norm': '0.4116', 'learning_rate': '0.000511', 'epoch': '0.2667'}
{'loss': '3.289', 'grad_norm': '0.4033', 'learning_rate': '0.0005105', 'epoch': '0.2674'}
{'loss': '3.287', 'grad_norm': '0.4275', 'learning_rate': '0.0005101', 'epoch': '0.268'}
{'loss': '3.285', 'grad_norm': '0.4323', 'learning_rate': '0.0005096', 'epoch': '0.2687'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.46it/s]
{'loss': '3.287', 'grad_norm': '0.4436', 'learning_rate': '0.0005092', 'epoch': '0.2694'}
{'loss': '3.283', 'grad_norm': '0.4717', 'learning_rate': '0.0005087', 'epoch': '0.27'}
{'loss': '3.282', 'grad_norm': '0.4171', 'learning_rate': '0.0005083', 'epoch': '0.2707'}
{'loss': '3.285', 'grad_norm': '0.466', 'learning_rate': '0.0005078', 'epoch': '0.2713'}
{'loss': '3.288', 'grad_norm': '0.4331', 'learning_rate': '0.0005073', 'epoch': '0.272'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.88it/s]
{'loss': '3.282', 'grad_norm': '0.4762', 'learning_rate': '0.0005069', 'epoch': '0.2726'}
{'loss': '3.279', 'grad_norm': '0.4448', 'learning_rate': '0.0005064', 'epoch': '0.2733'}
{'loss': '3.283', 'grad_norm': '0.417', 'learning_rate': '0.000506', 'epoch': '0.2739'}
{'loss': '3.283', 'grad_norm': '0.4176', 'learning_rate': '0.0005055', 'epoch': '0.2746'}
{'loss': '3.281', 'grad_norm': '0.4735', 'learning_rate': '0.0005051', 'epoch': '0.2753'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.03it/s]
{'loss': '3.291', 'grad_norm': '0.4538', 'learning_rate': '0.0005046', 'epoch': '0.2759'}
{'loss': '3.283', 'grad_norm': '0.4483', 'learning_rate': '0.0005041', 'epoch': '0.2766'}
{'loss': '3.287', 'grad_norm': '0.3931', 'learning_rate': '0.0005037', 'epoch': '0.2772'}
{'loss': '3.281', 'grad_norm': '0.4505', 'learning_rate': '0.0005032', 'epoch': '0.2779'}
{'loss': '3.277', 'grad_norm': '0.4187', 'learning_rate': '0.0005027', 'epoch': '0.2785'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.26it/s]
{'loss': '3.282', 'grad_norm': '0.4115', 'learning_rate': '0.0005023', 'epoch': '0.2792'}
{'loss': '3.282', 'grad_norm': '0.4723', 'learning_rate': '0.0005018', 'epoch': '0.2798'}
{'loss': '3.288', 'grad_norm': '0.4022', 'learning_rate': '0.0005013', 'epoch': '0.2805'}
{'loss': '3.279', 'grad_norm': '0.4272', 'learning_rate': '0.0005009', 'epoch': '0.2811'}
{'loss': '3.287', 'grad_norm': '0.4183', 'learning_rate': '0.0005004', 'epoch': '0.2818'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.06it/s]
{'loss': '3.28', 'grad_norm': '0.4252', 'learning_rate': '0.0004999', 'epoch': '0.2825'}
{'loss': '3.283', 'grad_norm': '0.4789', 'learning_rate': '0.0004995', 'epoch': '0.2831'}
{'loss': '3.282', 'grad_norm': '0.41', 'learning_rate': '0.000499', 'epoch': '0.2838'}
{'loss': '3.279', 'grad_norm': '0.505', 'learning_rate': '0.0004985', 'epoch': '0.2844'}
{'loss': '3.281', 'grad_norm': '0.4099', 'learning_rate': '0.0004981', 'epoch': '0.2851'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.59it/s]
{'loss': '3.277', 'grad_norm': '0.4219', 'learning_rate': '0.0004976', 'epoch': '0.2857'}
{'loss': '3.279', 'grad_norm': '0.4118', 'learning_rate': '0.0004971', 'epoch': '0.2864'}
{'loss': '3.278', 'grad_norm': '0.4192', 'learning_rate': '0.0004966', 'epoch': '0.287'}
{'loss': '3.277', 'grad_norm': '0.4265', 'learning_rate': '0.0004962', 'epoch': '0.2877'}
{'loss': '3.279', 'grad_norm': '0.421', 'learning_rate': '0.0004957', 'epoch': '0.2884'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.02it/s]
{'loss': '3.28', 'grad_norm': '0.4099', 'learning_rate': '0.0004952', 'epoch': '0.289'}
{'loss': '3.28', 'grad_norm': '0.4933', 'learning_rate': '0.0004947', 'epoch': '0.2897'}
{'loss': '3.28', 'grad_norm': '0.4045', 'learning_rate': '0.0004942', 'epoch': '0.2903'}
{'loss': '3.276', 'grad_norm': '0.4753', 'learning_rate': '0.0004938', 'epoch': '0.291'}
{'loss': '3.273', 'grad_norm': '0.4605', 'learning_rate': '0.0004933', 'epoch': '0.2916'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.78it/s]
{'loss': '3.275', 'grad_norm': '0.4532', 'learning_rate': '0.0004928', 'epoch': '0.2923'}
{'loss': '3.273', 'grad_norm': '0.4628', 'learning_rate': '0.0004923', 'epoch': '0.2929'}
{'loss': '3.28', 'grad_norm': '0.4034', 'learning_rate': '0.0004918', 'epoch': '0.2936'}
{'loss': '3.272', 'grad_norm': '0.4407', 'learning_rate': '0.0004913', 'epoch': '0.2943'}
{'loss': '3.279', 'grad_norm': '0.4513', 'learning_rate': '0.0004909', 'epoch': '0.2949'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.65it/s]
{'loss': '3.282', 'grad_norm': '0.4502', 'learning_rate': '0.0004904', 'epoch': '0.2956'}
{'loss': '3.276', 'grad_norm': '0.417', 'learning_rate': '0.0004899', 'epoch': '0.2962'}
{'loss': '3.272', 'grad_norm': '0.4675', 'learning_rate': '0.0004894', 'epoch': '0.2969'}
{'loss': '3.272', 'grad_norm': '0.4454', 'learning_rate': '0.0004889', 'epoch': '0.2975'}
{'loss': '3.27', 'grad_norm': '0.4224', 'learning_rate': '0.0004884', 'epoch': '0.2982'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.38it/s]
{'loss': '3.277', 'grad_norm': '0.4185', 'learning_rate': '0.0004879', 'epoch': '0.2988'}
{'loss': '3.272', 'grad_norm': '0.4154', 'learning_rate': '0.0004874', 'epoch': '0.2995'}
{'loss': '3.274', 'grad_norm': '0.4373', 'learning_rate': '0.0004869', 'epoch': '0.3002'}
{'loss': '3.273', 'grad_norm': '0.4612', 'learning_rate': '0.0004864', 'epoch': '0.3008'}
{'loss': '3.269', 'grad_norm': '0.4317', 'learning_rate': '0.0004859', 'epoch': '0.3015'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.40it/s]
{'loss': '3.272', 'grad_norm': '0.4245', 'learning_rate': '0.0004855', 'epoch': '0.3021'}
{'loss': '3.277', 'grad_norm': '0.459', 'learning_rate': '0.000485', 'epoch': '0.3028'}
{'loss': '3.279', 'grad_norm': '0.4376', 'learning_rate': '0.0004845', 'epoch': '0.3034'}
{'loss': '3.274', 'grad_norm': '0.4456', 'learning_rate': '0.000484', 'epoch': '0.3041'}
{'loss': '3.271', 'grad_norm': '0.4329', 'learning_rate': '0.0004835', 'epoch': '0.3047'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.95it/s]
{'loss': '3.275', 'grad_norm': '0.475', 'learning_rate': '0.000483', 'epoch': '0.3054'}
{'loss': '3.274', 'grad_norm': '0.4173', 'learning_rate': '0.0004825', 'epoch': '0.3061'}
{'loss': '3.269', 'grad_norm': '0.4307', 'learning_rate': '0.000482', 'epoch': '0.3067'}
{'loss': '3.272', 'grad_norm': '0.4991', 'learning_rate': '0.0004815', 'epoch': '0.3074'}
{'loss': '3.271', 'grad_norm': '0.4149', 'learning_rate': '0.000481', 'epoch': '0.308'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.07it/s]
{'loss': '3.272', 'grad_norm': '0.4634', 'learning_rate': '0.0004805', 'epoch': '0.3087'}
{'loss': '3.276', 'grad_norm': '0.4536', 'learning_rate': '0.00048', 'epoch': '0.3093'}
{'loss': '3.269', 'grad_norm': '0.4109', 'learning_rate': '0.0004795', 'epoch': '0.31'}
{'loss': '3.265', 'grad_norm': '0.4222', 'learning_rate': '0.0004789', 'epoch': '0.3106'}
{'loss': '3.274', 'grad_norm': '0.4168', 'learning_rate': '0.0004784', 'epoch': '0.3113'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.28it/s]
{'loss': '3.272', 'grad_norm': '0.4087', 'learning_rate': '0.0004779', 'epoch': '0.312'}
{'loss': '3.273', 'grad_norm': '0.4815', 'learning_rate': '0.0004774', 'epoch': '0.3126'}
{'loss': '3.27', 'grad_norm': '0.4261', 'learning_rate': '0.0004769', 'epoch': '0.3133'}
{'loss': '3.275', 'grad_norm': '0.4388', 'learning_rate': '0.0004764', 'epoch': '0.3139'}
{'loss': '3.267', 'grad_norm': '0.4312', 'learning_rate': '0.0004759', 'epoch': '0.3146'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.70it/s]
{'loss': '3.269', 'grad_norm': '0.4429', 'learning_rate': '0.0004754', 'epoch': '0.3152'}
{'loss': '3.27', 'grad_norm': '0.4504', 'learning_rate': '0.0004749', 'epoch': '0.3159'}
{'loss': '3.275', 'grad_norm': '0.4439', 'learning_rate': '0.0004744', 'epoch': '0.3165'}
{'loss': '3.268', 'grad_norm': '0.445', 'learning_rate': '0.0004738', 'epoch': '0.3172'}
{'loss': '3.269', 'grad_norm': '0.4463', 'learning_rate': '0.0004733', 'epoch': '0.3178'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.78it/s]
{'loss': '3.271', 'grad_norm': '0.4737', 'learning_rate': '0.0004728', 'epoch': '0.3185'}
{'loss': '3.27', 'grad_norm': '0.4419', 'learning_rate': '0.0004723', 'epoch': '0.3192'}
{'loss': '3.266', 'grad_norm': '0.4606', 'learning_rate': '0.0004718', 'epoch': '0.3198'}
{'loss': '3.264', 'grad_norm': '0.4492', 'learning_rate': '0.0004713', 'epoch': '0.3205'}
{'loss': '3.266', 'grad_norm': '0.4502', 'learning_rate': '0.0004708', 'epoch': '0.3211'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.32it/s]
{'loss': '3.266', 'grad_norm': '0.4692', 'learning_rate': '0.0004702', 'epoch': '0.3218'}
{'loss': '3.263', 'grad_norm': '0.4328', 'learning_rate': '0.0004697', 'epoch': '0.3224'}
{'loss': '3.268', 'grad_norm': '0.4387', 'learning_rate': '0.0004692', 'epoch': '0.3231'}
{'loss': '3.265', 'grad_norm': '0.4508', 'learning_rate': '0.0004687', 'epoch': '0.3237'}
{'loss': '3.263', 'grad_norm': '0.4707', 'learning_rate': '0.0004682', 'epoch': '0.3244'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.48it/s]
{'loss': '3.27', 'grad_norm': '0.456', 'learning_rate': '0.0004676', 'epoch': '0.3251'}
{'loss': '3.263', 'grad_norm': '0.4588', 'learning_rate': '0.0004671', 'epoch': '0.3257'}
{'loss': '3.263', 'grad_norm': '0.4057', 'learning_rate': '0.0004666', 'epoch': '0.3264'}
{'loss': '3.265', 'grad_norm': '0.45', 'learning_rate': '0.0004661', 'epoch': '0.327'}
{'loss': '3.264', 'grad_norm': '0.4766', 'learning_rate': '0.0004655', 'epoch': '0.3277'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.50it/s]
{'loss': '3.263', 'grad_norm': '0.4782', 'learning_rate': '0.000465', 'epoch': '0.3283'}
{'loss': '3.27', 'grad_norm': '0.4372', 'learning_rate': '0.0004645', 'epoch': '0.329'}
{'loss': '3.268', 'grad_norm': '0.4519', 'learning_rate': '0.000464', 'epoch': '0.3296'}
{'loss': '3.255', 'grad_norm': '0.4323', 'learning_rate': '0.0004634', 'epoch': '0.3303'}
{'loss': '3.264', 'grad_norm': '0.4575', 'learning_rate': '0.0004629', 'epoch': '0.331'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.83it/s]
{'loss': '3.27', 'grad_norm': '0.4476', 'learning_rate': '0.0004624', 'epoch': '0.3316'}
{'loss': '3.262', 'grad_norm': '0.4528', 'learning_rate': '0.0004618', 'epoch': '0.3323'}
{'loss': '3.262', 'grad_norm': '0.4844', 'learning_rate': '0.0004613', 'epoch': '0.3329'}
{'loss': '3.264', 'grad_norm': '0.4795', 'learning_rate': '0.0004608', 'epoch': '0.3336'}
{'loss': '3.267', 'grad_norm': '0.4845', 'learning_rate': '0.0004602', 'epoch': '0.3342'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.45it/s]
{'loss': '3.26', 'grad_norm': '0.4406', 'learning_rate': '0.0004597', 'epoch': '0.3349'}
{'loss': '3.263', 'grad_norm': '0.4481', 'learning_rate': '0.0004592', 'epoch': '0.3355'}
{'loss': '3.26', 'grad_norm': '0.452', 'learning_rate': '0.0004586', 'epoch': '0.3362'}
{'loss': '3.26', 'grad_norm': '0.469', 'learning_rate': '0.0004581', 'epoch': '0.3369'}
{'loss': '3.253', 'grad_norm': '0.4089', 'learning_rate': '0.0004576', 'epoch': '0.3375'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.17it/s]
{'loss': '3.262', 'grad_norm': '0.4312', 'learning_rate': '0.000457', 'epoch': '0.3382'}
{'loss': '3.259', 'grad_norm': '0.4376', 'learning_rate': '0.0004565', 'epoch': '0.3388'}
{'loss': '3.257', 'grad_norm': '0.4248', 'learning_rate': '0.000456', 'epoch': '0.3395'}
{'loss': '3.26', 'grad_norm': '0.4705', 'learning_rate': '0.0004554', 'epoch': '0.3401'}
{'loss': '3.26', 'grad_norm': '0.4164', 'learning_rate': '0.0004549', 'epoch': '0.3408'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.79it/s]
{'loss': '3.266', 'grad_norm': '0.4457', 'learning_rate': '0.0004543', 'epoch': '0.3414'}
{'loss': '3.259', 'grad_norm': '0.4463', 'learning_rate': '0.0004538', 'epoch': '0.3421'}
{'loss': '3.259', 'grad_norm': '0.4603', 'learning_rate': '0.0004533', 'epoch': '0.3428'}
{'loss': '3.259', 'grad_norm': '0.4435', 'learning_rate': '0.0004527', 'epoch': '0.3434'}
{'loss': '3.262', 'grad_norm': '0.4214', 'learning_rate': '0.0004522', 'epoch': '0.3441'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.42it/s]
{'loss': '3.26', 'grad_norm': '0.4644', 'learning_rate': '0.0004516', 'epoch': '0.3447'}
{'loss': '3.256', 'grad_norm': '0.4562', 'learning_rate': '0.0004511', 'epoch': '0.3454'}
{'loss': '3.262', 'grad_norm': '0.4455', 'learning_rate': '0.0004505', 'epoch': '0.346'}
{'loss': '3.259', 'grad_norm': '0.4552', 'learning_rate': '0.00045', 'epoch': '0.3467'}
{'loss': '3.257', 'grad_norm': '0.4198', 'learning_rate': '0.0004494', 'epoch': '0.3473'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.60it/s]
{'loss': '3.261', 'grad_norm': '0.4728', 'learning_rate': '0.0004489', 'epoch': '0.348'}
{'loss': '3.259', 'grad_norm': '0.4621', 'learning_rate': '0.0004484', 'epoch': '0.3487'}
{'loss': '3.256', 'grad_norm': '0.468', 'learning_rate': '0.0004478', 'epoch': '0.3493'}
{'loss': '3.26', 'grad_norm': '0.452', 'learning_rate': '0.0004473', 'epoch': '0.35'}
{'loss': '3.257', 'grad_norm': '0.4327', 'learning_rate': '0.0004467', 'epoch': '0.3506'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.22it/s]
{'loss': '3.26', 'grad_norm': '0.4696', 'learning_rate': '0.0004462', 'epoch': '0.3513'}
{'loss': '3.259', 'grad_norm': '0.4474', 'learning_rate': '0.0004456', 'epoch': '0.3519'}
{'loss': '3.254', 'grad_norm': '0.4496', 'learning_rate': '0.0004451', 'epoch': '0.3526'}
{'loss': '3.26', 'grad_norm': '0.4078', 'learning_rate': '0.0004445', 'epoch': '0.3532'}
{'loss': '3.252', 'grad_norm': '0.4482', 'learning_rate': '0.0004439', 'epoch': '0.3539'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 2.79it/s]
{'loss': '3.257', 'grad_norm': '0.4473', 'learning_rate': '0.0004434', 'epoch': '0.3545'}
{'loss': '3.254', 'grad_norm': '0.4646', 'learning_rate': '0.0004428', 'epoch': '0.3552'}
{'loss': '3.255', 'grad_norm': '0.4673', 'learning_rate': '0.0004423', 'epoch': '0.3559'}
{'loss': '3.249', 'grad_norm': '0.4286', 'learning_rate': '0.0004417', 'epoch': '0.3565'}
{'loss': '3.248', 'grad_norm': '0.463', 'learning_rate': '0.0004412', 'epoch': '0.3572'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.55it/s]
{'loss': '3.256', 'grad_norm': '0.4485', 'learning_rate': '0.0004406', 'epoch': '0.3578'}
{'loss': '3.257', 'grad_norm': '0.4817', 'learning_rate': '0.0004401', 'epoch': '0.3585'}
{'loss': '3.256', 'grad_norm': '0.4897', 'learning_rate': '0.0004395', 'epoch': '0.3591'}
{'loss': '3.255', 'grad_norm': '0.4551', 'learning_rate': '0.0004389', 'epoch': '0.3598'}
{'loss': '3.255', 'grad_norm': '0.4687', 'learning_rate': '0.0004384', 'epoch': '0.3604'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.29it/s]
{'loss': '3.264', 'grad_norm': '0.4215', 'learning_rate': '0.0004378', 'epoch': '0.3611'}
{'loss': '3.255', 'grad_norm': '0.4536', 'learning_rate': '0.0004373', 'epoch': '0.3618'}
{'loss': '3.252', 'grad_norm': '0.5059', 'learning_rate': '0.0004367', 'epoch': '0.3624'}
{'loss': '3.253', 'grad_norm': '0.4578', 'learning_rate': '0.0004361', 'epoch': '0.3631'}
{'loss': '3.255', 'grad_norm': '0.4677', 'learning_rate': '0.0004356', 'epoch': '0.3637'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.16it/s]
{'loss': '3.258', 'grad_norm': '0.4477', 'learning_rate': '0.000435', 'epoch': '0.3644'}
{'loss': '3.247', 'grad_norm': '0.4775', 'learning_rate': '0.0004345', 'epoch': '0.365'}
{'loss': '3.257', 'grad_norm': '0.4636', 'learning_rate': '0.0004339', 'epoch': '0.3657'}
{'loss': '3.256', 'grad_norm': '0.491', 'learning_rate': '0.0004333', 'epoch': '0.3663'}
{'loss': '3.251', 'grad_norm': '0.4513', 'learning_rate': '0.0004328', 'epoch': '0.367'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.75it/s]
{'loss': '3.251', 'grad_norm': '0.4497', 'learning_rate': '0.0004322', 'epoch': '0.3677'}
{'loss': '3.258', 'grad_norm': '0.4543', 'learning_rate': '0.0004316', 'epoch': '0.3683'}
{'loss': '3.255', 'grad_norm': '0.4645', 'learning_rate': '0.0004311', 'epoch': '0.369'}
{'loss': '3.252', 'grad_norm': '0.4636', 'learning_rate': '0.0004305', 'epoch': '0.3696'}
{'loss': '3.247', 'grad_norm': '0.4725', 'learning_rate': '0.0004299', 'epoch': '0.3703'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.44it/s]
{'loss': '3.25', 'grad_norm': '0.4311', 'learning_rate': '0.0004294', 'epoch': '0.3709'}
{'loss': '3.253', 'grad_norm': '0.4578', 'learning_rate': '0.0004288', 'epoch': '0.3716'}
{'loss': '3.25', 'grad_norm': '0.4468', 'learning_rate': '0.0004282', 'epoch': '0.3722'}
{'loss': '3.248', 'grad_norm': '0.4504', 'learning_rate': '0.0004277', 'epoch': '0.3729'}
{'loss': '3.244', 'grad_norm': '0.4893', 'learning_rate': '0.0004271', 'epoch': '0.3736'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.96it/s]
{'loss': '3.247', 'grad_norm': '0.4625', 'learning_rate': '0.0004265', 'epoch': '0.3742'}
{'loss': '3.254', 'grad_norm': '0.4205', 'learning_rate': '0.0004259', 'epoch': '0.3749'}
{'loss': '3.252', 'grad_norm': '0.4396', 'learning_rate': '0.0004254', 'epoch': '0.3755'}
{'loss': '3.254', 'grad_norm': '0.4752', 'learning_rate': '0.0004248', 'epoch': '0.3762'}
{'loss': '3.25', 'grad_norm': '0.4604', 'learning_rate': '0.0004242', 'epoch': '0.3768'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.26it/s]
{'loss': '3.242', 'grad_norm': '0.4707', 'learning_rate': '0.0004236', 'epoch': '0.3775'}
{'loss': '3.244', 'grad_norm': '0.4613', 'learning_rate': '0.0004231', 'epoch': '0.3781'}
{'loss': '3.249', 'grad_norm': '0.4585', 'learning_rate': '0.0004225', 'epoch': '0.3788'}
{'loss': '3.249', 'grad_norm': '0.4497', 'learning_rate': '0.0004219', 'epoch': '0.3795'}
{'loss': '3.252', 'grad_norm': '0.4544', 'learning_rate': '0.0004213', 'epoch': '0.3801'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.35it/s]
{'loss': '3.249', 'grad_norm': '0.4723', 'learning_rate': '0.0004208', 'epoch': '0.3808'}
{'loss': '3.249', 'grad_norm': '0.477', 'learning_rate': '0.0004202', 'epoch': '0.3814'}
{'loss': '3.253', 'grad_norm': '0.4469', 'learning_rate': '0.0004196', 'epoch': '0.3821'}
{'loss': '3.246', 'grad_norm': '0.4561', 'learning_rate': '0.000419', 'epoch': '0.3827'}
{'loss': '3.247', 'grad_norm': '0.4483', 'learning_rate': '0.0004185', 'epoch': '0.3834'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.60it/s]
{'loss': '3.251', 'grad_norm': '0.4371', 'learning_rate': '0.0004179', 'epoch': '0.384'}
{'loss': '3.245', 'grad_norm': '0.472', 'learning_rate': '0.0004173', 'epoch': '0.3847'}
{'loss': '3.251', 'grad_norm': '0.4505', 'learning_rate': '0.0004167', 'epoch': '0.3854'}
{'loss': '3.246', 'grad_norm': '0.4938', 'learning_rate': '0.0004161', 'epoch': '0.386'}
{'loss': '3.243', 'grad_norm': '0.4633', 'learning_rate': '0.0004156', 'epoch': '0.3867'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.06it/s]
{'loss': '3.247', 'grad_norm': '0.4648', 'learning_rate': '0.000415', 'epoch': '0.3873'}
{'loss': '3.247', 'grad_norm': '0.4496', 'learning_rate': '0.0004144', 'epoch': '0.388'}
{'loss': '3.245', 'grad_norm': '0.4622', 'learning_rate': '0.0004138', 'epoch': '0.3886'}
{'loss': '3.244', 'grad_norm': '0.4612', 'learning_rate': '0.0004132', 'epoch': '0.3893'}
{'loss': '3.241', 'grad_norm': '0.4886', 'learning_rate': '0.0004126', 'epoch': '0.3899'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.27it/s]
{'loss': '3.242', 'grad_norm': '0.4501', 'learning_rate': '0.0004121', 'epoch': '0.3906'}
{'loss': '3.242', 'grad_norm': '0.4612', 'learning_rate': '0.0004115', 'epoch': '0.3912'}
{'loss': '3.246', 'grad_norm': '0.453', 'learning_rate': '0.0004109', 'epoch': '0.3919'}
{'loss': '3.241', 'grad_norm': '0.4666', 'learning_rate': '0.0004103', 'epoch': '0.3926'}
{'loss': '3.24', 'grad_norm': '0.4556', 'learning_rate': '0.0004097', 'epoch': '0.3932'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.24it/s]
{'loss': '3.246', 'grad_norm': '0.4626', 'learning_rate': '0.0004091', 'epoch': '0.3939'}
{'loss': '3.24', 'grad_norm': '0.4649', 'learning_rate': '0.0004085', 'epoch': '0.3945'}
{'loss': '3.242', 'grad_norm': '0.4926', 'learning_rate': '0.000408', 'epoch': '0.3952'}
{'loss': '3.241', 'grad_norm': '0.4654', 'learning_rate': '0.0004074', 'epoch': '0.3958'}
{'loss': '3.242', 'grad_norm': '0.4665', 'learning_rate': '0.0004068', 'epoch': '0.3965'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.11it/s]
{'loss': '3.239', 'grad_norm': '0.4301', 'learning_rate': '0.0004062', 'epoch': '0.3971'}
{'loss': '3.239', 'grad_norm': '0.4961', 'learning_rate': '0.0004056', 'epoch': '0.3978'}
{'loss': '3.243', 'grad_norm': '0.4698', 'learning_rate': '0.000405', 'epoch': '0.3985'}
{'loss': '3.242', 'grad_norm': '0.4147', 'learning_rate': '0.0004044', 'epoch': '0.3991'}
{'loss': '3.244', 'grad_norm': '0.4621', 'learning_rate': '0.0004038', 'epoch': '0.3998'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.11it/s]
{'loss': '3.241', 'grad_norm': '0.5477', 'learning_rate': '0.0004032', 'epoch': '0.4004'}
{'loss': '3.241', 'grad_norm': '0.4406', 'learning_rate': '0.0004026', 'epoch': '0.4011'}
{'loss': '3.238', 'grad_norm': '0.4559', 'learning_rate': '0.000402', 'epoch': '0.4017'}
{'loss': '3.239', 'grad_norm': '0.4655', 'learning_rate': '0.0004015', 'epoch': '0.4024'}
{'loss': '3.236', 'grad_norm': '0.4437', 'learning_rate': '0.0004009', 'epoch': '0.403'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.54it/s]
{'loss': '3.238', 'grad_norm': '0.4322', 'learning_rate': '0.0004003', 'epoch': '0.4037'}
{'loss': '3.246', 'grad_norm': '0.4784', 'learning_rate': '0.0003997', 'epoch': '0.4044'}
{'loss': '3.237', 'grad_norm': '0.4521', 'learning_rate': '0.0003991', 'epoch': '0.405'}
{'loss': '3.239', 'grad_norm': '0.456', 'learning_rate': '0.0003985', 'epoch': '0.4057'}
{'loss': '3.239', 'grad_norm': '0.4769', 'learning_rate': '0.0003979', 'epoch': '0.4063'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.69it/s]
{'loss': '3.237', 'grad_norm': '0.439', 'learning_rate': '0.0003973', 'epoch': '0.407'}
{'loss': '3.239', 'grad_norm': '0.4867', 'learning_rate': '0.0003967', 'epoch': '0.4076'}
{'loss': '3.24', 'grad_norm': '0.4515', 'learning_rate': '0.0003961', 'epoch': '0.4083'}
{'loss': '3.242', 'grad_norm': '0.5506', 'learning_rate': '0.0003955', 'epoch': '0.4089'}
{'loss': '3.234', 'grad_norm': '0.4816', 'learning_rate': '0.0003949', 'epoch': '0.4096'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.12it/s]
{'loss': '3.234', 'grad_norm': '0.4501', 'learning_rate': '0.0003943', 'epoch': '0.4103'}
{'loss': '3.238', 'grad_norm': '0.4657', 'learning_rate': '0.0003937', 'epoch': '0.4109'}
{'loss': '3.241', 'grad_norm': '0.4681', 'learning_rate': '0.0003931', 'epoch': '0.4116'}
{'loss': '3.239', 'grad_norm': '0.4949', 'learning_rate': '0.0003925', 'epoch': '0.4122'}
{'loss': '3.24', 'grad_norm': '0.4786', 'learning_rate': '0.0003919', 'epoch': '0.4129'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 2.70it/s]
{'loss': '3.229', 'grad_norm': '0.4773', 'learning_rate': '0.0003913', 'epoch': '0.4135'}
{'loss': '3.235', 'grad_norm': '0.4632', 'learning_rate': '0.0003907', 'epoch': '0.4142'}
{'loss': '3.234', 'grad_norm': '0.5151', 'learning_rate': '0.0003901', 'epoch': '0.4148'}
{'loss': '3.236', 'grad_norm': '0.4856', 'learning_rate': '0.0003895', 'epoch': '0.4155'}
{'loss': '3.24', 'grad_norm': '0.4583', 'learning_rate': '0.0003889', 'epoch': '0.4162'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.90it/s]
{'loss': '3.232', 'grad_norm': '0.4249', 'learning_rate': '0.0003883', 'epoch': '0.4168'}
{'loss': '3.236', 'grad_norm': '0.4633', 'learning_rate': '0.0003877', 'epoch': '0.4175'}
{'loss': '3.234', 'grad_norm': '0.4659', 'learning_rate': '0.0003871', 'epoch': '0.4181'}
{'loss': '3.24', 'grad_norm': '0.4802', 'learning_rate': '0.0003865', 'epoch': '0.4188'}
{'loss': '3.233', 'grad_norm': '0.4773', 'learning_rate': '0.0003859', 'epoch': '0.4194'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.32it/s]
{'loss': '3.234', 'grad_norm': '0.4949', 'learning_rate': '0.0003853', 'epoch': '0.4201'}
{'loss': '3.231', 'grad_norm': '0.4951', 'learning_rate': '0.0003847', 'epoch': '0.4207'}
{'loss': '3.236', 'grad_norm': '0.4363', 'learning_rate': '0.0003841', 'epoch': '0.4214'}
{'loss': '3.235', 'grad_norm': '0.4838', 'learning_rate': '0.0003835', 'epoch': '0.4221'}
{'loss': '3.235', 'grad_norm': '0.4485', 'learning_rate': '0.0003829', 'epoch': '0.4227'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.52it/s]
{'loss': '3.236', 'grad_norm': '0.5036', 'learning_rate': '0.0003823', 'epoch': '0.4234'}
{'loss': '3.237', 'grad_norm': '0.4519', 'learning_rate': '0.0003817', 'epoch': '0.424'}
{'loss': '3.233', 'grad_norm': '0.4726', 'learning_rate': '0.000381', 'epoch': '0.4247'}
{'loss': '3.234', 'grad_norm': '0.4456', 'learning_rate': '0.0003804', 'epoch': '0.4253'}
{'loss': '3.232', 'grad_norm': '0.4678', 'learning_rate': '0.0003798', 'epoch': '0.426'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.34it/s]
{'loss': '3.237', 'grad_norm': '0.4973', 'learning_rate': '0.0003792', 'epoch': '0.4266'}
{'loss': '3.224', 'grad_norm': '0.4893', 'learning_rate': '0.0003786', 'epoch': '0.4273'}
{'loss': '3.232', 'grad_norm': '0.5094', 'learning_rate': '0.000378', 'epoch': '0.4279'}
{'loss': '3.234', 'grad_norm': '0.4931', 'learning_rate': '0.0003774', 'epoch': '0.4286'}
{'loss': '3.233', 'grad_norm': '0.4649', 'learning_rate': '0.0003768', 'epoch': '0.4293'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.69it/s]
{'loss': '3.23', 'grad_norm': '0.4462', 'learning_rate': '0.0003762', 'epoch': '0.4299'}
{'loss': '3.233', 'grad_norm': '0.4557', 'learning_rate': '0.0003756', 'epoch': '0.4306'}
{'loss': '3.235', 'grad_norm': '0.4757', 'learning_rate': '0.000375', 'epoch': '0.4312'}
{'loss': '3.237', 'grad_norm': '0.5045', 'learning_rate': '0.0003744', 'epoch': '0.4319'}
{'loss': '3.231', 'grad_norm': '0.4782', 'learning_rate': '0.0003737', 'epoch': '0.4325'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.15it/s]
{'loss': '3.234', 'grad_norm': '0.4713', 'learning_rate': '0.0003731', 'epoch': '0.4332'}
{'loss': '3.229', 'grad_norm': '0.4605', 'learning_rate': '0.0003725', 'epoch': '0.4338'}
{'loss': '3.233', 'grad_norm': '0.482', 'learning_rate': '0.0003719', 'epoch': '0.4345'}
{'loss': '3.232', 'grad_norm': '0.4597', 'learning_rate': '0.0003713', 'epoch': '0.4352'}
{'loss': '3.229', 'grad_norm': '0.4956', 'learning_rate': '0.0003707', 'epoch': '0.4358'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.45it/s]
{'loss': '3.235', 'grad_norm': '0.4755', 'learning_rate': '0.0003701', 'epoch': '0.4365'}
{'loss': '3.235', 'grad_norm': '0.4881', 'learning_rate': '0.0003695', 'epoch': '0.4371'}
{'loss': '3.229', 'grad_norm': '0.4577', 'learning_rate': '0.0003688', 'epoch': '0.4378'}
{'loss': '3.227', 'grad_norm': '0.4374', 'learning_rate': '0.0003682', 'epoch': '0.4384'}
{'loss': '3.227', 'grad_norm': '0.4808', 'learning_rate': '0.0003676', 'epoch': '0.4391'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.71it/s]
{'loss': '3.231', 'grad_norm': '0.4652', 'learning_rate': '0.000367', 'epoch': '0.4397'}
{'loss': '3.23', 'grad_norm': '0.4981', 'learning_rate': '0.0003664', 'epoch': '0.4404'}
{'loss': '3.228', 'grad_norm': '0.4604', 'learning_rate': '0.0003658', 'epoch': '0.4411'}
{'loss': '3.227', 'grad_norm': '0.4543', 'learning_rate': '0.0003652', 'epoch': '0.4417'}
{'loss': '3.225', 'grad_norm': '0.4936', 'learning_rate': '0.0003645', 'epoch': '0.4424'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.59it/s]
{'loss': '3.22', 'grad_norm': '0.4366', 'learning_rate': '0.0003639', 'epoch': '0.443'}
{'loss': '3.221', 'grad_norm': '0.4697', 'learning_rate': '0.0003633', 'epoch': '0.4437'}
{'loss': '3.225', 'grad_norm': '0.5409', 'learning_rate': '0.0003627', 'epoch': '0.4443'}
{'loss': '3.218', 'grad_norm': '0.4559', 'learning_rate': '0.0003621', 'epoch': '0.445'}
{'loss': '3.229', 'grad_norm': '0.4595', 'learning_rate': '0.0003615', 'epoch': '0.4456'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.75it/s]
{'loss': '3.227', 'grad_norm': '0.4986', 'learning_rate': '0.0003608', 'epoch': '0.4463'}
{'loss': '3.222', 'grad_norm': '0.4858', 'learning_rate': '0.0003602', 'epoch': '0.447'}
{'loss': '3.223', 'grad_norm': '0.5112', 'learning_rate': '0.0003596', 'epoch': '0.4476'}
{'loss': '3.23', 'grad_norm': '0.4357', 'learning_rate': '0.000359', 'epoch': '0.4483'}
{'loss': '3.227', 'grad_norm': '0.4464', 'learning_rate': '0.0003584', 'epoch': '0.4489'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.75it/s]
{'loss': '3.228', 'grad_norm': '0.5098', 'learning_rate': '0.0003578', 'epoch': '0.4496'}
{'loss': '3.232', 'grad_norm': '0.4553', 'learning_rate': '0.0003571', 'epoch': '0.4502'}
{'loss': '3.226', 'grad_norm': '0.4563', 'learning_rate': '0.0003565', 'epoch': '0.4509'}
{'loss': '3.227', 'grad_norm': '0.4658', 'learning_rate': '0.0003559', 'epoch': '0.4515'}
{'loss': '3.231', 'grad_norm': '0.5049', 'learning_rate': '0.0003553', 'epoch': '0.4522'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.83it/s]
{'loss': '3.223', 'grad_norm': '0.4598', 'learning_rate': '0.0003547', 'epoch': '0.4529'}
{'loss': '3.223', 'grad_norm': '0.4721', 'learning_rate': '0.000354', 'epoch': '0.4535'}
{'loss': '3.225', 'grad_norm': '0.4694', 'learning_rate': '0.0003534', 'epoch': '0.4542'}
{'loss': '3.229', 'grad_norm': '0.4915', 'learning_rate': '0.0003528', 'epoch': '0.4548'}
{'loss': '3.224', 'grad_norm': '0.4837', 'learning_rate': '0.0003522', 'epoch': '0.4555'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.94it/s]
{'loss': '3.224', 'grad_norm': '0.4628', 'learning_rate': '0.0003516', 'epoch': '0.4561'}
{'loss': '3.221', 'grad_norm': '0.4819', 'learning_rate': '0.0003509', 'epoch': '0.4568'}
{'loss': '3.228', 'grad_norm': '0.4556', 'learning_rate': '0.0003503', 'epoch': '0.4574'}
{'loss': '3.221', 'grad_norm': '0.5048', 'learning_rate': '0.0003497', 'epoch': '0.4581'}
{'loss': '3.222', 'grad_norm': '0.4743', 'learning_rate': '0.0003491', 'epoch': '0.4588'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.10it/s]
{'loss': '3.22', 'grad_norm': '0.4812', 'learning_rate': '0.0003484', 'epoch': '0.4594'}
{'loss': '3.22', 'grad_norm': '0.4922', 'learning_rate': '0.0003478', 'epoch': '0.4601'}
{'loss': '3.22', 'grad_norm': '0.4928', 'learning_rate': '0.0003472', 'epoch': '0.4607'}
{'loss': '3.226', 'grad_norm': '0.5083', 'learning_rate': '0.0003466', 'epoch': '0.4614'}
{'loss': '3.223', 'grad_norm': '0.4728', 'learning_rate': '0.000346', 'epoch': '0.462'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.18it/s]
{'loss': '3.224', 'grad_norm': '0.4942', 'learning_rate': '0.0003453', 'epoch': '0.4627'}
{'loss': '3.222', 'grad_norm': '0.4995', 'learning_rate': '0.0003447', 'epoch': '0.4633'}
{'loss': '3.222', 'grad_norm': '0.4649', 'learning_rate': '0.0003441', 'epoch': '0.464'}
{'loss': '3.223', 'grad_norm': '0.4704', 'learning_rate': '0.0003435', 'epoch': '0.4646'}
{'loss': '3.227', 'grad_norm': '0.47', 'learning_rate': '0.0003428', 'epoch': '0.4653'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.24it/s]
{'loss': '3.223', 'grad_norm': '0.4915', 'learning_rate': '0.0003422', 'epoch': '0.466'}
{'loss': '3.22', 'grad_norm': '0.4776', 'learning_rate': '0.0003416', 'epoch': '0.4666'}
{'loss': '3.221', 'grad_norm': '0.4778', 'learning_rate': '0.000341', 'epoch': '0.4673'}
{'loss': '3.22', 'grad_norm': '0.5041', 'learning_rate': '0.0003403', 'epoch': '0.4679'}
{'loss': '3.219', 'grad_norm': '0.4567', 'learning_rate': '0.0003397', 'epoch': '0.4686'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.32it/s]
{'loss': '3.213', 'grad_norm': '0.4878', 'learning_rate': '0.0003391', 'epoch': '0.4692'}
{'loss': '3.22', 'grad_norm': '0.4518', 'learning_rate': '0.0003385', 'epoch': '0.4699'}
{'loss': '3.219', 'grad_norm': '0.4839', 'learning_rate': '0.0003378', 'epoch': '0.4705'}
{'loss': '3.218', 'grad_norm': '0.4706', 'learning_rate': '0.0003372', 'epoch': '0.4712'}
{'loss': '3.217', 'grad_norm': '0.4595', 'learning_rate': '0.0003366', 'epoch': '0.4719'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.86it/s]
{'loss': '3.217', 'grad_norm': '0.5183', 'learning_rate': '0.000336', 'epoch': '0.4725'}
{'loss': '3.221', 'grad_norm': '0.4675', 'learning_rate': '0.0003353', 'epoch': '0.4732'}
{'loss': '3.218', 'grad_norm': '0.467', 'learning_rate': '0.0003347', 'epoch': '0.4738'}
{'loss': '3.214', 'grad_norm': '0.478', 'learning_rate': '0.0003341', 'epoch': '0.4745'}
{'loss': '3.218', 'grad_norm': '0.4651', 'learning_rate': '0.0003335', 'epoch': '0.4751'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.69it/s]
{'loss': '3.216', 'grad_norm': '0.4744', 'learning_rate': '0.0003328', 'epoch': '0.4758'}
{'loss': '3.215', 'grad_norm': '0.4911', 'learning_rate': '0.0003322', 'epoch': '0.4764'}
{'loss': '3.217', 'grad_norm': '0.4939', 'learning_rate': '0.0003316', 'epoch': '0.4771'}
{'loss': '3.216', 'grad_norm': '0.4626', 'learning_rate': '0.000331', 'epoch': '0.4778'}
{'loss': '3.222', 'grad_norm': '0.4866', 'learning_rate': '0.0003303', 'epoch': '0.4784'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.48it/s]
{'loss': '3.219', 'grad_norm': '0.4775', 'learning_rate': '0.0003297', 'epoch': '0.4791'}
{'loss': '3.218', 'grad_norm': '0.489', 'learning_rate': '0.0003291', 'epoch': '0.4797'}
{'loss': '3.215', 'grad_norm': '0.4488', 'learning_rate': '0.0003285', 'epoch': '0.4804'}
{'loss': '3.217', 'grad_norm': '0.4772', 'learning_rate': '0.0003278', 'epoch': '0.481'}
{'loss': '3.218', 'grad_norm': '0.49', 'learning_rate': '0.0003272', 'epoch': '0.4817'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.48it/s]
{'loss': '3.218', 'grad_norm': '0.4655', 'learning_rate': '0.0003266', 'epoch': '0.4823'}
{'loss': '3.22', 'grad_norm': '0.469', 'learning_rate': '0.0003259', 'epoch': '0.483'}
{'loss': '3.217', 'grad_norm': '0.4918', 'learning_rate': '0.0003253', 'epoch': '0.4837'}
{'loss': '3.217', 'grad_norm': '0.4977', 'learning_rate': '0.0003247', 'epoch': '0.4843'}
{'loss': '3.213', 'grad_norm': '0.4964', 'learning_rate': '0.0003241', 'epoch': '0.485'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.21it/s]
{'loss': '3.218', 'grad_norm': '0.4903', 'learning_rate': '0.0003234', 'epoch': '0.4856'}
{'loss': '3.215', 'grad_norm': '0.48', 'learning_rate': '0.0003228', 'epoch': '0.4863'}
{'loss': '3.211', 'grad_norm': '0.4788', 'learning_rate': '0.0003222', 'epoch': '0.4869'}
{'loss': '3.214', 'grad_norm': '0.4856', 'learning_rate': '0.0003215', 'epoch': '0.4876'}
{'loss': '3.221', 'grad_norm': '0.4608', 'learning_rate': '0.0003209', 'epoch': '0.4882'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.48it/s]
{'loss': '3.215', 'grad_norm': '0.4789', 'learning_rate': '0.0003203', 'epoch': '0.4889'}
{'loss': '3.214', 'grad_norm': '0.4828', 'learning_rate': '0.0003197', 'epoch': '0.4896'}
{'loss': '3.21', 'grad_norm': '0.4582', 'learning_rate': '0.000319', 'epoch': '0.4902'}
{'loss': '3.21', 'grad_norm': '0.4786', 'learning_rate': '0.0003184', 'epoch': '0.4909'}
{'loss': '3.214', 'grad_norm': '0.5587', 'learning_rate': '0.0003178', 'epoch': '0.4915'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.26it/s]
{'loss': '3.214', 'grad_norm': '0.4929', 'learning_rate': '0.0003171', 'epoch': '0.4922'}
{'loss': '3.21', 'grad_norm': '0.4704', 'learning_rate': '0.0003165', 'epoch': '0.4928'}
{'loss': '3.21', 'grad_norm': '0.4733', 'learning_rate': '0.0003159', 'epoch': '0.4935'}
{'loss': '3.208', 'grad_norm': '0.4682', 'learning_rate': '0.0003153', 'epoch': '0.4941'}
{'loss': '3.207', 'grad_norm': '0.5116', 'learning_rate': '0.0003146', 'epoch': '0.4948'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.42it/s]
{'loss': '3.211', 'grad_norm': '0.5282', 'learning_rate': '0.000314', 'epoch': '0.4955'}
{'loss': '3.206', 'grad_norm': '0.4986', 'learning_rate': '0.0003134', 'epoch': '0.4961'}
{'loss': '3.211', 'grad_norm': '0.4897', 'learning_rate': '0.0003127', 'epoch': '0.4968'}
{'loss': '3.208', 'grad_norm': '0.4994', 'learning_rate': '0.0003121', 'epoch': '0.4974'}
{'loss': '3.213', 'grad_norm': '0.501', 'learning_rate': '0.0003115', 'epoch': '0.4981'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.42it/s]
{'loss': '3.211', 'grad_norm': '0.5263', 'learning_rate': '0.0003108', 'epoch': '0.4987'}
{'loss': '3.207', 'grad_norm': '0.4611', 'learning_rate': '0.0003102', 'epoch': '0.4994'}
{'loss': '3.211', 'grad_norm': '0.5102', 'learning_rate': '0.0003096', 'epoch': '0.5'}
{'loss': '3.212', 'grad_norm': '0.4581', 'learning_rate': '0.000309', 'epoch': '0.5007'}
{'loss': '3.208', 'grad_norm': '0.4724', 'learning_rate': '0.0003083', 'epoch': '0.5014'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.69it/s]
{'loss': '3.21', 'grad_norm': '0.4635', 'learning_rate': '0.0003077', 'epoch': '0.502'}
{'loss': '3.21', 'grad_norm': '0.4868', 'learning_rate': '0.0003071', 'epoch': '0.5027'}
{'loss': '3.207', 'grad_norm': '0.4789', 'learning_rate': '0.0003064', 'epoch': '0.5033'}
{'loss': '3.209', 'grad_norm': '0.4851', 'learning_rate': '0.0003058', 'epoch': '0.504'}
{'loss': '3.211', 'grad_norm': '0.4733', 'learning_rate': '0.0003052', 'epoch': '0.5046'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.46it/s]
{'loss': '3.2', 'grad_norm': '0.5023', 'learning_rate': '0.0003045', 'epoch': '0.5053'}
{'loss': '3.206', 'grad_norm': '0.4644', 'learning_rate': '0.0003039', 'epoch': '0.5059'}
{'loss': '3.205', 'grad_norm': '0.4844', 'learning_rate': '0.0003033', 'epoch': '0.5066'}
{'loss': '3.205', 'grad_norm': '0.4935', 'learning_rate': '0.0003027', 'epoch': '0.5072'}
{'loss': '3.206', 'grad_norm': '0.5377', 'learning_rate': '0.000302', 'epoch': '0.5079'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.63it/s]
{'loss': '3.213', 'grad_norm': '0.4874', 'learning_rate': '0.0003014', 'epoch': '0.5086'}
{'loss': '3.207', 'grad_norm': '0.4904', 'learning_rate': '0.0003008', 'epoch': '0.5092'}
{'loss': '3.202', 'grad_norm': '0.4684', 'learning_rate': '0.0003001', 'epoch': '0.5099'}
{'loss': '3.212', 'grad_norm': '0.5016', 'learning_rate': '0.0002995', 'epoch': '0.5105'}
{'loss': '3.203', 'grad_norm': '0.5012', 'learning_rate': '0.0002989', 'epoch': '0.5112'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.16it/s]
{'loss': '3.206', 'grad_norm': '0.5526', 'learning_rate': '0.0002982', 'epoch': '0.5118'}
{'loss': '3.207', 'grad_norm': '0.4914', 'learning_rate': '0.0002976', 'epoch': '0.5125'}
{'loss': '3.207', 'grad_norm': '0.4688', 'learning_rate': '0.000297', 'epoch': '0.5131'}
{'loss': '3.2', 'grad_norm': '0.4405', 'learning_rate': '0.0002964', 'epoch': '0.5138'}
{'loss': '3.203', 'grad_norm': '0.4888', 'learning_rate': '0.0002957', 'epoch': '0.5145'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.73it/s]
{'loss': '3.206', 'grad_norm': '0.5016', 'learning_rate': '0.0002951', 'epoch': '0.5151'}
{'loss': '3.205', 'grad_norm': '0.4752', 'learning_rate': '0.0002945', 'epoch': '0.5158'}
{'loss': '3.208', 'grad_norm': '0.4911', 'learning_rate': '0.0002938', 'epoch': '0.5164'}
{'loss': '3.198', 'grad_norm': '0.5026', 'learning_rate': '0.0002932', 'epoch': '0.5171'}
{'loss': '3.199', 'grad_norm': '0.5133', 'learning_rate': '0.0002926', 'epoch': '0.5177'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.49it/s]
{'loss': '3.196', 'grad_norm': '0.506', 'learning_rate': '0.0002919', 'epoch': '0.5184'}
{'loss': '3.198', 'grad_norm': '0.4965', 'learning_rate': '0.0002913', 'epoch': '0.519'}
{'loss': '3.203', 'grad_norm': '0.5265', 'learning_rate': '0.0002907', 'epoch': '0.5197'}
{'loss': '3.204', 'grad_norm': '0.4985', 'learning_rate': '0.00029', 'epoch': '0.5204'}
{'loss': '3.201', 'grad_norm': '0.5248', 'learning_rate': '0.0002894', 'epoch': '0.521'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.00it/s]
{'loss': '3.197', 'grad_norm': '0.5066', 'learning_rate': '0.0002888', 'epoch': '0.5217'}
{'loss': '3.192', 'grad_norm': '0.4923', 'learning_rate': '0.0002882', 'epoch': '0.5223'}
{'loss': '3.206', 'grad_norm': '0.5089', 'learning_rate': '0.0002875', 'epoch': '0.523'}
{'loss': '3.202', 'grad_norm': '0.5294', 'learning_rate': '0.0002869', 'epoch': '0.5236'}
{'loss': '3.198', 'grad_norm': '0.5118', 'learning_rate': '0.0002863', 'epoch': '0.5243'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.23it/s]
{'loss': '3.203', 'grad_norm': '0.4945', 'learning_rate': '0.0002856', 'epoch': '0.5249'}
{'loss': '3.205', 'grad_norm': '0.4752', 'learning_rate': '0.000285', 'epoch': '0.5256'}
{'loss': '3.2', 'grad_norm': '0.4892', 'learning_rate': '0.0002844', 'epoch': '0.5263'}
{'loss': '3.201', 'grad_norm': '0.4925', 'learning_rate': '0.0002838', 'epoch': '0.5269'}
{'loss': '3.196', 'grad_norm': '0.5137', 'learning_rate': '0.0002831', 'epoch': '0.5276'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.96it/s]
{'loss': '3.197', 'grad_norm': '0.48', 'learning_rate': '0.0002825', 'epoch': '0.5282'}
{'loss': '3.194', 'grad_norm': '0.5007', 'learning_rate': '0.0002819', 'epoch': '0.5289'}
{'loss': '3.201', 'grad_norm': '0.4906', 'learning_rate': '0.0002812', 'epoch': '0.5295'}
{'loss': '3.202', 'grad_norm': '0.4941', 'learning_rate': '0.0002806', 'epoch': '0.5302'}
{'loss': '3.202', 'grad_norm': '0.5366', 'learning_rate': '0.00028', 'epoch': '0.5308'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.70it/s]
{'loss': '3.202', 'grad_norm': '0.4959', 'learning_rate': '0.0002793', 'epoch': '0.5315'}
{'loss': '3.196', 'grad_norm': '0.4736', 'learning_rate': '0.0002787', 'epoch': '0.5322'}
{'loss': '3.202', 'grad_norm': '0.4696', 'learning_rate': '0.0002781', 'epoch': '0.5328'}
{'loss': '3.197', 'grad_norm': '0.517', 'learning_rate': '0.0002775', 'epoch': '0.5335'}
{'loss': '3.197', 'grad_norm': '0.5044', 'learning_rate': '0.0002768', 'epoch': '0.5341'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.56it/s]
{'loss': '3.194', 'grad_norm': '0.4654', 'learning_rate': '0.0002762', 'epoch': '0.5348'}
{'loss': '3.196', 'grad_norm': '0.5031', 'learning_rate': '0.0002756', 'epoch': '0.5354'}
{'loss': '3.197', 'grad_norm': '0.4724', 'learning_rate': '0.000275', 'epoch': '0.5361'}
{'loss': '3.194', 'grad_norm': '0.5004', 'learning_rate': '0.0002743', 'epoch': '0.5367'}
{'loss': '3.193', 'grad_norm': '0.5276', 'learning_rate': '0.0002737', 'epoch': '0.5374'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.06it/s]
{'loss': '3.2', 'grad_norm': '0.4736', 'learning_rate': '0.0002731', 'epoch': '0.5381'}
{'loss': '3.195', 'grad_norm': '0.4756', 'learning_rate': '0.0002724', 'epoch': '0.5387'}
{'loss': '3.196', 'grad_norm': '0.4828', 'learning_rate': '0.0002718', 'epoch': '0.5394'}
{'loss': '3.196', 'grad_norm': '0.5102', 'learning_rate': '0.0002712', 'epoch': '0.54'}
{'loss': '3.195', 'grad_norm': '0.5154', 'learning_rate': '0.0002706', 'epoch': '0.5407'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.25it/s]
{'loss': '3.194', 'grad_norm': '0.5212', 'learning_rate': '0.0002699', 'epoch': '0.5413'}
{'loss': '3.194', 'grad_norm': '0.5162', 'learning_rate': '0.0002693', 'epoch': '0.542'}
{'loss': '3.189', 'grad_norm': '0.4899', 'learning_rate': '0.0002687', 'epoch': '0.5426'}
{'loss': '3.199', 'grad_norm': '0.5448', 'learning_rate': '0.000268', 'epoch': '0.5433'}
{'loss': '3.194', 'grad_norm': '0.4566', 'learning_rate': '0.0002674', 'epoch': '0.5439'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.27it/s]
{'loss': '3.191', 'grad_norm': '0.4878', 'learning_rate': '0.0002668', 'epoch': '0.5446'}
{'loss': '3.191', 'grad_norm': '0.4991', 'learning_rate': '0.0002662', 'epoch': '0.5453'}
{'loss': '3.196', 'grad_norm': '0.4875', 'learning_rate': '0.0002655', 'epoch': '0.5459'}
{'loss': '3.188', 'grad_norm': '0.4875', 'learning_rate': '0.0002649', 'epoch': '0.5466'}
{'loss': '3.194', 'grad_norm': '0.4746', 'learning_rate': '0.0002643', 'epoch': '0.5472'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.18it/s]
{'loss': '3.19', 'grad_norm': '0.5066', 'learning_rate': '0.0002637', 'epoch': '0.5479'}
{'loss': '3.193', 'grad_norm': '0.5393', 'learning_rate': '0.000263', 'epoch': '0.5485'}
{'loss': '3.193', 'grad_norm': '0.4919', 'learning_rate': '0.0002624', 'epoch': '0.5492'}
{'loss': '3.192', 'grad_norm': '0.493', 'learning_rate': '0.0002618', 'epoch': '0.5498'}
{'loss': '3.194', 'grad_norm': '0.5546', 'learning_rate': '0.0002612', 'epoch': '0.5505'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.90it/s]
{'loss': '3.191', 'grad_norm': '0.4898', 'learning_rate': '0.0002605', 'epoch': '0.5512'}
{'loss': '3.193', 'grad_norm': '0.4823', 'learning_rate': '0.0002599', 'epoch': '0.5518'}
{'loss': '3.2', 'grad_norm': '0.5015', 'learning_rate': '0.0002593', 'epoch': '0.5525'}
{'loss': '3.184', 'grad_norm': '0.49', 'learning_rate': '0.0002587', 'epoch': '0.5531'}
{'loss': '3.187', 'grad_norm': '0.4773', 'learning_rate': '0.000258', 'epoch': '0.5538'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.87it/s]
{'loss': '3.194', 'grad_norm': '0.4765', 'learning_rate': '0.0002574', 'epoch': '0.5544'}
{'loss': '3.191', 'grad_norm': '0.5152', 'learning_rate': '0.0002568', 'epoch': '0.5551'}
{'loss': '3.192', 'grad_norm': '0.476', 'learning_rate': '0.0002562', 'epoch': '0.5557'}
{'loss': '3.189', 'grad_norm': '0.5036', 'learning_rate': '0.0002555', 'epoch': '0.5564'}
{'loss': '3.187', 'grad_norm': '0.5126', 'learning_rate': '0.0002549', 'epoch': '0.5571'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.69it/s]
{'loss': '3.188', 'grad_norm': '0.476', 'learning_rate': '0.0002543', 'epoch': '0.5577'}
{'loss': '3.194', 'grad_norm': '0.5298', 'learning_rate': '0.0002537', 'epoch': '0.5584'}
{'loss': '3.192', 'grad_norm': '0.5278', 'learning_rate': '0.0002531', 'epoch': '0.559'}
{'loss': '3.195', 'grad_norm': '0.502', 'learning_rate': '0.0002524', 'epoch': '0.5597'}
{'loss': '3.191', 'grad_norm': '0.5166', 'learning_rate': '0.0002518', 'epoch': '0.5603'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.31it/s]
{'loss': '3.191', 'grad_norm': '0.5105', 'learning_rate': '0.0002512', 'epoch': '0.561'}
{'loss': '3.19', 'grad_norm': '0.4926', 'learning_rate': '0.0002506', 'epoch': '0.5616'}
{'loss': '3.19', 'grad_norm': '0.5134', 'learning_rate': '0.0002499', 'epoch': '0.5623'}
{'loss': '3.186', 'grad_norm': '0.4979', 'learning_rate': '0.0002493', 'epoch': '0.563'}
{'loss': '3.191', 'grad_norm': '0.4789', 'learning_rate': '0.0002487', 'epoch': '0.5636'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.44it/s]
{'loss': '3.189', 'grad_norm': '0.4892', 'learning_rate': '0.0002481', 'epoch': '0.5643'}
{'loss': '3.184', 'grad_norm': '0.5408', 'learning_rate': '0.0002475', 'epoch': '0.5649'}
{'loss': '3.191', 'grad_norm': '0.5111', 'learning_rate': '0.0002468', 'epoch': '0.5656'}
{'loss': '3.185', 'grad_norm': '0.5074', 'learning_rate': '0.0002462', 'epoch': '0.5662'}
{'loss': '3.186', 'grad_norm': '0.508', 'learning_rate': '0.0002456', 'epoch': '0.5669'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.04it/s]
{'loss': '3.182', 'grad_norm': '0.4808', 'learning_rate': '0.000245', 'epoch': '0.5675'}
{'loss': '3.186', 'grad_norm': '0.5043', 'learning_rate': '0.0002444', 'epoch': '0.5682'}
{'loss': '3.186', 'grad_norm': '0.5155', 'learning_rate': '0.0002437', 'epoch': '0.5689'}
{'loss': '3.18', 'grad_norm': '0.5322', 'learning_rate': '0.0002431', 'epoch': '0.5695'}
{'loss': '3.181', 'grad_norm': '0.5248', 'learning_rate': '0.0002425', 'epoch': '0.5702'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.53it/s]
{'loss': '3.183', 'grad_norm': '0.4909', 'learning_rate': '0.0002419', 'epoch': '0.5708'}
{'loss': '3.182', 'grad_norm': '0.49', 'learning_rate': '0.0002413', 'epoch': '0.5715'}
{'loss': '3.182', 'grad_norm': '0.5144', 'learning_rate': '0.0002407', 'epoch': '0.5721'}
{'loss': '3.19', 'grad_norm': '0.4774', 'learning_rate': '0.00024', 'epoch': '0.5728'}
{'loss': '3.182', 'grad_norm': '0.5148', 'learning_rate': '0.0002394', 'epoch': '0.5734'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.58it/s]
{'loss': '3.186', 'grad_norm': '0.5123', 'learning_rate': '0.0002388', 'epoch': '0.5741'}
{'loss': '3.183', 'grad_norm': '0.4903', 'learning_rate': '0.0002382', 'epoch': '0.5748'}
{'loss': '3.184', 'grad_norm': '0.5072', 'learning_rate': '0.0002376', 'epoch': '0.5754'}
{'loss': '3.187', 'grad_norm': '0.475', 'learning_rate': '0.0002369', 'epoch': '0.5761'}
{'loss': '3.183', 'grad_norm': '0.5192', 'learning_rate': '0.0002363', 'epoch': '0.5767'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.63it/s]
{'loss': '3.183', 'grad_norm': '0.5417', 'learning_rate': '0.0002357', 'epoch': '0.5774'}
{'loss': '3.187', 'grad_norm': '0.5046', 'learning_rate': '0.0002351', 'epoch': '0.578'}
{'loss': '3.182', 'grad_norm': '0.512', 'learning_rate': '0.0002345', 'epoch': '0.5787'}
{'loss': '3.182', 'grad_norm': '0.5204', 'learning_rate': '0.0002339', 'epoch': '0.5793'}
{'loss': '3.18', 'grad_norm': '0.5054', 'learning_rate': '0.0002333', 'epoch': '0.58'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.64it/s]
{'loss': '3.185', 'grad_norm': '0.4974', 'learning_rate': '0.0002326', 'epoch': '0.5806'}
{'loss': '3.182', 'grad_norm': '0.5186', 'learning_rate': '0.000232', 'epoch': '0.5813'}
{'loss': '3.176', 'grad_norm': '0.4747', 'learning_rate': '0.0002314', 'epoch': '0.582'}
{'loss': '3.179', 'grad_norm': '0.517', 'learning_rate': '0.0002308', 'epoch': '0.5826'}
{'loss': '3.178', 'grad_norm': '0.5182', 'learning_rate': '0.0002302', 'epoch': '0.5833'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.11it/s]
{'loss': '3.173', 'grad_norm': '0.5144', 'learning_rate': '0.0002296', 'epoch': '0.5839'}
{'loss': '3.178', 'grad_norm': '0.5407', 'learning_rate': '0.000229', 'epoch': '0.5846'}
{'loss': '3.179', 'grad_norm': '0.504', 'learning_rate': '0.0002284', 'epoch': '0.5852'}
{'loss': '3.181', 'grad_norm': '0.5402', 'learning_rate': '0.0002277', 'epoch': '0.5859'}
{'loss': '3.182', 'grad_norm': '0.5216', 'learning_rate': '0.0002271', 'epoch': '0.5865'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.21it/s]
{'loss': '3.174', 'grad_norm': '0.4905', 'learning_rate': '0.0002265', 'epoch': '0.5872'}
{'loss': '3.178', 'grad_norm': '0.5149', 'learning_rate': '0.0002259', 'epoch': '0.5879'}
{'loss': '3.179', 'grad_norm': '0.5395', 'learning_rate': '0.0002253', 'epoch': '0.5885'}
{'loss': '3.179', 'grad_norm': '0.5102', 'learning_rate': '0.0002247', 'epoch': '0.5892'}
{'loss': '3.179', 'grad_norm': '0.5097', 'learning_rate': '0.0002241', 'epoch': '0.5898'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.08it/s]
{'loss': '3.18', 'grad_norm': '0.5185', 'learning_rate': '0.0002235', 'epoch': '0.5905'}
{'loss': '3.173', 'grad_norm': '0.5301', 'learning_rate': '0.0002229', 'epoch': '0.5911'}
{'loss': '3.18', 'grad_norm': '0.5129', 'learning_rate': '0.0002222', 'epoch': '0.5918'}
{'loss': '3.173', 'grad_norm': '0.4803', 'learning_rate': '0.0002216', 'epoch': '0.5924'}
{'loss': '3.173', 'grad_norm': '0.5046', 'learning_rate': '0.000221', 'epoch': '0.5931'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.36it/s]
{'loss': '3.174', 'grad_norm': '0.525', 'learning_rate': '0.0002204', 'epoch': '0.5938'}
{'loss': '3.178', 'grad_norm': '0.539', 'learning_rate': '0.0002198', 'epoch': '0.5944'}
{'loss': '3.167', 'grad_norm': '0.5354', 'learning_rate': '0.0002192', 'epoch': '0.5951'}
{'loss': '3.181', 'grad_norm': '0.5387', 'learning_rate': '0.0002186', 'epoch': '0.5957'}
{'loss': '3.176', 'grad_norm': '0.5296', 'learning_rate': '0.000218', 'epoch': '0.5964'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.48it/s]
{'loss': '3.178', 'grad_norm': '0.5171', 'learning_rate': '0.0002174', 'epoch': '0.597'}
{'loss': '3.176', 'grad_norm': '0.5112', 'learning_rate': '0.0002168', 'epoch': '0.5977'}
{'loss': '3.179', 'grad_norm': '0.5747', 'learning_rate': '0.0002162', 'epoch': '0.5983'}
{'loss': '3.17', 'grad_norm': '0.5282', 'learning_rate': '0.0002156', 'epoch': '0.599'}
{'loss': '3.176', 'grad_norm': '0.5876', 'learning_rate': '0.000215', 'epoch': '0.5997'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.66it/s]
{'loss': '3.171', 'grad_norm': '0.5339', 'learning_rate': '0.0002144', 'epoch': '0.6003'}
{'loss': '3.174', 'grad_norm': '0.5226', 'learning_rate': '0.0002138', 'epoch': '0.601'}
{'loss': '3.174', 'grad_norm': '0.5338', 'learning_rate': '0.0002132', 'epoch': '0.6016'}
{'loss': '3.173', 'grad_norm': '0.5094', 'learning_rate': '0.0002126', 'epoch': '0.6023'}
{'loss': '3.176', 'grad_norm': '0.5306', 'learning_rate': '0.000212', 'epoch': '0.6029'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.95it/s]
{'loss': '3.175', 'grad_norm': '0.5294', 'learning_rate': '0.0002113', 'epoch': '0.6036'}
{'loss': '3.173', 'grad_norm': '0.5798', 'learning_rate': '0.0002107', 'epoch': '0.6042'}
{'loss': '3.175', 'grad_norm': '0.5204', 'learning_rate': '0.0002101', 'epoch': '0.6049'}
{'loss': '3.172', 'grad_norm': '1.071', 'learning_rate': '0.0002095', 'epoch': '0.6056'}
{'loss': '3.173', 'grad_norm': '0.5092', 'learning_rate': '0.0002089', 'epoch': '0.6062'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.48it/s]
{'loss': '3.168', 'grad_norm': '0.5041', 'learning_rate': '0.0002083', 'epoch': '0.6069'}
{'loss': '3.169', 'grad_norm': '0.504', 'learning_rate': '0.0002077', 'epoch': '0.6075'}
{'loss': '3.17', 'grad_norm': '0.4974', 'learning_rate': '0.0002071', 'epoch': '0.6082'}
{'loss': '3.177', 'grad_norm': '0.5456', 'learning_rate': '0.0002065', 'epoch': '0.6088'}
{'loss': '3.17', 'grad_norm': '0.5426', 'learning_rate': '0.0002059', 'epoch': '0.6095'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.67it/s]
{'loss': '3.164', 'grad_norm': '0.5177', 'learning_rate': '0.0002053', 'epoch': '0.6101'}
{'loss': '3.173', 'grad_norm': '0.5066', 'learning_rate': '0.0002047', 'epoch': '0.6108'}
{'loss': '3.163', 'grad_norm': '0.5179', 'learning_rate': '0.0002042', 'epoch': '0.6115'}
{'loss': '3.173', 'grad_norm': '0.5473', 'learning_rate': '0.0002036', 'epoch': '0.6121'}
{'loss': '3.168', 'grad_norm': '0.5406', 'learning_rate': '0.000203', 'epoch': '0.6128'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.45it/s]
{'loss': '3.174', 'grad_norm': '0.5623', 'learning_rate': '0.0002024', 'epoch': '0.6134'}
{'loss': '3.176', 'grad_norm': '0.5514', 'learning_rate': '0.0002018', 'epoch': '0.6141'}
{'loss': '3.17', 'grad_norm': '0.508', 'learning_rate': '0.0002012', 'epoch': '0.6147'}
{'loss': '3.169', 'grad_norm': '0.5315', 'learning_rate': '0.0002006', 'epoch': '0.6154'}
{'loss': '3.17', 'grad_norm': '0.5205', 'learning_rate': '0.0002', 'epoch': '0.616'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.73it/s]
{'loss': '3.167', 'grad_norm': '0.5443', 'learning_rate': '0.0001994', 'epoch': '0.6167'}
{'loss': '3.17', 'grad_norm': '0.5174', 'learning_rate': '0.0001988', 'epoch': '0.6173'}
{'loss': '3.17', 'grad_norm': '0.5217', 'learning_rate': '0.0001982', 'epoch': '0.618'}
{'loss': '3.168', 'grad_norm': '0.5222', 'learning_rate': '0.0001976', 'epoch': '0.6187'}
{'loss': '3.17', 'grad_norm': '0.5357', 'learning_rate': '0.000197', 'epoch': '0.6193'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.18it/s]
{'loss': '3.159', 'grad_norm': '0.5494', 'learning_rate': '0.0001964', 'epoch': '0.62'}
{'loss': '3.166', 'grad_norm': '0.5646', 'learning_rate': '0.0001958', 'epoch': '0.6206'}
{'loss': '3.173', 'grad_norm': '0.5311', 'learning_rate': '0.0001952', 'epoch': '0.6213'}
{'loss': '3.163', 'grad_norm': '0.5358', 'learning_rate': '0.0001947', 'epoch': '0.6219'}
{'loss': '3.168', 'grad_norm': '0.5401', 'learning_rate': '0.0001941', 'epoch': '0.6226'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.14it/s]
{'loss': '3.169', 'grad_norm': '0.5432', 'learning_rate': '0.0001935', 'epoch': '0.6232'}
{'loss': '3.17', 'grad_norm': '0.5396', 'learning_rate': '0.0001929', 'epoch': '0.6239'}
{'loss': '3.162', 'grad_norm': '0.5662', 'learning_rate': '0.0001923', 'epoch': '0.6246'}
{'loss': '3.163', 'grad_norm': '0.5535', 'learning_rate': '0.0001917', 'epoch': '0.6252'}
{'loss': '3.166', 'grad_norm': '0.5391', 'learning_rate': '0.0001911', 'epoch': '0.6259'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.23it/s]
{'loss': '3.166', 'grad_norm': '0.5118', 'learning_rate': '0.0001905', 'epoch': '0.6265'}
{'loss': '3.163', 'grad_norm': '0.5524', 'learning_rate': '0.0001899', 'epoch': '0.6272'}
{'loss': '3.163', 'grad_norm': '0.5239', 'learning_rate': '0.0001894', 'epoch': '0.6278'}
{'loss': '3.166', 'grad_norm': '0.5643', 'learning_rate': '0.0001888', 'epoch': '0.6285'}
{'loss': '3.168', 'grad_norm': '0.5382', 'learning_rate': '0.0001882', 'epoch': '0.6291'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.24it/s]
{'loss': '3.162', 'grad_norm': '0.5235', 'learning_rate': '0.0001876', 'epoch': '0.6298'}
{'loss': '3.163', 'grad_norm': '0.5406', 'learning_rate': '0.000187', 'epoch': '0.6305'}
{'loss': '3.163', 'grad_norm': '0.5208', 'learning_rate': '0.0001864', 'epoch': '0.6311'}
{'loss': '3.163', 'grad_norm': '0.5627', 'learning_rate': '0.0001859', 'epoch': '0.6318'}
{'loss': '3.167', 'grad_norm': '0.5496', 'learning_rate': '0.0001853', 'epoch': '0.6324'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.25it/s]
{'loss': '3.159', 'grad_norm': '0.5695', 'learning_rate': '0.0001847', 'epoch': '0.6331'}
{'loss': '3.165', 'grad_norm': '0.543', 'learning_rate': '0.0001841', 'epoch': '0.6337'}
{'loss': '3.168', 'grad_norm': '0.5322', 'learning_rate': '0.0001835', 'epoch': '0.6344'}
{'loss': '3.164', 'grad_norm': '0.5374', 'learning_rate': '0.0001829', 'epoch': '0.635'}
{'loss': '3.162', 'grad_norm': '0.5852', 'learning_rate': '0.0001824', 'epoch': '0.6357'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.02it/s]
{'loss': '3.166', 'grad_norm': '0.5389', 'learning_rate': '0.0001818', 'epoch': '0.6364'}
{'loss': '3.163', 'grad_norm': '0.5538', 'learning_rate': '0.0001812', 'epoch': '0.637'}
{'loss': '3.16', 'grad_norm': '0.5125', 'learning_rate': '0.0001806', 'epoch': '0.6377'}
{'loss': '3.164', 'grad_norm': '0.5276', 'learning_rate': '0.0001801', 'epoch': '0.6383'}
{'loss': '3.161', 'grad_norm': '0.5108', 'learning_rate': '0.0001795', 'epoch': '0.639'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.64it/s]
{'loss': '3.159', 'grad_norm': '0.56', 'learning_rate': '0.0001789', 'epoch': '0.6396'}
{'loss': '3.16', 'grad_norm': '0.521', 'learning_rate': '0.0001783', 'epoch': '0.6403'}
{'loss': '3.165', 'grad_norm': '0.5607', 'learning_rate': '0.0001777', 'epoch': '0.6409'}
{'loss': '3.16', 'grad_norm': '0.5172', 'learning_rate': '0.0001772', 'epoch': '0.6416'}
{'loss': '3.159', 'grad_norm': '0.549', 'learning_rate': '0.0001766', 'epoch': '0.6423'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.81it/s]
{'loss': '3.166', 'grad_norm': '0.5457', 'learning_rate': '0.000176', 'epoch': '0.6429'}
{'loss': '3.165', 'grad_norm': '0.5586', 'learning_rate': '0.0001754', 'epoch': '0.6436'}
{'loss': '3.155', 'grad_norm': '0.5298', 'learning_rate': '0.0001749', 'epoch': '0.6442'}
{'loss': '3.157', 'grad_norm': '0.5386', 'learning_rate': '0.0001743', 'epoch': '0.6449'}
{'loss': '3.16', 'grad_norm': '0.5544', 'learning_rate': '0.0001737', 'epoch': '0.6455'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.89it/s]
{'loss': '3.156', 'grad_norm': '0.5515', 'learning_rate': '0.0001732', 'epoch': '0.6462'}
{'loss': '3.161', 'grad_norm': '0.5372', 'learning_rate': '0.0001726', 'epoch': '0.6468'}
{'loss': '3.152', 'grad_norm': '0.558', 'learning_rate': '0.000172', 'epoch': '0.6475'}
{'loss': '3.151', 'grad_norm': '0.5763', 'learning_rate': '0.0001714', 'epoch': '0.6482'}
{'loss': '3.155', 'grad_norm': '0.5592', 'learning_rate': '0.0001709', 'epoch': '0.6488'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.64it/s]
{'loss': '3.157', 'grad_norm': '0.5608', 'learning_rate': '0.0001703', 'epoch': '0.6495'}
{'loss': '3.153', 'grad_norm': '0.5551', 'learning_rate': '0.0001697', 'epoch': '0.6501'}
{'loss': '3.156', 'grad_norm': '0.5657', 'learning_rate': '0.0001692', 'epoch': '0.6508'}
{'loss': '3.156', 'grad_norm': '0.5577', 'learning_rate': '0.0001686', 'epoch': '0.6514'}
{'loss': '3.15', 'grad_norm': '0.602', 'learning_rate': '0.000168', 'epoch': '0.6521'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.68it/s]
{'loss': '3.157', 'grad_norm': '0.5451', 'learning_rate': '0.0001675', 'epoch': '0.6527'}
{'loss': '3.153', 'grad_norm': '0.6076', 'learning_rate': '0.0001669', 'epoch': '0.6534'}
{'loss': '3.156', 'grad_norm': '0.5373', 'learning_rate': '0.0001663', 'epoch': '0.654'}
{'loss': '3.153', 'grad_norm': '0.5865', 'learning_rate': '0.0001658', 'epoch': '0.6547'}
{'loss': '3.151', 'grad_norm': '0.5465', 'learning_rate': '0.0001652', 'epoch': '0.6554'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.42it/s]
{'loss': '3.153', 'grad_norm': '0.5427', 'learning_rate': '0.0001647', 'epoch': '0.656'}
{'loss': '3.156', 'grad_norm': '0.6229', 'learning_rate': '0.0001641', 'epoch': '0.6567'}
{'loss': '3.155', 'grad_norm': '0.6797', 'learning_rate': '0.0001635', 'epoch': '0.6573'}
{'loss': '3.151', 'grad_norm': '0.5807', 'learning_rate': '0.000163', 'epoch': '0.658'}
{'loss': '3.151', 'grad_norm': '0.5284', 'learning_rate': '0.0001624', 'epoch': '0.6586'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.82it/s]
{'loss': '3.153', 'grad_norm': '0.5532', 'learning_rate': '0.0001618', 'epoch': '0.6593'}
{'loss': '3.15', 'grad_norm': '0.6013', 'learning_rate': '0.0001613', 'epoch': '0.6599'}
{'loss': '3.154', 'grad_norm': '0.5649', 'learning_rate': '0.0001607', 'epoch': '0.6606'}
{'loss': '3.147', 'grad_norm': '0.5472', 'learning_rate': '0.0001602', 'epoch': '0.6613'}
{'loss': '3.154', 'grad_norm': '0.5299', 'learning_rate': '0.0001596', 'epoch': '0.6619'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.78it/s]
{'loss': '3.155', 'grad_norm': '0.5921', 'learning_rate': '0.0001591', 'epoch': '0.6626'}
{'loss': '3.15', 'grad_norm': '0.6007', 'learning_rate': '0.0001585', 'epoch': '0.6632'}
{'loss': '3.157', 'grad_norm': '0.5583', 'learning_rate': '0.0001579', 'epoch': '0.6639'}
{'loss': '3.151', 'grad_norm': '0.5939', 'learning_rate': '0.0001574', 'epoch': '0.6645'}
{'loss': '3.149', 'grad_norm': '1.452', 'learning_rate': '0.0001568', 'epoch': '0.6652'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 2.61it/s]
{'loss': '3.155', 'grad_norm': '0.5665', 'learning_rate': '0.0001563', 'epoch': '0.6658'}
{'loss': '3.154', 'grad_norm': '0.5714', 'learning_rate': '0.0001557', 'epoch': '0.6665'}
{'loss': '3.147', 'grad_norm': '0.5902', 'learning_rate': '0.0001552', 'epoch': '0.6672'}
{'loss': '3.149', 'grad_norm': '0.6296', 'learning_rate': '0.0001546', 'epoch': '0.6678'}
{'loss': '3.15', 'grad_norm': '0.5713', 'learning_rate': '0.0001541', 'epoch': '0.6685'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 2.70it/s]
{'loss': '3.15', 'grad_norm': '0.5553', 'learning_rate': '0.0001535', 'epoch': '0.6691'}
{'loss': '3.157', 'grad_norm': '0.5912', 'learning_rate': '0.000153', 'epoch': '0.6698'}
{'loss': '3.149', 'grad_norm': '0.5765', 'learning_rate': '0.0001524', 'epoch': '0.6704'}
{'loss': '3.152', 'grad_norm': '0.5983', 'learning_rate': '0.0001519', 'epoch': '0.6711'}
{'loss': '3.148', 'grad_norm': '0.5928', 'learning_rate': '0.0001513', 'epoch': '0.6717'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.53it/s]
{'loss': '3.144', 'grad_norm': '0.5669', 'learning_rate': '0.0001508', 'epoch': '0.6724'}
{'loss': '3.148', 'grad_norm': '0.5714', 'learning_rate': '0.0001502', 'epoch': '0.6731'}
{'loss': '3.152', 'grad_norm': '0.5747', 'learning_rate': '0.0001497', 'epoch': '0.6737'}
{'loss': '3.148', 'grad_norm': '0.5512', 'learning_rate': '0.0001491', 'epoch': '0.6744'}
{'loss': '3.149', 'grad_norm': '0.5569', 'learning_rate': '0.0001486', 'epoch': '0.675'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.23it/s]
{'loss': '3.143', 'grad_norm': '0.5966', 'learning_rate': '0.0001481', 'epoch': '0.6757'}
{'loss': '3.144', 'grad_norm': '0.5712', 'learning_rate': '0.0001475', 'epoch': '0.6763'}
{'loss': '3.146', 'grad_norm': '0.5782', 'learning_rate': '0.000147', 'epoch': '0.677'}
{'loss': '3.146', 'grad_norm': '0.5699', 'learning_rate': '0.0001464', 'epoch': '0.6776'}
{'loss': '3.147', 'grad_norm': '0.5496', 'learning_rate': '0.0001459', 'epoch': '0.6783'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.75it/s]
{'loss': '3.145', 'grad_norm': '0.5719', 'learning_rate': '0.0001454', 'epoch': '0.679'}
{'loss': '3.141', 'grad_norm': '0.607', 'learning_rate': '0.0001448', 'epoch': '0.6796'}
{'loss': '3.146', 'grad_norm': '0.5804', 'learning_rate': '0.0001443', 'epoch': '0.6803'}
{'loss': '3.143', 'grad_norm': '0.5717', 'learning_rate': '0.0001437', 'epoch': '0.6809'}
{'loss': '3.15', 'grad_norm': '0.5833', 'learning_rate': '0.0001432', 'epoch': '0.6816'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.20it/s]
{'loss': '3.147', 'grad_norm': '0.5545', 'learning_rate': '0.0001427', 'epoch': '0.6822'}
{'loss': '3.147', 'grad_norm': '0.5901', 'learning_rate': '0.0001421', 'epoch': '0.6829'}
{'loss': '3.141', 'grad_norm': '0.5919', 'learning_rate': '0.0001416', 'epoch': '0.6835'}
{'loss': '3.144', 'grad_norm': '0.5657', 'learning_rate': '0.0001411', 'epoch': '0.6842'}
{'loss': '3.141', 'grad_norm': '0.5798', 'learning_rate': '0.0001405', 'epoch': '0.6849'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.79it/s]
{'loss': '3.143', 'grad_norm': '0.571', 'learning_rate': '0.00014', 'epoch': '0.6855'}
{'loss': '3.141', 'grad_norm': '0.5803', 'learning_rate': '0.0001395', 'epoch': '0.6862'}
{'loss': '3.147', 'grad_norm': '0.5813', 'learning_rate': '0.0001389', 'epoch': '0.6868'}
{'loss': '3.142', 'grad_norm': '0.5874', 'learning_rate': '0.0001384', 'epoch': '0.6875'}
{'loss': '3.142', 'grad_norm': '0.6025', 'learning_rate': '0.0001379', 'epoch': '0.6881'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.43it/s]
{'loss': '3.143', 'grad_norm': '0.6342', 'learning_rate': '0.0001373', 'epoch': '0.6888'}
{'loss': '3.14', 'grad_norm': '0.5826', 'learning_rate': '0.0001368', 'epoch': '0.6894'}
{'loss': '3.144', 'grad_norm': '0.6076', 'learning_rate': '0.0001363', 'epoch': '0.6901'}
{'loss': '3.146', 'grad_norm': '0.55', 'learning_rate': '0.0001357', 'epoch': '0.6907'}
{'loss': '3.14', 'grad_norm': '0.6183', 'learning_rate': '0.0001352', 'epoch': '0.6914'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.67it/s]
{'loss': '3.141', 'grad_norm': '0.568', 'learning_rate': '0.0001347', 'epoch': '0.6921'}
{'loss': '3.141', 'grad_norm': '0.5741', 'learning_rate': '0.0001342', 'epoch': '0.6927'}
{'loss': '3.143', 'grad_norm': '0.5948', 'learning_rate': '0.0001336', 'epoch': '0.6934'}
{'loss': '3.149', 'grad_norm': '0.5456', 'learning_rate': '0.0001331', 'epoch': '0.694'}
{'loss': '3.138', 'grad_norm': '0.5717', 'learning_rate': '0.0001326', 'epoch': '0.6947'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.28it/s]
{'loss': '3.138', 'grad_norm': '0.5628', 'learning_rate': '0.0001321', 'epoch': '0.6953'}
{'loss': '3.14', 'grad_norm': '0.5818', 'learning_rate': '0.0001315', 'epoch': '0.696'}
{'loss': '3.139', 'grad_norm': '0.583', 'learning_rate': '0.000131', 'epoch': '0.6966'}
{'loss': '3.139', 'grad_norm': '0.5855', 'learning_rate': '0.0001305', 'epoch': '0.6973'}
{'loss': '3.139', 'grad_norm': '0.5954', 'learning_rate': '0.00013', 'epoch': '0.698'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.36it/s]
{'loss': '3.138', 'grad_norm': '0.5906', 'learning_rate': '0.0001295', 'epoch': '0.6986'}
{'loss': '3.138', 'grad_norm': '0.5608', 'learning_rate': '0.0001289', 'epoch': '0.6993'}
{'loss': '3.139', 'grad_norm': '0.5546', 'learning_rate': '0.0001284', 'epoch': '0.6999'}
{'loss': '3.136', 'grad_norm': '0.601', 'learning_rate': '0.0001279', 'epoch': '0.7006'}
{'loss': '3.131', 'grad_norm': '0.5743', 'learning_rate': '0.0001274', 'epoch': '0.7012'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.17it/s]
{'loss': '3.139', 'grad_norm': '0.5747', 'learning_rate': '0.0001269', 'epoch': '0.7019'}
{'loss': '3.135', 'grad_norm': '0.5832', 'learning_rate': '0.0001264', 'epoch': '0.7025'}
{'loss': '3.138', 'grad_norm': '0.574', 'learning_rate': '0.0001259', 'epoch': '0.7032'}
{'loss': '3.132', 'grad_norm': '0.5809', 'learning_rate': '0.0001253', 'epoch': '0.7039'}
{'loss': '3.14', 'grad_norm': '0.5787', 'learning_rate': '0.0001248', 'epoch': '0.7045'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.54it/s]
{'loss': '3.138', 'grad_norm': '0.622', 'learning_rate': '0.0001243', 'epoch': '0.7052'}
{'loss': '3.136', 'grad_norm': '0.5596', 'learning_rate': '0.0001238', 'epoch': '0.7058'}
{'loss': '3.135', 'grad_norm': '0.5907', 'learning_rate': '0.0001233', 'epoch': '0.7065'}
{'loss': '3.136', 'grad_norm': '0.5579', 'learning_rate': '0.0001228', 'epoch': '0.7071'}
{'loss': '3.136', 'grad_norm': '0.5956', 'learning_rate': '0.0001223', 'epoch': '0.7078'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.17it/s]
{'loss': '3.135', 'grad_norm': '0.5904', 'learning_rate': '0.0001218', 'epoch': '0.7084'}
{'loss': '3.14', 'grad_norm': '0.5702', 'learning_rate': '0.0001213', 'epoch': '0.7091'}
{'loss': '3.132', 'grad_norm': '0.5849', 'learning_rate': '0.0001208', 'epoch': '0.7098'}
{'loss': '3.132', 'grad_norm': '0.5682', 'learning_rate': '0.0001203', 'epoch': '0.7104'}
{'loss': '3.134', 'grad_norm': '0.582', 'learning_rate': '0.0001198', 'epoch': '0.7111'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.39it/s]
{'loss': '3.135', 'grad_norm': '0.5797', 'learning_rate': '0.0001192', 'epoch': '0.7117'}
{'loss': '3.139', 'grad_norm': '0.6054', 'learning_rate': '0.0001187', 'epoch': '0.7124'}
{'loss': '3.133', 'grad_norm': '0.5864', 'learning_rate': '0.0001182', 'epoch': '0.713'}
{'loss': '3.131', 'grad_norm': '0.5758', 'learning_rate': '0.0001177', 'epoch': '0.7137'}
{'loss': '3.136', 'grad_norm': '0.6006', 'learning_rate': '0.0001172', 'epoch': '0.7143'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.64it/s]
{'loss': '3.134', 'grad_norm': '0.5658', 'learning_rate': '0.0001167', 'epoch': '0.715'}
{'loss': '3.132', 'grad_norm': '0.5958', 'learning_rate': '0.0001162', 'epoch': '0.7157'}
{'loss': '3.13', 'grad_norm': '0.5866', 'learning_rate': '0.0001157', 'epoch': '0.7163'}
{'loss': '3.13', 'grad_norm': '0.5767', 'learning_rate': '0.0001153', 'epoch': '0.717'}
{'loss': '3.122', 'grad_norm': '0.6066', 'learning_rate': '0.0001148', 'epoch': '0.7176'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.29it/s]
{'loss': '3.131', 'grad_norm': '0.5783', 'learning_rate': '0.0001143', 'epoch': '0.7183'}
{'loss': '3.135', 'grad_norm': '0.6035', 'learning_rate': '0.0001138', 'epoch': '0.7189'}
{'loss': '3.126', 'grad_norm': '0.6012', 'learning_rate': '0.0001133', 'epoch': '0.7196'}
{'loss': '3.129', 'grad_norm': '0.6369', 'learning_rate': '0.0001128', 'epoch': '0.7202'}
{'loss': '3.125', 'grad_norm': '0.6026', 'learning_rate': '0.0001123', 'epoch': '0.7209'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.27it/s]
{'loss': '3.132', 'grad_norm': '0.5961', 'learning_rate': '0.0001118', 'epoch': '0.7216'}
{'loss': '3.127', 'grad_norm': '0.601', 'learning_rate': '0.0001113', 'epoch': '0.7222'}
{'loss': '3.122', 'grad_norm': '0.5667', 'learning_rate': '0.0001108', 'epoch': '0.7229'}
{'loss': '3.124', 'grad_norm': '0.6108', 'learning_rate': '0.0001103', 'epoch': '0.7235'}
{'loss': '3.124', 'grad_norm': '0.5747', 'learning_rate': '0.0001098', 'epoch': '0.7242'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.27it/s]
{'loss': '3.131', 'grad_norm': '0.5828', 'learning_rate': '0.0001094', 'epoch': '0.7248'}
{'loss': '3.123', 'grad_norm': '0.664', 'learning_rate': '0.0001089', 'epoch': '0.7255'}
{'loss': '3.123', 'grad_norm': '0.5727', 'learning_rate': '0.0001084', 'epoch': '0.7261'}
{'loss': '3.12', 'grad_norm': '0.5916', 'learning_rate': '0.0001079', 'epoch': '0.7268'}
{'loss': '3.134', 'grad_norm': '0.5927', 'learning_rate': '0.0001074', 'epoch': '0.7274'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.32it/s]
{'loss': '3.129', 'grad_norm': '0.5993', 'learning_rate': '0.0001069', 'epoch': '0.7281'}
{'loss': '3.127', 'grad_norm': '0.6461', 'learning_rate': '0.0001064', 'epoch': '0.7288'}
{'loss': '3.126', 'grad_norm': '0.628', 'learning_rate': '0.000106', 'epoch': '0.7294'}
{'loss': '3.131', 'grad_norm': '0.5937', 'learning_rate': '0.0001055', 'epoch': '0.7301'}
{'loss': '3.125', 'grad_norm': '0.601', 'learning_rate': '0.000105', 'epoch': '0.7307'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.63it/s]
{'loss': '3.128', 'grad_norm': '0.6029', 'learning_rate': '0.0001045', 'epoch': '0.7314'}
{'loss': '3.123', 'grad_norm': '0.5728', 'learning_rate': '0.000104', 'epoch': '0.732'}
{'loss': '3.12', 'grad_norm': '0.6318', 'learning_rate': '0.0001036', 'epoch': '0.7327'}
{'loss': '3.125', 'grad_norm': '0.6638', 'learning_rate': '0.0001031', 'epoch': '0.7333'}
{'loss': '3.127', 'grad_norm': '0.5983', 'learning_rate': '0.0001026', 'epoch': '0.734'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.68it/s]
{'loss': '3.129', 'grad_norm': '0.5987', 'learning_rate': '0.0001021', 'epoch': '0.7347'}
{'loss': '3.125', 'grad_norm': '0.6129', 'learning_rate': '0.0001017', 'epoch': '0.7353'}
{'loss': '3.129', 'grad_norm': '0.6193', 'learning_rate': '0.0001012', 'epoch': '0.736'}
{'loss': '3.123', 'grad_norm': '0.6388', 'learning_rate': '0.0001007', 'epoch': '0.7366'}
{'loss': '3.124', 'grad_norm': '0.6258', 'learning_rate': '0.0001003', 'epoch': '0.7373'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.78it/s]
{'loss': '3.123', 'grad_norm': '0.6015', 'learning_rate': '9.979e-05', 'epoch': '0.7379'}
{'loss': '3.127', 'grad_norm': '0.6257', 'learning_rate': '9.932e-05', 'epoch': '0.7386'}
{'loss': '3.125', 'grad_norm': '0.5986', 'learning_rate': '9.885e-05', 'epoch': '0.7392'}
{'loss': '3.126', 'grad_norm': '0.5819', 'learning_rate': '9.839e-05', 'epoch': '0.7399'}
{'loss': '3.12', 'grad_norm': '0.6157', 'learning_rate': '9.792e-05', 'epoch': '0.7406'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.04it/s]
{'loss': '3.122', 'grad_norm': '0.5748', 'learning_rate': '9.745e-05', 'epoch': '0.7412'}
{'loss': '3.125', 'grad_norm': '0.6364', 'learning_rate': '9.699e-05', 'epoch': '0.7419'}
{'loss': '3.125', 'grad_norm': '0.6087', 'learning_rate': '9.653e-05', 'epoch': '0.7425'}
{'loss': '3.121', 'grad_norm': '0.5976', 'learning_rate': '9.606e-05', 'epoch': '0.7432'}
{'loss': '3.125', 'grad_norm': '0.5827', 'learning_rate': '9.56e-05', 'epoch': '0.7438'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.37it/s]
{'loss': '3.126', 'grad_norm': '0.6309', 'learning_rate': '9.514e-05', 'epoch': '0.7445'}
{'loss': '3.121', 'grad_norm': '0.6744', 'learning_rate': '9.468e-05', 'epoch': '0.7451'}
{'loss': '3.124', 'grad_norm': '0.6307', 'learning_rate': '9.422e-05', 'epoch': '0.7458'}
{'loss': '3.123', 'grad_norm': '0.6349', 'learning_rate': '9.376e-05', 'epoch': '0.7465'}
{'loss': '3.12', 'grad_norm': '0.5944', 'learning_rate': '9.331e-05', 'epoch': '0.7471'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.95it/s]
{'loss': '3.124', 'grad_norm': '0.5762', 'learning_rate': '9.285e-05', 'epoch': '0.7478'}
{'loss': '3.122', 'grad_norm': '0.6068', 'learning_rate': '9.239e-05', 'epoch': '0.7484'}
{'loss': '3.115', 'grad_norm': '0.6304', 'learning_rate': '9.194e-05', 'epoch': '0.7491'}
{'loss': '3.117', 'grad_norm': '0.6145', 'learning_rate': '9.149e-05', 'epoch': '0.7497'}
{'loss': '3.117', 'grad_norm': '0.6105', 'learning_rate': '9.103e-05', 'epoch': '0.7504'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.31it/s]
{'loss': '3.117', 'grad_norm': '0.6165', 'learning_rate': '9.058e-05', 'epoch': '0.751'}
{'loss': '3.118', 'grad_norm': '0.6108', 'learning_rate': '9.013e-05', 'epoch': '0.7517'}
{'loss': '3.113', 'grad_norm': '0.6264', 'learning_rate': '8.968e-05', 'epoch': '0.7524'}
{'loss': '3.118', 'grad_norm': '0.6408', 'learning_rate': '8.923e-05', 'epoch': '0.753'}
{'loss': '3.121', 'grad_norm': '0.5837', 'learning_rate': '8.878e-05', 'epoch': '0.7537'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.39it/s]
{'loss': '3.118', 'grad_norm': '0.6373', 'learning_rate': '8.834e-05', 'epoch': '0.7543'}
{'loss': '3.117', 'grad_norm': '0.5999', 'learning_rate': '8.789e-05', 'epoch': '0.755'}
{'loss': '3.121', 'grad_norm': '0.6219', 'learning_rate': '8.745e-05', 'epoch': '0.7556'}
{'loss': '3.117', 'grad_norm': '0.6014', 'learning_rate': '8.7e-05', 'epoch': '0.7563'}
{'loss': '3.113', 'grad_norm': '0.6236', 'learning_rate': '8.656e-05', 'epoch': '0.7569'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.94it/s]
{'loss': '3.118', 'grad_norm': '0.6067', 'learning_rate': '8.611e-05', 'epoch': '0.7576'}
{'loss': '3.115', 'grad_norm': '0.6211', 'learning_rate': '8.567e-05', 'epoch': '0.7583'}
{'loss': '3.119', 'grad_norm': '0.642', 'learning_rate': '8.523e-05', 'epoch': '0.7589'}
{'loss': '3.116', 'grad_norm': '0.619', 'learning_rate': '8.479e-05', 'epoch': '0.7596'}
{'loss': '3.112', 'grad_norm': '0.62', 'learning_rate': '8.435e-05', 'epoch': '0.7602'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.99it/s]
{'loss': '3.113', 'grad_norm': '0.6389', 'learning_rate': '8.392e-05', 'epoch': '0.7609'}
{'loss': '3.113', 'grad_norm': '0.6062', 'learning_rate': '8.348e-05', 'epoch': '0.7615'}
{'loss': '3.119', 'grad_norm': '0.613', 'learning_rate': '8.304e-05', 'epoch': '0.7622'}
{'loss': '3.118', 'grad_norm': '0.6003', 'learning_rate': '8.261e-05', 'epoch': '0.7628'}
{'loss': '3.116', 'grad_norm': '0.6023', 'learning_rate': '8.218e-05', 'epoch': '0.7635'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.55it/s]
{'loss': '3.113', 'grad_norm': '0.6265', 'learning_rate': '8.174e-05', 'epoch': '0.7641'}
{'loss': '3.116', 'grad_norm': '0.5955', 'learning_rate': '8.131e-05', 'epoch': '0.7648'}
{'loss': '3.117', 'grad_norm': '0.6189', 'learning_rate': '8.088e-05', 'epoch': '0.7655'}
{'loss': '3.115', 'grad_norm': '0.6251', 'learning_rate': '8.045e-05', 'epoch': '0.7661'}
{'loss': '3.113', 'grad_norm': '0.652', 'learning_rate': '8.002e-05', 'epoch': '0.7668'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.07it/s]
{'loss': '3.12', 'grad_norm': '0.6518', 'learning_rate': '7.959e-05', 'epoch': '0.7674'}
{'loss': '3.112', 'grad_norm': '0.6251', 'learning_rate': '7.917e-05', 'epoch': '0.7681'}
{'loss': '3.106', 'grad_norm': '0.6289', 'learning_rate': '7.874e-05', 'epoch': '0.7687'}
{'loss': '3.118', 'grad_norm': '0.6065', 'learning_rate': '7.831e-05', 'epoch': '0.7694'}
{'loss': '3.112', 'grad_norm': '0.6435', 'learning_rate': '7.789e-05', 'epoch': '0.77'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.12it/s]
{'loss': '3.115', 'grad_norm': '0.626', 'learning_rate': '7.747e-05', 'epoch': '0.7707'}
{'loss': '3.112', 'grad_norm': '0.614', 'learning_rate': '7.705e-05', 'epoch': '0.7714'}
{'loss': '3.112', 'grad_norm': '0.618', 'learning_rate': '7.662e-05', 'epoch': '0.772'}
{'loss': '3.112', 'grad_norm': '0.6314', 'learning_rate': '7.62e-05', 'epoch': '0.7727'}
{'loss': '3.11', 'grad_norm': '0.6665', 'learning_rate': '7.578e-05', 'epoch': '0.7733'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.75it/s]
{'loss': '3.108', 'grad_norm': '0.6265', 'learning_rate': '7.537e-05', 'epoch': '0.774'}
{'loss': '3.112', 'grad_norm': '0.6313', 'learning_rate': '7.495e-05', 'epoch': '0.7746'}
{'loss': '3.11', 'grad_norm': '0.6252', 'learning_rate': '7.453e-05', 'epoch': '0.7753'}
{'loss': '3.11', 'grad_norm': '0.6468', 'learning_rate': '7.412e-05', 'epoch': '0.7759'}
{'loss': '3.107', 'grad_norm': '0.6373', 'learning_rate': '7.37e-05', 'epoch': '0.7766'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.37it/s]
{'loss': '3.11', 'grad_norm': '0.6131', 'learning_rate': '7.329e-05', 'epoch': '0.7773'}
{'loss': '3.108', 'grad_norm': '0.6232', 'learning_rate': '7.288e-05', 'epoch': '0.7779'}
{'loss': '3.111', 'grad_norm': '0.5948', 'learning_rate': '7.247e-05', 'epoch': '0.7786'}
{'loss': '3.105', 'grad_norm': '0.613', 'learning_rate': '7.206e-05', 'epoch': '0.7792'}
{'loss': '3.113', 'grad_norm': '0.6153', 'learning_rate': '7.165e-05', 'epoch': '0.7799'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 2.74it/s]
{'loss': '3.107', 'grad_norm': '0.5967', 'learning_rate': '7.124e-05', 'epoch': '0.7805'}
{'loss': '3.108', 'grad_norm': '0.6167', 'learning_rate': '7.083e-05', 'epoch': '0.7812'}
{'loss': '3.108', 'grad_norm': '0.6449', 'learning_rate': '7.042e-05', 'epoch': '0.7818'}
{'loss': '3.111', 'grad_norm': '0.6085', 'learning_rate': '7.002e-05', 'epoch': '0.7825'}
{'loss': '3.108', 'grad_norm': '0.6634', 'learning_rate': '6.962e-05', 'epoch': '0.7832'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.46it/s]
{'loss': '3.103', 'grad_norm': '0.6057', 'learning_rate': '6.921e-05', 'epoch': '0.7838'}
{'loss': '3.108', 'grad_norm': '0.6245', 'learning_rate': '6.881e-05', 'epoch': '0.7845'}
{'loss': '3.111', 'grad_norm': '0.6097', 'learning_rate': '6.841e-05', 'epoch': '0.7851'}
{'loss': '3.106', 'grad_norm': '0.6323', 'learning_rate': '6.801e-05', 'epoch': '0.7858'}
{'loss': '3.12', 'grad_norm': '0.6374', 'learning_rate': '6.761e-05', 'epoch': '0.7864'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.70it/s]
{'loss': '3.104', 'grad_norm': '0.6175', 'learning_rate': '6.721e-05', 'epoch': '0.7871'}
{'loss': '3.111', 'grad_norm': '0.6686', 'learning_rate': '6.681e-05', 'epoch': '0.7877'}
{'loss': '3.109', 'grad_norm': '0.6653', 'learning_rate': '6.642e-05', 'epoch': '0.7884'}
{'loss': '3.098', 'grad_norm': '0.6189', 'learning_rate': '6.602e-05', 'epoch': '0.7891'}
{'loss': '3.105', 'grad_norm': '0.6326', 'learning_rate': '6.563e-05', 'epoch': '0.7897'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.19it/s]
{'loss': '3.103', 'grad_norm': '0.6348', 'learning_rate': '6.524e-05', 'epoch': '0.7904'}
{'loss': '3.113', 'grad_norm': '0.6418', 'learning_rate': '6.484e-05', 'epoch': '0.791'}
{'loss': '3.102', 'grad_norm': '0.6452', 'learning_rate': '6.445e-05', 'epoch': '0.7917'}
{'loss': '3.11', 'grad_norm': '0.5985', 'learning_rate': '6.406e-05', 'epoch': '0.7923'}
{'loss': '3.109', 'grad_norm': '0.6277', 'learning_rate': '6.368e-05', 'epoch': '0.793'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.36it/s]
{'loss': '3.107', 'grad_norm': '0.6696', 'learning_rate': '6.329e-05', 'epoch': '0.7936'}
{'loss': '3.11', 'grad_norm': '0.6501', 'learning_rate': '6.29e-05', 'epoch': '0.7943'}
{'loss': '3.108', 'grad_norm': '0.6391', 'learning_rate': '6.252e-05', 'epoch': '0.795'}
{'loss': '3.101', 'grad_norm': '0.6252', 'learning_rate': '6.213e-05', 'epoch': '0.7956'}
{'loss': '3.107', 'grad_norm': '0.6313', 'learning_rate': '6.175e-05', 'epoch': '0.7963'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.39it/s]
{'loss': '3.1', 'grad_norm': '0.6392', 'learning_rate': '6.136e-05', 'epoch': '0.7969'}
{'loss': '3.1', 'grad_norm': '0.6078', 'learning_rate': '6.098e-05', 'epoch': '0.7976'}
{'loss': '3.101', 'grad_norm': '0.6698', 'learning_rate': '6.06e-05', 'epoch': '0.7982'}
{'loss': '3.101', 'grad_norm': '0.6372', 'learning_rate': '6.022e-05', 'epoch': '0.7989'}
{'loss': '3.108', 'grad_norm': '0.6285', 'learning_rate': '5.985e-05', 'epoch': '0.7995'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.45it/s]
{'loss': '3.101', 'grad_norm': '0.6547', 'learning_rate': '5.947e-05', 'epoch': '0.8002'}
{'loss': '3.102', 'grad_norm': '0.6253', 'learning_rate': '5.909e-05', 'epoch': '0.8008'}
{'loss': '3.105', 'grad_norm': '0.6125', 'learning_rate': '5.872e-05', 'epoch': '0.8015'}
{'loss': '3.099', 'grad_norm': '0.6552', 'learning_rate': '5.834e-05', 'epoch': '0.8022'}
{'loss': '3.103', 'grad_norm': '0.6274', 'learning_rate': '5.797e-05', 'epoch': '0.8028'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.94it/s]
{'loss': '3.103', 'grad_norm': '0.6341', 'learning_rate': '5.76e-05', 'epoch': '0.8035'}
{'loss': '3.103', 'grad_norm': '0.6262', 'learning_rate': '5.723e-05', 'epoch': '0.8041'}
{'loss': '3.108', 'grad_norm': '0.6374', 'learning_rate': '5.686e-05', 'epoch': '0.8048'}
{'loss': '3.099', 'grad_norm': '0.65', 'learning_rate': '5.649e-05', 'epoch': '0.8054'}
{'loss': '3.104', 'grad_norm': '0.6207', 'learning_rate': '5.612e-05', 'epoch': '0.8061'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.77it/s]
{'loss': '3.098', 'grad_norm': '0.6371', 'learning_rate': '5.576e-05', 'epoch': '0.8067'}
{'loss': '3.09', 'grad_norm': '0.6499', 'learning_rate': '5.539e-05', 'epoch': '0.8074'}
{'loss': '3.096', 'grad_norm': '0.6082', 'learning_rate': '5.503e-05', 'epoch': '0.8081'}
{'loss': '3.097', 'grad_norm': '0.6333', 'learning_rate': '5.466e-05', 'epoch': '0.8087'}
{'loss': '3.101', 'grad_norm': '0.6255', 'learning_rate': '5.43e-05', 'epoch': '0.8094'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.59it/s]
{'loss': '3.1', 'grad_norm': '0.6589', 'learning_rate': '5.394e-05', 'epoch': '0.81'}
{'loss': '3.097', 'grad_norm': '0.6141', 'learning_rate': '5.358e-05', 'epoch': '0.8107'}
{'loss': '3.094', 'grad_norm': '0.6351', 'learning_rate': '5.322e-05', 'epoch': '0.8113'}
{'loss': '3.099', 'grad_norm': '0.633', 'learning_rate': '5.286e-05', 'epoch': '0.812'}
{'loss': '3.098', 'grad_norm': '0.6227', 'learning_rate': '5.251e-05', 'epoch': '0.8126'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.37it/s]
{'loss': '3.108', 'grad_norm': '0.6204', 'learning_rate': '5.215e-05', 'epoch': '0.8133'}
{'loss': '3.093', 'grad_norm': '0.6097', 'learning_rate': '5.179e-05', 'epoch': '0.814'}
{'loss': '3.095', 'grad_norm': '0.672', 'learning_rate': '5.144e-05', 'epoch': '0.8146'}
{'loss': '3.097', 'grad_norm': '0.6189', 'learning_rate': '5.109e-05', 'epoch': '0.8153'}
{'loss': '3.1', 'grad_norm': '0.6341', 'learning_rate': '5.074e-05', 'epoch': '0.8159'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.74it/s]
{'loss': '3.1', 'grad_norm': '0.6408', 'learning_rate': '5.039e-05', 'epoch': '0.8166'}
{'loss': '3.091', 'grad_norm': '0.6513', 'learning_rate': '5.004e-05', 'epoch': '0.8172'}
{'loss': '3.098', 'grad_norm': '0.6188', 'learning_rate': '4.969e-05', 'epoch': '0.8179'}
{'loss': '3.092', 'grad_norm': '0.6241', 'learning_rate': '4.934e-05', 'epoch': '0.8185'}
{'loss': '3.092', 'grad_norm': '0.6283', 'learning_rate': '4.9e-05', 'epoch': '0.8192'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.67it/s]
{'loss': '3.097', 'grad_norm': '0.6626', 'learning_rate': '4.865e-05', 'epoch': '0.8199'}
{'loss': '3.098', 'grad_norm': '0.6264', 'learning_rate': '4.831e-05', 'epoch': '0.8205'}
{'loss': '3.094', 'grad_norm': '0.6382', 'learning_rate': '4.797e-05', 'epoch': '0.8212'}
{'loss': '3.088', 'grad_norm': '0.5975', 'learning_rate': '4.763e-05', 'epoch': '0.8218'}
{'loss': '3.096', 'grad_norm': '0.616', 'learning_rate': '4.729e-05', 'epoch': '0.8225'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 2.99it/s]
{'loss': '3.101', 'grad_norm': '0.6172', 'learning_rate': '4.695e-05', 'epoch': '0.8231'}
{'loss': '3.09', 'grad_norm': '0.6163', 'learning_rate': '4.661e-05', 'epoch': '0.8238'}
{'loss': '3.094', 'grad_norm': '0.6191', 'learning_rate': '4.627e-05', 'epoch': '0.8244'}
{'loss': '3.093', 'grad_norm': '0.6242', 'learning_rate': '4.594e-05', 'epoch': '0.8251'}
{'loss': '3.089', 'grad_norm': '0.6498', 'learning_rate': '4.56e-05', 'epoch': '0.8258'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.79it/s]
{'loss': '3.093', 'grad_norm': '0.6488', 'learning_rate': '4.527e-05', 'epoch': '0.8264'}
{'loss': '3.095', 'grad_norm': '0.626', 'learning_rate': '4.494e-05', 'epoch': '0.8271'}
{'loss': '3.095', 'grad_norm': '0.6518', 'learning_rate': '4.46e-05', 'epoch': '0.8277'}
{'loss': '3.087', 'grad_norm': '0.6512', 'learning_rate': '4.427e-05', 'epoch': '0.8284'}
{'loss': '3.092', 'grad_norm': '0.6292', 'learning_rate': '4.395e-05', 'epoch': '0.829'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.27it/s]
{'loss': '3.09', 'grad_norm': '0.6151', 'learning_rate': '4.362e-05', 'epoch': '0.8297'}
{'loss': '3.096', 'grad_norm': '0.6268', 'learning_rate': '4.329e-05', 'epoch': '0.8303'}
{'loss': '3.097', 'grad_norm': '0.6287', 'learning_rate': '4.297e-05', 'epoch': '0.831'}
{'loss': '3.092', 'grad_norm': '0.6075', 'learning_rate': '4.264e-05', 'epoch': '0.8317'}
{'loss': '3.087', 'grad_norm': '0.6037', 'learning_rate': '4.232e-05', 'epoch': '0.8323'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.76it/s]
{'loss': '3.087', 'grad_norm': '0.6239', 'learning_rate': '4.2e-05', 'epoch': '0.833'}
{'loss': '3.091', 'grad_norm': '0.6161', 'learning_rate': '4.167e-05', 'epoch': '0.8336'}
{'loss': '3.091', 'grad_norm': '0.6112', 'learning_rate': '4.135e-05', 'epoch': '0.8343'}
{'loss': '3.09', 'grad_norm': '0.6804', 'learning_rate': '4.104e-05', 'epoch': '0.8349'}
{'loss': '3.091', 'grad_norm': '0.6317', 'learning_rate': '4.072e-05', 'epoch': '0.8356'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.26it/s]
{'loss': '3.101', 'grad_norm': '0.6333', 'learning_rate': '4.04e-05', 'epoch': '0.8362'}
{'loss': '3.097', 'grad_norm': '0.5939', 'learning_rate': '4.009e-05', 'epoch': '0.8369'}
{'loss': '3.088', 'grad_norm': '0.6334', 'learning_rate': '3.977e-05', 'epoch': '0.8375'}
{'loss': '3.099', 'grad_norm': '0.6321', 'learning_rate': '3.946e-05', 'epoch': '0.8382'}
{'loss': '3.09', 'grad_norm': '0.6519', 'learning_rate': '3.915e-05', 'epoch': '0.8389'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.11it/s]
{'loss': '3.094', 'grad_norm': '0.6287', 'learning_rate': '3.884e-05', 'epoch': '0.8395'}
{'loss': '3.085', 'grad_norm': '0.6018', 'learning_rate': '3.853e-05', 'epoch': '0.8402'}
{'loss': '3.089', 'grad_norm': '0.6308', 'learning_rate': '3.822e-05', 'epoch': '0.8408'}
{'loss': '3.09', 'grad_norm': '0.6488', 'learning_rate': '3.791e-05', 'epoch': '0.8415'}
{'loss': '3.094', 'grad_norm': '0.6538', 'learning_rate': '3.761e-05', 'epoch': '0.8421'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.60it/s]
{'loss': '3.088', 'grad_norm': '0.6571', 'learning_rate': '3.73e-05', 'epoch': '0.8428'}
{'loss': '3.092', 'grad_norm': '0.6458', 'learning_rate': '3.7e-05', 'epoch': '0.8434'}
{'loss': '3.087', 'grad_norm': '0.6269', 'learning_rate': '3.669e-05', 'epoch': '0.8441'}
{'loss': '3.092', 'grad_norm': '0.6375', 'learning_rate': '3.639e-05', 'epoch': '0.8448'}
{'loss': '3.089', 'grad_norm': '0.6501', 'learning_rate': '3.609e-05', 'epoch': '0.8454'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.04it/s]
{'loss': '3.088', 'grad_norm': '0.63', 'learning_rate': '3.579e-05', 'epoch': '0.8461'}
{'loss': '3.087', 'grad_norm': '0.6549', 'learning_rate': '3.549e-05', 'epoch': '0.8467'}
{'loss': '3.085', 'grad_norm': '0.6008', 'learning_rate': '3.52e-05', 'epoch': '0.8474'}
{'loss': '3.087', 'grad_norm': '0.6403', 'learning_rate': '3.49e-05', 'epoch': '0.848'}
{'loss': '3.094', 'grad_norm': '0.6625', 'learning_rate': '3.461e-05', 'epoch': '0.8487'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.84it/s]
{'loss': '3.084', 'grad_norm': '0.6461', 'learning_rate': '3.431e-05', 'epoch': '0.8493'}
{'loss': '3.083', 'grad_norm': '0.6318', 'learning_rate': '3.402e-05', 'epoch': '0.85'}
{'loss': '3.091', 'grad_norm': '0.6709', 'learning_rate': '3.373e-05', 'epoch': '0.8507'}
{'loss': '3.083', 'grad_norm': '0.6835', 'learning_rate': '3.344e-05', 'epoch': '0.8513'}
{'loss': '3.091', 'grad_norm': '0.6315', 'learning_rate': '3.315e-05', 'epoch': '0.852'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.20it/s]
{'loss': '3.087', 'grad_norm': '0.6687', 'learning_rate': '3.287e-05', 'epoch': '0.8526'}
{'loss': '3.086', 'grad_norm': '0.6351', 'learning_rate': '3.258e-05', 'epoch': '0.8533'}
{'loss': '3.086', 'grad_norm': '0.6432', 'learning_rate': '3.229e-05', 'epoch': '0.8539'}
{'loss': '3.087', 'grad_norm': '0.6356', 'learning_rate': '3.201e-05', 'epoch': '0.8546'}
{'loss': '3.087', 'grad_norm': '0.6576', 'learning_rate': '3.173e-05', 'epoch': '0.8552'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.56it/s]
{'loss': '3.09', 'grad_norm': '0.6351', 'learning_rate': '3.145e-05', 'epoch': '0.8559'}
{'loss': '3.085', 'grad_norm': '0.6415', 'learning_rate': '3.117e-05', 'epoch': '0.8566'}
{'loss': '3.08', 'grad_norm': '0.6342', 'learning_rate': '3.089e-05', 'epoch': '0.8572'}
{'loss': '3.081', 'grad_norm': '0.6257', 'learning_rate': '3.061e-05', 'epoch': '0.8579'}
{'loss': '3.085', 'grad_norm': '0.6447', 'learning_rate': '3.033e-05', 'epoch': '0.8585'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.76it/s]
{'loss': '3.083', 'grad_norm': '0.6242', 'learning_rate': '3.006e-05', 'epoch': '0.8592'}
{'loss': '3.08', 'grad_norm': '0.6469', 'learning_rate': '2.978e-05', 'epoch': '0.8598'}
{'loss': '3.084', 'grad_norm': '0.6203', 'learning_rate': '2.951e-05', 'epoch': '0.8605'}
{'loss': '3.083', 'grad_norm': '0.6534', 'learning_rate': '2.924e-05', 'epoch': '0.8611'}
{'loss': '3.084', 'grad_norm': '0.6662', 'learning_rate': '2.897e-05', 'epoch': '0.8618'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.52it/s]
{'loss': '3.082', 'grad_norm': '0.6394', 'learning_rate': '2.87e-05', 'epoch': '0.8625'}
{'loss': '3.085', 'grad_norm': '0.6713', 'learning_rate': '2.843e-05', 'epoch': '0.8631'}
{'loss': '3.084', 'grad_norm': '0.643', 'learning_rate': '2.816e-05', 'epoch': '0.8638'}
{'loss': '3.087', 'grad_norm': '0.6698', 'learning_rate': '2.79e-05', 'epoch': '0.8644'}
{'loss': '3.08', 'grad_norm': '0.6403', 'learning_rate': '2.763e-05', 'epoch': '0.8651'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.24it/s]
{'loss': '3.084', 'grad_norm': '0.6504', 'learning_rate': '2.737e-05', 'epoch': '0.8657'}
{'loss': '3.085', 'grad_norm': '0.623', 'learning_rate': '2.71e-05', 'epoch': '0.8664'}
{'loss': '3.08', 'grad_norm': '0.6216', 'learning_rate': '2.684e-05', 'epoch': '0.867'}
{'loss': '3.082', 'grad_norm': '0.6374', 'learning_rate': '2.658e-05', 'epoch': '0.8677'}
{'loss': '3.078', 'grad_norm': '0.6831', 'learning_rate': '2.632e-05', 'epoch': '0.8684'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.96it/s]
{'loss': '3.085', 'grad_norm': '0.6528', 'learning_rate': '2.607e-05', 'epoch': '0.869'}
{'loss': '3.08', 'grad_norm': '0.6289', 'learning_rate': '2.581e-05', 'epoch': '0.8697'}
{'loss': '3.077', 'grad_norm': '0.6318', 'learning_rate': '2.556e-05', 'epoch': '0.8703'}
{'loss': '3.078', 'grad_norm': '0.6657', 'learning_rate': '2.53e-05', 'epoch': '0.871'}
{'loss': '3.08', 'grad_norm': '0.6297', 'learning_rate': '2.505e-05', 'epoch': '0.8716'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.77it/s]
{'loss': '3.078', 'grad_norm': '0.6604', 'learning_rate': '2.48e-05', 'epoch': '0.8723'}
{'loss': '3.082', 'grad_norm': '0.6406', 'learning_rate': '2.455e-05', 'epoch': '0.8729'}
{'loss': '3.085', 'grad_norm': '0.6484', 'learning_rate': '2.43e-05', 'epoch': '0.8736'}
{'loss': '3.077', 'grad_norm': '0.632', 'learning_rate': '2.405e-05', 'epoch': '0.8742'}
{'loss': '3.078', 'grad_norm': '0.639', 'learning_rate': '2.38e-05', 'epoch': '0.8749'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.51it/s]
{'loss': '3.081', 'grad_norm': '0.6376', 'learning_rate': '2.356e-05', 'epoch': '0.8756'}
{'loss': '3.075', 'grad_norm': '0.6321', 'learning_rate': '2.331e-05', 'epoch': '0.8762'}
{'loss': '3.077', 'grad_norm': '0.6607', 'learning_rate': '2.307e-05', 'epoch': '0.8769'}
{'loss': '3.082', 'grad_norm': '0.7398', 'learning_rate': '2.283e-05', 'epoch': '0.8775'}
{'loss': '3.082', 'grad_norm': '0.6342', 'learning_rate': '2.259e-05', 'epoch': '0.8782'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.07it/s]
{'loss': '3.079', 'grad_norm': '0.6187', 'learning_rate': '2.235e-05', 'epoch': '0.8788'}
{'loss': '3.076', 'grad_norm': '0.6446', 'learning_rate': '2.211e-05', 'epoch': '0.8795'}
{'loss': '3.075', 'grad_norm': '0.6186', 'learning_rate': '2.187e-05', 'epoch': '0.8801'}
{'loss': '3.075', 'grad_norm': '0.6268', 'learning_rate': '2.164e-05', 'epoch': '0.8808'}
{'loss': '3.076', 'grad_norm': '0.6597', 'learning_rate': '2.14e-05', 'epoch': '0.8815'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.37it/s]
{'loss': '3.081', 'grad_norm': '0.6454', 'learning_rate': '2.117e-05', 'epoch': '0.8821'}
{'loss': '3.084', 'grad_norm': '0.6401', 'learning_rate': '2.094e-05', 'epoch': '0.8828'}
{'loss': '3.08', 'grad_norm': '0.6363', 'learning_rate': '2.071e-05', 'epoch': '0.8834'}
{'loss': '3.082', 'grad_norm': '0.6486', 'learning_rate': '2.048e-05', 'epoch': '0.8841'}
{'loss': '3.077', 'grad_norm': '0.6501', 'learning_rate': '2.025e-05', 'epoch': '0.8847'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.04it/s]
{'loss': '3.082', 'grad_norm': '0.6356', 'learning_rate': '2.002e-05', 'epoch': '0.8854'}
{'loss': '3.078', 'grad_norm': '0.6306', 'learning_rate': '1.98e-05', 'epoch': '0.886'}
{'loss': '3.085', 'grad_norm': '0.644', 'learning_rate': '1.957e-05', 'epoch': '0.8867'}
{'loss': '3.08', 'grad_norm': '0.6425', 'learning_rate': '1.935e-05', 'epoch': '0.8874'}
{'loss': '3.079', 'grad_norm': '0.6338', 'learning_rate': '1.913e-05', 'epoch': '0.888'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.25it/s]
{'loss': '3.078', 'grad_norm': '0.6506', 'learning_rate': '1.891e-05', 'epoch': '0.8887'}
{'loss': '3.078', 'grad_norm': '0.6191', 'learning_rate': '1.869e-05', 'epoch': '0.8893'}
{'loss': '3.075', 'grad_norm': '0.6515', 'learning_rate': '1.847e-05', 'epoch': '0.89'}
{'loss': '3.073', 'grad_norm': '0.6753', 'learning_rate': '1.825e-05', 'epoch': '0.8906'}
{'loss': '3.072', 'grad_norm': '0.6671', 'learning_rate': '1.804e-05', 'epoch': '0.8913'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.86it/s]
{'loss': '3.078', 'grad_norm': '0.6234', 'learning_rate': '1.782e-05', 'epoch': '0.8919'}
{'loss': '3.072', 'grad_norm': '0.6311', 'learning_rate': '1.761e-05', 'epoch': '0.8926'}
{'loss': '3.075', 'grad_norm': '0.6438', 'learning_rate': '1.74e-05', 'epoch': '0.8933'}
{'loss': '3.071', 'grad_norm': '0.6311', 'learning_rate': '1.718e-05', 'epoch': '0.8939'}
{'loss': '3.076', 'grad_norm': '0.6256', 'learning_rate': '1.698e-05', 'epoch': '0.8946'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.93it/s]
{'loss': '3.079', 'grad_norm': '0.6462', 'learning_rate': '1.677e-05', 'epoch': '0.8952'}
{'loss': '3.079', 'grad_norm': '0.636', 'learning_rate': '1.656e-05', 'epoch': '0.8959'}
{'loss': '3.076', 'grad_norm': '0.6386', 'learning_rate': '1.635e-05', 'epoch': '0.8965'}
{'loss': '3.081', 'grad_norm': '0.6233', 'learning_rate': '1.615e-05', 'epoch': '0.8972'}
{'loss': '3.069', 'grad_norm': '0.6368', 'learning_rate': '1.595e-05', 'epoch': '0.8978'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.44it/s]
{'loss': '3.074', 'grad_norm': '0.6314', 'learning_rate': '1.574e-05', 'epoch': '0.8985'}
{'loss': '3.075', 'grad_norm': '0.6271', 'learning_rate': '1.554e-05', 'epoch': '0.8992'}
{'loss': '3.073', 'grad_norm': '0.634', 'learning_rate': '1.534e-05', 'epoch': '0.8998'}
{'loss': '3.078', 'grad_norm': '0.645', 'learning_rate': '1.515e-05', 'epoch': '0.9005'}
{'loss': '3.078', 'grad_norm': '0.6711', 'learning_rate': '1.495e-05', 'epoch': '0.9011'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.93it/s]
{'loss': '3.074', 'grad_norm': '0.6349', 'learning_rate': '1.475e-05', 'epoch': '0.9018'}
{'loss': '3.074', 'grad_norm': '0.6345', 'learning_rate': '1.456e-05', 'epoch': '0.9024'}
{'loss': '3.075', 'grad_norm': '0.6464', 'learning_rate': '1.436e-05', 'epoch': '0.9031'}
{'loss': '3.079', 'grad_norm': '0.6274', 'learning_rate': '1.417e-05', 'epoch': '0.9037'}
{'loss': '3.074', 'grad_norm': '0.6355', 'learning_rate': '1.398e-05', 'epoch': '0.9044'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.02it/s]
{'loss': '3.075', 'grad_norm': '0.6217', 'learning_rate': '1.379e-05', 'epoch': '0.9051'}
{'loss': '3.074', 'grad_norm': '0.6245', 'learning_rate': '1.36e-05', 'epoch': '0.9057'}
{'loss': '3.072', 'grad_norm': '0.6193', 'learning_rate': '1.342e-05', 'epoch': '0.9064'}
{'loss': '3.077', 'grad_norm': '0.6435', 'learning_rate': '1.323e-05', 'epoch': '0.907'}
{'loss': '3.078', 'grad_norm': '0.6243', 'learning_rate': '1.305e-05', 'epoch': '0.9077'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.76it/s]
{'loss': '3.076', 'grad_norm': '0.6273', 'learning_rate': '1.286e-05', 'epoch': '0.9083'}
{'loss': '3.074', 'grad_norm': '0.6271', 'learning_rate': '1.268e-05', 'epoch': '0.909'}
{'loss': '3.072', 'grad_norm': '0.63', 'learning_rate': '1.25e-05', 'epoch': '0.9096'}
{'loss': '3.076', 'grad_norm': '0.6378', 'learning_rate': '1.232e-05', 'epoch': '0.9103'}
{'loss': '3.077', 'grad_norm': '0.6329', 'learning_rate': '1.214e-05', 'epoch': '0.9109'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.80it/s]
{'loss': '3.078', 'grad_norm': '0.6295', 'learning_rate': '1.197e-05', 'epoch': '0.9116'}
{'loss': '3.071', 'grad_norm': '0.649', 'learning_rate': '1.179e-05', 'epoch': '0.9123'}
{'loss': '3.073', 'grad_norm': '0.6377', 'learning_rate': '1.162e-05', 'epoch': '0.9129'}
{'loss': '3.08', 'grad_norm': '0.6557', 'learning_rate': '1.144e-05', 'epoch': '0.9136'}
{'loss': '3.074', 'grad_norm': '0.6369', 'learning_rate': '1.127e-05', 'epoch': '0.9142'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.94it/s]
{'loss': '3.073', 'grad_norm': '0.6011', 'learning_rate': '1.11e-05', 'epoch': '0.9149'}
{'loss': '3.071', 'grad_norm': '0.6239', 'learning_rate': '1.093e-05', 'epoch': '0.9155'}
{'loss': '3.07', 'grad_norm': '0.638', 'learning_rate': '1.076e-05', 'epoch': '0.9162'}
{'loss': '3.073', 'grad_norm': '0.6384', 'learning_rate': '1.06e-05', 'epoch': '0.9168'}
{'loss': '3.071', 'grad_norm': '0.6404', 'learning_rate': '1.043e-05', 'epoch': '0.9175'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.03it/s]
{'loss': '3.075', 'grad_norm': '0.6294', 'learning_rate': '1.027e-05', 'epoch': '0.9182'}
{'loss': '3.073', 'grad_norm': '0.6271', 'learning_rate': '1.01e-05', 'epoch': '0.9188'}
{'loss': '3.072', 'grad_norm': '0.6266', 'learning_rate': '9.943e-06', 'epoch': '0.9195'}
{'loss': '3.07', 'grad_norm': '0.6384', 'learning_rate': '9.783e-06', 'epoch': '0.9201'}
{'loss': '3.066', 'grad_norm': '0.6363', 'learning_rate': '9.624e-06', 'epoch': '0.9208'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.71it/s]
{'loss': '3.074', 'grad_norm': '0.6663', 'learning_rate': '9.466e-06', 'epoch': '0.9214'}
{'loss': '3.072', 'grad_norm': '0.6378', 'learning_rate': '9.31e-06', 'epoch': '0.9221'}
{'loss': '3.075', 'grad_norm': '0.6404', 'learning_rate': '9.154e-06', 'epoch': '0.9227'}
{'loss': '3.069', 'grad_norm': '0.6214', 'learning_rate': '9.001e-06', 'epoch': '0.9234'}
{'loss': '3.067', 'grad_norm': '0.6255', 'learning_rate': '8.848e-06', 'epoch': '0.9241'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.68it/s]
{'loss': '3.07', 'grad_norm': '0.658', 'learning_rate': '8.697e-06', 'epoch': '0.9247'}
{'loss': '3.074', 'grad_norm': '0.6355', 'learning_rate': '8.547e-06', 'epoch': '0.9254'}
{'loss': '3.064', 'grad_norm': '0.639', 'learning_rate': '8.398e-06', 'epoch': '0.926'}
{'loss': '3.076', 'grad_norm': '0.6207', 'learning_rate': '8.251e-06', 'epoch': '0.9267'}
{'loss': '3.066', 'grad_norm': '0.6397', 'learning_rate': '8.104e-06', 'epoch': '0.9273'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.74it/s]
{'loss': '3.075', 'grad_norm': '0.6619', 'learning_rate': '7.96e-06', 'epoch': '0.928'}
{'loss': '3.072', 'grad_norm': '0.6326', 'learning_rate': '7.816e-06', 'epoch': '0.9286'}
{'loss': '3.073', 'grad_norm': '0.6189', 'learning_rate': '7.674e-06', 'epoch': '0.9293'}
{'loss': '3.071', 'grad_norm': '0.6381', 'learning_rate': '7.533e-06', 'epoch': '0.93'}
{'loss': '3.074', 'grad_norm': '0.6502', 'learning_rate': '7.393e-06', 'epoch': '0.9306'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.69it/s]
{'loss': '3.072', 'grad_norm': '0.6347', 'learning_rate': '7.255e-06', 'epoch': '0.9313'}
{'loss': '3.074', 'grad_norm': '0.6605', 'learning_rate': '7.117e-06', 'epoch': '0.9319'}
{'loss': '3.067', 'grad_norm': '0.6154', 'learning_rate': '6.982e-06', 'epoch': '0.9326'}
{'loss': '3.07', 'grad_norm': '0.6206', 'learning_rate': '6.847e-06', 'epoch': '0.9332'}
{'loss': '3.079', 'grad_norm': '0.6341', 'learning_rate': '6.714e-06', 'epoch': '0.9339'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.44it/s]
{'loss': '3.07', 'grad_norm': '0.6226', 'learning_rate': '6.582e-06', 'epoch': '0.9345'}
{'loss': '3.075', 'grad_norm': '0.6262', 'learning_rate': '6.451e-06', 'epoch': '0.9352'}
{'loss': '3.069', 'grad_norm': '0.6522', 'learning_rate': '6.322e-06', 'epoch': '0.9359'}
{'loss': '3.072', 'grad_norm': '0.6267', 'learning_rate': '6.194e-06', 'epoch': '0.9365'}
{'loss': '3.067', 'grad_norm': '0.6446', 'learning_rate': '6.067e-06', 'epoch': '0.9372'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.72it/s]
{'loss': '3.065', 'grad_norm': '0.6418', 'learning_rate': '5.942e-06', 'epoch': '0.9378'}
{'loss': '3.063', 'grad_norm': '0.642', 'learning_rate': '5.817e-06', 'epoch': '0.9385'}
{'loss': '3.073', 'grad_norm': '0.6267', 'learning_rate': '5.695e-06', 'epoch': '0.9391'}
{'loss': '3.072', 'grad_norm': '0.6296', 'learning_rate': '5.573e-06', 'epoch': '0.9398'}
{'loss': '3.071', 'grad_norm': '0.642', 'learning_rate': '5.453e-06', 'epoch': '0.9404'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.25it/s]
{'loss': '3.073', 'grad_norm': '0.6269', 'learning_rate': '5.334e-06', 'epoch': '0.9411'}
{'loss': '3.066', 'grad_norm': '0.6304', 'learning_rate': '5.216e-06', 'epoch': '0.9418'}
{'loss': '3.073', 'grad_norm': '0.6287', 'learning_rate': '5.1e-06', 'epoch': '0.9424'}
{'loss': '3.068', 'grad_norm': '0.6149', 'learning_rate': '4.985e-06', 'epoch': '0.9431'}
{'loss': '3.067', 'grad_norm': '0.6215', 'learning_rate': '4.871e-06', 'epoch': '0.9437'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.65it/s]
{'loss': '3.071', 'grad_norm': '0.6201', 'learning_rate': '4.758e-06', 'epoch': '0.9444'}
{'loss': '3.067', 'grad_norm': '0.649', 'learning_rate': '4.647e-06', 'epoch': '0.945'}
{'loss': '3.067', 'grad_norm': '0.6585', 'learning_rate': '4.537e-06', 'epoch': '0.9457'}
{'loss': '3.072', 'grad_norm': '0.6165', 'learning_rate': '4.429e-06', 'epoch': '0.9463'}
{'loss': '3.071', 'grad_norm': '0.6314', 'learning_rate': '4.322e-06', 'epoch': '0.947'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.75it/s]
{'loss': '3.069', 'grad_norm': '0.6282', 'learning_rate': '4.216e-06', 'epoch': '0.9476'}
{'loss': '3.066', 'grad_norm': '0.6435', 'learning_rate': '4.111e-06', 'epoch': '0.9483'}
{'loss': '3.067', 'grad_norm': '0.6286', 'learning_rate': '4.008e-06', 'epoch': '0.949'}
{'loss': '3.074', 'grad_norm': '0.6373', 'learning_rate': '3.906e-06', 'epoch': '0.9496'}
{'loss': '3.068', 'grad_norm': '0.6283', 'learning_rate': '3.805e-06', 'epoch': '0.9503'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.93it/s]
{'loss': '3.07', 'grad_norm': '0.6298', 'learning_rate': '3.706e-06', 'epoch': '0.9509'}
{'loss': '3.069', 'grad_norm': '0.6145', 'learning_rate': '3.607e-06', 'epoch': '0.9516'}
{'loss': '3.064', 'grad_norm': '0.6296', 'learning_rate': '3.511e-06', 'epoch': '0.9522'}
{'loss': '3.064', 'grad_norm': '0.6225', 'learning_rate': '3.415e-06', 'epoch': '0.9529'}
{'loss': '3.068', 'grad_norm': '0.6201', 'learning_rate': '3.321e-06', 'epoch': '0.9535'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 2.93it/s]
{'loss': '3.067', 'grad_norm': '0.6384', 'learning_rate': '3.228e-06', 'epoch': '0.9542'}
{'loss': '3.068', 'grad_norm': '0.623', 'learning_rate': '3.137e-06', 'epoch': '0.9549'}
{'loss': '3.071', 'grad_norm': '0.639', 'learning_rate': '3.046e-06', 'epoch': '0.9555'}
{'loss': '3.06', 'grad_norm': '0.639', 'learning_rate': '2.957e-06', 'epoch': '0.9562'}
{'loss': '3.072', 'grad_norm': '0.6321', 'learning_rate': '2.87e-06', 'epoch': '0.9568'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.49it/s]
{'loss': '3.074', 'grad_norm': '0.6452', 'learning_rate': '2.783e-06', 'epoch': '0.9575'}
{'loss': '3.067', 'grad_norm': '0.6178', 'learning_rate': '2.698e-06', 'epoch': '0.9581'}
{'loss': '3.068', 'grad_norm': '0.6036', 'learning_rate': '2.615e-06', 'epoch': '0.9588'}
{'loss': '3.071', 'grad_norm': '0.6093', 'learning_rate': '2.532e-06', 'epoch': '0.9594'}
{'loss': '3.067', 'grad_norm': '0.6378', 'learning_rate': '2.451e-06', 'epoch': '0.9601'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.66it/s]
{'loss': '3.067', 'grad_norm': '0.6776', 'learning_rate': '2.372e-06', 'epoch': '0.9608'}
{'loss': '3.066', 'grad_norm': '0.6275', 'learning_rate': '2.293e-06', 'epoch': '0.9614'}
{'loss': '3.072', 'grad_norm': '0.6393', 'learning_rate': '2.216e-06', 'epoch': '0.9621'}
{'loss': '3.07', 'grad_norm': '0.6164', 'learning_rate': '2.14e-06', 'epoch': '0.9627'}
{'loss': '3.067', 'grad_norm': '0.6251', 'learning_rate': '2.066e-06', 'epoch': '0.9634'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.52it/s]
{'loss': '3.064', 'grad_norm': '0.6521', 'learning_rate': '1.993e-06', 'epoch': '0.964'}
{'loss': '3.071', 'grad_norm': '0.6272', 'learning_rate': '1.921e-06', 'epoch': '0.9647'}
{'loss': '3.07', 'grad_norm': '0.602', 'learning_rate': '1.85e-06', 'epoch': '0.9653'}
{'loss': '3.074', 'grad_norm': '0.6393', 'learning_rate': '1.781e-06', 'epoch': '0.966'}
{'loss': '3.075', 'grad_norm': '0.6397', 'learning_rate': '1.713e-06', 'epoch': '0.9667'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.51it/s]
{'loss': '3.071', 'grad_norm': '0.618', 'learning_rate': '1.646e-06', 'epoch': '0.9673'}
{'loss': '3.066', 'grad_norm': '0.6098', 'learning_rate': '1.581e-06', 'epoch': '0.968'}
{'loss': '3.069', 'grad_norm': '0.6137', 'learning_rate': '1.517e-06', 'epoch': '0.9686'}
{'loss': '3.065', 'grad_norm': '0.6376', 'learning_rate': '1.454e-06', 'epoch': '0.9693'}
{'loss': '3.069', 'grad_norm': '0.6404', 'learning_rate': '1.393e-06', 'epoch': '0.9699'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.27it/s]
{'loss': '3.064', 'grad_norm': '0.6353', 'learning_rate': '1.333e-06', 'epoch': '0.9706'}
{'loss': '3.066', 'grad_norm': '0.6159', 'learning_rate': '1.274e-06', 'epoch': '0.9712'}
{'loss': '3.068', 'grad_norm': '0.619', 'learning_rate': '1.217e-06', 'epoch': '0.9719'}
{'loss': '3.071', 'grad_norm': '0.6164', 'learning_rate': '1.161e-06', 'epoch': '0.9726'}
{'loss': '3.072', 'grad_norm': '0.6158', 'learning_rate': '1.106e-06', 'epoch': '0.9732'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.81it/s]
{'loss': '3.06', 'grad_norm': '0.6324', 'learning_rate': '1.053e-06', 'epoch': '0.9739'}
{'loss': '3.067', 'grad_norm': '0.6276', 'learning_rate': '1.001e-06', 'epoch': '0.9745'}
{'loss': '3.067', 'grad_norm': '0.6294', 'learning_rate': '9.5e-07', 'epoch': '0.9752'}
{'loss': '3.071', 'grad_norm': '0.6368', 'learning_rate': '9.005e-07', 'epoch': '0.9758'}
{'loss': '3.061', 'grad_norm': '0.6432', 'learning_rate': '8.524e-07', 'epoch': '0.9765'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.73it/s]
{'loss': '3.066', 'grad_norm': '0.6291', 'learning_rate': '8.056e-07', 'epoch': '0.9771'}
{'loss': '3.062', 'grad_norm': '0.6361', 'learning_rate': '7.601e-07', 'epoch': '0.9778'}
{'loss': '3.061', 'grad_norm': '0.6068', 'learning_rate': '7.159e-07', 'epoch': '0.9785'}
{'loss': '3.063', 'grad_norm': '0.6391', 'learning_rate': '6.73e-07', 'epoch': '0.9791'}
{'loss': '3.077', 'grad_norm': '0.6224', 'learning_rate': '6.315e-07', 'epoch': '0.9798'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 2.92it/s]
{'loss': '3.067', 'grad_norm': '0.6116', 'learning_rate': '5.913e-07', 'epoch': '0.9804'}
{'loss': '3.065', 'grad_norm': '0.6334', 'learning_rate': '5.524e-07', 'epoch': '0.9811'}
{'loss': '3.072', 'grad_norm': '0.6061', 'learning_rate': '5.148e-07', 'epoch': '0.9817'}
{'loss': '3.07', 'grad_norm': '0.643', 'learning_rate': '4.786e-07', 'epoch': '0.9824'}
{'loss': '3.065', 'grad_norm': '0.6425', 'learning_rate': '4.437e-07', 'epoch': '0.983'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.65it/s]
{'loss': '3.068', 'grad_norm': '0.6226', 'learning_rate': '4.101e-07', 'epoch': '0.9837'}
{'loss': '3.065', 'grad_norm': '0.6083', 'learning_rate': '3.778e-07', 'epoch': '0.9844'}
{'loss': '3.067', 'grad_norm': '0.6412', 'learning_rate': '3.468e-07', 'epoch': '0.985'}
{'loss': '3.069', 'grad_norm': '0.6097', 'learning_rate': '3.172e-07', 'epoch': '0.9857'}
{'loss': '3.061', 'grad_norm': '0.6264', 'learning_rate': '2.889e-07', 'epoch': '0.9863'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.04it/s]
{'loss': '3.073', 'grad_norm': '0.6309', 'learning_rate': '2.619e-07', 'epoch': '0.987'}
{'loss': '3.068', 'grad_norm': '0.6195', 'learning_rate': '2.362e-07', 'epoch': '0.9876'}
{'loss': '3.066', 'grad_norm': '0.6339', 'learning_rate': '2.119e-07', 'epoch': '0.9883'}
{'loss': '3.068', 'grad_norm': '0.6069', 'learning_rate': '1.888e-07', 'epoch': '0.9889'}
{'loss': '3.069', 'grad_norm': '0.6255', 'learning_rate': '1.672e-07', 'epoch': '0.9896'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3.28it/s]
{'loss': '3.074', 'grad_norm': '0.6384', 'learning_rate': '1.468e-07', 'epoch': '0.9902'}
{'loss': '3.075', 'grad_norm': '0.6445', 'learning_rate': '1.277e-07', 'epoch': '0.9909'}
{'loss': '3.067', 'grad_norm': '0.6542', 'learning_rate': '1.1e-07', 'epoch': '0.9916'}
{'loss': '3.068', 'grad_norm': '0.6511', 'learning_rate': '9.359e-08', 'epoch': '0.9922'}
{'loss': '3.068', 'grad_norm': '0.626', 'learning_rate': '7.851e-08', 'epoch': '0.9929'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4.03it/s]
{'loss': '3.064', 'grad_norm': '0.637', 'learning_rate': '6.476e-08', 'epoch': '0.9935'}
{'loss': '3.062', 'grad_norm': '0.6444', 'learning_rate': '5.232e-08', 'epoch': '0.9942'}
{'loss': '3.064', 'grad_norm': '0.626', 'learning_rate': '4.121e-08', 'epoch': '0.9948'}
{'loss': '3.072', 'grad_norm': '0.6168', 'learning_rate': '3.143e-08', 'epoch': '0.9955'}
{'loss': '3.066', 'grad_norm': '0.6374', 'learning_rate': '2.297e-08', 'epoch': '0.9961'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.86it/s]
{'loss': '3.066', 'grad_norm': '0.6623', 'learning_rate': '1.583e-08', 'epoch': '0.9968'}
{'loss': '3.067', 'grad_norm': '0.6331', 'learning_rate': '1.002e-08', 'epoch': '0.9975'}
{'loss': '3.07', 'grad_norm': '0.6147', 'learning_rate': '5.53e-09', 'epoch': '0.9981'}
{'loss': '3.069', 'grad_norm': '0.6511', 'learning_rate': '2.365e-09', 'epoch': '0.9988'}
{'loss': '3.072', 'grad_norm': '0.6274', 'learning_rate': '5.244e-10', 'epoch': '0.9994'}
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.92it/s]
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 6.04it/s]
{'train_runtime': '2.965e+05', 'train_samples_per_second': '65.86', 'train_steps_per_second': '0.515', 'train_loss': '3.259', 'epoch': '1'}
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 152588/152588 [82:22:20<00:00, 1.94s/it]
Writing model shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5.65it/s]
[*] Training finished.
|