error577 commited on
Commit
44fb894
·
verified ·
1 Parent(s): d50e6d9

Training in progress, step 400, checkpoint

Browse files
last-checkpoint/adapter_config.json CHANGED
@@ -20,12 +20,12 @@
20
  "rank_pattern": {},
21
  "revision": null,
22
  "target_modules": [
23
- "k_proj",
24
- "fc2",
25
- "q_proj",
26
  "fc1",
27
  "dense",
28
- "v_proj"
 
 
 
29
  ],
30
  "task_type": "CAUSAL_LM",
31
  "use_dora": false,
 
20
  "rank_pattern": {},
21
  "revision": null,
22
  "target_modules": [
 
 
 
23
  "fc1",
24
  "dense",
25
+ "fc2",
26
+ "v_proj",
27
+ "q_proj",
28
+ "k_proj"
29
  ],
30
  "task_type": "CAUSAL_LM",
31
  "use_dora": false,
last-checkpoint/adapter_model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:376b9dd19dc0ab1fcd39adfa230f0743aca1b30a4242b6b18f0bcf0c85a77b28
3
  size 113284112
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:ba83219601ab88cc71f0be490e4a2b89cc0531c9d17474fed2f2d9dc0e2dff57
3
  size 113284112
last-checkpoint/optimizer.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:701178961a8899cac5c0b8d39e2d78ac13c0c8a51a5f625c4a2fc42e73040f97
3
- size 57846868
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:44722a3040b4731f7706f6a2b2e9b92dbfe5ccb7057c3d851fc8d9577e10a372
3
+ size 58595602
last-checkpoint/rng_state.pth CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:17a247f45f5792bf955671a112f48b60e9d725b3fa56a7628b5c3e375bafa683
3
  size 14244
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:1345cc1ea6fe308619fd59346ef248a48404dd4bfdcf88eb502af205287c0d9f
3
  size 14244
last-checkpoint/scheduler.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:6437df9381e6d64664c48664ba0f7b637b87453d38d322e7bf05fc3c9359e478
3
  size 1064
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:16335a3f979b3a39d8ee5a3e6ef62d5b8484ec10de5c973349aef220f6e4ac76
3
  size 1064
last-checkpoint/trainer_state.json CHANGED
@@ -1,9 +1,9 @@
1
  {
2
- "best_metric": 0.5850035548210144,
3
- "best_model_checkpoint": "miner_id_24/checkpoint-200",
4
- "epoch": 0.016763756757889443,
5
  "eval_steps": 200,
6
- "global_step": 200,
7
  "is_hyper_param_search": false,
8
  "is_local_process_zero": true,
9
  "is_world_process_zero": true,
@@ -1423,6 +1423,1414 @@
1423
  "eval_samples_per_second": 13.228,
1424
  "eval_steps_per_second": 6.614,
1425
  "step": 200
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1426
  }
1427
  ],
1428
  "logging_steps": 1,
@@ -1451,7 +2859,7 @@
1451
  "attributes": {}
1452
  }
1453
  },
1454
- "total_flos": 1.31896902156288e+16,
1455
  "train_batch_size": 2,
1456
  "trial_name": null,
1457
  "trial_params": null
 
1
  {
2
+ "best_metric": 0.5184094905853271,
3
+ "best_model_checkpoint": "miner_id_24/checkpoint-400",
4
+ "epoch": 0.03352751351577889,
5
  "eval_steps": 200,
6
+ "global_step": 400,
7
  "is_hyper_param_search": false,
8
  "is_local_process_zero": true,
9
  "is_world_process_zero": true,
 
1423
  "eval_samples_per_second": 13.228,
1424
  "eval_steps_per_second": 6.614,
1425
  "step": 200
1426
+ },
1427
+ {
1428
+ "epoch": 0.01684757554167889,
1429
+ "grad_norm": 0.4574257731437683,
1430
+ "learning_rate": 0.00019998871611159224,
1431
+ "loss": 0.5526,
1432
+ "step": 201
1433
+ },
1434
+ {
1435
+ "epoch": 0.01693139432546834,
1436
+ "grad_norm": 0.45737424492836,
1437
+ "learning_rate": 0.00019998858375291502,
1438
+ "loss": 0.6111,
1439
+ "step": 202
1440
+ },
1441
+ {
1442
+ "epoch": 0.017015213109257785,
1443
+ "grad_norm": 0.4076107144355774,
1444
+ "learning_rate": 0.000199988450622526,
1445
+ "loss": 0.5802,
1446
+ "step": 203
1447
+ },
1448
+ {
1449
+ "epoch": 0.01709903189304723,
1450
+ "grad_norm": 0.43493178486824036,
1451
+ "learning_rate": 0.0001999883167204262,
1452
+ "loss": 0.5966,
1453
+ "step": 204
1454
+ },
1455
+ {
1456
+ "epoch": 0.01718285067683668,
1457
+ "grad_norm": 0.4262295067310333,
1458
+ "learning_rate": 0.0001999881820466167,
1459
+ "loss": 0.517,
1460
+ "step": 205
1461
+ },
1462
+ {
1463
+ "epoch": 0.017266669460626126,
1464
+ "grad_norm": 0.4173932373523712,
1465
+ "learning_rate": 0.00019998804660109848,
1466
+ "loss": 0.5453,
1467
+ "step": 206
1468
+ },
1469
+ {
1470
+ "epoch": 0.017350488244415572,
1471
+ "grad_norm": 0.4844493567943573,
1472
+ "learning_rate": 0.00019998791038387258,
1473
+ "loss": 0.7253,
1474
+ "step": 207
1475
+ },
1476
+ {
1477
+ "epoch": 0.01743430702820502,
1478
+ "grad_norm": 0.43643274903297424,
1479
+ "learning_rate": 0.0001999877733949401,
1480
+ "loss": 0.6888,
1481
+ "step": 208
1482
+ },
1483
+ {
1484
+ "epoch": 0.017518125811994467,
1485
+ "grad_norm": 0.41009777784347534,
1486
+ "learning_rate": 0.00019998763563430208,
1487
+ "loss": 0.6302,
1488
+ "step": 209
1489
+ },
1490
+ {
1491
+ "epoch": 0.017601944595783917,
1492
+ "grad_norm": 0.43115663528442383,
1493
+ "learning_rate": 0.00019998749710195955,
1494
+ "loss": 0.5856,
1495
+ "step": 210
1496
+ },
1497
+ {
1498
+ "epoch": 0.017685763379573363,
1499
+ "grad_norm": 0.4482366442680359,
1500
+ "learning_rate": 0.00019998735779791363,
1501
+ "loss": 0.5856,
1502
+ "step": 211
1503
+ },
1504
+ {
1505
+ "epoch": 0.01776958216336281,
1506
+ "grad_norm": 0.3911760747432709,
1507
+ "learning_rate": 0.00019998721772216532,
1508
+ "loss": 0.5174,
1509
+ "step": 212
1510
+ },
1511
+ {
1512
+ "epoch": 0.017853400947152258,
1513
+ "grad_norm": 0.4012575149536133,
1514
+ "learning_rate": 0.00019998707687471582,
1515
+ "loss": 0.5672,
1516
+ "step": 213
1517
+ },
1518
+ {
1519
+ "epoch": 0.017937219730941704,
1520
+ "grad_norm": 0.4068814218044281,
1521
+ "learning_rate": 0.00019998693525556611,
1522
+ "loss": 0.5203,
1523
+ "step": 214
1524
+ },
1525
+ {
1526
+ "epoch": 0.01802103851473115,
1527
+ "grad_norm": 0.4490962624549866,
1528
+ "learning_rate": 0.0001999867928647173,
1529
+ "loss": 0.582,
1530
+ "step": 215
1531
+ },
1532
+ {
1533
+ "epoch": 0.0181048572985206,
1534
+ "grad_norm": 0.4046684801578522,
1535
+ "learning_rate": 0.00019998664970217057,
1536
+ "loss": 0.5585,
1537
+ "step": 216
1538
+ },
1539
+ {
1540
+ "epoch": 0.018188676082310045,
1541
+ "grad_norm": 0.41450199484825134,
1542
+ "learning_rate": 0.00019998650576792692,
1543
+ "loss": 0.5935,
1544
+ "step": 217
1545
+ },
1546
+ {
1547
+ "epoch": 0.018272494866099494,
1548
+ "grad_norm": 0.4417262077331543,
1549
+ "learning_rate": 0.00019998636106198752,
1550
+ "loss": 0.6203,
1551
+ "step": 218
1552
+ },
1553
+ {
1554
+ "epoch": 0.01835631364988894,
1555
+ "grad_norm": 0.49315911531448364,
1556
+ "learning_rate": 0.0001999862155843535,
1557
+ "loss": 0.699,
1558
+ "step": 219
1559
+ },
1560
+ {
1561
+ "epoch": 0.018440132433678386,
1562
+ "grad_norm": 1.1492955684661865,
1563
+ "learning_rate": 0.0001999860693350259,
1564
+ "loss": 0.5835,
1565
+ "step": 220
1566
+ },
1567
+ {
1568
+ "epoch": 0.018523951217467836,
1569
+ "grad_norm": 0.4536319077014923,
1570
+ "learning_rate": 0.00019998592231400592,
1571
+ "loss": 0.5993,
1572
+ "step": 221
1573
+ },
1574
+ {
1575
+ "epoch": 0.01860777000125728,
1576
+ "grad_norm": 0.39114615321159363,
1577
+ "learning_rate": 0.0001999857745212947,
1578
+ "loss": 0.5864,
1579
+ "step": 222
1580
+ },
1581
+ {
1582
+ "epoch": 0.018691588785046728,
1583
+ "grad_norm": 0.4101489782333374,
1584
+ "learning_rate": 0.00019998562595689335,
1585
+ "loss": 0.5401,
1586
+ "step": 223
1587
+ },
1588
+ {
1589
+ "epoch": 0.018775407568836177,
1590
+ "grad_norm": 0.40274062752723694,
1591
+ "learning_rate": 0.00019998547662080304,
1592
+ "loss": 0.5877,
1593
+ "step": 224
1594
+ },
1595
+ {
1596
+ "epoch": 0.018859226352625623,
1597
+ "grad_norm": 0.38404372334480286,
1598
+ "learning_rate": 0.0001999853265130249,
1599
+ "loss": 0.4637,
1600
+ "step": 225
1601
+ },
1602
+ {
1603
+ "epoch": 0.018943045136415072,
1604
+ "grad_norm": 0.3668157160282135,
1605
+ "learning_rate": 0.0001999851756335601,
1606
+ "loss": 0.6002,
1607
+ "step": 226
1608
+ },
1609
+ {
1610
+ "epoch": 0.019026863920204518,
1611
+ "grad_norm": 0.3762865960597992,
1612
+ "learning_rate": 0.0001999850239824098,
1613
+ "loss": 0.4937,
1614
+ "step": 227
1615
+ },
1616
+ {
1617
+ "epoch": 0.019110682703993964,
1618
+ "grad_norm": 0.43350663781166077,
1619
+ "learning_rate": 0.00019998487155957516,
1620
+ "loss": 0.6203,
1621
+ "step": 228
1622
+ },
1623
+ {
1624
+ "epoch": 0.019194501487783414,
1625
+ "grad_norm": 0.4030376374721527,
1626
+ "learning_rate": 0.00019998471836505738,
1627
+ "loss": 0.6044,
1628
+ "step": 229
1629
+ },
1630
+ {
1631
+ "epoch": 0.01927832027157286,
1632
+ "grad_norm": 0.4049685001373291,
1633
+ "learning_rate": 0.00019998456439885762,
1634
+ "loss": 0.5223,
1635
+ "step": 230
1636
+ },
1637
+ {
1638
+ "epoch": 0.019362139055362305,
1639
+ "grad_norm": 0.4027673900127411,
1640
+ "learning_rate": 0.0001999844096609771,
1641
+ "loss": 0.51,
1642
+ "step": 231
1643
+ },
1644
+ {
1645
+ "epoch": 0.019445957839151755,
1646
+ "grad_norm": 0.44191014766693115,
1647
+ "learning_rate": 0.00019998425415141698,
1648
+ "loss": 0.6179,
1649
+ "step": 232
1650
+ },
1651
+ {
1652
+ "epoch": 0.0195297766229412,
1653
+ "grad_norm": 0.4544099271297455,
1654
+ "learning_rate": 0.0001999840978701785,
1655
+ "loss": 0.6236,
1656
+ "step": 233
1657
+ },
1658
+ {
1659
+ "epoch": 0.019613595406730647,
1660
+ "grad_norm": 0.42498159408569336,
1661
+ "learning_rate": 0.00019998394081726279,
1662
+ "loss": 0.5487,
1663
+ "step": 234
1664
+ },
1665
+ {
1666
+ "epoch": 0.019697414190520096,
1667
+ "grad_norm": 0.41233569383621216,
1668
+ "learning_rate": 0.00019998378299267112,
1669
+ "loss": 0.5328,
1670
+ "step": 235
1671
+ },
1672
+ {
1673
+ "epoch": 0.019781232974309542,
1674
+ "grad_norm": 0.45531588792800903,
1675
+ "learning_rate": 0.00019998362439640474,
1676
+ "loss": 0.6054,
1677
+ "step": 236
1678
+ },
1679
+ {
1680
+ "epoch": 0.01986505175809899,
1681
+ "grad_norm": 0.46233120560646057,
1682
+ "learning_rate": 0.00019998346502846483,
1683
+ "loss": 0.5631,
1684
+ "step": 237
1685
+ },
1686
+ {
1687
+ "epoch": 0.019948870541888437,
1688
+ "grad_norm": 0.4296615719795227,
1689
+ "learning_rate": 0.0001999833048888526,
1690
+ "loss": 0.6278,
1691
+ "step": 238
1692
+ },
1693
+ {
1694
+ "epoch": 0.020032689325677883,
1695
+ "grad_norm": 0.41753777861595154,
1696
+ "learning_rate": 0.00019998314397756933,
1697
+ "loss": 0.591,
1698
+ "step": 239
1699
+ },
1700
+ {
1701
+ "epoch": 0.020116508109467333,
1702
+ "grad_norm": 0.39096036553382874,
1703
+ "learning_rate": 0.00019998298229461622,
1704
+ "loss": 0.5327,
1705
+ "step": 240
1706
+ },
1707
+ {
1708
+ "epoch": 0.02020032689325678,
1709
+ "grad_norm": 0.4674050509929657,
1710
+ "learning_rate": 0.00019998281983999456,
1711
+ "loss": 0.5336,
1712
+ "step": 241
1713
+ },
1714
+ {
1715
+ "epoch": 0.020284145677046225,
1716
+ "grad_norm": 0.42192715406417847,
1717
+ "learning_rate": 0.0001999826566137056,
1718
+ "loss": 0.5264,
1719
+ "step": 242
1720
+ },
1721
+ {
1722
+ "epoch": 0.020367964460835674,
1723
+ "grad_norm": 0.4319082200527191,
1724
+ "learning_rate": 0.00019998249261575054,
1725
+ "loss": 0.5393,
1726
+ "step": 243
1727
+ },
1728
+ {
1729
+ "epoch": 0.02045178324462512,
1730
+ "grad_norm": 0.4451591372489929,
1731
+ "learning_rate": 0.00019998232784613072,
1732
+ "loss": 0.6176,
1733
+ "step": 244
1734
+ },
1735
+ {
1736
+ "epoch": 0.02053560202841457,
1737
+ "grad_norm": 0.46374693512916565,
1738
+ "learning_rate": 0.00019998216230484737,
1739
+ "loss": 0.6302,
1740
+ "step": 245
1741
+ },
1742
+ {
1743
+ "epoch": 0.020619420812204015,
1744
+ "grad_norm": 0.409140020608902,
1745
+ "learning_rate": 0.00019998199599190178,
1746
+ "loss": 0.5697,
1747
+ "step": 246
1748
+ },
1749
+ {
1750
+ "epoch": 0.02070323959599346,
1751
+ "grad_norm": 0.44335976243019104,
1752
+ "learning_rate": 0.00019998182890729524,
1753
+ "loss": 0.596,
1754
+ "step": 247
1755
+ },
1756
+ {
1757
+ "epoch": 0.02078705837978291,
1758
+ "grad_norm": 0.5282533168792725,
1759
+ "learning_rate": 0.00019998166105102906,
1760
+ "loss": 0.6437,
1761
+ "step": 248
1762
+ },
1763
+ {
1764
+ "epoch": 0.020870877163572357,
1765
+ "grad_norm": 0.41326647996902466,
1766
+ "learning_rate": 0.00019998149242310444,
1767
+ "loss": 0.5565,
1768
+ "step": 249
1769
+ },
1770
+ {
1771
+ "epoch": 0.020954695947361802,
1772
+ "grad_norm": 0.39730969071388245,
1773
+ "learning_rate": 0.0001999813230235228,
1774
+ "loss": 0.5131,
1775
+ "step": 250
1776
+ },
1777
+ {
1778
+ "epoch": 0.021038514731151252,
1779
+ "grad_norm": 0.41539183259010315,
1780
+ "learning_rate": 0.0001999811528522854,
1781
+ "loss": 0.564,
1782
+ "step": 251
1783
+ },
1784
+ {
1785
+ "epoch": 0.021122333514940698,
1786
+ "grad_norm": 0.446178674697876,
1787
+ "learning_rate": 0.0001999809819093935,
1788
+ "loss": 0.619,
1789
+ "step": 252
1790
+ },
1791
+ {
1792
+ "epoch": 0.021206152298730144,
1793
+ "grad_norm": 0.38795357942581177,
1794
+ "learning_rate": 0.00019998081019484851,
1795
+ "loss": 0.5198,
1796
+ "step": 253
1797
+ },
1798
+ {
1799
+ "epoch": 0.021289971082519593,
1800
+ "grad_norm": 0.4092579185962677,
1801
+ "learning_rate": 0.0001999806377086517,
1802
+ "loss": 0.4953,
1803
+ "step": 254
1804
+ },
1805
+ {
1806
+ "epoch": 0.02137378986630904,
1807
+ "grad_norm": 0.37342867255210876,
1808
+ "learning_rate": 0.00019998046445080441,
1809
+ "loss": 0.5126,
1810
+ "step": 255
1811
+ },
1812
+ {
1813
+ "epoch": 0.02145760865009849,
1814
+ "grad_norm": 0.4184248149394989,
1815
+ "learning_rate": 0.00019998029042130798,
1816
+ "loss": 0.5907,
1817
+ "step": 256
1818
+ },
1819
+ {
1820
+ "epoch": 0.021541427433887934,
1821
+ "grad_norm": 0.4141819477081299,
1822
+ "learning_rate": 0.0001999801156201638,
1823
+ "loss": 0.5864,
1824
+ "step": 257
1825
+ },
1826
+ {
1827
+ "epoch": 0.02162524621767738,
1828
+ "grad_norm": 0.39497339725494385,
1829
+ "learning_rate": 0.00019997994004737315,
1830
+ "loss": 0.5881,
1831
+ "step": 258
1832
+ },
1833
+ {
1834
+ "epoch": 0.02170906500146683,
1835
+ "grad_norm": 0.42346760630607605,
1836
+ "learning_rate": 0.00019997976370293737,
1837
+ "loss": 0.6066,
1838
+ "step": 259
1839
+ },
1840
+ {
1841
+ "epoch": 0.021792883785256276,
1842
+ "grad_norm": 0.40113475918769836,
1843
+ "learning_rate": 0.00019997958658685795,
1844
+ "loss": 0.5492,
1845
+ "step": 260
1846
+ },
1847
+ {
1848
+ "epoch": 0.02187670256904572,
1849
+ "grad_norm": 0.432187020778656,
1850
+ "learning_rate": 0.0001999794086991361,
1851
+ "loss": 0.687,
1852
+ "step": 261
1853
+ },
1854
+ {
1855
+ "epoch": 0.02196052135283517,
1856
+ "grad_norm": 0.3750746250152588,
1857
+ "learning_rate": 0.00019997923003977329,
1858
+ "loss": 0.5945,
1859
+ "step": 262
1860
+ },
1861
+ {
1862
+ "epoch": 0.022044340136624617,
1863
+ "grad_norm": 0.4261457026004791,
1864
+ "learning_rate": 0.0001999790506087708,
1865
+ "loss": 0.6384,
1866
+ "step": 263
1867
+ },
1868
+ {
1869
+ "epoch": 0.022128158920414066,
1870
+ "grad_norm": 0.4120943248271942,
1871
+ "learning_rate": 0.0001999788704061302,
1872
+ "loss": 0.6215,
1873
+ "step": 264
1874
+ },
1875
+ {
1876
+ "epoch": 0.022211977704203512,
1877
+ "grad_norm": 0.4085487723350525,
1878
+ "learning_rate": 0.0001999786894318527,
1879
+ "loss": 0.5726,
1880
+ "step": 265
1881
+ },
1882
+ {
1883
+ "epoch": 0.022295796487992958,
1884
+ "grad_norm": 0.4346286654472351,
1885
+ "learning_rate": 0.00019997850768593977,
1886
+ "loss": 0.5464,
1887
+ "step": 266
1888
+ },
1889
+ {
1890
+ "epoch": 0.022379615271782408,
1891
+ "grad_norm": 0.3926849961280823,
1892
+ "learning_rate": 0.0001999783251683928,
1893
+ "loss": 0.5345,
1894
+ "step": 267
1895
+ },
1896
+ {
1897
+ "epoch": 0.022463434055571854,
1898
+ "grad_norm": 0.40721946954727173,
1899
+ "learning_rate": 0.00019997814187921323,
1900
+ "loss": 0.5219,
1901
+ "step": 268
1902
+ },
1903
+ {
1904
+ "epoch": 0.0225472528393613,
1905
+ "grad_norm": 0.4505894184112549,
1906
+ "learning_rate": 0.00019997795781840242,
1907
+ "loss": 0.5583,
1908
+ "step": 269
1909
+ },
1910
+ {
1911
+ "epoch": 0.02263107162315075,
1912
+ "grad_norm": 0.3644554615020752,
1913
+ "learning_rate": 0.0001999777729859618,
1914
+ "loss": 0.4934,
1915
+ "step": 270
1916
+ },
1917
+ {
1918
+ "epoch": 0.022714890406940195,
1919
+ "grad_norm": 0.4329022169113159,
1920
+ "learning_rate": 0.00019997758738189285,
1921
+ "loss": 0.4995,
1922
+ "step": 271
1923
+ },
1924
+ {
1925
+ "epoch": 0.022798709190729644,
1926
+ "grad_norm": 0.44693678617477417,
1927
+ "learning_rate": 0.000199977401006197,
1928
+ "loss": 0.5758,
1929
+ "step": 272
1930
+ },
1931
+ {
1932
+ "epoch": 0.02288252797451909,
1933
+ "grad_norm": 0.47100332379341125,
1934
+ "learning_rate": 0.0001999772138588756,
1935
+ "loss": 0.6108,
1936
+ "step": 273
1937
+ },
1938
+ {
1939
+ "epoch": 0.022966346758308536,
1940
+ "grad_norm": 0.43349120020866394,
1941
+ "learning_rate": 0.00019997702593993016,
1942
+ "loss": 0.6333,
1943
+ "step": 274
1944
+ },
1945
+ {
1946
+ "epoch": 0.023050165542097985,
1947
+ "grad_norm": 0.44445937871932983,
1948
+ "learning_rate": 0.00019997683724936214,
1949
+ "loss": 0.546,
1950
+ "step": 275
1951
+ },
1952
+ {
1953
+ "epoch": 0.02313398432588743,
1954
+ "grad_norm": 0.4132592976093292,
1955
+ "learning_rate": 0.00019997664778717298,
1956
+ "loss": 0.5479,
1957
+ "step": 276
1958
+ },
1959
+ {
1960
+ "epoch": 0.023217803109676877,
1961
+ "grad_norm": 0.41855165362358093,
1962
+ "learning_rate": 0.0001999764575533641,
1963
+ "loss": 0.5495,
1964
+ "step": 277
1965
+ },
1966
+ {
1967
+ "epoch": 0.023301621893466327,
1968
+ "grad_norm": 0.403022825717926,
1969
+ "learning_rate": 0.00019997626654793705,
1970
+ "loss": 0.5311,
1971
+ "step": 278
1972
+ },
1973
+ {
1974
+ "epoch": 0.023385440677255773,
1975
+ "grad_norm": 0.46878084540367126,
1976
+ "learning_rate": 0.00019997607477089326,
1977
+ "loss": 0.6251,
1978
+ "step": 279
1979
+ },
1980
+ {
1981
+ "epoch": 0.02346925946104522,
1982
+ "grad_norm": 0.4221538007259369,
1983
+ "learning_rate": 0.00019997588222223423,
1984
+ "loss": 0.5329,
1985
+ "step": 280
1986
+ },
1987
+ {
1988
+ "epoch": 0.023553078244834668,
1989
+ "grad_norm": 0.39625489711761475,
1990
+ "learning_rate": 0.00019997568890196138,
1991
+ "loss": 0.513,
1992
+ "step": 281
1993
+ },
1994
+ {
1995
+ "epoch": 0.023636897028624114,
1996
+ "grad_norm": 0.45837193727493286,
1997
+ "learning_rate": 0.00019997549481007626,
1998
+ "loss": 0.5326,
1999
+ "step": 282
2000
+ },
2001
+ {
2002
+ "epoch": 0.023720715812413563,
2003
+ "grad_norm": 0.41859170794487,
2004
+ "learning_rate": 0.0001999752999465804,
2005
+ "loss": 0.5087,
2006
+ "step": 283
2007
+ },
2008
+ {
2009
+ "epoch": 0.02380453459620301,
2010
+ "grad_norm": 0.4380793869495392,
2011
+ "learning_rate": 0.00019997510431147522,
2012
+ "loss": 0.5125,
2013
+ "step": 284
2014
+ },
2015
+ {
2016
+ "epoch": 0.023888353379992455,
2017
+ "grad_norm": 0.43466323614120483,
2018
+ "learning_rate": 0.0001999749079047623,
2019
+ "loss": 0.554,
2020
+ "step": 285
2021
+ },
2022
+ {
2023
+ "epoch": 0.023972172163781905,
2024
+ "grad_norm": 0.41406136751174927,
2025
+ "learning_rate": 0.00019997471072644312,
2026
+ "loss": 0.5369,
2027
+ "step": 286
2028
+ },
2029
+ {
2030
+ "epoch": 0.02405599094757135,
2031
+ "grad_norm": 0.3916543126106262,
2032
+ "learning_rate": 0.0001999745127765192,
2033
+ "loss": 0.5202,
2034
+ "step": 287
2035
+ },
2036
+ {
2037
+ "epoch": 0.024139809731360796,
2038
+ "grad_norm": 0.4128749966621399,
2039
+ "learning_rate": 0.00019997431405499206,
2040
+ "loss": 0.5728,
2041
+ "step": 288
2042
+ },
2043
+ {
2044
+ "epoch": 0.024223628515150246,
2045
+ "grad_norm": 0.41002658009529114,
2046
+ "learning_rate": 0.0001999741145618633,
2047
+ "loss": 0.5243,
2048
+ "step": 289
2049
+ },
2050
+ {
2051
+ "epoch": 0.024307447298939692,
2052
+ "grad_norm": 0.3973730504512787,
2053
+ "learning_rate": 0.00019997391429713439,
2054
+ "loss": 0.4859,
2055
+ "step": 290
2056
+ },
2057
+ {
2058
+ "epoch": 0.02439126608272914,
2059
+ "grad_norm": 0.4330107867717743,
2060
+ "learning_rate": 0.00019997371326080688,
2061
+ "loss": 0.5702,
2062
+ "step": 291
2063
+ },
2064
+ {
2065
+ "epoch": 0.024475084866518587,
2066
+ "grad_norm": 0.4312370717525482,
2067
+ "learning_rate": 0.00019997351145288237,
2068
+ "loss": 0.4858,
2069
+ "step": 292
2070
+ },
2071
+ {
2072
+ "epoch": 0.024558903650308033,
2073
+ "grad_norm": 0.41967472434043884,
2074
+ "learning_rate": 0.00019997330887336237,
2075
+ "loss": 0.5571,
2076
+ "step": 293
2077
+ },
2078
+ {
2079
+ "epoch": 0.024642722434097483,
2080
+ "grad_norm": 0.412371426820755,
2081
+ "learning_rate": 0.00019997310552224846,
2082
+ "loss": 0.5068,
2083
+ "step": 294
2084
+ },
2085
+ {
2086
+ "epoch": 0.02472654121788693,
2087
+ "grad_norm": 0.42400968074798584,
2088
+ "learning_rate": 0.00019997290139954222,
2089
+ "loss": 0.5161,
2090
+ "step": 295
2091
+ },
2092
+ {
2093
+ "epoch": 0.024810360001676374,
2094
+ "grad_norm": 0.4376133382320404,
2095
+ "learning_rate": 0.0001999726965052452,
2096
+ "loss": 0.5806,
2097
+ "step": 296
2098
+ },
2099
+ {
2100
+ "epoch": 0.024894178785465824,
2101
+ "grad_norm": 0.4042418301105499,
2102
+ "learning_rate": 0.000199972490839359,
2103
+ "loss": 0.5045,
2104
+ "step": 297
2105
+ },
2106
+ {
2107
+ "epoch": 0.02497799756925527,
2108
+ "grad_norm": 0.4642248749732971,
2109
+ "learning_rate": 0.0001999722844018852,
2110
+ "loss": 0.6098,
2111
+ "step": 298
2112
+ },
2113
+ {
2114
+ "epoch": 0.025061816353044716,
2115
+ "grad_norm": 0.40279266238212585,
2116
+ "learning_rate": 0.00019997207719282538,
2117
+ "loss": 0.5599,
2118
+ "step": 299
2119
+ },
2120
+ {
2121
+ "epoch": 0.025145635136834165,
2122
+ "grad_norm": 0.43405696749687195,
2123
+ "learning_rate": 0.0001999718692121812,
2124
+ "loss": 0.5463,
2125
+ "step": 300
2126
+ },
2127
+ {
2128
+ "epoch": 0.02522945392062361,
2129
+ "grad_norm": 0.3979768455028534,
2130
+ "learning_rate": 0.00019997166045995418,
2131
+ "loss": 0.487,
2132
+ "step": 301
2133
+ },
2134
+ {
2135
+ "epoch": 0.02531327270441306,
2136
+ "grad_norm": 0.4735153615474701,
2137
+ "learning_rate": 0.000199971450936146,
2138
+ "loss": 0.5647,
2139
+ "step": 302
2140
+ },
2141
+ {
2142
+ "epoch": 0.025397091488202506,
2143
+ "grad_norm": 0.424906849861145,
2144
+ "learning_rate": 0.00019997124064075826,
2145
+ "loss": 0.5658,
2146
+ "step": 303
2147
+ },
2148
+ {
2149
+ "epoch": 0.025480910271991952,
2150
+ "grad_norm": 0.43152108788490295,
2151
+ "learning_rate": 0.0001999710295737925,
2152
+ "loss": 0.5609,
2153
+ "step": 304
2154
+ },
2155
+ {
2156
+ "epoch": 0.0255647290557814,
2157
+ "grad_norm": 0.6104475259780884,
2158
+ "learning_rate": 0.0001999708177352505,
2159
+ "loss": 0.5927,
2160
+ "step": 305
2161
+ },
2162
+ {
2163
+ "epoch": 0.025648547839570848,
2164
+ "grad_norm": 0.43404054641723633,
2165
+ "learning_rate": 0.00019997060512513378,
2166
+ "loss": 0.5398,
2167
+ "step": 306
2168
+ },
2169
+ {
2170
+ "epoch": 0.025732366623360294,
2171
+ "grad_norm": 0.3931523263454437,
2172
+ "learning_rate": 0.00019997039174344402,
2173
+ "loss": 0.5364,
2174
+ "step": 307
2175
+ },
2176
+ {
2177
+ "epoch": 0.025816185407149743,
2178
+ "grad_norm": 0.4313555061817169,
2179
+ "learning_rate": 0.0001999701775901829,
2180
+ "loss": 0.5515,
2181
+ "step": 308
2182
+ },
2183
+ {
2184
+ "epoch": 0.02590000419093919,
2185
+ "grad_norm": 0.4402638077735901,
2186
+ "learning_rate": 0.00019996996266535198,
2187
+ "loss": 0.6404,
2188
+ "step": 309
2189
+ },
2190
+ {
2191
+ "epoch": 0.025983822974728638,
2192
+ "grad_norm": 0.40866386890411377,
2193
+ "learning_rate": 0.00019996974696895304,
2194
+ "loss": 0.5576,
2195
+ "step": 310
2196
+ },
2197
+ {
2198
+ "epoch": 0.026067641758518084,
2199
+ "grad_norm": 0.4341127574443817,
2200
+ "learning_rate": 0.00019996953050098763,
2201
+ "loss": 0.5815,
2202
+ "step": 311
2203
+ },
2204
+ {
2205
+ "epoch": 0.02615146054230753,
2206
+ "grad_norm": 0.45513084530830383,
2207
+ "learning_rate": 0.0001999693132614575,
2208
+ "loss": 0.5488,
2209
+ "step": 312
2210
+ },
2211
+ {
2212
+ "epoch": 0.02623527932609698,
2213
+ "grad_norm": 0.4002571403980255,
2214
+ "learning_rate": 0.00019996909525036427,
2215
+ "loss": 0.4706,
2216
+ "step": 313
2217
+ },
2218
+ {
2219
+ "epoch": 0.026319098109886425,
2220
+ "grad_norm": 0.44244542717933655,
2221
+ "learning_rate": 0.00019996887646770968,
2222
+ "loss": 0.6061,
2223
+ "step": 314
2224
+ },
2225
+ {
2226
+ "epoch": 0.02640291689367587,
2227
+ "grad_norm": 0.40330642461776733,
2228
+ "learning_rate": 0.00019996865691349536,
2229
+ "loss": 0.5142,
2230
+ "step": 315
2231
+ },
2232
+ {
2233
+ "epoch": 0.02648673567746532,
2234
+ "grad_norm": 0.45339125394821167,
2235
+ "learning_rate": 0.00019996843658772305,
2236
+ "loss": 0.5164,
2237
+ "step": 316
2238
+ },
2239
+ {
2240
+ "epoch": 0.026570554461254767,
2241
+ "grad_norm": 0.41634491086006165,
2242
+ "learning_rate": 0.00019996821549039443,
2243
+ "loss": 0.5292,
2244
+ "step": 317
2245
+ },
2246
+ {
2247
+ "epoch": 0.026654373245044216,
2248
+ "grad_norm": 0.4088391661643982,
2249
+ "learning_rate": 0.00019996799362151122,
2250
+ "loss": 0.5011,
2251
+ "step": 318
2252
+ },
2253
+ {
2254
+ "epoch": 0.026738192028833662,
2255
+ "grad_norm": 0.46008995175361633,
2256
+ "learning_rate": 0.0001999677709810751,
2257
+ "loss": 0.5489,
2258
+ "step": 319
2259
+ },
2260
+ {
2261
+ "epoch": 0.026822010812623108,
2262
+ "grad_norm": 0.4467163383960724,
2263
+ "learning_rate": 0.00019996754756908781,
2264
+ "loss": 0.5806,
2265
+ "step": 320
2266
+ },
2267
+ {
2268
+ "epoch": 0.026905829596412557,
2269
+ "grad_norm": 0.4857092797756195,
2270
+ "learning_rate": 0.00019996732338555112,
2271
+ "loss": 0.6423,
2272
+ "step": 321
2273
+ },
2274
+ {
2275
+ "epoch": 0.026989648380202003,
2276
+ "grad_norm": 0.40820205211639404,
2277
+ "learning_rate": 0.0001999670984304667,
2278
+ "loss": 0.5665,
2279
+ "step": 322
2280
+ },
2281
+ {
2282
+ "epoch": 0.02707346716399145,
2283
+ "grad_norm": 0.4284261465072632,
2284
+ "learning_rate": 0.00019996687270383627,
2285
+ "loss": 0.5883,
2286
+ "step": 323
2287
+ },
2288
+ {
2289
+ "epoch": 0.0271572859477809,
2290
+ "grad_norm": 0.44194382429122925,
2291
+ "learning_rate": 0.00019996664620566162,
2292
+ "loss": 0.531,
2293
+ "step": 324
2294
+ },
2295
+ {
2296
+ "epoch": 0.027241104731570345,
2297
+ "grad_norm": 0.4614894986152649,
2298
+ "learning_rate": 0.0001999664189359445,
2299
+ "loss": 0.5529,
2300
+ "step": 325
2301
+ },
2302
+ {
2303
+ "epoch": 0.02732492351535979,
2304
+ "grad_norm": 0.4284853935241699,
2305
+ "learning_rate": 0.00019996619089468663,
2306
+ "loss": 0.5356,
2307
+ "step": 326
2308
+ },
2309
+ {
2310
+ "epoch": 0.02740874229914924,
2311
+ "grad_norm": 0.436160683631897,
2312
+ "learning_rate": 0.0001999659620818898,
2313
+ "loss": 0.5359,
2314
+ "step": 327
2315
+ },
2316
+ {
2317
+ "epoch": 0.027492561082938686,
2318
+ "grad_norm": 0.4537163972854614,
2319
+ "learning_rate": 0.00019996573249755572,
2320
+ "loss": 0.5995,
2321
+ "step": 328
2322
+ },
2323
+ {
2324
+ "epoch": 0.027576379866728135,
2325
+ "grad_norm": 0.43999171257019043,
2326
+ "learning_rate": 0.00019996550214168625,
2327
+ "loss": 0.5983,
2328
+ "step": 329
2329
+ },
2330
+ {
2331
+ "epoch": 0.02766019865051758,
2332
+ "grad_norm": 0.4354500472545624,
2333
+ "learning_rate": 0.00019996527101428312,
2334
+ "loss": 0.6336,
2335
+ "step": 330
2336
+ },
2337
+ {
2338
+ "epoch": 0.027744017434307027,
2339
+ "grad_norm": 0.424683153629303,
2340
+ "learning_rate": 0.0001999650391153481,
2341
+ "loss": 0.5759,
2342
+ "step": 331
2343
+ },
2344
+ {
2345
+ "epoch": 0.027827836218096477,
2346
+ "grad_norm": 0.3899020850658417,
2347
+ "learning_rate": 0.000199964806444883,
2348
+ "loss": 0.493,
2349
+ "step": 332
2350
+ },
2351
+ {
2352
+ "epoch": 0.027911655001885922,
2353
+ "grad_norm": 0.4342126250267029,
2354
+ "learning_rate": 0.00019996457300288961,
2355
+ "loss": 0.6463,
2356
+ "step": 333
2357
+ },
2358
+ {
2359
+ "epoch": 0.02799547378567537,
2360
+ "grad_norm": 0.4253256916999817,
2361
+ "learning_rate": 0.00019996433878936973,
2362
+ "loss": 0.5831,
2363
+ "step": 334
2364
+ },
2365
+ {
2366
+ "epoch": 0.028079292569464818,
2367
+ "grad_norm": 0.409615695476532,
2368
+ "learning_rate": 0.00019996410380432517,
2369
+ "loss": 0.5173,
2370
+ "step": 335
2371
+ },
2372
+ {
2373
+ "epoch": 0.028163111353254264,
2374
+ "grad_norm": 0.39077916741371155,
2375
+ "learning_rate": 0.00019996386804775775,
2376
+ "loss": 0.4488,
2377
+ "step": 336
2378
+ },
2379
+ {
2380
+ "epoch": 0.028246930137043713,
2381
+ "grad_norm": 0.4012320935726166,
2382
+ "learning_rate": 0.0001999636315196693,
2383
+ "loss": 0.4933,
2384
+ "step": 337
2385
+ },
2386
+ {
2387
+ "epoch": 0.02833074892083316,
2388
+ "grad_norm": 0.3682243525981903,
2389
+ "learning_rate": 0.0001999633942200616,
2390
+ "loss": 0.459,
2391
+ "step": 338
2392
+ },
2393
+ {
2394
+ "epoch": 0.028414567704622605,
2395
+ "grad_norm": 0.44730985164642334,
2396
+ "learning_rate": 0.00019996315614893652,
2397
+ "loss": 0.5841,
2398
+ "step": 339
2399
+ },
2400
+ {
2401
+ "epoch": 0.028498386488412054,
2402
+ "grad_norm": 0.45982712507247925,
2403
+ "learning_rate": 0.0001999629173062959,
2404
+ "loss": 0.5203,
2405
+ "step": 340
2406
+ },
2407
+ {
2408
+ "epoch": 0.0285822052722015,
2409
+ "grad_norm": 0.44415944814682007,
2410
+ "learning_rate": 0.0001999626776921416,
2411
+ "loss": 0.5766,
2412
+ "step": 341
2413
+ },
2414
+ {
2415
+ "epoch": 0.028666024055990946,
2416
+ "grad_norm": 0.41821229457855225,
2417
+ "learning_rate": 0.00019996243730647538,
2418
+ "loss": 0.5397,
2419
+ "step": 342
2420
+ },
2421
+ {
2422
+ "epoch": 0.028749842839780396,
2423
+ "grad_norm": 0.4592093229293823,
2424
+ "learning_rate": 0.00019996219614929918,
2425
+ "loss": 0.4965,
2426
+ "step": 343
2427
+ },
2428
+ {
2429
+ "epoch": 0.02883366162356984,
2430
+ "grad_norm": 0.4074232578277588,
2431
+ "learning_rate": 0.00019996195422061484,
2432
+ "loss": 0.4983,
2433
+ "step": 344
2434
+ },
2435
+ {
2436
+ "epoch": 0.028917480407359288,
2437
+ "grad_norm": 0.47973930835723877,
2438
+ "learning_rate": 0.00019996171152042425,
2439
+ "loss": 0.6199,
2440
+ "step": 345
2441
+ },
2442
+ {
2443
+ "epoch": 0.029001299191148737,
2444
+ "grad_norm": 0.42635244131088257,
2445
+ "learning_rate": 0.00019996146804872921,
2446
+ "loss": 0.5786,
2447
+ "step": 346
2448
+ },
2449
+ {
2450
+ "epoch": 0.029085117974938183,
2451
+ "grad_norm": 0.38275614380836487,
2452
+ "learning_rate": 0.0001999612238055317,
2453
+ "loss": 0.5449,
2454
+ "step": 347
2455
+ },
2456
+ {
2457
+ "epoch": 0.029168936758727632,
2458
+ "grad_norm": 0.42408087849617004,
2459
+ "learning_rate": 0.00019996097879083352,
2460
+ "loss": 0.5999,
2461
+ "step": 348
2462
+ },
2463
+ {
2464
+ "epoch": 0.029252755542517078,
2465
+ "grad_norm": 0.41554388403892517,
2466
+ "learning_rate": 0.0001999607330046366,
2467
+ "loss": 0.4821,
2468
+ "step": 349
2469
+ },
2470
+ {
2471
+ "epoch": 0.029336574326306524,
2472
+ "grad_norm": 0.42203325033187866,
2473
+ "learning_rate": 0.00019996048644694282,
2474
+ "loss": 0.5441,
2475
+ "step": 350
2476
+ },
2477
+ {
2478
+ "epoch": 0.029420393110095974,
2479
+ "grad_norm": 0.4077165722846985,
2480
+ "learning_rate": 0.0001999602391177541,
2481
+ "loss": 0.4863,
2482
+ "step": 351
2483
+ },
2484
+ {
2485
+ "epoch": 0.02950421189388542,
2486
+ "grad_norm": 0.4215910732746124,
2487
+ "learning_rate": 0.00019995999101707232,
2488
+ "loss": 0.4962,
2489
+ "step": 352
2490
+ },
2491
+ {
2492
+ "epoch": 0.029588030677674865,
2493
+ "grad_norm": 0.42543384432792664,
2494
+ "learning_rate": 0.00019995974214489945,
2495
+ "loss": 0.5087,
2496
+ "step": 353
2497
+ },
2498
+ {
2499
+ "epoch": 0.029671849461464315,
2500
+ "grad_norm": 0.4085528254508972,
2501
+ "learning_rate": 0.00019995949250123734,
2502
+ "loss": 0.5722,
2503
+ "step": 354
2504
+ },
2505
+ {
2506
+ "epoch": 0.02975566824525376,
2507
+ "grad_norm": 0.46686455607414246,
2508
+ "learning_rate": 0.000199959242086088,
2509
+ "loss": 0.579,
2510
+ "step": 355
2511
+ },
2512
+ {
2513
+ "epoch": 0.02983948702904321,
2514
+ "grad_norm": 0.4513940215110779,
2515
+ "learning_rate": 0.0001999589908994533,
2516
+ "loss": 0.564,
2517
+ "step": 356
2518
+ },
2519
+ {
2520
+ "epoch": 0.029923305812832656,
2521
+ "grad_norm": 0.42542925477027893,
2522
+ "learning_rate": 0.0001999587389413352,
2523
+ "loss": 0.4727,
2524
+ "step": 357
2525
+ },
2526
+ {
2527
+ "epoch": 0.030007124596622102,
2528
+ "grad_norm": 0.44476836919784546,
2529
+ "learning_rate": 0.00019995848621173564,
2530
+ "loss": 0.5413,
2531
+ "step": 358
2532
+ },
2533
+ {
2534
+ "epoch": 0.03009094338041155,
2535
+ "grad_norm": 0.3995968699455261,
2536
+ "learning_rate": 0.00019995823271065657,
2537
+ "loss": 0.5015,
2538
+ "step": 359
2539
+ },
2540
+ {
2541
+ "epoch": 0.030174762164200997,
2542
+ "grad_norm": 0.4297562837600708,
2543
+ "learning_rate": 0.00019995797843809995,
2544
+ "loss": 0.5424,
2545
+ "step": 360
2546
+ },
2547
+ {
2548
+ "epoch": 0.030258580947990443,
2549
+ "grad_norm": 0.4153359532356262,
2550
+ "learning_rate": 0.00019995772339406772,
2551
+ "loss": 0.5333,
2552
+ "step": 361
2553
+ },
2554
+ {
2555
+ "epoch": 0.030342399731779893,
2556
+ "grad_norm": 0.41575512290000916,
2557
+ "learning_rate": 0.0001999574675785619,
2558
+ "loss": 0.5442,
2559
+ "step": 362
2560
+ },
2561
+ {
2562
+ "epoch": 0.03042621851556934,
2563
+ "grad_norm": 0.38118284940719604,
2564
+ "learning_rate": 0.00019995721099158443,
2565
+ "loss": 0.4519,
2566
+ "step": 363
2567
+ },
2568
+ {
2569
+ "epoch": 0.030510037299358788,
2570
+ "grad_norm": 0.4094250202178955,
2571
+ "learning_rate": 0.00019995695363313727,
2572
+ "loss": 0.5536,
2573
+ "step": 364
2574
+ },
2575
+ {
2576
+ "epoch": 0.030593856083148234,
2577
+ "grad_norm": 0.443124383687973,
2578
+ "learning_rate": 0.00019995669550322242,
2579
+ "loss": 0.5485,
2580
+ "step": 365
2581
+ },
2582
+ {
2583
+ "epoch": 0.03067767486693768,
2584
+ "grad_norm": 0.42903560400009155,
2585
+ "learning_rate": 0.00019995643660184191,
2586
+ "loss": 0.5334,
2587
+ "step": 366
2588
+ },
2589
+ {
2590
+ "epoch": 0.03076149365072713,
2591
+ "grad_norm": 0.44892022013664246,
2592
+ "learning_rate": 0.0001999561769289977,
2593
+ "loss": 0.6437,
2594
+ "step": 367
2595
+ },
2596
+ {
2597
+ "epoch": 0.030845312434516575,
2598
+ "grad_norm": 0.39862942695617676,
2599
+ "learning_rate": 0.0001999559164846918,
2600
+ "loss": 0.5295,
2601
+ "step": 368
2602
+ },
2603
+ {
2604
+ "epoch": 0.03092913121830602,
2605
+ "grad_norm": 0.41078153252601624,
2606
+ "learning_rate": 0.00019995565526892626,
2607
+ "loss": 0.5125,
2608
+ "step": 369
2609
+ },
2610
+ {
2611
+ "epoch": 0.03101295000209547,
2612
+ "grad_norm": 0.39830759167671204,
2613
+ "learning_rate": 0.000199955393281703,
2614
+ "loss": 0.5245,
2615
+ "step": 370
2616
+ },
2617
+ {
2618
+ "epoch": 0.031096768785884916,
2619
+ "grad_norm": 0.4079073667526245,
2620
+ "learning_rate": 0.00019995513052302414,
2621
+ "loss": 0.5065,
2622
+ "step": 371
2623
+ },
2624
+ {
2625
+ "epoch": 0.031180587569674362,
2626
+ "grad_norm": 0.4079062044620514,
2627
+ "learning_rate": 0.00019995486699289167,
2628
+ "loss": 0.4855,
2629
+ "step": 372
2630
+ },
2631
+ {
2632
+ "epoch": 0.03126440635346381,
2633
+ "grad_norm": 0.44950374960899353,
2634
+ "learning_rate": 0.00019995460269130763,
2635
+ "loss": 0.5968,
2636
+ "step": 373
2637
+ },
2638
+ {
2639
+ "epoch": 0.03134822513725326,
2640
+ "grad_norm": 0.38195091485977173,
2641
+ "learning_rate": 0.000199954337618274,
2642
+ "loss": 0.5015,
2643
+ "step": 374
2644
+ },
2645
+ {
2646
+ "epoch": 0.03143204392104271,
2647
+ "grad_norm": 0.46792176365852356,
2648
+ "learning_rate": 0.00019995407177379295,
2649
+ "loss": 0.5376,
2650
+ "step": 375
2651
+ },
2652
+ {
2653
+ "epoch": 0.03151586270483215,
2654
+ "grad_norm": 0.4686760902404785,
2655
+ "learning_rate": 0.00019995380515786643,
2656
+ "loss": 0.5367,
2657
+ "step": 376
2658
+ },
2659
+ {
2660
+ "epoch": 0.0315996814886216,
2661
+ "grad_norm": 0.4199214279651642,
2662
+ "learning_rate": 0.00019995353777049654,
2663
+ "loss": 0.5329,
2664
+ "step": 377
2665
+ },
2666
+ {
2667
+ "epoch": 0.03168350027241105,
2668
+ "grad_norm": 0.3990497589111328,
2669
+ "learning_rate": 0.00019995326961168533,
2670
+ "loss": 0.4748,
2671
+ "step": 378
2672
+ },
2673
+ {
2674
+ "epoch": 0.0317673190562005,
2675
+ "grad_norm": 0.408526211977005,
2676
+ "learning_rate": 0.00019995300068143486,
2677
+ "loss": 0.5271,
2678
+ "step": 379
2679
+ },
2680
+ {
2681
+ "epoch": 0.03185113783998994,
2682
+ "grad_norm": 0.40246257185935974,
2683
+ "learning_rate": 0.00019995273097974723,
2684
+ "loss": 0.5088,
2685
+ "step": 380
2686
+ },
2687
+ {
2688
+ "epoch": 0.03193495662377939,
2689
+ "grad_norm": 0.41523876786231995,
2690
+ "learning_rate": 0.00019995246050662452,
2691
+ "loss": 0.5284,
2692
+ "step": 381
2693
+ },
2694
+ {
2695
+ "epoch": 0.03201877540756884,
2696
+ "grad_norm": 0.4022040367126465,
2697
+ "learning_rate": 0.00019995218926206878,
2698
+ "loss": 0.532,
2699
+ "step": 382
2700
+ },
2701
+ {
2702
+ "epoch": 0.03210259419135828,
2703
+ "grad_norm": 0.38390883803367615,
2704
+ "learning_rate": 0.00019995191724608215,
2705
+ "loss": 0.5005,
2706
+ "step": 383
2707
+ },
2708
+ {
2709
+ "epoch": 0.03218641297514773,
2710
+ "grad_norm": 0.41274315118789673,
2711
+ "learning_rate": 0.00019995164445866669,
2712
+ "loss": 0.5139,
2713
+ "step": 384
2714
+ },
2715
+ {
2716
+ "epoch": 0.03227023175893718,
2717
+ "grad_norm": 0.4125961661338806,
2718
+ "learning_rate": 0.00019995137089982455,
2719
+ "loss": 0.5403,
2720
+ "step": 385
2721
+ },
2722
+ {
2723
+ "epoch": 0.03235405054272662,
2724
+ "grad_norm": 0.4244287610054016,
2725
+ "learning_rate": 0.00019995109656955782,
2726
+ "loss": 0.5359,
2727
+ "step": 386
2728
+ },
2729
+ {
2730
+ "epoch": 0.03243786932651607,
2731
+ "grad_norm": 0.43746381998062134,
2732
+ "learning_rate": 0.00019995082146786862,
2733
+ "loss": 0.5542,
2734
+ "step": 387
2735
+ },
2736
+ {
2737
+ "epoch": 0.03252168811030552,
2738
+ "grad_norm": 0.41471150517463684,
2739
+ "learning_rate": 0.00019995054559475902,
2740
+ "loss": 0.5372,
2741
+ "step": 388
2742
+ },
2743
+ {
2744
+ "epoch": 0.032605506894094964,
2745
+ "grad_norm": 0.4253981113433838,
2746
+ "learning_rate": 0.00019995026895023123,
2747
+ "loss": 0.5186,
2748
+ "step": 389
2749
+ },
2750
+ {
2751
+ "epoch": 0.032689325677884414,
2752
+ "grad_norm": 0.43304410576820374,
2753
+ "learning_rate": 0.00019994999153428737,
2754
+ "loss": 0.5267,
2755
+ "step": 390
2756
+ },
2757
+ {
2758
+ "epoch": 0.03277314446167386,
2759
+ "grad_norm": 0.43877407908439636,
2760
+ "learning_rate": 0.00019994971334692953,
2761
+ "loss": 0.5015,
2762
+ "step": 391
2763
+ },
2764
+ {
2765
+ "epoch": 0.032856963245463305,
2766
+ "grad_norm": 0.48050209879875183,
2767
+ "learning_rate": 0.00019994943438815993,
2768
+ "loss": 0.6118,
2769
+ "step": 392
2770
+ },
2771
+ {
2772
+ "epoch": 0.032940782029252755,
2773
+ "grad_norm": 0.37668153643608093,
2774
+ "learning_rate": 0.00019994915465798064,
2775
+ "loss": 0.4739,
2776
+ "step": 393
2777
+ },
2778
+ {
2779
+ "epoch": 0.033024600813042204,
2780
+ "grad_norm": 0.37851613759994507,
2781
+ "learning_rate": 0.00019994887415639387,
2782
+ "loss": 0.5002,
2783
+ "step": 394
2784
+ },
2785
+ {
2786
+ "epoch": 0.03310841959683165,
2787
+ "grad_norm": 0.41170966625213623,
2788
+ "learning_rate": 0.00019994859288340177,
2789
+ "loss": 0.5254,
2790
+ "step": 395
2791
+ },
2792
+ {
2793
+ "epoch": 0.033192238380621096,
2794
+ "grad_norm": 0.39200136065483093,
2795
+ "learning_rate": 0.00019994831083900656,
2796
+ "loss": 0.4841,
2797
+ "step": 396
2798
+ },
2799
+ {
2800
+ "epoch": 0.033276057164410545,
2801
+ "grad_norm": 0.4181065261363983,
2802
+ "learning_rate": 0.00019994802802321033,
2803
+ "loss": 0.5328,
2804
+ "step": 397
2805
+ },
2806
+ {
2807
+ "epoch": 0.033359875948199995,
2808
+ "grad_norm": 0.4365568161010742,
2809
+ "learning_rate": 0.00019994774443601534,
2810
+ "loss": 0.5625,
2811
+ "step": 398
2812
+ },
2813
+ {
2814
+ "epoch": 0.03344369473198944,
2815
+ "grad_norm": 0.41278430819511414,
2816
+ "learning_rate": 0.00019994746007742374,
2817
+ "loss": 0.4737,
2818
+ "step": 399
2819
+ },
2820
+ {
2821
+ "epoch": 0.03352751351577889,
2822
+ "grad_norm": 0.4022945165634155,
2823
+ "learning_rate": 0.0001999471749474377,
2824
+ "loss": 0.4818,
2825
+ "step": 400
2826
+ },
2827
+ {
2828
+ "epoch": 0.03352751351577889,
2829
+ "eval_loss": 0.5184094905853271,
2830
+ "eval_runtime": 61.554,
2831
+ "eval_samples_per_second": 15.596,
2832
+ "eval_steps_per_second": 3.899,
2833
+ "step": 400
2834
  }
2835
  ],
2836
  "logging_steps": 1,
 
2859
  "attributes": {}
2860
  }
2861
  },
2862
+ "total_flos": 2.63793804312576e+16,
2863
  "train_batch_size": 2,
2864
  "trial_name": null,
2865
  "trial_params": null
last-checkpoint/training_args.bin CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:e7b2b003dd5212b13ff20f39e64cf314b55dc58061d234f47b1d0a005744c530
3
- size 6776
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:62dc5607f4b311b629bd491f1e8feae0d5a56fbdbaa42feb5d077b975d21ab3c
3
+ size 6712