error577 commited on
Commit
29199e7
·
verified ·
1 Parent(s): b8ce3ac

Training in progress, step 12200, checkpoint

Browse files
last-checkpoint/adapter_model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:8ff5ff3d9c8182dc84612045af4dd86b2a1d8e55fdb183713fbbe8c806fc6d11
3
  size 231448
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:3afcf201db906931525b1e244c9033d418361696aaf41bc1a7a5109f4c6cb571
3
  size 231448
last-checkpoint/optimizer.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:e63478bdafcbe1ed14b305785bb0db672527fffdd7c131240b764124f9f89f95
3
  size 374849
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:18c4cc52f1b29ebbf35c655ff6fdcfff2740259358f8c5097426117400753c3a
3
  size 374849
last-checkpoint/rng_state.pth CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:06c11821bbb746309fae72a6fe5879f7740e184ea914fe92364cae3e9d229093
3
  size 14645
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:83681eeb34264143fa7ddf887ca67743df2a5c70c8a0763b196a344d3633afd8
3
  size 14645
last-checkpoint/scheduler.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:300f53cbc67fa6ab74e3dedb3cec332353160455ea0b84482cd5d811d5d95413
3
  size 1465
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:f26b9866cfad94a2734302a2ee3813d01071a9d62f264c888152fca70bacdf79
3
  size 1465
last-checkpoint/trainer_state.json CHANGED
@@ -2,9 +2,9 @@
2
  "best_global_step": 12000,
3
  "best_metric": 10.168164253234863,
4
  "best_model_checkpoint": "miner_id_24/checkpoint-12000",
5
- "epoch": 2.0953253895508706,
6
  "eval_steps": 200,
7
- "global_step": 12000,
8
  "is_hyper_param_search": false,
9
  "is_local_process_zero": true,
10
  "is_world_process_zero": true,
@@ -84496,6 +84496,1414 @@
84496
  "eval_samples_per_second": 322.998,
84497
  "eval_steps_per_second": 162.198,
84498
  "step": 12000
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
84499
  }
84500
  ],
84501
  "logging_steps": 1,
@@ -84510,7 +85918,7 @@
84510
  "early_stopping_threshold": 0.0
84511
  },
84512
  "attributes": {
84513
- "early_stopping_patience_counter": 0
84514
  }
84515
  },
84516
  "TrainerControl": {
@@ -84524,7 +85932,7 @@
84524
  "attributes": {}
84525
  }
84526
  },
84527
- "total_flos": 651211703058432.0,
84528
  "train_batch_size": 2,
84529
  "trial_name": null,
84530
  "trial_params": null
 
2
  "best_global_step": 12000,
3
  "best_metric": 10.168164253234863,
4
  "best_model_checkpoint": "miner_id_24/checkpoint-12000",
5
+ "epoch": 2.13024311466108,
6
  "eval_steps": 200,
7
+ "global_step": 12200,
8
  "is_hyper_param_search": false,
9
  "is_local_process_zero": true,
10
  "is_world_process_zero": true,
 
84496
  "eval_samples_per_second": 322.998,
84497
  "eval_steps_per_second": 162.198,
84498
  "step": 12000
84499
+ },
84500
+ {
84501
+ "epoch": 2.095499978176422,
84502
+ "grad_norm": 0.11399567872285843,
84503
+ "learning_rate": 4.166195121166053e-05,
84504
+ "loss": 10.1977,
84505
+ "step": 12001
84506
+ },
84507
+ {
84508
+ "epoch": 2.0956745668019727,
84509
+ "grad_norm": 0.11896808445453644,
84510
+ "learning_rate": 4.16470922592358e-05,
84511
+ "loss": 10.1951,
84512
+ "step": 12002
84513
+ },
84514
+ {
84515
+ "epoch": 2.095849155427524,
84516
+ "grad_norm": 0.12956494092941284,
84517
+ "learning_rate": 4.1632235260120586e-05,
84518
+ "loss": 10.1743,
84519
+ "step": 12003
84520
+ },
84521
+ {
84522
+ "epoch": 2.096023744053075,
84523
+ "grad_norm": 0.18054243922233582,
84524
+ "learning_rate": 4.161738021481225e-05,
84525
+ "loss": 10.2316,
84526
+ "step": 12004
84527
+ },
84528
+ {
84529
+ "epoch": 2.096198332678626,
84530
+ "grad_norm": 0.08258862048387527,
84531
+ "learning_rate": 4.160252712380799e-05,
84532
+ "loss": 10.2151,
84533
+ "step": 12005
84534
+ },
84535
+ {
84536
+ "epoch": 2.096372921304177,
84537
+ "grad_norm": 0.07216840237379074,
84538
+ "learning_rate": 4.158767598760507e-05,
84539
+ "loss": 10.2031,
84540
+ "step": 12006
84541
+ },
84542
+ {
84543
+ "epoch": 2.096547509929728,
84544
+ "grad_norm": 0.07478280365467072,
84545
+ "learning_rate": 4.157282680670058e-05,
84546
+ "loss": 10.1973,
84547
+ "step": 12007
84548
+ },
84549
+ {
84550
+ "epoch": 2.0967220985552792,
84551
+ "grad_norm": 0.06655368953943253,
84552
+ "learning_rate": 4.1557979581591565e-05,
84553
+ "loss": 10.1904,
84554
+ "step": 12008
84555
+ },
84556
+ {
84557
+ "epoch": 2.09689668718083,
84558
+ "grad_norm": 0.07042637467384338,
84559
+ "learning_rate": 4.1543134312775086e-05,
84560
+ "loss": 10.2263,
84561
+ "step": 12009
84562
+ },
84563
+ {
84564
+ "epoch": 2.0970712758063814,
84565
+ "grad_norm": 0.06741897761821747,
84566
+ "learning_rate": 4.1528291000748034e-05,
84567
+ "loss": 10.189,
84568
+ "step": 12010
84569
+ },
84570
+ {
84571
+ "epoch": 2.0972458644319323,
84572
+ "grad_norm": 0.0590580478310585,
84573
+ "learning_rate": 4.151344964600724e-05,
84574
+ "loss": 10.2117,
84575
+ "step": 12011
84576
+ },
84577
+ {
84578
+ "epoch": 2.097420453057483,
84579
+ "grad_norm": 0.07427319884300232,
84580
+ "learning_rate": 4.149861024904958e-05,
84581
+ "loss": 10.2078,
84582
+ "step": 12012
84583
+ },
84584
+ {
84585
+ "epoch": 2.0975950416830345,
84586
+ "grad_norm": 0.07773823291063309,
84587
+ "learning_rate": 4.148377281037174e-05,
84588
+ "loss": 10.1693,
84589
+ "step": 12013
84590
+ },
84591
+ {
84592
+ "epoch": 2.0977696303085853,
84593
+ "grad_norm": 0.0692635327577591,
84594
+ "learning_rate": 4.146893733047041e-05,
84595
+ "loss": 10.1971,
84596
+ "step": 12014
84597
+ },
84598
+ {
84599
+ "epoch": 2.0979442189341366,
84600
+ "grad_norm": 0.0678025335073471,
84601
+ "learning_rate": 4.1454103809842185e-05,
84602
+ "loss": 10.1805,
84603
+ "step": 12015
84604
+ },
84605
+ {
84606
+ "epoch": 2.0981188075596875,
84607
+ "grad_norm": 0.07464554160833359,
84608
+ "learning_rate": 4.14392722489836e-05,
84609
+ "loss": 10.2007,
84610
+ "step": 12016
84611
+ },
84612
+ {
84613
+ "epoch": 2.0982933961852384,
84614
+ "grad_norm": 0.062178246676921844,
84615
+ "learning_rate": 4.1424442648391094e-05,
84616
+ "loss": 10.2037,
84617
+ "step": 12017
84618
+ },
84619
+ {
84620
+ "epoch": 2.0984679848107897,
84621
+ "grad_norm": 0.07646089792251587,
84622
+ "learning_rate": 4.140961500856115e-05,
84623
+ "loss": 10.1553,
84624
+ "step": 12018
84625
+ },
84626
+ {
84627
+ "epoch": 2.0986425734363405,
84628
+ "grad_norm": 0.07460010051727295,
84629
+ "learning_rate": 4.139478932999007e-05,
84630
+ "loss": 10.1812,
84631
+ "step": 12019
84632
+ },
84633
+ {
84634
+ "epoch": 2.098817162061892,
84635
+ "grad_norm": 0.07067003846168518,
84636
+ "learning_rate": 4.137996561317409e-05,
84637
+ "loss": 10.1891,
84638
+ "step": 12020
84639
+ },
84640
+ {
84641
+ "epoch": 2.0989917506874427,
84642
+ "grad_norm": 0.07448910921812057,
84643
+ "learning_rate": 4.13651438586095e-05,
84644
+ "loss": 10.1839,
84645
+ "step": 12021
84646
+ },
84647
+ {
84648
+ "epoch": 2.0991663393129936,
84649
+ "grad_norm": 0.06967875361442566,
84650
+ "learning_rate": 4.13503240667924e-05,
84651
+ "loss": 10.166,
84652
+ "step": 12022
84653
+ },
84654
+ {
84655
+ "epoch": 2.099340927938545,
84656
+ "grad_norm": 0.08844573050737381,
84657
+ "learning_rate": 4.133550623821885e-05,
84658
+ "loss": 10.1746,
84659
+ "step": 12023
84660
+ },
84661
+ {
84662
+ "epoch": 2.0995155165640957,
84663
+ "grad_norm": 0.08203234523534775,
84664
+ "learning_rate": 4.132069037338491e-05,
84665
+ "loss": 10.2054,
84666
+ "step": 12024
84667
+ },
84668
+ {
84669
+ "epoch": 2.099690105189647,
84670
+ "grad_norm": 0.0812404453754425,
84671
+ "learning_rate": 4.130587647278651e-05,
84672
+ "loss": 10.1633,
84673
+ "step": 12025
84674
+ },
84675
+ {
84676
+ "epoch": 2.099864693815198,
84677
+ "grad_norm": 0.06705445051193237,
84678
+ "learning_rate": 4.1291064536919525e-05,
84679
+ "loss": 10.1751,
84680
+ "step": 12026
84681
+ },
84682
+ {
84683
+ "epoch": 2.100039282440749,
84684
+ "grad_norm": 0.07575444877147675,
84685
+ "learning_rate": 4.127625456627976e-05,
84686
+ "loss": 10.1951,
84687
+ "step": 12027
84688
+ },
84689
+ {
84690
+ "epoch": 2.1002138710663,
84691
+ "grad_norm": 0.07214552164077759,
84692
+ "learning_rate": 4.126144656136299e-05,
84693
+ "loss": 10.2083,
84694
+ "step": 12028
84695
+ },
84696
+ {
84697
+ "epoch": 2.100388459691851,
84698
+ "grad_norm": 0.0746741071343422,
84699
+ "learning_rate": 4.1246640522664847e-05,
84700
+ "loss": 10.2126,
84701
+ "step": 12029
84702
+ },
84703
+ {
84704
+ "epoch": 2.1005630483174023,
84705
+ "grad_norm": 0.07222031056880951,
84706
+ "learning_rate": 4.1231836450681016e-05,
84707
+ "loss": 10.213,
84708
+ "step": 12030
84709
+ },
84710
+ {
84711
+ "epoch": 2.100737636942953,
84712
+ "grad_norm": 0.08192943781614304,
84713
+ "learning_rate": 4.1217034345907e-05,
84714
+ "loss": 10.2177,
84715
+ "step": 12031
84716
+ },
84717
+ {
84718
+ "epoch": 2.1009122255685044,
84719
+ "grad_norm": 0.08183882385492325,
84720
+ "learning_rate": 4.120223420883833e-05,
84721
+ "loss": 10.1965,
84722
+ "step": 12032
84723
+ },
84724
+ {
84725
+ "epoch": 2.1010868141940553,
84726
+ "grad_norm": 0.06961141526699066,
84727
+ "learning_rate": 4.118743603997042e-05,
84728
+ "loss": 10.2148,
84729
+ "step": 12033
84730
+ },
84731
+ {
84732
+ "epoch": 2.101261402819606,
84733
+ "grad_norm": 0.09044022113084793,
84734
+ "learning_rate": 4.1172639839798554e-05,
84735
+ "loss": 10.2266,
84736
+ "step": 12034
84737
+ },
84738
+ {
84739
+ "epoch": 2.1014359914451575,
84740
+ "grad_norm": 0.10313408821821213,
84741
+ "learning_rate": 4.115784560881812e-05,
84742
+ "loss": 10.1778,
84743
+ "step": 12035
84744
+ },
84745
+ {
84746
+ "epoch": 2.1016105800707083,
84747
+ "grad_norm": 0.07761067152023315,
84748
+ "learning_rate": 4.114305334752431e-05,
84749
+ "loss": 10.1867,
84750
+ "step": 12036
84751
+ },
84752
+ {
84753
+ "epoch": 2.1017851686962596,
84754
+ "grad_norm": 0.0878777876496315,
84755
+ "learning_rate": 4.1128263056412255e-05,
84756
+ "loss": 10.164,
84757
+ "step": 12037
84758
+ },
84759
+ {
84760
+ "epoch": 2.1019597573218105,
84761
+ "grad_norm": 0.08386652916669846,
84762
+ "learning_rate": 4.111347473597706e-05,
84763
+ "loss": 10.1784,
84764
+ "step": 12038
84765
+ },
84766
+ {
84767
+ "epoch": 2.1021343459473614,
84768
+ "grad_norm": 0.09109827876091003,
84769
+ "learning_rate": 4.109868838671376e-05,
84770
+ "loss": 10.1846,
84771
+ "step": 12039
84772
+ },
84773
+ {
84774
+ "epoch": 2.1023089345729127,
84775
+ "grad_norm": 0.08338106423616409,
84776
+ "learning_rate": 4.108390400911726e-05,
84777
+ "loss": 10.1973,
84778
+ "step": 12040
84779
+ },
84780
+ {
84781
+ "epoch": 2.1024835231984635,
84782
+ "grad_norm": 0.08892796188592911,
84783
+ "learning_rate": 4.106912160368254e-05,
84784
+ "loss": 10.1638,
84785
+ "step": 12041
84786
+ },
84787
+ {
84788
+ "epoch": 2.102658111824015,
84789
+ "grad_norm": 0.08986465632915497,
84790
+ "learning_rate": 4.1054341170904384e-05,
84791
+ "loss": 10.1806,
84792
+ "step": 12042
84793
+ },
84794
+ {
84795
+ "epoch": 2.1028327004495657,
84796
+ "grad_norm": 0.09215985983610153,
84797
+ "learning_rate": 4.1039562711277515e-05,
84798
+ "loss": 10.1259,
84799
+ "step": 12043
84800
+ },
84801
+ {
84802
+ "epoch": 2.1030072890751166,
84803
+ "grad_norm": 0.09637424349784851,
84804
+ "learning_rate": 4.1024786225296706e-05,
84805
+ "loss": 10.1752,
84806
+ "step": 12044
84807
+ },
84808
+ {
84809
+ "epoch": 2.103181877700668,
84810
+ "grad_norm": 0.09713230282068253,
84811
+ "learning_rate": 4.1010011713456555e-05,
84812
+ "loss": 10.1575,
84813
+ "step": 12045
84814
+ },
84815
+ {
84816
+ "epoch": 2.1033564663262188,
84817
+ "grad_norm": 0.09052230417728424,
84818
+ "learning_rate": 4.0995239176251575e-05,
84819
+ "loss": 10.161,
84820
+ "step": 12046
84821
+ },
84822
+ {
84823
+ "epoch": 2.10353105495177,
84824
+ "grad_norm": 0.1002405509352684,
84825
+ "learning_rate": 4.098046861417635e-05,
84826
+ "loss": 10.1475,
84827
+ "step": 12047
84828
+ },
84829
+ {
84830
+ "epoch": 2.103705643577321,
84831
+ "grad_norm": 0.10692903399467468,
84832
+ "learning_rate": 4.096570002772525e-05,
84833
+ "loss": 10.1652,
84834
+ "step": 12048
84835
+ },
84836
+ {
84837
+ "epoch": 2.103880232202872,
84838
+ "grad_norm": 0.10976004600524902,
84839
+ "learning_rate": 4.095093341739267e-05,
84840
+ "loss": 10.1945,
84841
+ "step": 12049
84842
+ },
84843
+ {
84844
+ "epoch": 2.104054820828423,
84845
+ "grad_norm": 0.12881533801555634,
84846
+ "learning_rate": 4.09361687836729e-05,
84847
+ "loss": 10.2108,
84848
+ "step": 12050
84849
+ },
84850
+ {
84851
+ "epoch": 2.104229409453974,
84852
+ "grad_norm": 0.11904425173997879,
84853
+ "learning_rate": 4.092140612706016e-05,
84854
+ "loss": 10.1571,
84855
+ "step": 12051
84856
+ },
84857
+ {
84858
+ "epoch": 2.1044039980795253,
84859
+ "grad_norm": 0.12100576609373093,
84860
+ "learning_rate": 4.090664544804858e-05,
84861
+ "loss": 10.168,
84862
+ "step": 12052
84863
+ },
84864
+ {
84865
+ "epoch": 2.104578586705076,
84866
+ "grad_norm": 0.1391819715499878,
84867
+ "learning_rate": 4.089188674713236e-05,
84868
+ "loss": 10.1417,
84869
+ "step": 12053
84870
+ },
84871
+ {
84872
+ "epoch": 2.104753175330627,
84873
+ "grad_norm": 0.15753203630447388,
84874
+ "learning_rate": 4.0877130024805466e-05,
84875
+ "loss": 10.1789,
84876
+ "step": 12054
84877
+ },
84878
+ {
84879
+ "epoch": 2.1049277639561783,
84880
+ "grad_norm": 0.06906724721193314,
84881
+ "learning_rate": 4.086237528156185e-05,
84882
+ "loss": 10.1917,
84883
+ "step": 12055
84884
+ },
84885
+ {
84886
+ "epoch": 2.105102352581729,
84887
+ "grad_norm": 0.08390769362449646,
84888
+ "learning_rate": 4.0847622517895465e-05,
84889
+ "loss": 10.2085,
84890
+ "step": 12056
84891
+ },
84892
+ {
84893
+ "epoch": 2.1052769412072805,
84894
+ "grad_norm": 0.07826220244169235,
84895
+ "learning_rate": 4.083287173430013e-05,
84896
+ "loss": 10.2068,
84897
+ "step": 12057
84898
+ },
84899
+ {
84900
+ "epoch": 2.1054515298328313,
84901
+ "grad_norm": 0.067970871925354,
84902
+ "learning_rate": 4.081812293126956e-05,
84903
+ "loss": 10.1887,
84904
+ "step": 12058
84905
+ },
84906
+ {
84907
+ "epoch": 2.1056261184583827,
84908
+ "grad_norm": 0.06640208512544632,
84909
+ "learning_rate": 4.080337610929755e-05,
84910
+ "loss": 10.2025,
84911
+ "step": 12059
84912
+ },
84913
+ {
84914
+ "epoch": 2.1058007070839335,
84915
+ "grad_norm": 0.07288148254156113,
84916
+ "learning_rate": 4.0788631268877696e-05,
84917
+ "loss": 10.2074,
84918
+ "step": 12060
84919
+ },
84920
+ {
84921
+ "epoch": 2.1059752957094844,
84922
+ "grad_norm": 0.07236605137586594,
84923
+ "learning_rate": 4.077388841050356e-05,
84924
+ "loss": 10.167,
84925
+ "step": 12061
84926
+ },
84927
+ {
84928
+ "epoch": 2.1061498843350357,
84929
+ "grad_norm": 0.07073930650949478,
84930
+ "learning_rate": 4.075914753466863e-05,
84931
+ "loss": 10.1949,
84932
+ "step": 12062
84933
+ },
84934
+ {
84935
+ "epoch": 2.1063244729605866,
84936
+ "grad_norm": 0.06538951396942139,
84937
+ "learning_rate": 4.074440864186637e-05,
84938
+ "loss": 10.1847,
84939
+ "step": 12063
84940
+ },
84941
+ {
84942
+ "epoch": 2.106499061586138,
84943
+ "grad_norm": 0.0699414387345314,
84944
+ "learning_rate": 4.0729671732590114e-05,
84945
+ "loss": 10.2188,
84946
+ "step": 12064
84947
+ },
84948
+ {
84949
+ "epoch": 2.1066736502116887,
84950
+ "grad_norm": 0.07718239724636078,
84951
+ "learning_rate": 4.0714936807333215e-05,
84952
+ "loss": 10.1982,
84953
+ "step": 12065
84954
+ },
84955
+ {
84956
+ "epoch": 2.1068482388372396,
84957
+ "grad_norm": 0.07721638679504395,
84958
+ "learning_rate": 4.070020386658891e-05,
84959
+ "loss": 10.1688,
84960
+ "step": 12066
84961
+ },
84962
+ {
84963
+ "epoch": 2.107022827462791,
84964
+ "grad_norm": 0.06606120616197586,
84965
+ "learning_rate": 4.06854729108503e-05,
84966
+ "loss": 10.1892,
84967
+ "step": 12067
84968
+ },
84969
+ {
84970
+ "epoch": 2.1071974160883418,
84971
+ "grad_norm": 0.06850387156009674,
84972
+ "learning_rate": 4.0670743940610567e-05,
84973
+ "loss": 10.2056,
84974
+ "step": 12068
84975
+ },
84976
+ {
84977
+ "epoch": 2.107372004713893,
84978
+ "grad_norm": 0.06817740201950073,
84979
+ "learning_rate": 4.065601695636273e-05,
84980
+ "loss": 10.1886,
84981
+ "step": 12069
84982
+ },
84983
+ {
84984
+ "epoch": 2.107546593339444,
84985
+ "grad_norm": 0.0656440407037735,
84986
+ "learning_rate": 4.0641291958599725e-05,
84987
+ "loss": 10.1721,
84988
+ "step": 12070
84989
+ },
84990
+ {
84991
+ "epoch": 2.107721181964995,
84992
+ "grad_norm": 0.06342271715402603,
84993
+ "learning_rate": 4.0626568947814514e-05,
84994
+ "loss": 10.201,
84995
+ "step": 12071
84996
+ },
84997
+ {
84998
+ "epoch": 2.107895770590546,
84999
+ "grad_norm": 0.07249069958925247,
85000
+ "learning_rate": 4.0611847924499916e-05,
85001
+ "loss": 10.2104,
85002
+ "step": 12072
85003
+ },
85004
+ {
85005
+ "epoch": 2.108070359216097,
85006
+ "grad_norm": 0.06833545863628387,
85007
+ "learning_rate": 4.0597128889148694e-05,
85008
+ "loss": 10.1983,
85009
+ "step": 12073
85010
+ },
85011
+ {
85012
+ "epoch": 2.1082449478416483,
85013
+ "grad_norm": 0.06918683648109436,
85014
+ "learning_rate": 4.058241184225356e-05,
85015
+ "loss": 10.2016,
85016
+ "step": 12074
85017
+ },
85018
+ {
85019
+ "epoch": 2.108419536467199,
85020
+ "grad_norm": 0.07519198954105377,
85021
+ "learning_rate": 4.056769678430714e-05,
85022
+ "loss": 10.196,
85023
+ "step": 12075
85024
+ },
85025
+ {
85026
+ "epoch": 2.10859412509275,
85027
+ "grad_norm": 0.06787850707769394,
85028
+ "learning_rate": 4.055298371580199e-05,
85029
+ "loss": 10.1699,
85030
+ "step": 12076
85031
+ },
85032
+ {
85033
+ "epoch": 2.1087687137183013,
85034
+ "grad_norm": 0.07996828109025955,
85035
+ "learning_rate": 4.0538272637230667e-05,
85036
+ "loss": 10.1597,
85037
+ "step": 12077
85038
+ },
85039
+ {
85040
+ "epoch": 2.108943302343852,
85041
+ "grad_norm": 0.07987947016954422,
85042
+ "learning_rate": 4.0523563549085596e-05,
85043
+ "loss": 10.225,
85044
+ "step": 12078
85045
+ },
85046
+ {
85047
+ "epoch": 2.1091178909694035,
85048
+ "grad_norm": 0.07840936630964279,
85049
+ "learning_rate": 4.050885645185911e-05,
85050
+ "loss": 10.1773,
85051
+ "step": 12079
85052
+ },
85053
+ {
85054
+ "epoch": 2.1092924795949544,
85055
+ "grad_norm": 0.07395801693201065,
85056
+ "learning_rate": 4.0494151346043576e-05,
85057
+ "loss": 10.1932,
85058
+ "step": 12080
85059
+ },
85060
+ {
85061
+ "epoch": 2.1094670682205052,
85062
+ "grad_norm": 0.07643236219882965,
85063
+ "learning_rate": 4.0479448232131204e-05,
85064
+ "loss": 10.1822,
85065
+ "step": 12081
85066
+ },
85067
+ {
85068
+ "epoch": 2.1096416568460565,
85069
+ "grad_norm": 0.07609216868877411,
85070
+ "learning_rate": 4.0464747110614135e-05,
85071
+ "loss": 10.1836,
85072
+ "step": 12082
85073
+ },
85074
+ {
85075
+ "epoch": 2.1098162454716074,
85076
+ "grad_norm": 0.08246757090091705,
85077
+ "learning_rate": 4.045004798198454e-05,
85078
+ "loss": 10.1904,
85079
+ "step": 12083
85080
+ },
85081
+ {
85082
+ "epoch": 2.1099908340971587,
85083
+ "grad_norm": 0.08933131396770477,
85084
+ "learning_rate": 4.043535084673442e-05,
85085
+ "loss": 10.1781,
85086
+ "step": 12084
85087
+ },
85088
+ {
85089
+ "epoch": 2.1101654227227096,
85090
+ "grad_norm": 0.08167659491300583,
85091
+ "learning_rate": 4.042065570535577e-05,
85092
+ "loss": 10.1649,
85093
+ "step": 12085
85094
+ },
85095
+ {
85096
+ "epoch": 2.110340011348261,
85097
+ "grad_norm": 0.07734588533639908,
85098
+ "learning_rate": 4.040596255834047e-05,
85099
+ "loss": 10.1848,
85100
+ "step": 12086
85101
+ },
85102
+ {
85103
+ "epoch": 2.1105145999738117,
85104
+ "grad_norm": 0.07407162338495255,
85105
+ "learning_rate": 4.0391271406180374e-05,
85106
+ "loss": 10.1511,
85107
+ "step": 12087
85108
+ },
85109
+ {
85110
+ "epoch": 2.1106891885993626,
85111
+ "grad_norm": 0.08228309452533722,
85112
+ "learning_rate": 4.037658224936721e-05,
85113
+ "loss": 10.2242,
85114
+ "step": 12088
85115
+ },
85116
+ {
85117
+ "epoch": 2.110863777224914,
85118
+ "grad_norm": 0.09716074913740158,
85119
+ "learning_rate": 4.036189508839278e-05,
85120
+ "loss": 10.159,
85121
+ "step": 12089
85122
+ },
85123
+ {
85124
+ "epoch": 2.111038365850465,
85125
+ "grad_norm": 0.09141526371240616,
85126
+ "learning_rate": 4.0347209923748644e-05,
85127
+ "loss": 10.175,
85128
+ "step": 12090
85129
+ },
85130
+ {
85131
+ "epoch": 2.111212954476016,
85132
+ "grad_norm": 0.08459465205669403,
85133
+ "learning_rate": 4.033252675592637e-05,
85134
+ "loss": 10.1792,
85135
+ "step": 12091
85136
+ },
85137
+ {
85138
+ "epoch": 2.111387543101567,
85139
+ "grad_norm": 0.08458191901445389,
85140
+ "learning_rate": 4.0317845585417537e-05,
85141
+ "loss": 10.1568,
85142
+ "step": 12092
85143
+ },
85144
+ {
85145
+ "epoch": 2.111562131727118,
85146
+ "grad_norm": 0.09760741144418716,
85147
+ "learning_rate": 4.030316641271352e-05,
85148
+ "loss": 10.1763,
85149
+ "step": 12093
85150
+ },
85151
+ {
85152
+ "epoch": 2.111736720352669,
85153
+ "grad_norm": 0.09326424449682236,
85154
+ "learning_rate": 4.0288489238305695e-05,
85155
+ "loss": 10.1759,
85156
+ "step": 12094
85157
+ },
85158
+ {
85159
+ "epoch": 2.11191130897822,
85160
+ "grad_norm": 0.09094230085611343,
85161
+ "learning_rate": 4.02738140626854e-05,
85162
+ "loss": 10.1611,
85163
+ "step": 12095
85164
+ },
85165
+ {
85166
+ "epoch": 2.1120858976037713,
85167
+ "grad_norm": 0.0930161103606224,
85168
+ "learning_rate": 4.025914088634386e-05,
85169
+ "loss": 10.1525,
85170
+ "step": 12096
85171
+ },
85172
+ {
85173
+ "epoch": 2.112260486229322,
85174
+ "grad_norm": 0.11578415334224701,
85175
+ "learning_rate": 4.024446970977224e-05,
85176
+ "loss": 10.1658,
85177
+ "step": 12097
85178
+ },
85179
+ {
85180
+ "epoch": 2.112435074854873,
85181
+ "grad_norm": 0.10471931099891663,
85182
+ "learning_rate": 4.0229800533461634e-05,
85183
+ "loss": 10.1945,
85184
+ "step": 12098
85185
+ },
85186
+ {
85187
+ "epoch": 2.1126096634804243,
85188
+ "grad_norm": 0.09212930500507355,
85189
+ "learning_rate": 4.0215133357903103e-05,
85190
+ "loss": 10.1944,
85191
+ "step": 12099
85192
+ },
85193
+ {
85194
+ "epoch": 2.112784252105975,
85195
+ "grad_norm": 0.10737401992082596,
85196
+ "learning_rate": 4.0200468183587556e-05,
85197
+ "loss": 10.15,
85198
+ "step": 12100
85199
+ },
85200
+ {
85201
+ "epoch": 2.1129588407315265,
85202
+ "grad_norm": 0.13959762454032898,
85203
+ "learning_rate": 4.018580501100599e-05,
85204
+ "loss": 10.2075,
85205
+ "step": 12101
85206
+ },
85207
+ {
85208
+ "epoch": 2.1131334293570774,
85209
+ "grad_norm": 0.12630780041217804,
85210
+ "learning_rate": 4.0171143840649195e-05,
85211
+ "loss": 10.1969,
85212
+ "step": 12102
85213
+ },
85214
+ {
85215
+ "epoch": 2.1133080179826282,
85216
+ "grad_norm": 0.12824568152427673,
85217
+ "learning_rate": 4.015648467300789e-05,
85218
+ "loss": 10.1806,
85219
+ "step": 12103
85220
+ },
85221
+ {
85222
+ "epoch": 2.1134826066081795,
85223
+ "grad_norm": 0.15853743255138397,
85224
+ "learning_rate": 4.014182750857287e-05,
85225
+ "loss": 10.1749,
85226
+ "step": 12104
85227
+ },
85228
+ {
85229
+ "epoch": 2.1136571952337304,
85230
+ "grad_norm": 0.08385811001062393,
85231
+ "learning_rate": 4.012717234783473e-05,
85232
+ "loss": 10.2112,
85233
+ "step": 12105
85234
+ },
85235
+ {
85236
+ "epoch": 2.1138317838592817,
85237
+ "grad_norm": 0.07948243618011475,
85238
+ "learning_rate": 4.011251919128399e-05,
85239
+ "loss": 10.2028,
85240
+ "step": 12106
85241
+ },
85242
+ {
85243
+ "epoch": 2.1140063724848326,
85244
+ "grad_norm": 0.061461955308914185,
85245
+ "learning_rate": 4.009786803941124e-05,
85246
+ "loss": 10.2174,
85247
+ "step": 12107
85248
+ },
85249
+ {
85250
+ "epoch": 2.1141809611103834,
85251
+ "grad_norm": 0.07199425250291824,
85252
+ "learning_rate": 4.0083218892706866e-05,
85253
+ "loss": 10.2034,
85254
+ "step": 12108
85255
+ },
85256
+ {
85257
+ "epoch": 2.1143555497359348,
85258
+ "grad_norm": 0.057549700140953064,
85259
+ "learning_rate": 4.006857175166123e-05,
85260
+ "loss": 10.2023,
85261
+ "step": 12109
85262
+ },
85263
+ {
85264
+ "epoch": 2.1145301383614856,
85265
+ "grad_norm": 0.059564705938100815,
85266
+ "learning_rate": 4.0053926616764646e-05,
85267
+ "loss": 10.1927,
85268
+ "step": 12110
85269
+ },
85270
+ {
85271
+ "epoch": 2.114704726987037,
85272
+ "grad_norm": 0.07589106261730194,
85273
+ "learning_rate": 4.003928348850734e-05,
85274
+ "loss": 10.2179,
85275
+ "step": 12111
85276
+ },
85277
+ {
85278
+ "epoch": 2.114879315612588,
85279
+ "grad_norm": 0.06109645590186119,
85280
+ "learning_rate": 4.002464236737944e-05,
85281
+ "loss": 10.1874,
85282
+ "step": 12112
85283
+ },
85284
+ {
85285
+ "epoch": 2.115053904238139,
85286
+ "grad_norm": 0.07491088658571243,
85287
+ "learning_rate": 4.001000325387111e-05,
85288
+ "loss": 10.1855,
85289
+ "step": 12113
85290
+ },
85291
+ {
85292
+ "epoch": 2.11522849286369,
85293
+ "grad_norm": 0.06733228266239166,
85294
+ "learning_rate": 3.999536614847236e-05,
85295
+ "loss": 10.2327,
85296
+ "step": 12114
85297
+ },
85298
+ {
85299
+ "epoch": 2.115403081489241,
85300
+ "grad_norm": 0.06513889133930206,
85301
+ "learning_rate": 3.99807310516731e-05,
85302
+ "loss": 10.1934,
85303
+ "step": 12115
85304
+ },
85305
+ {
85306
+ "epoch": 2.115577670114792,
85307
+ "grad_norm": 0.07917138934135437,
85308
+ "learning_rate": 3.996609796396331e-05,
85309
+ "loss": 10.1829,
85310
+ "step": 12116
85311
+ },
85312
+ {
85313
+ "epoch": 2.115752258740343,
85314
+ "grad_norm": 0.07052527368068695,
85315
+ "learning_rate": 3.995146688583279e-05,
85316
+ "loss": 10.1947,
85317
+ "step": 12117
85318
+ },
85319
+ {
85320
+ "epoch": 2.1159268473658943,
85321
+ "grad_norm": 0.08056295663118362,
85322
+ "learning_rate": 3.993683781777125e-05,
85323
+ "loss": 10.1951,
85324
+ "step": 12118
85325
+ },
85326
+ {
85327
+ "epoch": 2.116101435991445,
85328
+ "grad_norm": 0.0723075345158577,
85329
+ "learning_rate": 3.992221076026845e-05,
85330
+ "loss": 10.1876,
85331
+ "step": 12119
85332
+ },
85333
+ {
85334
+ "epoch": 2.116276024616996,
85335
+ "grad_norm": 0.06481803208589554,
85336
+ "learning_rate": 3.9907585713814014e-05,
85337
+ "loss": 10.1714,
85338
+ "step": 12120
85339
+ },
85340
+ {
85341
+ "epoch": 2.1164506132425474,
85342
+ "grad_norm": 0.06949485093355179,
85343
+ "learning_rate": 3.989296267889747e-05,
85344
+ "loss": 10.2084,
85345
+ "step": 12121
85346
+ },
85347
+ {
85348
+ "epoch": 2.116625201868098,
85349
+ "grad_norm": 0.0718442052602768,
85350
+ "learning_rate": 3.987834165600832e-05,
85351
+ "loss": 10.1859,
85352
+ "step": 12122
85353
+ },
85354
+ {
85355
+ "epoch": 2.1167997904936495,
85356
+ "grad_norm": 0.06845533847808838,
85357
+ "learning_rate": 3.986372264563599e-05,
85358
+ "loss": 10.211,
85359
+ "step": 12123
85360
+ },
85361
+ {
85362
+ "epoch": 2.1169743791192004,
85363
+ "grad_norm": 0.061171840876340866,
85364
+ "learning_rate": 3.984910564826981e-05,
85365
+ "loss": 10.1994,
85366
+ "step": 12124
85367
+ },
85368
+ {
85369
+ "epoch": 2.1171489677447513,
85370
+ "grad_norm": 0.08046562224626541,
85371
+ "learning_rate": 3.983449066439914e-05,
85372
+ "loss": 10.2004,
85373
+ "step": 12125
85374
+ },
85375
+ {
85376
+ "epoch": 2.1173235563703026,
85377
+ "grad_norm": 0.06904295831918716,
85378
+ "learning_rate": 3.981987769451315e-05,
85379
+ "loss": 10.187,
85380
+ "step": 12126
85381
+ },
85382
+ {
85383
+ "epoch": 2.1174981449958534,
85384
+ "grad_norm": 0.06990457326173782,
85385
+ "learning_rate": 3.980526673910099e-05,
85386
+ "loss": 10.1951,
85387
+ "step": 12127
85388
+ },
85389
+ {
85390
+ "epoch": 2.1176727336214047,
85391
+ "grad_norm": 0.08386621624231339,
85392
+ "learning_rate": 3.979065779865179e-05,
85393
+ "loss": 10.1843,
85394
+ "step": 12128
85395
+ },
85396
+ {
85397
+ "epoch": 2.1178473222469556,
85398
+ "grad_norm": 0.08025672286748886,
85399
+ "learning_rate": 3.9776050873654546e-05,
85400
+ "loss": 10.1975,
85401
+ "step": 12129
85402
+ },
85403
+ {
85404
+ "epoch": 2.1180219108725065,
85405
+ "grad_norm": 0.09159276634454727,
85406
+ "learning_rate": 3.976144596459818e-05,
85407
+ "loss": 10.1865,
85408
+ "step": 12130
85409
+ },
85410
+ {
85411
+ "epoch": 2.1181964994980578,
85412
+ "grad_norm": 0.06950312107801437,
85413
+ "learning_rate": 3.974684307197164e-05,
85414
+ "loss": 10.2062,
85415
+ "step": 12131
85416
+ },
85417
+ {
85418
+ "epoch": 2.1183710881236086,
85419
+ "grad_norm": 0.08439330011606216,
85420
+ "learning_rate": 3.9732242196263714e-05,
85421
+ "loss": 10.1793,
85422
+ "step": 12132
85423
+ },
85424
+ {
85425
+ "epoch": 2.11854567674916,
85426
+ "grad_norm": 0.0772794708609581,
85427
+ "learning_rate": 3.971764333796316e-05,
85428
+ "loss": 10.1615,
85429
+ "step": 12133
85430
+ },
85431
+ {
85432
+ "epoch": 2.118720265374711,
85433
+ "grad_norm": 0.07983734458684921,
85434
+ "learning_rate": 3.970304649755865e-05,
85435
+ "loss": 10.1871,
85436
+ "step": 12134
85437
+ },
85438
+ {
85439
+ "epoch": 2.1188948540002617,
85440
+ "grad_norm": 0.08243776857852936,
85441
+ "learning_rate": 3.9688451675538805e-05,
85442
+ "loss": 10.1783,
85443
+ "step": 12135
85444
+ },
85445
+ {
85446
+ "epoch": 2.119069442625813,
85447
+ "grad_norm": 0.08946917951107025,
85448
+ "learning_rate": 3.967385887239214e-05,
85449
+ "loss": 10.2031,
85450
+ "step": 12136
85451
+ },
85452
+ {
85453
+ "epoch": 2.119244031251364,
85454
+ "grad_norm": 0.08129903674125671,
85455
+ "learning_rate": 3.96592680886072e-05,
85456
+ "loss": 10.1626,
85457
+ "step": 12137
85458
+ },
85459
+ {
85460
+ "epoch": 2.119418619876915,
85461
+ "grad_norm": 0.09353268891572952,
85462
+ "learning_rate": 3.9644679324672376e-05,
85463
+ "loss": 10.1804,
85464
+ "step": 12138
85465
+ },
85466
+ {
85467
+ "epoch": 2.119593208502466,
85468
+ "grad_norm": 0.08655527234077454,
85469
+ "learning_rate": 3.963009258107596e-05,
85470
+ "loss": 10.1431,
85471
+ "step": 12139
85472
+ },
85473
+ {
85474
+ "epoch": 2.1197677971280173,
85475
+ "grad_norm": 0.10077270865440369,
85476
+ "learning_rate": 3.961550785830631e-05,
85477
+ "loss": 10.1286,
85478
+ "step": 12140
85479
+ },
85480
+ {
85481
+ "epoch": 2.119942385753568,
85482
+ "grad_norm": 0.0872388705611229,
85483
+ "learning_rate": 3.96009251568516e-05,
85484
+ "loss": 10.1999,
85485
+ "step": 12141
85486
+ },
85487
+ {
85488
+ "epoch": 2.120116974379119,
85489
+ "grad_norm": 0.09458310902118683,
85490
+ "learning_rate": 3.9586344477199936e-05,
85491
+ "loss": 10.1956,
85492
+ "step": 12142
85493
+ },
85494
+ {
85495
+ "epoch": 2.1202915630046704,
85496
+ "grad_norm": 0.07980851083993912,
85497
+ "learning_rate": 3.957176581983946e-05,
85498
+ "loss": 10.1667,
85499
+ "step": 12143
85500
+ },
85501
+ {
85502
+ "epoch": 2.1204661516302212,
85503
+ "grad_norm": 0.1044834777712822,
85504
+ "learning_rate": 3.9557189185258145e-05,
85505
+ "loss": 10.1456,
85506
+ "step": 12144
85507
+ },
85508
+ {
85509
+ "epoch": 2.1206407402557725,
85510
+ "grad_norm": 0.0950714498758316,
85511
+ "learning_rate": 3.9542614573943936e-05,
85512
+ "loss": 10.206,
85513
+ "step": 12145
85514
+ },
85515
+ {
85516
+ "epoch": 2.1208153288813234,
85517
+ "grad_norm": 0.10635887086391449,
85518
+ "learning_rate": 3.95280419863847e-05,
85519
+ "loss": 10.2076,
85520
+ "step": 12146
85521
+ },
85522
+ {
85523
+ "epoch": 2.1209899175068743,
85524
+ "grad_norm": 0.09964367002248764,
85525
+ "learning_rate": 3.951347142306825e-05,
85526
+ "loss": 10.2017,
85527
+ "step": 12147
85528
+ },
85529
+ {
85530
+ "epoch": 2.1211645061324256,
85531
+ "grad_norm": 0.09433751553297043,
85532
+ "learning_rate": 3.949890288448227e-05,
85533
+ "loss": 10.18,
85534
+ "step": 12148
85535
+ },
85536
+ {
85537
+ "epoch": 2.1213390947579764,
85538
+ "grad_norm": 0.1215486153960228,
85539
+ "learning_rate": 3.9484336371114505e-05,
85540
+ "loss": 10.1564,
85541
+ "step": 12149
85542
+ },
85543
+ {
85544
+ "epoch": 2.1215136833835277,
85545
+ "grad_norm": 0.11912861466407776,
85546
+ "learning_rate": 3.94697718834525e-05,
85547
+ "loss": 10.2093,
85548
+ "step": 12150
85549
+ },
85550
+ {
85551
+ "epoch": 2.1216882720090786,
85552
+ "grad_norm": 0.12933844327926636,
85553
+ "learning_rate": 3.945520942198384e-05,
85554
+ "loss": 10.1699,
85555
+ "step": 12151
85556
+ },
85557
+ {
85558
+ "epoch": 2.1218628606346295,
85559
+ "grad_norm": 0.13629023730754852,
85560
+ "learning_rate": 3.944064898719596e-05,
85561
+ "loss": 10.1906,
85562
+ "step": 12152
85563
+ },
85564
+ {
85565
+ "epoch": 2.122037449260181,
85566
+ "grad_norm": 0.1669248640537262,
85567
+ "learning_rate": 3.942609057957623e-05,
85568
+ "loss": 10.1993,
85569
+ "step": 12153
85570
+ },
85571
+ {
85572
+ "epoch": 2.1222120378857317,
85573
+ "grad_norm": 0.1659700870513916,
85574
+ "learning_rate": 3.9411534199612035e-05,
85575
+ "loss": 10.2014,
85576
+ "step": 12154
85577
+ },
85578
+ {
85579
+ "epoch": 2.122386626511283,
85580
+ "grad_norm": 0.08064280450344086,
85581
+ "learning_rate": 3.9396979847790606e-05,
85582
+ "loss": 10.2016,
85583
+ "step": 12155
85584
+ },
85585
+ {
85586
+ "epoch": 2.122561215136834,
85587
+ "grad_norm": 0.07233735173940659,
85588
+ "learning_rate": 3.938242752459914e-05,
85589
+ "loss": 10.2024,
85590
+ "step": 12156
85591
+ },
85592
+ {
85593
+ "epoch": 2.1227358037623847,
85594
+ "grad_norm": 0.06772670149803162,
85595
+ "learning_rate": 3.9367877230524763e-05,
85596
+ "loss": 10.1999,
85597
+ "step": 12157
85598
+ },
85599
+ {
85600
+ "epoch": 2.122910392387936,
85601
+ "grad_norm": 0.07464984804391861,
85602
+ "learning_rate": 3.9353328966054525e-05,
85603
+ "loss": 10.1917,
85604
+ "step": 12158
85605
+ },
85606
+ {
85607
+ "epoch": 2.123084981013487,
85608
+ "grad_norm": 0.07384287565946579,
85609
+ "learning_rate": 3.9338782731675396e-05,
85610
+ "loss": 10.166,
85611
+ "step": 12159
85612
+ },
85613
+ {
85614
+ "epoch": 2.123259569639038,
85615
+ "grad_norm": 0.07974036782979965,
85616
+ "learning_rate": 3.932423852787436e-05,
85617
+ "loss": 10.2038,
85618
+ "step": 12160
85619
+ },
85620
+ {
85621
+ "epoch": 2.123434158264589,
85622
+ "grad_norm": 0.06593088805675507,
85623
+ "learning_rate": 3.9309696355138224e-05,
85624
+ "loss": 10.188,
85625
+ "step": 12161
85626
+ },
85627
+ {
85628
+ "epoch": 2.12360874689014,
85629
+ "grad_norm": 0.07363354414701462,
85630
+ "learning_rate": 3.9295156213953755e-05,
85631
+ "loss": 10.2028,
85632
+ "step": 12162
85633
+ },
85634
+ {
85635
+ "epoch": 2.123783335515691,
85636
+ "grad_norm": 0.06222280487418175,
85637
+ "learning_rate": 3.928061810480773e-05,
85638
+ "loss": 10.2054,
85639
+ "step": 12163
85640
+ },
85641
+ {
85642
+ "epoch": 2.123957924141242,
85643
+ "grad_norm": 0.07153739780187607,
85644
+ "learning_rate": 3.926608202818678e-05,
85645
+ "loss": 10.1589,
85646
+ "step": 12164
85647
+ },
85648
+ {
85649
+ "epoch": 2.1241325127667934,
85650
+ "grad_norm": 0.06408017873764038,
85651
+ "learning_rate": 3.925154798457743e-05,
85652
+ "loss": 10.1642,
85653
+ "step": 12165
85654
+ },
85655
+ {
85656
+ "epoch": 2.1243071013923442,
85657
+ "grad_norm": 0.07150106877088547,
85658
+ "learning_rate": 3.9237015974466274e-05,
85659
+ "loss": 10.2018,
85660
+ "step": 12166
85661
+ },
85662
+ {
85663
+ "epoch": 2.1244816900178956,
85664
+ "grad_norm": 0.07772203534841537,
85665
+ "learning_rate": 3.922248599833973e-05,
85666
+ "loss": 10.2183,
85667
+ "step": 12167
85668
+ },
85669
+ {
85670
+ "epoch": 2.1246562786434464,
85671
+ "grad_norm": 0.07026375085115433,
85672
+ "learning_rate": 3.9207958056684156e-05,
85673
+ "loss": 10.1869,
85674
+ "step": 12168
85675
+ },
85676
+ {
85677
+ "epoch": 2.1248308672689973,
85678
+ "grad_norm": 0.06554341316223145,
85679
+ "learning_rate": 3.919343214998589e-05,
85680
+ "loss": 10.1662,
85681
+ "step": 12169
85682
+ },
85683
+ {
85684
+ "epoch": 2.1250054558945486,
85685
+ "grad_norm": 0.0778052881360054,
85686
+ "learning_rate": 3.917890827873114e-05,
85687
+ "loss": 10.1809,
85688
+ "step": 12170
85689
+ },
85690
+ {
85691
+ "epoch": 2.1251800445200995,
85692
+ "grad_norm": 0.07326879352331161,
85693
+ "learning_rate": 3.916438644340606e-05,
85694
+ "loss": 10.1834,
85695
+ "step": 12171
85696
+ },
85697
+ {
85698
+ "epoch": 2.1253546331456508,
85699
+ "grad_norm": 0.06631984561681747,
85700
+ "learning_rate": 3.914986664449685e-05,
85701
+ "loss": 10.201,
85702
+ "step": 12172
85703
+ },
85704
+ {
85705
+ "epoch": 2.1255292217712016,
85706
+ "grad_norm": 0.07268417626619339,
85707
+ "learning_rate": 3.9135348882489464e-05,
85708
+ "loss": 10.1876,
85709
+ "step": 12173
85710
+ },
85711
+ {
85712
+ "epoch": 2.1257038103967525,
85713
+ "grad_norm": 0.0699954554438591,
85714
+ "learning_rate": 3.912083315786986e-05,
85715
+ "loss": 10.2053,
85716
+ "step": 12174
85717
+ },
85718
+ {
85719
+ "epoch": 2.125878399022304,
85720
+ "grad_norm": 0.07793479412794113,
85721
+ "learning_rate": 3.910631947112402e-05,
85722
+ "loss": 10.2021,
85723
+ "step": 12175
85724
+ },
85725
+ {
85726
+ "epoch": 2.1260529876478547,
85727
+ "grad_norm": 0.07948178797960281,
85728
+ "learning_rate": 3.9091807822737715e-05,
85729
+ "loss": 10.1926,
85730
+ "step": 12176
85731
+ },
85732
+ {
85733
+ "epoch": 2.126227576273406,
85734
+ "grad_norm": 0.07032502442598343,
85735
+ "learning_rate": 3.90772982131967e-05,
85736
+ "loss": 10.1882,
85737
+ "step": 12177
85738
+ },
85739
+ {
85740
+ "epoch": 2.126402164898957,
85741
+ "grad_norm": 0.07635524123907089,
85742
+ "learning_rate": 3.9062790642986756e-05,
85743
+ "loss": 10.1693,
85744
+ "step": 12178
85745
+ },
85746
+ {
85747
+ "epoch": 2.1265767535245077,
85748
+ "grad_norm": 0.07285407930612564,
85749
+ "learning_rate": 3.904828511259342e-05,
85750
+ "loss": 10.1681,
85751
+ "step": 12179
85752
+ },
85753
+ {
85754
+ "epoch": 2.126751342150059,
85755
+ "grad_norm": 0.08028126507997513,
85756
+ "learning_rate": 3.903378162250223e-05,
85757
+ "loss": 10.1616,
85758
+ "step": 12180
85759
+ },
85760
+ {
85761
+ "epoch": 2.12692593077561,
85762
+ "grad_norm": 0.07187854498624802,
85763
+ "learning_rate": 3.901928017319877e-05,
85764
+ "loss": 10.2225,
85765
+ "step": 12181
85766
+ },
85767
+ {
85768
+ "epoch": 2.127100519401161,
85769
+ "grad_norm": 0.08094718307256699,
85770
+ "learning_rate": 3.900478076516843e-05,
85771
+ "loss": 10.1761,
85772
+ "step": 12182
85773
+ },
85774
+ {
85775
+ "epoch": 2.127275108026712,
85776
+ "grad_norm": 0.07464583963155746,
85777
+ "learning_rate": 3.89902833988965e-05,
85778
+ "loss": 10.157,
85779
+ "step": 12183
85780
+ },
85781
+ {
85782
+ "epoch": 2.127449696652263,
85783
+ "grad_norm": 0.092259481549263,
85784
+ "learning_rate": 3.8975788074868355e-05,
85785
+ "loss": 10.1553,
85786
+ "step": 12184
85787
+ },
85788
+ {
85789
+ "epoch": 2.127624285277814,
85790
+ "grad_norm": 0.08884384483098984,
85791
+ "learning_rate": 3.896129479356918e-05,
85792
+ "loss": 10.1686,
85793
+ "step": 12185
85794
+ },
85795
+ {
85796
+ "epoch": 2.127798873903365,
85797
+ "grad_norm": 0.08098118752241135,
85798
+ "learning_rate": 3.894680355548409e-05,
85799
+ "loss": 10.1768,
85800
+ "step": 12186
85801
+ },
85802
+ {
85803
+ "epoch": 2.1279734625289164,
85804
+ "grad_norm": 0.08541423827409744,
85805
+ "learning_rate": 3.8932314361098234e-05,
85806
+ "loss": 10.1807,
85807
+ "step": 12187
85808
+ },
85809
+ {
85810
+ "epoch": 2.1281480511544673,
85811
+ "grad_norm": 0.08237408101558685,
85812
+ "learning_rate": 3.8917827210896576e-05,
85813
+ "loss": 10.2231,
85814
+ "step": 12188
85815
+ },
85816
+ {
85817
+ "epoch": 2.128322639780018,
85818
+ "grad_norm": 0.0853203609585762,
85819
+ "learning_rate": 3.8903342105364074e-05,
85820
+ "loss": 10.1574,
85821
+ "step": 12189
85822
+ },
85823
+ {
85824
+ "epoch": 2.1284972284055694,
85825
+ "grad_norm": 0.09032057970762253,
85826
+ "learning_rate": 3.88888590449856e-05,
85827
+ "loss": 10.1897,
85828
+ "step": 12190
85829
+ },
85830
+ {
85831
+ "epoch": 2.1286718170311203,
85832
+ "grad_norm": 0.08539246767759323,
85833
+ "learning_rate": 3.887437803024596e-05,
85834
+ "loss": 10.1962,
85835
+ "step": 12191
85836
+ },
85837
+ {
85838
+ "epoch": 2.1288464056566716,
85839
+ "grad_norm": 0.07834813743829727,
85840
+ "learning_rate": 3.885989906162987e-05,
85841
+ "loss": 10.1654,
85842
+ "step": 12192
85843
+ },
85844
+ {
85845
+ "epoch": 2.1290209942822225,
85846
+ "grad_norm": 0.10517655313014984,
85847
+ "learning_rate": 3.8845422139622044e-05,
85848
+ "loss": 10.194,
85849
+ "step": 12193
85850
+ },
85851
+ {
85852
+ "epoch": 2.1291955829077738,
85853
+ "grad_norm": 0.09640742093324661,
85854
+ "learning_rate": 3.883094726470706e-05,
85855
+ "loss": 10.1859,
85856
+ "step": 12194
85857
+ },
85858
+ {
85859
+ "epoch": 2.1293701715333246,
85860
+ "grad_norm": 0.1057123914361,
85861
+ "learning_rate": 3.881647443736943e-05,
85862
+ "loss": 10.192,
85863
+ "step": 12195
85864
+ },
85865
+ {
85866
+ "epoch": 2.1295447601588755,
85867
+ "grad_norm": 0.11975934356451035,
85868
+ "learning_rate": 3.880200365809368e-05,
85869
+ "loss": 10.1673,
85870
+ "step": 12196
85871
+ },
85872
+ {
85873
+ "epoch": 2.129719348784427,
85874
+ "grad_norm": 0.10686618089675903,
85875
+ "learning_rate": 3.8787534927364163e-05,
85876
+ "loss": 10.1587,
85877
+ "step": 12197
85878
+ },
85879
+ {
85880
+ "epoch": 2.1298939374099777,
85881
+ "grad_norm": 0.10970401763916016,
85882
+ "learning_rate": 3.877306824566518e-05,
85883
+ "loss": 10.1614,
85884
+ "step": 12198
85885
+ },
85886
+ {
85887
+ "epoch": 2.130068526035529,
85888
+ "grad_norm": 0.11783254146575928,
85889
+ "learning_rate": 3.875860361348106e-05,
85890
+ "loss": 10.1962,
85891
+ "step": 12199
85892
+ },
85893
+ {
85894
+ "epoch": 2.13024311466108,
85895
+ "grad_norm": 0.13357044756412506,
85896
+ "learning_rate": 3.874414103129594e-05,
85897
+ "loss": 10.1694,
85898
+ "step": 12200
85899
+ },
85900
+ {
85901
+ "epoch": 2.13024311466108,
85902
+ "eval_loss": 10.168825149536133,
85903
+ "eval_runtime": 0.7393,
85904
+ "eval_samples_per_second": 312.45,
85905
+ "eval_steps_per_second": 156.901,
85906
+ "step": 12200
85907
  }
85908
  ],
85909
  "logging_steps": 1,
 
85918
  "early_stopping_threshold": 0.0
85919
  },
85920
  "attributes": {
85921
+ "early_stopping_patience_counter": 1
85922
  }
85923
  },
85924
  "TrainerControl": {
 
85932
  "attributes": {}
85933
  }
85934
  },
85935
+ "total_flos": 662064779231232.0,
85936
  "train_batch_size": 2,
85937
  "trial_name": null,
85938
  "trial_params": null