error577 commited on
Commit
5f6cb50
·
verified ·
1 Parent(s): 428fb66

Training in progress, step 2000, checkpoint

Browse files
last-checkpoint/adapter_model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:e1a799e74c1dd95dcd3ee78f2136cecfc9e88fc4e0acb0d2789c8def21a8afac
3
  size 194563400
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:ae5ce3370d0f3be3b7aee72d8eba5a13c5dc3ae2b6402913d4fded455cbc44b4
3
  size 194563400
last-checkpoint/optimizer.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:346c4495694a32669c1cf8d63cc0c3cd87b6143f976dc99ebf7781f9945d2d86
3
  size 100255938
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:19d9412a30455d0870817721536561234671ed171fb4e655bf6f8ac27b81efb8
3
  size 100255938
last-checkpoint/rng_state.pth CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:0f34bccbd1096797d533f13188fbb8f1963f15b9dc05ae6245155219a97d1180
3
  size 14244
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:2ef2befa732165a3e9b453d60c40e1754609eb5fb33252e30e411fa6a3e61275
3
  size 14244
last-checkpoint/scheduler.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:c08cf5fc0f332d2f0cc543c5a6ae5f826afc70a263f77ee1f827d99934496b57
3
  size 1064
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:22b7721b56fbbf10280d42efae4c6e07845811026f480bcd14395aadc7dbf18f
3
  size 1064
last-checkpoint/trainer_state.json CHANGED
@@ -1,9 +1,9 @@
1
  {
2
  "best_metric": 0.8067082166671753,
3
  "best_model_checkpoint": "miner_id_24/checkpoint-400",
4
- "epoch": 0.19687192387618943,
5
  "eval_steps": 200,
6
- "global_step": 1800,
7
  "is_hyper_param_search": false,
8
  "is_local_process_zero": true,
9
  "is_world_process_zero": true,
@@ -12687,6 +12687,1414 @@
12687
  "eval_samples_per_second": 17.484,
12688
  "eval_steps_per_second": 4.371,
12689
  "step": 1800
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
12690
  }
12691
  ],
12692
  "logging_steps": 1,
@@ -12701,7 +14109,7 @@
12701
  "early_stopping_threshold": 0.0
12702
  },
12703
  "attributes": {
12704
- "early_stopping_patience_counter": 2
12705
  }
12706
  },
12707
  "TrainerControl": {
@@ -12715,7 +14123,7 @@
12715
  "attributes": {}
12716
  }
12717
  },
12718
- "total_flos": 1.4734986467239526e+17,
12719
  "train_batch_size": 4,
12720
  "trial_name": null,
12721
  "trial_params": null
 
1
  {
2
  "best_metric": 0.8067082166671753,
3
  "best_model_checkpoint": "miner_id_24/checkpoint-400",
4
+ "epoch": 0.21874658208465492,
5
  "eval_steps": 200,
6
+ "global_step": 2000,
7
  "is_hyper_param_search": false,
8
  "is_local_process_zero": true,
9
  "is_world_process_zero": true,
 
12687
  "eval_samples_per_second": 17.484,
12688
  "eval_steps_per_second": 4.371,
12689
  "step": 1800
12690
+ },
12691
+ {
12692
+ "epoch": 0.19698129716723176,
12693
+ "grad_norm": 1.4021943807601929,
12694
+ "learning_rate": 0.00019794531814889158,
12695
+ "loss": 0.7228,
12696
+ "step": 1801
12697
+ },
12698
+ {
12699
+ "epoch": 0.19709067045827408,
12700
+ "grad_norm": 1.8871946334838867,
12701
+ "learning_rate": 0.00019794300512044005,
12702
+ "loss": 0.8473,
12703
+ "step": 1802
12704
+ },
12705
+ {
12706
+ "epoch": 0.1972000437493164,
12707
+ "grad_norm": 1.2455295324325562,
12708
+ "learning_rate": 0.000197940690804321,
12709
+ "loss": 0.5785,
12710
+ "step": 1803
12711
+ },
12712
+ {
12713
+ "epoch": 0.19730941704035873,
12714
+ "grad_norm": 1.465497374534607,
12715
+ "learning_rate": 0.0001979383752005648,
12716
+ "loss": 0.678,
12717
+ "step": 1804
12718
+ },
12719
+ {
12720
+ "epoch": 0.19741879033140108,
12721
+ "grad_norm": 1.1012476682662964,
12722
+ "learning_rate": 0.000197936058309202,
12723
+ "loss": 0.547,
12724
+ "step": 1805
12725
+ },
12726
+ {
12727
+ "epoch": 0.1975281636224434,
12728
+ "grad_norm": 1.5668996572494507,
12729
+ "learning_rate": 0.00019793374013026292,
12730
+ "loss": 0.5691,
12731
+ "step": 1806
12732
+ },
12733
+ {
12734
+ "epoch": 0.19763753691348573,
12735
+ "grad_norm": 1.4474197626113892,
12736
+ "learning_rate": 0.00019793142066377816,
12737
+ "loss": 0.8793,
12738
+ "step": 1807
12739
+ },
12740
+ {
12741
+ "epoch": 0.19774691020452806,
12742
+ "grad_norm": 1.122884750366211,
12743
+ "learning_rate": 0.00019792909990977819,
12744
+ "loss": 0.9797,
12745
+ "step": 1808
12746
+ },
12747
+ {
12748
+ "epoch": 0.19785628349557038,
12749
+ "grad_norm": 1.5564377307891846,
12750
+ "learning_rate": 0.00019792677786829348,
12751
+ "loss": 0.8692,
12752
+ "step": 1809
12753
+ },
12754
+ {
12755
+ "epoch": 0.1979656567866127,
12756
+ "grad_norm": 1.291120171546936,
12757
+ "learning_rate": 0.00019792445453935457,
12758
+ "loss": 0.757,
12759
+ "step": 1810
12760
+ },
12761
+ {
12762
+ "epoch": 0.19807503007765503,
12763
+ "grad_norm": 1.1214467287063599,
12764
+ "learning_rate": 0.00019792212992299205,
12765
+ "loss": 0.947,
12766
+ "step": 1811
12767
+ },
12768
+ {
12769
+ "epoch": 0.19818440336869736,
12770
+ "grad_norm": 1.2873951196670532,
12771
+ "learning_rate": 0.0001979198040192364,
12772
+ "loss": 0.9376,
12773
+ "step": 1812
12774
+ },
12775
+ {
12776
+ "epoch": 0.19829377665973968,
12777
+ "grad_norm": 1.1635631322860718,
12778
+ "learning_rate": 0.00019791747682811829,
12779
+ "loss": 0.8224,
12780
+ "step": 1813
12781
+ },
12782
+ {
12783
+ "epoch": 0.198403149950782,
12784
+ "grad_norm": 1.4146859645843506,
12785
+ "learning_rate": 0.00019791514834966822,
12786
+ "loss": 0.8778,
12787
+ "step": 1814
12788
+ },
12789
+ {
12790
+ "epoch": 0.19851252324182433,
12791
+ "grad_norm": 1.3835080862045288,
12792
+ "learning_rate": 0.0001979128185839169,
12793
+ "loss": 0.6621,
12794
+ "step": 1815
12795
+ },
12796
+ {
12797
+ "epoch": 0.1986218965328667,
12798
+ "grad_norm": 1.300658106803894,
12799
+ "learning_rate": 0.0001979104875308949,
12800
+ "loss": 0.9148,
12801
+ "step": 1816
12802
+ },
12803
+ {
12804
+ "epoch": 0.198731269823909,
12805
+ "grad_norm": 1.400499701499939,
12806
+ "learning_rate": 0.00019790815519063286,
12807
+ "loss": 0.7064,
12808
+ "step": 1817
12809
+ },
12810
+ {
12811
+ "epoch": 0.19884064311495134,
12812
+ "grad_norm": 1.6373800039291382,
12813
+ "learning_rate": 0.0001979058215631615,
12814
+ "loss": 0.871,
12815
+ "step": 1818
12816
+ },
12817
+ {
12818
+ "epoch": 0.19895001640599366,
12819
+ "grad_norm": 1.3498140573501587,
12820
+ "learning_rate": 0.00019790348664851142,
12821
+ "loss": 0.9032,
12822
+ "step": 1819
12823
+ },
12824
+ {
12825
+ "epoch": 0.199059389697036,
12826
+ "grad_norm": 1.3068406581878662,
12827
+ "learning_rate": 0.0001979011504467134,
12828
+ "loss": 1.1657,
12829
+ "step": 1820
12830
+ },
12831
+ {
12832
+ "epoch": 0.1991687629880783,
12833
+ "grad_norm": 1.180799126625061,
12834
+ "learning_rate": 0.00019789881295779812,
12835
+ "loss": 0.812,
12836
+ "step": 1821
12837
+ },
12838
+ {
12839
+ "epoch": 0.19927813627912064,
12840
+ "grad_norm": 1.5903313159942627,
12841
+ "learning_rate": 0.00019789647418179626,
12842
+ "loss": 1.0251,
12843
+ "step": 1822
12844
+ },
12845
+ {
12846
+ "epoch": 0.19938750957016296,
12847
+ "grad_norm": 1.6564674377441406,
12848
+ "learning_rate": 0.00019789413411873868,
12849
+ "loss": 0.7671,
12850
+ "step": 1823
12851
+ },
12852
+ {
12853
+ "epoch": 0.1994968828612053,
12854
+ "grad_norm": 1.4677233695983887,
12855
+ "learning_rate": 0.00019789179276865604,
12856
+ "loss": 0.9573,
12857
+ "step": 1824
12858
+ },
12859
+ {
12860
+ "epoch": 0.1996062561522476,
12861
+ "grad_norm": 1.4251912832260132,
12862
+ "learning_rate": 0.00019788945013157915,
12863
+ "loss": 1.0943,
12864
+ "step": 1825
12865
+ },
12866
+ {
12867
+ "epoch": 0.19971562944328994,
12868
+ "grad_norm": 1.3189116716384888,
12869
+ "learning_rate": 0.00019788710620753886,
12870
+ "loss": 0.8588,
12871
+ "step": 1826
12872
+ },
12873
+ {
12874
+ "epoch": 0.19982500273433226,
12875
+ "grad_norm": 1.8742094039916992,
12876
+ "learning_rate": 0.00019788476099656592,
12877
+ "loss": 0.693,
12878
+ "step": 1827
12879
+ },
12880
+ {
12881
+ "epoch": 0.19993437602537462,
12882
+ "grad_norm": 1.65883469581604,
12883
+ "learning_rate": 0.0001978824144986912,
12884
+ "loss": 1.2265,
12885
+ "step": 1828
12886
+ },
12887
+ {
12888
+ "epoch": 0.20004374931641694,
12889
+ "grad_norm": 1.3804742097854614,
12890
+ "learning_rate": 0.00019788006671394553,
12891
+ "loss": 1.0164,
12892
+ "step": 1829
12893
+ },
12894
+ {
12895
+ "epoch": 0.20015312260745927,
12896
+ "grad_norm": 1.2358118295669556,
12897
+ "learning_rate": 0.0001978777176423598,
12898
+ "loss": 1.0375,
12899
+ "step": 1830
12900
+ },
12901
+ {
12902
+ "epoch": 0.2002624958985016,
12903
+ "grad_norm": 1.4796088933944702,
12904
+ "learning_rate": 0.00019787536728396488,
12905
+ "loss": 1.0072,
12906
+ "step": 1831
12907
+ },
12908
+ {
12909
+ "epoch": 0.20037186918954392,
12910
+ "grad_norm": 1.7988861799240112,
12911
+ "learning_rate": 0.00019787301563879166,
12912
+ "loss": 0.8777,
12913
+ "step": 1832
12914
+ },
12915
+ {
12916
+ "epoch": 0.20048124248058624,
12917
+ "grad_norm": 1.0634812116622925,
12918
+ "learning_rate": 0.00019787066270687107,
12919
+ "loss": 0.9761,
12920
+ "step": 1833
12921
+ },
12922
+ {
12923
+ "epoch": 0.20059061577162857,
12924
+ "grad_norm": 1.1003047227859497,
12925
+ "learning_rate": 0.00019786830848823406,
12926
+ "loss": 1.0732,
12927
+ "step": 1834
12928
+ },
12929
+ {
12930
+ "epoch": 0.2006999890626709,
12931
+ "grad_norm": 1.5533183813095093,
12932
+ "learning_rate": 0.00019786595298291153,
12933
+ "loss": 1.0208,
12934
+ "step": 1835
12935
+ },
12936
+ {
12937
+ "epoch": 0.20080936235371322,
12938
+ "grad_norm": 1.3409922122955322,
12939
+ "learning_rate": 0.0001978635961909345,
12940
+ "loss": 0.9008,
12941
+ "step": 1836
12942
+ },
12943
+ {
12944
+ "epoch": 0.20091873564475554,
12945
+ "grad_norm": 1.501728892326355,
12946
+ "learning_rate": 0.00019786123811233394,
12947
+ "loss": 0.8785,
12948
+ "step": 1837
12949
+ },
12950
+ {
12951
+ "epoch": 0.20102810893579787,
12952
+ "grad_norm": 1.7505358457565308,
12953
+ "learning_rate": 0.00019785887874714084,
12954
+ "loss": 0.9599,
12955
+ "step": 1838
12956
+ },
12957
+ {
12958
+ "epoch": 0.2011374822268402,
12959
+ "grad_norm": 1.704225778579712,
12960
+ "learning_rate": 0.00019785651809538622,
12961
+ "loss": 0.9095,
12962
+ "step": 1839
12963
+ },
12964
+ {
12965
+ "epoch": 0.20124685551788254,
12966
+ "grad_norm": 1.6782550811767578,
12967
+ "learning_rate": 0.00019785415615710113,
12968
+ "loss": 0.7005,
12969
+ "step": 1840
12970
+ },
12971
+ {
12972
+ "epoch": 0.20135622880892487,
12973
+ "grad_norm": 1.8473103046417236,
12974
+ "learning_rate": 0.00019785179293231665,
12975
+ "loss": 1.0768,
12976
+ "step": 1841
12977
+ },
12978
+ {
12979
+ "epoch": 0.2014656020999672,
12980
+ "grad_norm": 1.0813006162643433,
12981
+ "learning_rate": 0.00019784942842106378,
12982
+ "loss": 0.83,
12983
+ "step": 1842
12984
+ },
12985
+ {
12986
+ "epoch": 0.20157497539100952,
12987
+ "grad_norm": 1.1442137956619263,
12988
+ "learning_rate": 0.00019784706262337363,
12989
+ "loss": 0.9256,
12990
+ "step": 1843
12991
+ },
12992
+ {
12993
+ "epoch": 0.20168434868205184,
12994
+ "grad_norm": 1.3669148683547974,
12995
+ "learning_rate": 0.00019784469553927735,
12996
+ "loss": 0.9326,
12997
+ "step": 1844
12998
+ },
12999
+ {
13000
+ "epoch": 0.20179372197309417,
13001
+ "grad_norm": 1.330646276473999,
13002
+ "learning_rate": 0.00019784232716880598,
13003
+ "loss": 0.8144,
13004
+ "step": 1845
13005
+ },
13006
+ {
13007
+ "epoch": 0.2019030952641365,
13008
+ "grad_norm": 1.097621202468872,
13009
+ "learning_rate": 0.00019783995751199073,
13010
+ "loss": 0.9256,
13011
+ "step": 1846
13012
+ },
13013
+ {
13014
+ "epoch": 0.20201246855517882,
13015
+ "grad_norm": 1.2265665531158447,
13016
+ "learning_rate": 0.00019783758656886273,
13017
+ "loss": 0.7935,
13018
+ "step": 1847
13019
+ },
13020
+ {
13021
+ "epoch": 0.20212184184622115,
13022
+ "grad_norm": 1.399332046508789,
13023
+ "learning_rate": 0.00019783521433945313,
13024
+ "loss": 0.7991,
13025
+ "step": 1848
13026
+ },
13027
+ {
13028
+ "epoch": 0.20223121513726347,
13029
+ "grad_norm": 1.281569242477417,
13030
+ "learning_rate": 0.00019783284082379313,
13031
+ "loss": 1.0555,
13032
+ "step": 1849
13033
+ },
13034
+ {
13035
+ "epoch": 0.2023405884283058,
13036
+ "grad_norm": 1.55947744846344,
13037
+ "learning_rate": 0.00019783046602191398,
13038
+ "loss": 0.6797,
13039
+ "step": 1850
13040
+ },
13041
+ {
13042
+ "epoch": 0.20244996171934815,
13043
+ "grad_norm": 1.6152596473693848,
13044
+ "learning_rate": 0.00019782808993384685,
13045
+ "loss": 0.7403,
13046
+ "step": 1851
13047
+ },
13048
+ {
13049
+ "epoch": 0.20255933501039047,
13050
+ "grad_norm": 1.3018587827682495,
13051
+ "learning_rate": 0.00019782571255962296,
13052
+ "loss": 0.9458,
13053
+ "step": 1852
13054
+ },
13055
+ {
13056
+ "epoch": 0.2026687083014328,
13057
+ "grad_norm": 1.526545524597168,
13058
+ "learning_rate": 0.00019782333389927362,
13059
+ "loss": 0.9196,
13060
+ "step": 1853
13061
+ },
13062
+ {
13063
+ "epoch": 0.20277808159247512,
13064
+ "grad_norm": 1.5549616813659668,
13065
+ "learning_rate": 0.00019782095395283006,
13066
+ "loss": 1.122,
13067
+ "step": 1854
13068
+ },
13069
+ {
13070
+ "epoch": 0.20288745488351745,
13071
+ "grad_norm": 1.0808331966400146,
13072
+ "learning_rate": 0.00019781857272032364,
13073
+ "loss": 0.9211,
13074
+ "step": 1855
13075
+ },
13076
+ {
13077
+ "epoch": 0.20299682817455977,
13078
+ "grad_norm": 1.2416456937789917,
13079
+ "learning_rate": 0.00019781619020178557,
13080
+ "loss": 0.8758,
13081
+ "step": 1856
13082
+ },
13083
+ {
13084
+ "epoch": 0.2031062014656021,
13085
+ "grad_norm": 1.3113216161727905,
13086
+ "learning_rate": 0.0001978138063972472,
13087
+ "loss": 1.0674,
13088
+ "step": 1857
13089
+ },
13090
+ {
13091
+ "epoch": 0.20321557475664442,
13092
+ "grad_norm": 1.9503642320632935,
13093
+ "learning_rate": 0.0001978114213067399,
13094
+ "loss": 1.0098,
13095
+ "step": 1858
13096
+ },
13097
+ {
13098
+ "epoch": 0.20332494804768675,
13099
+ "grad_norm": 2.033064126968384,
13100
+ "learning_rate": 0.00019780903493029506,
13101
+ "loss": 0.8291,
13102
+ "step": 1859
13103
+ },
13104
+ {
13105
+ "epoch": 0.20343432133872907,
13106
+ "grad_norm": 1.2019623517990112,
13107
+ "learning_rate": 0.000197806647267944,
13108
+ "loss": 0.6195,
13109
+ "step": 1860
13110
+ },
13111
+ {
13112
+ "epoch": 0.2035436946297714,
13113
+ "grad_norm": 1.4954770803451538,
13114
+ "learning_rate": 0.00019780425831971807,
13115
+ "loss": 0.8931,
13116
+ "step": 1861
13117
+ },
13118
+ {
13119
+ "epoch": 0.20365306792081372,
13120
+ "grad_norm": 1.4848346710205078,
13121
+ "learning_rate": 0.00019780186808564875,
13122
+ "loss": 1.2401,
13123
+ "step": 1862
13124
+ },
13125
+ {
13126
+ "epoch": 0.20376244121185608,
13127
+ "grad_norm": 1.5645561218261719,
13128
+ "learning_rate": 0.00019779947656576745,
13129
+ "loss": 0.7957,
13130
+ "step": 1863
13131
+ },
13132
+ {
13133
+ "epoch": 0.2038718145028984,
13134
+ "grad_norm": 1.3307273387908936,
13135
+ "learning_rate": 0.00019779708376010559,
13136
+ "loss": 0.901,
13137
+ "step": 1864
13138
+ },
13139
+ {
13140
+ "epoch": 0.20398118779394073,
13141
+ "grad_norm": 1.3294285535812378,
13142
+ "learning_rate": 0.00019779468966869465,
13143
+ "loss": 0.9492,
13144
+ "step": 1865
13145
+ },
13146
+ {
13147
+ "epoch": 0.20409056108498305,
13148
+ "grad_norm": 1.287659764289856,
13149
+ "learning_rate": 0.00019779229429156613,
13150
+ "loss": 0.7649,
13151
+ "step": 1866
13152
+ },
13153
+ {
13154
+ "epoch": 0.20419993437602538,
13155
+ "grad_norm": 1.1203495264053345,
13156
+ "learning_rate": 0.00019778989762875144,
13157
+ "loss": 0.8283,
13158
+ "step": 1867
13159
+ },
13160
+ {
13161
+ "epoch": 0.2043093076670677,
13162
+ "grad_norm": 1.3883087635040283,
13163
+ "learning_rate": 0.00019778749968028217,
13164
+ "loss": 0.7675,
13165
+ "step": 1868
13166
+ },
13167
+ {
13168
+ "epoch": 0.20441868095811003,
13169
+ "grad_norm": 1.1174241304397583,
13170
+ "learning_rate": 0.0001977851004461898,
13171
+ "loss": 0.8295,
13172
+ "step": 1869
13173
+ },
13174
+ {
13175
+ "epoch": 0.20452805424915235,
13176
+ "grad_norm": 1.235585331916809,
13177
+ "learning_rate": 0.00019778269992650588,
13178
+ "loss": 1.1101,
13179
+ "step": 1870
13180
+ },
13181
+ {
13182
+ "epoch": 0.20463742754019468,
13183
+ "grad_norm": 1.4934157133102417,
13184
+ "learning_rate": 0.00019778029812126202,
13185
+ "loss": 0.6944,
13186
+ "step": 1871
13187
+ },
13188
+ {
13189
+ "epoch": 0.204746800831237,
13190
+ "grad_norm": 1.2947239875793457,
13191
+ "learning_rate": 0.00019777789503048972,
13192
+ "loss": 0.6093,
13193
+ "step": 1872
13194
+ },
13195
+ {
13196
+ "epoch": 0.20485617412227933,
13197
+ "grad_norm": 1.4456497430801392,
13198
+ "learning_rate": 0.00019777549065422062,
13199
+ "loss": 0.5709,
13200
+ "step": 1873
13201
+ },
13202
+ {
13203
+ "epoch": 0.20496554741332168,
13204
+ "grad_norm": 1.3523551225662231,
13205
+ "learning_rate": 0.0001977730849924863,
13206
+ "loss": 0.8015,
13207
+ "step": 1874
13208
+ },
13209
+ {
13210
+ "epoch": 0.205074920704364,
13211
+ "grad_norm": 1.1090800762176514,
13212
+ "learning_rate": 0.00019777067804531843,
13213
+ "loss": 0.7904,
13214
+ "step": 1875
13215
+ },
13216
+ {
13217
+ "epoch": 0.20518429399540633,
13218
+ "grad_norm": 1.1744444370269775,
13219
+ "learning_rate": 0.00019776826981274864,
13220
+ "loss": 0.966,
13221
+ "step": 1876
13222
+ },
13223
+ {
13224
+ "epoch": 0.20529366728644866,
13225
+ "grad_norm": 1.5914322137832642,
13226
+ "learning_rate": 0.00019776586029480854,
13227
+ "loss": 1.0525,
13228
+ "step": 1877
13229
+ },
13230
+ {
13231
+ "epoch": 0.20540304057749098,
13232
+ "grad_norm": 1.2795026302337646,
13233
+ "learning_rate": 0.00019776344949152988,
13234
+ "loss": 0.7985,
13235
+ "step": 1878
13236
+ },
13237
+ {
13238
+ "epoch": 0.2055124138685333,
13239
+ "grad_norm": 1.8170595169067383,
13240
+ "learning_rate": 0.00019776103740294434,
13241
+ "loss": 0.6775,
13242
+ "step": 1879
13243
+ },
13244
+ {
13245
+ "epoch": 0.20562178715957563,
13246
+ "grad_norm": 3.005906581878662,
13247
+ "learning_rate": 0.0001977586240290836,
13248
+ "loss": 0.861,
13249
+ "step": 1880
13250
+ },
13251
+ {
13252
+ "epoch": 0.20573116045061796,
13253
+ "grad_norm": 1.438003659248352,
13254
+ "learning_rate": 0.0001977562093699794,
13255
+ "loss": 0.825,
13256
+ "step": 1881
13257
+ },
13258
+ {
13259
+ "epoch": 0.20584053374166028,
13260
+ "grad_norm": 1.2325347661972046,
13261
+ "learning_rate": 0.0001977537934256635,
13262
+ "loss": 1.1211,
13263
+ "step": 1882
13264
+ },
13265
+ {
13266
+ "epoch": 0.2059499070327026,
13267
+ "grad_norm": 1.2218208312988281,
13268
+ "learning_rate": 0.00019775137619616767,
13269
+ "loss": 0.754,
13270
+ "step": 1883
13271
+ },
13272
+ {
13273
+ "epoch": 0.20605928032374493,
13274
+ "grad_norm": 1.103580355644226,
13275
+ "learning_rate": 0.00019774895768152363,
13276
+ "loss": 0.91,
13277
+ "step": 1884
13278
+ },
13279
+ {
13280
+ "epoch": 0.20616865361478726,
13281
+ "grad_norm": 1.5929896831512451,
13282
+ "learning_rate": 0.00019774653788176325,
13283
+ "loss": 0.7438,
13284
+ "step": 1885
13285
+ },
13286
+ {
13287
+ "epoch": 0.2062780269058296,
13288
+ "grad_norm": 1.2889608144760132,
13289
+ "learning_rate": 0.00019774411679691832,
13290
+ "loss": 0.8935,
13291
+ "step": 1886
13292
+ },
13293
+ {
13294
+ "epoch": 0.20638740019687193,
13295
+ "grad_norm": 1.6971222162246704,
13296
+ "learning_rate": 0.0001977416944270207,
13297
+ "loss": 1.1207,
13298
+ "step": 1887
13299
+ },
13300
+ {
13301
+ "epoch": 0.20649677348791426,
13302
+ "grad_norm": 1.3933053016662598,
13303
+ "learning_rate": 0.00019773927077210214,
13304
+ "loss": 0.7264,
13305
+ "step": 1888
13306
+ },
13307
+ {
13308
+ "epoch": 0.20660614677895658,
13309
+ "grad_norm": 1.1945797204971313,
13310
+ "learning_rate": 0.00019773684583219457,
13311
+ "loss": 0.718,
13312
+ "step": 1889
13313
+ },
13314
+ {
13315
+ "epoch": 0.2067155200699989,
13316
+ "grad_norm": 1.474246859550476,
13317
+ "learning_rate": 0.0001977344196073299,
13318
+ "loss": 0.8308,
13319
+ "step": 1890
13320
+ },
13321
+ {
13322
+ "epoch": 0.20682489336104123,
13323
+ "grad_norm": 1.9111558198928833,
13324
+ "learning_rate": 0.00019773199209753995,
13325
+ "loss": 0.7213,
13326
+ "step": 1891
13327
+ },
13328
+ {
13329
+ "epoch": 0.20693426665208356,
13330
+ "grad_norm": 1.449326753616333,
13331
+ "learning_rate": 0.00019772956330285676,
13332
+ "loss": 0.9547,
13333
+ "step": 1892
13334
+ },
13335
+ {
13336
+ "epoch": 0.20704363994312588,
13337
+ "grad_norm": 1.6842371225357056,
13338
+ "learning_rate": 0.0001977271332233121,
13339
+ "loss": 1.1847,
13340
+ "step": 1893
13341
+ },
13342
+ {
13343
+ "epoch": 0.2071530132341682,
13344
+ "grad_norm": 1.3919013738632202,
13345
+ "learning_rate": 0.00019772470185893805,
13346
+ "loss": 0.9108,
13347
+ "step": 1894
13348
+ },
13349
+ {
13350
+ "epoch": 0.20726238652521053,
13351
+ "grad_norm": 1.707318663597107,
13352
+ "learning_rate": 0.00019772226920976651,
13353
+ "loss": 0.8805,
13354
+ "step": 1895
13355
+ },
13356
+ {
13357
+ "epoch": 0.20737175981625286,
13358
+ "grad_norm": 1.3011366128921509,
13359
+ "learning_rate": 0.00019771983527582947,
13360
+ "loss": 0.7238,
13361
+ "step": 1896
13362
+ },
13363
+ {
13364
+ "epoch": 0.20748113310729518,
13365
+ "grad_norm": 1.1739683151245117,
13366
+ "learning_rate": 0.00019771740005715893,
13367
+ "loss": 0.724,
13368
+ "step": 1897
13369
+ },
13370
+ {
13371
+ "epoch": 0.20759050639833754,
13372
+ "grad_norm": 2.0867905616760254,
13373
+ "learning_rate": 0.00019771496355378693,
13374
+ "loss": 1.0909,
13375
+ "step": 1898
13376
+ },
13377
+ {
13378
+ "epoch": 0.20769987968937986,
13379
+ "grad_norm": 1.1341712474822998,
13380
+ "learning_rate": 0.00019771252576574548,
13381
+ "loss": 0.7501,
13382
+ "step": 1899
13383
+ },
13384
+ {
13385
+ "epoch": 0.2078092529804222,
13386
+ "grad_norm": 1.4058527946472168,
13387
+ "learning_rate": 0.00019771008669306666,
13388
+ "loss": 0.6887,
13389
+ "step": 1900
13390
+ },
13391
+ {
13392
+ "epoch": 0.2079186262714645,
13393
+ "grad_norm": 1.390103816986084,
13394
+ "learning_rate": 0.00019770764633578246,
13395
+ "loss": 0.9062,
13396
+ "step": 1901
13397
+ },
13398
+ {
13399
+ "epoch": 0.20802799956250684,
13400
+ "grad_norm": 1.5800286531448364,
13401
+ "learning_rate": 0.00019770520469392506,
13402
+ "loss": 0.8276,
13403
+ "step": 1902
13404
+ },
13405
+ {
13406
+ "epoch": 0.20813737285354916,
13407
+ "grad_norm": 1.396563172340393,
13408
+ "learning_rate": 0.00019770276176752648,
13409
+ "loss": 0.7856,
13410
+ "step": 1903
13411
+ },
13412
+ {
13413
+ "epoch": 0.2082467461445915,
13414
+ "grad_norm": 1.288883924484253,
13415
+ "learning_rate": 0.00019770031755661892,
13416
+ "loss": 0.6916,
13417
+ "step": 1904
13418
+ },
13419
+ {
13420
+ "epoch": 0.2083561194356338,
13421
+ "grad_norm": 1.2772623300552368,
13422
+ "learning_rate": 0.00019769787206123444,
13423
+ "loss": 0.7931,
13424
+ "step": 1905
13425
+ },
13426
+ {
13427
+ "epoch": 0.20846549272667614,
13428
+ "grad_norm": 1.2396125793457031,
13429
+ "learning_rate": 0.0001976954252814052,
13430
+ "loss": 1.0568,
13431
+ "step": 1906
13432
+ },
13433
+ {
13434
+ "epoch": 0.20857486601771846,
13435
+ "grad_norm": 1.3100918531417847,
13436
+ "learning_rate": 0.00019769297721716344,
13437
+ "loss": 0.993,
13438
+ "step": 1907
13439
+ },
13440
+ {
13441
+ "epoch": 0.2086842393087608,
13442
+ "grad_norm": 1.6498003005981445,
13443
+ "learning_rate": 0.00019769052786854126,
13444
+ "loss": 0.857,
13445
+ "step": 1908
13446
+ },
13447
+ {
13448
+ "epoch": 0.20879361259980314,
13449
+ "grad_norm": 1.7008154392242432,
13450
+ "learning_rate": 0.0001976880772355709,
13451
+ "loss": 0.8619,
13452
+ "step": 1909
13453
+ },
13454
+ {
13455
+ "epoch": 0.20890298589084547,
13456
+ "grad_norm": 1.4295202493667603,
13457
+ "learning_rate": 0.00019768562531828455,
13458
+ "loss": 0.7279,
13459
+ "step": 1910
13460
+ },
13461
+ {
13462
+ "epoch": 0.2090123591818878,
13463
+ "grad_norm": 1.2313141822814941,
13464
+ "learning_rate": 0.0001976831721167145,
13465
+ "loss": 0.993,
13466
+ "step": 1911
13467
+ },
13468
+ {
13469
+ "epoch": 0.20912173247293012,
13470
+ "grad_norm": 1.678462266921997,
13471
+ "learning_rate": 0.000197680717630893,
13472
+ "loss": 0.7415,
13473
+ "step": 1912
13474
+ },
13475
+ {
13476
+ "epoch": 0.20923110576397244,
13477
+ "grad_norm": 1.2590250968933105,
13478
+ "learning_rate": 0.00019767826186085224,
13479
+ "loss": 0.6704,
13480
+ "step": 1913
13481
+ },
13482
+ {
13483
+ "epoch": 0.20934047905501477,
13484
+ "grad_norm": 1.350969672203064,
13485
+ "learning_rate": 0.00019767580480662455,
13486
+ "loss": 0.8435,
13487
+ "step": 1914
13488
+ },
13489
+ {
13490
+ "epoch": 0.2094498523460571,
13491
+ "grad_norm": 1.2730401754379272,
13492
+ "learning_rate": 0.00019767334646824227,
13493
+ "loss": 0.7511,
13494
+ "step": 1915
13495
+ },
13496
+ {
13497
+ "epoch": 0.20955922563709942,
13498
+ "grad_norm": 1.321373701095581,
13499
+ "learning_rate": 0.00019767088684573766,
13500
+ "loss": 0.8781,
13501
+ "step": 1916
13502
+ },
13503
+ {
13504
+ "epoch": 0.20966859892814174,
13505
+ "grad_norm": 1.2076495885849,
13506
+ "learning_rate": 0.00019766842593914313,
13507
+ "loss": 0.7813,
13508
+ "step": 1917
13509
+ },
13510
+ {
13511
+ "epoch": 0.20977797221918407,
13512
+ "grad_norm": 1.3384488821029663,
13513
+ "learning_rate": 0.00019766596374849095,
13514
+ "loss": 0.9414,
13515
+ "step": 1918
13516
+ },
13517
+ {
13518
+ "epoch": 0.2098873455102264,
13519
+ "grad_norm": 1.3429690599441528,
13520
+ "learning_rate": 0.00019766350027381355,
13521
+ "loss": 1.1206,
13522
+ "step": 1919
13523
+ },
13524
+ {
13525
+ "epoch": 0.20999671880126872,
13526
+ "grad_norm": 1.0793489217758179,
13527
+ "learning_rate": 0.00019766103551514333,
13528
+ "loss": 0.8336,
13529
+ "step": 1920
13530
+ },
13531
+ {
13532
+ "epoch": 0.21010609209231107,
13533
+ "grad_norm": 1.2562246322631836,
13534
+ "learning_rate": 0.00019765856947251263,
13535
+ "loss": 0.7972,
13536
+ "step": 1921
13537
+ },
13538
+ {
13539
+ "epoch": 0.2102154653833534,
13540
+ "grad_norm": 1.1139689683914185,
13541
+ "learning_rate": 0.00019765610214595388,
13542
+ "loss": 0.976,
13543
+ "step": 1922
13544
+ },
13545
+ {
13546
+ "epoch": 0.21032483867439572,
13547
+ "grad_norm": 1.568432331085205,
13548
+ "learning_rate": 0.0001976536335354996,
13549
+ "loss": 0.9875,
13550
+ "step": 1923
13551
+ },
13552
+ {
13553
+ "epoch": 0.21043421196543804,
13554
+ "grad_norm": 1.3974945545196533,
13555
+ "learning_rate": 0.00019765116364118214,
13556
+ "loss": 0.8885,
13557
+ "step": 1924
13558
+ },
13559
+ {
13560
+ "epoch": 0.21054358525648037,
13561
+ "grad_norm": 1.1765203475952148,
13562
+ "learning_rate": 0.00019764869246303405,
13563
+ "loss": 1.4512,
13564
+ "step": 1925
13565
+ },
13566
+ {
13567
+ "epoch": 0.2106529585475227,
13568
+ "grad_norm": 1.589314579963684,
13569
+ "learning_rate": 0.0001976462200010878,
13570
+ "loss": 0.881,
13571
+ "step": 1926
13572
+ },
13573
+ {
13574
+ "epoch": 0.21076233183856502,
13575
+ "grad_norm": 1.2967984676361084,
13576
+ "learning_rate": 0.00019764374625537586,
13577
+ "loss": 0.9014,
13578
+ "step": 1927
13579
+ },
13580
+ {
13581
+ "epoch": 0.21087170512960735,
13582
+ "grad_norm": 1.514954924583435,
13583
+ "learning_rate": 0.00019764127122593077,
13584
+ "loss": 1.2032,
13585
+ "step": 1928
13586
+ },
13587
+ {
13588
+ "epoch": 0.21098107842064967,
13589
+ "grad_norm": 1.9947245121002197,
13590
+ "learning_rate": 0.0001976387949127851,
13591
+ "loss": 0.9178,
13592
+ "step": 1929
13593
+ },
13594
+ {
13595
+ "epoch": 0.211090451711692,
13596
+ "grad_norm": 1.5181474685668945,
13597
+ "learning_rate": 0.00019763631731597135,
13598
+ "loss": 0.7199,
13599
+ "step": 1930
13600
+ },
13601
+ {
13602
+ "epoch": 0.21119982500273432,
13603
+ "grad_norm": 1.302708625793457,
13604
+ "learning_rate": 0.00019763383843552217,
13605
+ "loss": 0.8345,
13606
+ "step": 1931
13607
+ },
13608
+ {
13609
+ "epoch": 0.21130919829377667,
13610
+ "grad_norm": 2.1922595500946045,
13611
+ "learning_rate": 0.0001976313582714701,
13612
+ "loss": 0.8353,
13613
+ "step": 1932
13614
+ },
13615
+ {
13616
+ "epoch": 0.211418571584819,
13617
+ "grad_norm": 1.6339223384857178,
13618
+ "learning_rate": 0.00019762887682384773,
13619
+ "loss": 0.7522,
13620
+ "step": 1933
13621
+ },
13622
+ {
13623
+ "epoch": 0.21152794487586132,
13624
+ "grad_norm": 1.4407261610031128,
13625
+ "learning_rate": 0.00019762639409268772,
13626
+ "loss": 0.8508,
13627
+ "step": 1934
13628
+ },
13629
+ {
13630
+ "epoch": 0.21163731816690365,
13631
+ "grad_norm": 1.0968738794326782,
13632
+ "learning_rate": 0.00019762391007802267,
13633
+ "loss": 0.7418,
13634
+ "step": 1935
13635
+ },
13636
+ {
13637
+ "epoch": 0.21174669145794597,
13638
+ "grad_norm": 1.1548421382904053,
13639
+ "learning_rate": 0.0001976214247798853,
13640
+ "loss": 0.9858,
13641
+ "step": 1936
13642
+ },
13643
+ {
13644
+ "epoch": 0.2118560647489883,
13645
+ "grad_norm": 1.2237598896026611,
13646
+ "learning_rate": 0.00019761893819830823,
13647
+ "loss": 0.7916,
13648
+ "step": 1937
13649
+ },
13650
+ {
13651
+ "epoch": 0.21196543804003062,
13652
+ "grad_norm": 1.323804259300232,
13653
+ "learning_rate": 0.00019761645033332422,
13654
+ "loss": 0.9955,
13655
+ "step": 1938
13656
+ },
13657
+ {
13658
+ "epoch": 0.21207481133107295,
13659
+ "grad_norm": 1.0611050128936768,
13660
+ "learning_rate": 0.0001976139611849659,
13661
+ "loss": 0.9201,
13662
+ "step": 1939
13663
+ },
13664
+ {
13665
+ "epoch": 0.21218418462211527,
13666
+ "grad_norm": 1.4213348627090454,
13667
+ "learning_rate": 0.000197611470753266,
13668
+ "loss": 0.9526,
13669
+ "step": 1940
13670
+ },
13671
+ {
13672
+ "epoch": 0.2122935579131576,
13673
+ "grad_norm": 1.3572505712509155,
13674
+ "learning_rate": 0.0001976089790382573,
13675
+ "loss": 0.9143,
13676
+ "step": 1941
13677
+ },
13678
+ {
13679
+ "epoch": 0.21240293120419992,
13680
+ "grad_norm": 1.2962950468063354,
13681
+ "learning_rate": 0.00019760648603997253,
13682
+ "loss": 0.9106,
13683
+ "step": 1942
13684
+ },
13685
+ {
13686
+ "epoch": 0.21251230449524225,
13687
+ "grad_norm": 1.6927483081817627,
13688
+ "learning_rate": 0.00019760399175844452,
13689
+ "loss": 0.8396,
13690
+ "step": 1943
13691
+ },
13692
+ {
13693
+ "epoch": 0.2126216777862846,
13694
+ "grad_norm": 1.2389999628067017,
13695
+ "learning_rate": 0.000197601496193706,
13696
+ "loss": 0.6747,
13697
+ "step": 1944
13698
+ },
13699
+ {
13700
+ "epoch": 0.21273105107732693,
13701
+ "grad_norm": 1.3522441387176514,
13702
+ "learning_rate": 0.00019759899934578982,
13703
+ "loss": 0.7805,
13704
+ "step": 1945
13705
+ },
13706
+ {
13707
+ "epoch": 0.21284042436836925,
13708
+ "grad_norm": 1.4921531677246094,
13709
+ "learning_rate": 0.0001975965012147288,
13710
+ "loss": 0.885,
13711
+ "step": 1946
13712
+ },
13713
+ {
13714
+ "epoch": 0.21294979765941158,
13715
+ "grad_norm": 1.1783701181411743,
13716
+ "learning_rate": 0.00019759400180055576,
13717
+ "loss": 0.7743,
13718
+ "step": 1947
13719
+ },
13720
+ {
13721
+ "epoch": 0.2130591709504539,
13722
+ "grad_norm": 1.5773125886917114,
13723
+ "learning_rate": 0.00019759150110330355,
13724
+ "loss": 0.8058,
13725
+ "step": 1948
13726
+ },
13727
+ {
13728
+ "epoch": 0.21316854424149623,
13729
+ "grad_norm": 1.6718064546585083,
13730
+ "learning_rate": 0.0001975889991230051,
13731
+ "loss": 0.7979,
13732
+ "step": 1949
13733
+ },
13734
+ {
13735
+ "epoch": 0.21327791753253855,
13736
+ "grad_norm": 1.556168794631958,
13737
+ "learning_rate": 0.00019758649585969326,
13738
+ "loss": 0.5585,
13739
+ "step": 1950
13740
+ },
13741
+ {
13742
+ "epoch": 0.21338729082358088,
13743
+ "grad_norm": 1.3499926328659058,
13744
+ "learning_rate": 0.00019758399131340095,
13745
+ "loss": 0.7368,
13746
+ "step": 1951
13747
+ },
13748
+ {
13749
+ "epoch": 0.2134966641146232,
13750
+ "grad_norm": 1.2336211204528809,
13751
+ "learning_rate": 0.00019758148548416112,
13752
+ "loss": 0.6434,
13753
+ "step": 1952
13754
+ },
13755
+ {
13756
+ "epoch": 0.21360603740566553,
13757
+ "grad_norm": 1.1220998764038086,
13758
+ "learning_rate": 0.00019757897837200669,
13759
+ "loss": 0.8619,
13760
+ "step": 1953
13761
+ },
13762
+ {
13763
+ "epoch": 0.21371541069670785,
13764
+ "grad_norm": 1.316223382949829,
13765
+ "learning_rate": 0.00019757646997697062,
13766
+ "loss": 1.4721,
13767
+ "step": 1954
13768
+ },
13769
+ {
13770
+ "epoch": 0.21382478398775018,
13771
+ "grad_norm": 1.2793391942977905,
13772
+ "learning_rate": 0.0001975739602990859,
13773
+ "loss": 0.6863,
13774
+ "step": 1955
13775
+ },
13776
+ {
13777
+ "epoch": 0.21393415727879253,
13778
+ "grad_norm": 1.2966581583023071,
13779
+ "learning_rate": 0.00019757144933838555,
13780
+ "loss": 1.1585,
13781
+ "step": 1956
13782
+ },
13783
+ {
13784
+ "epoch": 0.21404353056983486,
13785
+ "grad_norm": 1.390800952911377,
13786
+ "learning_rate": 0.0001975689370949025,
13787
+ "loss": 0.5736,
13788
+ "step": 1957
13789
+ },
13790
+ {
13791
+ "epoch": 0.21415290386087718,
13792
+ "grad_norm": 1.4191505908966064,
13793
+ "learning_rate": 0.00019756642356866987,
13794
+ "loss": 1.0004,
13795
+ "step": 1958
13796
+ },
13797
+ {
13798
+ "epoch": 0.2142622771519195,
13799
+ "grad_norm": 1.392587423324585,
13800
+ "learning_rate": 0.00019756390875972065,
13801
+ "loss": 0.818,
13802
+ "step": 1959
13803
+ },
13804
+ {
13805
+ "epoch": 0.21437165044296183,
13806
+ "grad_norm": 1.7711188793182373,
13807
+ "learning_rate": 0.00019756139266808792,
13808
+ "loss": 0.8735,
13809
+ "step": 1960
13810
+ },
13811
+ {
13812
+ "epoch": 0.21448102373400416,
13813
+ "grad_norm": 1.0487916469573975,
13814
+ "learning_rate": 0.00019755887529380477,
13815
+ "loss": 0.9124,
13816
+ "step": 1961
13817
+ },
13818
+ {
13819
+ "epoch": 0.21459039702504648,
13820
+ "grad_norm": 1.49639892578125,
13821
+ "learning_rate": 0.0001975563566369043,
13822
+ "loss": 0.8043,
13823
+ "step": 1962
13824
+ },
13825
+ {
13826
+ "epoch": 0.2146997703160888,
13827
+ "grad_norm": 1.0769431591033936,
13828
+ "learning_rate": 0.00019755383669741957,
13829
+ "loss": 0.6714,
13830
+ "step": 1963
13831
+ },
13832
+ {
13833
+ "epoch": 0.21480914360713113,
13834
+ "grad_norm": 1.661003828048706,
13835
+ "learning_rate": 0.00019755131547538377,
13836
+ "loss": 1.0617,
13837
+ "step": 1964
13838
+ },
13839
+ {
13840
+ "epoch": 0.21491851689817346,
13841
+ "grad_norm": 1.4500775337219238,
13842
+ "learning_rate": 0.00019754879297083003,
13843
+ "loss": 0.8515,
13844
+ "step": 1965
13845
+ },
13846
+ {
13847
+ "epoch": 0.21502789018921578,
13848
+ "grad_norm": 1.0899930000305176,
13849
+ "learning_rate": 0.0001975462691837915,
13850
+ "loss": 0.8353,
13851
+ "step": 1966
13852
+ },
13853
+ {
13854
+ "epoch": 0.21513726348025813,
13855
+ "grad_norm": 1.3392274379730225,
13856
+ "learning_rate": 0.00019754374411430137,
13857
+ "loss": 0.9717,
13858
+ "step": 1967
13859
+ },
13860
+ {
13861
+ "epoch": 0.21524663677130046,
13862
+ "grad_norm": 1.185782551765442,
13863
+ "learning_rate": 0.00019754121776239286,
13864
+ "loss": 0.9456,
13865
+ "step": 1968
13866
+ },
13867
+ {
13868
+ "epoch": 0.21535601006234278,
13869
+ "grad_norm": 1.226179599761963,
13870
+ "learning_rate": 0.00019753869012809912,
13871
+ "loss": 0.6247,
13872
+ "step": 1969
13873
+ },
13874
+ {
13875
+ "epoch": 0.2154653833533851,
13876
+ "grad_norm": 1.2312886714935303,
13877
+ "learning_rate": 0.00019753616121145345,
13878
+ "loss": 0.8366,
13879
+ "step": 1970
13880
+ },
13881
+ {
13882
+ "epoch": 0.21557475664442743,
13883
+ "grad_norm": 1.3575807809829712,
13884
+ "learning_rate": 0.00019753363101248904,
13885
+ "loss": 0.9672,
13886
+ "step": 1971
13887
+ },
13888
+ {
13889
+ "epoch": 0.21568412993546976,
13890
+ "grad_norm": 1.2754733562469482,
13891
+ "learning_rate": 0.0001975310995312392,
13892
+ "loss": 1.0108,
13893
+ "step": 1972
13894
+ },
13895
+ {
13896
+ "epoch": 0.21579350322651208,
13897
+ "grad_norm": 1.5421541929244995,
13898
+ "learning_rate": 0.00019752856676773722,
13899
+ "loss": 0.8552,
13900
+ "step": 1973
13901
+ },
13902
+ {
13903
+ "epoch": 0.2159028765175544,
13904
+ "grad_norm": 1.4498844146728516,
13905
+ "learning_rate": 0.00019752603272201635,
13906
+ "loss": 0.9188,
13907
+ "step": 1974
13908
+ },
13909
+ {
13910
+ "epoch": 0.21601224980859673,
13911
+ "grad_norm": 1.4922372102737427,
13912
+ "learning_rate": 0.00019752349739410993,
13913
+ "loss": 1.0252,
13914
+ "step": 1975
13915
+ },
13916
+ {
13917
+ "epoch": 0.21612162309963906,
13918
+ "grad_norm": 1.0966912508010864,
13919
+ "learning_rate": 0.00019752096078405132,
13920
+ "loss": 1.0733,
13921
+ "step": 1976
13922
+ },
13923
+ {
13924
+ "epoch": 0.21623099639068138,
13925
+ "grad_norm": 1.0611425638198853,
13926
+ "learning_rate": 0.00019751842289187382,
13927
+ "loss": 0.8733,
13928
+ "step": 1977
13929
+ },
13930
+ {
13931
+ "epoch": 0.2163403696817237,
13932
+ "grad_norm": 1.7669165134429932,
13933
+ "learning_rate": 0.00019751588371761083,
13934
+ "loss": 0.6244,
13935
+ "step": 1978
13936
+ },
13937
+ {
13938
+ "epoch": 0.21644974297276606,
13939
+ "grad_norm": 1.195848822593689,
13940
+ "learning_rate": 0.0001975133432612957,
13941
+ "loss": 0.7972,
13942
+ "step": 1979
13943
+ },
13944
+ {
13945
+ "epoch": 0.2165591162638084,
13946
+ "grad_norm": 1.5000344514846802,
13947
+ "learning_rate": 0.00019751080152296185,
13948
+ "loss": 0.8544,
13949
+ "step": 1980
13950
+ },
13951
+ {
13952
+ "epoch": 0.2166684895548507,
13953
+ "grad_norm": 1.3777306079864502,
13954
+ "learning_rate": 0.00019750825850264273,
13955
+ "loss": 0.7521,
13956
+ "step": 1981
13957
+ },
13958
+ {
13959
+ "epoch": 0.21677786284589304,
13960
+ "grad_norm": 1.3386154174804688,
13961
+ "learning_rate": 0.00019750571420037172,
13962
+ "loss": 0.8705,
13963
+ "step": 1982
13964
+ },
13965
+ {
13966
+ "epoch": 0.21688723613693536,
13967
+ "grad_norm": 1.1987446546554565,
13968
+ "learning_rate": 0.00019750316861618226,
13969
+ "loss": 0.9741,
13970
+ "step": 1983
13971
+ },
13972
+ {
13973
+ "epoch": 0.2169966094279777,
13974
+ "grad_norm": 1.6730406284332275,
13975
+ "learning_rate": 0.00019750062175010792,
13976
+ "loss": 0.9238,
13977
+ "step": 1984
13978
+ },
13979
+ {
13980
+ "epoch": 0.21710598271902,
13981
+ "grad_norm": 1.1706770658493042,
13982
+ "learning_rate": 0.00019749807360218205,
13983
+ "loss": 0.869,
13984
+ "step": 1985
13985
+ },
13986
+ {
13987
+ "epoch": 0.21721535601006234,
13988
+ "grad_norm": 1.5104727745056152,
13989
+ "learning_rate": 0.0001974955241724382,
13990
+ "loss": 0.7375,
13991
+ "step": 1986
13992
+ },
13993
+ {
13994
+ "epoch": 0.21732472930110466,
13995
+ "grad_norm": 1.625811219215393,
13996
+ "learning_rate": 0.00019749297346090993,
13997
+ "loss": 0.9613,
13998
+ "step": 1987
13999
+ },
14000
+ {
14001
+ "epoch": 0.217434102592147,
14002
+ "grad_norm": 1.7954903841018677,
14003
+ "learning_rate": 0.00019749042146763074,
14004
+ "loss": 0.789,
14005
+ "step": 1988
14006
+ },
14007
+ {
14008
+ "epoch": 0.2175434758831893,
14009
+ "grad_norm": 2.1392786502838135,
14010
+ "learning_rate": 0.0001974878681926342,
14011
+ "loss": 1.0348,
14012
+ "step": 1989
14013
+ },
14014
+ {
14015
+ "epoch": 0.21765284917423167,
14016
+ "grad_norm": 1.4607007503509521,
14017
+ "learning_rate": 0.00019748531363595386,
14018
+ "loss": 0.8398,
14019
+ "step": 1990
14020
+ },
14021
+ {
14022
+ "epoch": 0.217762222465274,
14023
+ "grad_norm": 1.4531785249710083,
14024
+ "learning_rate": 0.0001974827577976233,
14025
+ "loss": 0.6808,
14026
+ "step": 1991
14027
+ },
14028
+ {
14029
+ "epoch": 0.21787159575631632,
14030
+ "grad_norm": 1.718497395515442,
14031
+ "learning_rate": 0.00019748020067767615,
14032
+ "loss": 0.7987,
14033
+ "step": 1992
14034
+ },
14035
+ {
14036
+ "epoch": 0.21798096904735864,
14037
+ "grad_norm": 1.4301944971084595,
14038
+ "learning_rate": 0.00019747764227614597,
14039
+ "loss": 1.2448,
14040
+ "step": 1993
14041
+ },
14042
+ {
14043
+ "epoch": 0.21809034233840097,
14044
+ "grad_norm": 1.3528302907943726,
14045
+ "learning_rate": 0.00019747508259306646,
14046
+ "loss": 0.7331,
14047
+ "step": 1994
14048
+ },
14049
+ {
14050
+ "epoch": 0.2181997156294433,
14051
+ "grad_norm": 1.599155068397522,
14052
+ "learning_rate": 0.00019747252162847123,
14053
+ "loss": 1.1844,
14054
+ "step": 1995
14055
+ },
14056
+ {
14057
+ "epoch": 0.21830908892048562,
14058
+ "grad_norm": 1.1171528100967407,
14059
+ "learning_rate": 0.000197469959382394,
14060
+ "loss": 0.9887,
14061
+ "step": 1996
14062
+ },
14063
+ {
14064
+ "epoch": 0.21841846221152794,
14065
+ "grad_norm": 1.380668044090271,
14066
+ "learning_rate": 0.0001974673958548684,
14067
+ "loss": 0.669,
14068
+ "step": 1997
14069
+ },
14070
+ {
14071
+ "epoch": 0.21852783550257027,
14072
+ "grad_norm": 1.569695234298706,
14073
+ "learning_rate": 0.00019746483104592818,
14074
+ "loss": 0.8264,
14075
+ "step": 1998
14076
+ },
14077
+ {
14078
+ "epoch": 0.2186372087936126,
14079
+ "grad_norm": 1.1958019733428955,
14080
+ "learning_rate": 0.000197462264955607,
14081
+ "loss": 0.846,
14082
+ "step": 1999
14083
+ },
14084
+ {
14085
+ "epoch": 0.21874658208465492,
14086
+ "grad_norm": 1.488672137260437,
14087
+ "learning_rate": 0.00019745969758393862,
14088
+ "loss": 0.6158,
14089
+ "step": 2000
14090
+ },
14091
+ {
14092
+ "epoch": 0.21874658208465492,
14093
+ "eval_loss": 0.8424478769302368,
14094
+ "eval_runtime": 42.0106,
14095
+ "eval_samples_per_second": 17.519,
14096
+ "eval_steps_per_second": 4.38,
14097
+ "step": 2000
14098
  }
14099
  ],
14100
  "logging_steps": 1,
 
14109
  "early_stopping_threshold": 0.0
14110
  },
14111
  "attributes": {
14112
+ "early_stopping_patience_counter": 3
14113
  }
14114
  },
14115
  "TrainerControl": {
 
14123
  "attributes": {}
14124
  }
14125
  },
14126
+ "total_flos": 1.6341670787914138e+17,
14127
  "train_batch_size": 4,
14128
  "trial_name": null,
14129
  "trial_params": null