error577 commited on
Commit
afbaefe
·
verified ·
1 Parent(s): 6d1de7a

Training in progress, step 12800, checkpoint

Browse files
last-checkpoint/adapter_model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:c367570143961fbf2da1c2d9b37b7089e621c71682b175d5ee2ef318a8146b28
3
  size 231448
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:b9f9da8f4868210ca9bf21d8906bb7ec807ddb282e0f984dabd246a8c7da72da
3
  size 231448
last-checkpoint/optimizer.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:e9aec4b011de4f07e3a54fe61cc6a783cce49c782c7fb299d4bf63818d6ccf4c
3
  size 374849
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:8a68ee8d1ae765101e9c4fbefe624555730a0d514da20f8a4c29824e42adeb3a
3
  size 374849
last-checkpoint/rng_state.pth CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:457971db0ea2c73be8c7335904b9e99e9c448bb6a17e675cab8101fc546cc132
3
  size 14645
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:834dacf19a1ba49ac11aa84a75423977081da0ceeaa6c4d7b1293de4da79a1b9
3
  size 14645
last-checkpoint/scheduler.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:9951e9809867b78fce7e9c65b951b95e779c0014d879b1aaecaee982c3b405a6
3
  size 1465
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:6460c56ba20a482cf287e154495e546967cf0aadb6030ef2226594d37e3aaa56
3
  size 1465
last-checkpoint/trainer_state.json CHANGED
@@ -1,10 +1,10 @@
1
  {
2
- "best_global_step": 12000,
3
- "best_metric": 10.168164253234863,
4
- "best_model_checkpoint": "miner_id_24/checkpoint-12000",
5
- "epoch": 2.200078564881498,
6
  "eval_steps": 200,
7
- "global_step": 12600,
8
  "is_hyper_param_search": false,
9
  "is_local_process_zero": true,
10
  "is_world_process_zero": true,
@@ -88720,6 +88720,1414 @@
88720
  "eval_samples_per_second": 319.77,
88721
  "eval_steps_per_second": 160.577,
88722
  "step": 12600
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
88723
  }
88724
  ],
88725
  "logging_steps": 1,
@@ -88734,7 +90142,7 @@
88734
  "early_stopping_threshold": 0.0
88735
  },
88736
  "attributes": {
88737
- "early_stopping_patience_counter": 3
88738
  }
88739
  },
88740
  "TrainerControl": {
@@ -88748,7 +90156,7 @@
88748
  "attributes": {}
88749
  }
88750
  },
88751
- "total_flos": 683770931576832.0,
88752
  "train_batch_size": 2,
88753
  "trial_name": null,
88754
  "trial_params": null
 
1
  {
2
+ "best_global_step": 12800,
3
+ "best_metric": 10.167818069458008,
4
+ "best_model_checkpoint": "miner_id_24/checkpoint-12800",
5
+ "epoch": 2.234996289991707,
6
  "eval_steps": 200,
7
+ "global_step": 12800,
8
  "is_hyper_param_search": false,
9
  "is_local_process_zero": true,
10
  "is_world_process_zero": true,
 
88720
  "eval_samples_per_second": 319.77,
88721
  "eval_steps_per_second": 160.577,
88722
  "step": 12600
88723
+ },
88724
+ {
88725
+ "epoch": 2.200253153507049,
88726
+ "grad_norm": 0.11413609236478806,
88727
+ "learning_rate": 3.311504361993758e-05,
88728
+ "loss": 10.2104,
88729
+ "step": 12601
88730
+ },
88731
+ {
88732
+ "epoch": 2.2004277421326,
88733
+ "grad_norm": 0.13067132234573364,
88734
+ "learning_rate": 3.310144359214009e-05,
88735
+ "loss": 10.1831,
88736
+ "step": 12602
88737
+ },
88738
+ {
88739
+ "epoch": 2.200602330758151,
88740
+ "grad_norm": 0.13632182776927948,
88741
+ "learning_rate": 3.308784580370978e-05,
88742
+ "loss": 10.1902,
88743
+ "step": 12603
88744
+ },
88745
+ {
88746
+ "epoch": 2.2007769193837023,
88747
+ "grad_norm": 0.2082657516002655,
88748
+ "learning_rate": 3.307425025510188e-05,
88749
+ "loss": 10.2239,
88750
+ "step": 12604
88751
+ },
88752
+ {
88753
+ "epoch": 2.200951508009253,
88754
+ "grad_norm": 0.09890802949666977,
88755
+ "learning_rate": 3.306065694677145e-05,
88756
+ "loss": 10.2059,
88757
+ "step": 12605
88758
+ },
88759
+ {
88760
+ "epoch": 2.201126096634804,
88761
+ "grad_norm": 0.08583704382181168,
88762
+ "learning_rate": 3.304706587917349e-05,
88763
+ "loss": 10.205,
88764
+ "step": 12606
88765
+ },
88766
+ {
88767
+ "epoch": 2.2013006852603554,
88768
+ "grad_norm": 0.06059139966964722,
88769
+ "learning_rate": 3.3033477052763016e-05,
88770
+ "loss": 10.2012,
88771
+ "step": 12607
88772
+ },
88773
+ {
88774
+ "epoch": 2.2014752738859062,
88775
+ "grad_norm": 0.07776550203561783,
88776
+ "learning_rate": 3.301989046799486e-05,
88777
+ "loss": 10.206,
88778
+ "step": 12608
88779
+ },
88780
+ {
88781
+ "epoch": 2.2016498625114576,
88782
+ "grad_norm": 0.07822053879499435,
88783
+ "learning_rate": 3.30063061253238e-05,
88784
+ "loss": 10.1935,
88785
+ "step": 12609
88786
+ },
88787
+ {
88788
+ "epoch": 2.2018244511370084,
88789
+ "grad_norm": 0.06200356036424637,
88790
+ "learning_rate": 3.299272402520462e-05,
88791
+ "loss": 10.2227,
88792
+ "step": 12610
88793
+ },
88794
+ {
88795
+ "epoch": 2.2019990397625593,
88796
+ "grad_norm": 0.06486295908689499,
88797
+ "learning_rate": 3.297914416809194e-05,
88798
+ "loss": 10.2107,
88799
+ "step": 12611
88800
+ },
88801
+ {
88802
+ "epoch": 2.2021736283881106,
88803
+ "grad_norm": 0.06596779823303223,
88804
+ "learning_rate": 3.2965566554440305e-05,
88805
+ "loss": 10.1791,
88806
+ "step": 12612
88807
+ },
88808
+ {
88809
+ "epoch": 2.2023482170136615,
88810
+ "grad_norm": 0.07367289811372757,
88811
+ "learning_rate": 3.295199118470424e-05,
88812
+ "loss": 10.2051,
88813
+ "step": 12613
88814
+ },
88815
+ {
88816
+ "epoch": 2.2025228056392128,
88817
+ "grad_norm": 0.0651191920042038,
88818
+ "learning_rate": 3.2938418059338174e-05,
88819
+ "loss": 10.2281,
88820
+ "step": 12614
88821
+ },
88822
+ {
88823
+ "epoch": 2.2026973942647636,
88824
+ "grad_norm": 0.07025176286697388,
88825
+ "learning_rate": 3.2924847178796406e-05,
88826
+ "loss": 10.2058,
88827
+ "step": 12615
88828
+ },
88829
+ {
88830
+ "epoch": 2.2028719828903145,
88831
+ "grad_norm": 0.0693570226430893,
88832
+ "learning_rate": 3.2911278543533274e-05,
88833
+ "loss": 10.2103,
88834
+ "step": 12616
88835
+ },
88836
+ {
88837
+ "epoch": 2.203046571515866,
88838
+ "grad_norm": 0.06783242523670197,
88839
+ "learning_rate": 3.2897712154002944e-05,
88840
+ "loss": 10.2199,
88841
+ "step": 12617
88842
+ },
88843
+ {
88844
+ "epoch": 2.2032211601414167,
88845
+ "grad_norm": 0.07411882281303406,
88846
+ "learning_rate": 3.288414801065951e-05,
88847
+ "loss": 10.1894,
88848
+ "step": 12618
88849
+ },
88850
+ {
88851
+ "epoch": 2.203395748766968,
88852
+ "grad_norm": 0.0677434653043747,
88853
+ "learning_rate": 3.2870586113957094e-05,
88854
+ "loss": 10.1811,
88855
+ "step": 12619
88856
+ },
88857
+ {
88858
+ "epoch": 2.203570337392519,
88859
+ "grad_norm": 0.06457942724227905,
88860
+ "learning_rate": 3.285702646434961e-05,
88861
+ "loss": 10.2104,
88862
+ "step": 12620
88863
+ },
88864
+ {
88865
+ "epoch": 2.2037449260180697,
88866
+ "grad_norm": 0.07173735648393631,
88867
+ "learning_rate": 3.2843469062290945e-05,
88868
+ "loss": 10.2048,
88869
+ "step": 12621
88870
+ },
88871
+ {
88872
+ "epoch": 2.203919514643621,
88873
+ "grad_norm": 0.07050725817680359,
88874
+ "learning_rate": 3.282991390823498e-05,
88875
+ "loss": 10.1811,
88876
+ "step": 12622
88877
+ },
88878
+ {
88879
+ "epoch": 2.204094103269172,
88880
+ "grad_norm": 0.0683104544878006,
88881
+ "learning_rate": 3.281636100263542e-05,
88882
+ "loss": 10.1833,
88883
+ "step": 12623
88884
+ },
88885
+ {
88886
+ "epoch": 2.204268691894723,
88887
+ "grad_norm": 0.07506944984197617,
88888
+ "learning_rate": 3.2802810345945946e-05,
88889
+ "loss": 10.203,
88890
+ "step": 12624
88891
+ },
88892
+ {
88893
+ "epoch": 2.204443280520274,
88894
+ "grad_norm": 0.07561147958040237,
88895
+ "learning_rate": 3.2789261938620155e-05,
88896
+ "loss": 10.1899,
88897
+ "step": 12625
88898
+ },
88899
+ {
88900
+ "epoch": 2.2046178691458254,
88901
+ "grad_norm": 0.0701277107000351,
88902
+ "learning_rate": 3.277571578111152e-05,
88903
+ "loss": 10.1674,
88904
+ "step": 12626
88905
+ },
88906
+ {
88907
+ "epoch": 2.2047924577713762,
88908
+ "grad_norm": 0.06105953827500343,
88909
+ "learning_rate": 3.276217187387356e-05,
88910
+ "loss": 10.1955,
88911
+ "step": 12627
88912
+ },
88913
+ {
88914
+ "epoch": 2.204967046396927,
88915
+ "grad_norm": 0.07608935236930847,
88916
+ "learning_rate": 3.2748630217359614e-05,
88917
+ "loss": 10.156,
88918
+ "step": 12628
88919
+ },
88920
+ {
88921
+ "epoch": 2.2051416350224784,
88922
+ "grad_norm": 0.08105359226465225,
88923
+ "learning_rate": 3.273509081202295e-05,
88924
+ "loss": 10.1882,
88925
+ "step": 12629
88926
+ },
88927
+ {
88928
+ "epoch": 2.2053162236480293,
88929
+ "grad_norm": 0.08473022282123566,
88930
+ "learning_rate": 3.272155365831684e-05,
88931
+ "loss": 10.1656,
88932
+ "step": 12630
88933
+ },
88934
+ {
88935
+ "epoch": 2.2054908122735806,
88936
+ "grad_norm": 0.08039398491382599,
88937
+ "learning_rate": 3.270801875669439e-05,
88938
+ "loss": 10.1677,
88939
+ "step": 12631
88940
+ },
88941
+ {
88942
+ "epoch": 2.2056654008991314,
88943
+ "grad_norm": 0.08604532480239868,
88944
+ "learning_rate": 3.2694486107608657e-05,
88945
+ "loss": 10.1657,
88946
+ "step": 12632
88947
+ },
88948
+ {
88949
+ "epoch": 2.2058399895246823,
88950
+ "grad_norm": 0.08710648864507675,
88951
+ "learning_rate": 3.268095571151268e-05,
88952
+ "loss": 10.1935,
88953
+ "step": 12633
88954
+ },
88955
+ {
88956
+ "epoch": 2.2060145781502336,
88957
+ "grad_norm": 0.08428040146827698,
88958
+ "learning_rate": 3.2667427568859364e-05,
88959
+ "loss": 10.1926,
88960
+ "step": 12634
88961
+ },
88962
+ {
88963
+ "epoch": 2.2061891667757845,
88964
+ "grad_norm": 0.07588270306587219,
88965
+ "learning_rate": 3.265390168010154e-05,
88966
+ "loss": 10.1725,
88967
+ "step": 12635
88968
+ },
88969
+ {
88970
+ "epoch": 2.206363755401336,
88971
+ "grad_norm": 0.09853174537420273,
88972
+ "learning_rate": 3.264037804569195e-05,
88973
+ "loss": 10.1643,
88974
+ "step": 12636
88975
+ },
88976
+ {
88977
+ "epoch": 2.2065383440268866,
88978
+ "grad_norm": 0.07656770944595337,
88979
+ "learning_rate": 3.2626856666083336e-05,
88980
+ "loss": 10.1783,
88981
+ "step": 12637
88982
+ },
88983
+ {
88984
+ "epoch": 2.2067129326524375,
88985
+ "grad_norm": 0.09506358951330185,
88986
+ "learning_rate": 3.261333754172824e-05,
88987
+ "loss": 10.1697,
88988
+ "step": 12638
88989
+ },
88990
+ {
88991
+ "epoch": 2.206887521277989,
88992
+ "grad_norm": 0.08405830711126328,
88993
+ "learning_rate": 3.259982067307928e-05,
88994
+ "loss": 10.1948,
88995
+ "step": 12639
88996
+ },
88997
+ {
88998
+ "epoch": 2.2070621099035397,
88999
+ "grad_norm": 0.08017104864120483,
89000
+ "learning_rate": 3.258630606058889e-05,
89001
+ "loss": 10.1941,
89002
+ "step": 12640
89003
+ },
89004
+ {
89005
+ "epoch": 2.207236698529091,
89006
+ "grad_norm": 0.08699655532836914,
89007
+ "learning_rate": 3.2572793704709425e-05,
89008
+ "loss": 10.1588,
89009
+ "step": 12641
89010
+ },
89011
+ {
89012
+ "epoch": 2.207411287154642,
89013
+ "grad_norm": 0.0863981544971466,
89014
+ "learning_rate": 3.255928360589328e-05,
89015
+ "loss": 10.1974,
89016
+ "step": 12642
89017
+ },
89018
+ {
89019
+ "epoch": 2.2075858757801927,
89020
+ "grad_norm": 0.09006880223751068,
89021
+ "learning_rate": 3.254577576459262e-05,
89022
+ "loss": 10.1677,
89023
+ "step": 12643
89024
+ },
89025
+ {
89026
+ "epoch": 2.207760464405744,
89027
+ "grad_norm": 0.09760630875825882,
89028
+ "learning_rate": 3.2532270181259614e-05,
89029
+ "loss": 10.1598,
89030
+ "step": 12644
89031
+ },
89032
+ {
89033
+ "epoch": 2.207935053031295,
89034
+ "grad_norm": 0.09274838119745255,
89035
+ "learning_rate": 3.251876685634639e-05,
89036
+ "loss": 10.1628,
89037
+ "step": 12645
89038
+ },
89039
+ {
89040
+ "epoch": 2.208109641656846,
89041
+ "grad_norm": 0.1043115109205246,
89042
+ "learning_rate": 3.250526579030494e-05,
89043
+ "loss": 10.2029,
89044
+ "step": 12646
89045
+ },
89046
+ {
89047
+ "epoch": 2.208284230282397,
89048
+ "grad_norm": 0.0940357968211174,
89049
+ "learning_rate": 3.24917669835872e-05,
89050
+ "loss": 10.1683,
89051
+ "step": 12647
89052
+ },
89053
+ {
89054
+ "epoch": 2.208458818907948,
89055
+ "grad_norm": 0.10354503244161606,
89056
+ "learning_rate": 3.247827043664503e-05,
89057
+ "loss": 10.1967,
89058
+ "step": 12648
89059
+ },
89060
+ {
89061
+ "epoch": 2.2086334075334992,
89062
+ "grad_norm": 0.11820289492607117,
89063
+ "learning_rate": 3.24647761499302e-05,
89064
+ "loss": 10.193,
89065
+ "step": 12649
89066
+ },
89067
+ {
89068
+ "epoch": 2.20880799615905,
89069
+ "grad_norm": 0.11259405314922333,
89070
+ "learning_rate": 3.24512841238944e-05,
89071
+ "loss": 10.154,
89072
+ "step": 12650
89073
+ },
89074
+ {
89075
+ "epoch": 2.2089825847846014,
89076
+ "grad_norm": 0.12079737335443497,
89077
+ "learning_rate": 3.243779435898933e-05,
89078
+ "loss": 10.1596,
89079
+ "step": 12651
89080
+ },
89081
+ {
89082
+ "epoch": 2.2091571734101523,
89083
+ "grad_norm": 0.14335699379444122,
89084
+ "learning_rate": 3.242430685566651e-05,
89085
+ "loss": 10.2146,
89086
+ "step": 12652
89087
+ },
89088
+ {
89089
+ "epoch": 2.2093317620357036,
89090
+ "grad_norm": 0.12252768129110336,
89091
+ "learning_rate": 3.241082161437737e-05,
89092
+ "loss": 10.1907,
89093
+ "step": 12653
89094
+ },
89095
+ {
89096
+ "epoch": 2.2095063506612544,
89097
+ "grad_norm": 0.20364288985729218,
89098
+ "learning_rate": 3.239733863557343e-05,
89099
+ "loss": 10.1778,
89100
+ "step": 12654
89101
+ },
89102
+ {
89103
+ "epoch": 2.2096809392868053,
89104
+ "grad_norm": 0.07776650041341782,
89105
+ "learning_rate": 3.238385791970594e-05,
89106
+ "loss": 10.1918,
89107
+ "step": 12655
89108
+ },
89109
+ {
89110
+ "epoch": 2.2098555279123566,
89111
+ "grad_norm": 0.08498261868953705,
89112
+ "learning_rate": 3.237037946722614e-05,
89113
+ "loss": 10.2132,
89114
+ "step": 12656
89115
+ },
89116
+ {
89117
+ "epoch": 2.2100301165379075,
89118
+ "grad_norm": 0.06707288324832916,
89119
+ "learning_rate": 3.235690327858527e-05,
89120
+ "loss": 10.1914,
89121
+ "step": 12657
89122
+ },
89123
+ {
89124
+ "epoch": 2.210204705163459,
89125
+ "grad_norm": 0.07760915905237198,
89126
+ "learning_rate": 3.234342935423441e-05,
89127
+ "loss": 10.1874,
89128
+ "step": 12658
89129
+ },
89130
+ {
89131
+ "epoch": 2.2103792937890097,
89132
+ "grad_norm": 0.06553974747657776,
89133
+ "learning_rate": 3.232995769462458e-05,
89134
+ "loss": 10.1944,
89135
+ "step": 12659
89136
+ },
89137
+ {
89138
+ "epoch": 2.2105538824145605,
89139
+ "grad_norm": 0.06651787459850311,
89140
+ "learning_rate": 3.231648830020673e-05,
89141
+ "loss": 10.207,
89142
+ "step": 12660
89143
+ },
89144
+ {
89145
+ "epoch": 2.210728471040112,
89146
+ "grad_norm": 0.0634140893816948,
89147
+ "learning_rate": 3.230302117143173e-05,
89148
+ "loss": 10.1998,
89149
+ "step": 12661
89150
+ },
89151
+ {
89152
+ "epoch": 2.2109030596656627,
89153
+ "grad_norm": 0.07203282415866852,
89154
+ "learning_rate": 3.228955630875037e-05,
89155
+ "loss": 10.2085,
89156
+ "step": 12662
89157
+ },
89158
+ {
89159
+ "epoch": 2.211077648291214,
89160
+ "grad_norm": 0.0700785368680954,
89161
+ "learning_rate": 3.227609371261342e-05,
89162
+ "loss": 10.1872,
89163
+ "step": 12663
89164
+ },
89165
+ {
89166
+ "epoch": 2.211252236916765,
89167
+ "grad_norm": 0.07942267507314682,
89168
+ "learning_rate": 3.2262633383471496e-05,
89169
+ "loss": 10.2051,
89170
+ "step": 12664
89171
+ },
89172
+ {
89173
+ "epoch": 2.2114268255423157,
89174
+ "grad_norm": 0.07682612538337708,
89175
+ "learning_rate": 3.224917532177514e-05,
89176
+ "loss": 10.202,
89177
+ "step": 12665
89178
+ },
89179
+ {
89180
+ "epoch": 2.211601414167867,
89181
+ "grad_norm": 0.0614393912255764,
89182
+ "learning_rate": 3.223571952797492e-05,
89183
+ "loss": 10.2079,
89184
+ "step": 12666
89185
+ },
89186
+ {
89187
+ "epoch": 2.211776002793418,
89188
+ "grad_norm": 0.06105935946106911,
89189
+ "learning_rate": 3.222226600252121e-05,
89190
+ "loss": 10.1812,
89191
+ "step": 12667
89192
+ },
89193
+ {
89194
+ "epoch": 2.211950591418969,
89195
+ "grad_norm": 0.06257491558790207,
89196
+ "learning_rate": 3.220881474586432e-05,
89197
+ "loss": 10.1705,
89198
+ "step": 12668
89199
+ },
89200
+ {
89201
+ "epoch": 2.21212518004452,
89202
+ "grad_norm": 0.0770920142531395,
89203
+ "learning_rate": 3.219536575845461e-05,
89204
+ "loss": 10.1598,
89205
+ "step": 12669
89206
+ },
89207
+ {
89208
+ "epoch": 2.212299768670071,
89209
+ "grad_norm": 0.08468737453222275,
89210
+ "learning_rate": 3.218191904074221e-05,
89211
+ "loss": 10.1918,
89212
+ "step": 12670
89213
+ },
89214
+ {
89215
+ "epoch": 2.2124743572956223,
89216
+ "grad_norm": 0.07699625194072723,
89217
+ "learning_rate": 3.2168474593177265e-05,
89218
+ "loss": 10.1991,
89219
+ "step": 12671
89220
+ },
89221
+ {
89222
+ "epoch": 2.212648945921173,
89223
+ "grad_norm": 0.06363125145435333,
89224
+ "learning_rate": 3.2155032416209785e-05,
89225
+ "loss": 10.1882,
89226
+ "step": 12672
89227
+ },
89228
+ {
89229
+ "epoch": 2.2128235345467244,
89230
+ "grad_norm": 0.07572463899850845,
89231
+ "learning_rate": 3.214159251028975e-05,
89232
+ "loss": 10.1945,
89233
+ "step": 12673
89234
+ },
89235
+ {
89236
+ "epoch": 2.2129981231722753,
89237
+ "grad_norm": 0.06402156502008438,
89238
+ "learning_rate": 3.212815487586702e-05,
89239
+ "loss": 10.1632,
89240
+ "step": 12674
89241
+ },
89242
+ {
89243
+ "epoch": 2.213172711797826,
89244
+ "grad_norm": 0.07463113218545914,
89245
+ "learning_rate": 3.2114719513391465e-05,
89246
+ "loss": 10.1762,
89247
+ "step": 12675
89248
+ },
89249
+ {
89250
+ "epoch": 2.2133473004233775,
89251
+ "grad_norm": 0.07687406241893768,
89252
+ "learning_rate": 3.210128642331279e-05,
89253
+ "loss": 10.1932,
89254
+ "step": 12676
89255
+ },
89256
+ {
89257
+ "epoch": 2.2135218890489283,
89258
+ "grad_norm": 0.0757751315832138,
89259
+ "learning_rate": 3.208785560608063e-05,
89260
+ "loss": 10.1911,
89261
+ "step": 12677
89262
+ },
89263
+ {
89264
+ "epoch": 2.2136964776744796,
89265
+ "grad_norm": 0.08707393705844879,
89266
+ "learning_rate": 3.207442706214462e-05,
89267
+ "loss": 10.1571,
89268
+ "step": 12678
89269
+ },
89270
+ {
89271
+ "epoch": 2.2138710663000305,
89272
+ "grad_norm": 0.07098501175642014,
89273
+ "learning_rate": 3.2061000791954254e-05,
89274
+ "loss": 10.1984,
89275
+ "step": 12679
89276
+ },
89277
+ {
89278
+ "epoch": 2.214045654925582,
89279
+ "grad_norm": 0.07626978307962418,
89280
+ "learning_rate": 3.204757679595891e-05,
89281
+ "loss": 10.1825,
89282
+ "step": 12680
89283
+ },
89284
+ {
89285
+ "epoch": 2.2142202435511327,
89286
+ "grad_norm": 0.08982814103364944,
89287
+ "learning_rate": 3.203415507460802e-05,
89288
+ "loss": 10.1585,
89289
+ "step": 12681
89290
+ },
89291
+ {
89292
+ "epoch": 2.2143948321766835,
89293
+ "grad_norm": 0.07775802165269852,
89294
+ "learning_rate": 3.202073562835083e-05,
89295
+ "loss": 10.1811,
89296
+ "step": 12682
89297
+ },
89298
+ {
89299
+ "epoch": 2.214569420802235,
89300
+ "grad_norm": 0.0822787657380104,
89301
+ "learning_rate": 3.200731845763655e-05,
89302
+ "loss": 10.1752,
89303
+ "step": 12683
89304
+ },
89305
+ {
89306
+ "epoch": 2.2147440094277857,
89307
+ "grad_norm": 0.07696748524904251,
89308
+ "learning_rate": 3.19939035629143e-05,
89309
+ "loss": 10.2097,
89310
+ "step": 12684
89311
+ },
89312
+ {
89313
+ "epoch": 2.214918598053337,
89314
+ "grad_norm": 0.08127366006374359,
89315
+ "learning_rate": 3.1980490944633134e-05,
89316
+ "loss": 10.1833,
89317
+ "step": 12685
89318
+ },
89319
+ {
89320
+ "epoch": 2.215093186678888,
89321
+ "grad_norm": 0.07401934266090393,
89322
+ "learning_rate": 3.1967080603242e-05,
89323
+ "loss": 10.1911,
89324
+ "step": 12686
89325
+ },
89326
+ {
89327
+ "epoch": 2.2152677753044387,
89328
+ "grad_norm": 0.09403320401906967,
89329
+ "learning_rate": 3.1953672539189836e-05,
89330
+ "loss": 10.2001,
89331
+ "step": 12687
89332
+ },
89333
+ {
89334
+ "epoch": 2.21544236392999,
89335
+ "grad_norm": 0.0848567858338356,
89336
+ "learning_rate": 3.194026675292546e-05,
89337
+ "loss": 10.1654,
89338
+ "step": 12688
89339
+ },
89340
+ {
89341
+ "epoch": 2.215616952555541,
89342
+ "grad_norm": 0.08449558168649673,
89343
+ "learning_rate": 3.1926863244897574e-05,
89344
+ "loss": 10.1856,
89345
+ "step": 12689
89346
+ },
89347
+ {
89348
+ "epoch": 2.2157915411810922,
89349
+ "grad_norm": 0.10117113590240479,
89350
+ "learning_rate": 3.191346201555493e-05,
89351
+ "loss": 10.1907,
89352
+ "step": 12690
89353
+ },
89354
+ {
89355
+ "epoch": 2.215966129806643,
89356
+ "grad_norm": 0.08769232779741287,
89357
+ "learning_rate": 3.1900063065346066e-05,
89358
+ "loss": 10.1933,
89359
+ "step": 12691
89360
+ },
89361
+ {
89362
+ "epoch": 2.216140718432194,
89363
+ "grad_norm": 0.09479466825723648,
89364
+ "learning_rate": 3.188666639471947e-05,
89365
+ "loss": 10.1918,
89366
+ "step": 12692
89367
+ },
89368
+ {
89369
+ "epoch": 2.2163153070577453,
89370
+ "grad_norm": 0.08490530401468277,
89371
+ "learning_rate": 3.187327200412366e-05,
89372
+ "loss": 10.199,
89373
+ "step": 12693
89374
+ },
89375
+ {
89376
+ "epoch": 2.216489895683296,
89377
+ "grad_norm": 0.09743081033229828,
89378
+ "learning_rate": 3.185987989400696e-05,
89379
+ "loss": 10.1732,
89380
+ "step": 12694
89381
+ },
89382
+ {
89383
+ "epoch": 2.2166644843088474,
89384
+ "grad_norm": 0.09102631360292435,
89385
+ "learning_rate": 3.184649006481767e-05,
89386
+ "loss": 10.1585,
89387
+ "step": 12695
89388
+ },
89389
+ {
89390
+ "epoch": 2.2168390729343983,
89391
+ "grad_norm": 0.09520220756530762,
89392
+ "learning_rate": 3.1833102517003985e-05,
89393
+ "loss": 10.173,
89394
+ "step": 12696
89395
+ },
89396
+ {
89397
+ "epoch": 2.217013661559949,
89398
+ "grad_norm": 0.1002725213766098,
89399
+ "learning_rate": 3.181971725101405e-05,
89400
+ "loss": 10.2008,
89401
+ "step": 12697
89402
+ },
89403
+ {
89404
+ "epoch": 2.2171882501855005,
89405
+ "grad_norm": 0.11485008895397186,
89406
+ "learning_rate": 3.180633426729589e-05,
89407
+ "loss": 10.1944,
89408
+ "step": 12698
89409
+ },
89410
+ {
89411
+ "epoch": 2.2173628388110513,
89412
+ "grad_norm": 0.11115512251853943,
89413
+ "learning_rate": 3.1792953566297555e-05,
89414
+ "loss": 10.204,
89415
+ "step": 12699
89416
+ },
89417
+ {
89418
+ "epoch": 2.2175374274366026,
89419
+ "grad_norm": 0.1261610984802246,
89420
+ "learning_rate": 3.177957514846692e-05,
89421
+ "loss": 10.1684,
89422
+ "step": 12700
89423
+ },
89424
+ {
89425
+ "epoch": 2.2177120160621535,
89426
+ "grad_norm": 0.12694716453552246,
89427
+ "learning_rate": 3.1766199014251775e-05,
89428
+ "loss": 10.2066,
89429
+ "step": 12701
89430
+ },
89431
+ {
89432
+ "epoch": 2.2178866046877044,
89433
+ "grad_norm": 0.11677350103855133,
89434
+ "learning_rate": 3.1752825164099956e-05,
89435
+ "loss": 10.2031,
89436
+ "step": 12702
89437
+ },
89438
+ {
89439
+ "epoch": 2.2180611933132557,
89440
+ "grad_norm": 0.16227172315120697,
89441
+ "learning_rate": 3.173945359845908e-05,
89442
+ "loss": 10.1933,
89443
+ "step": 12703
89444
+ },
89445
+ {
89446
+ "epoch": 2.2182357819388066,
89447
+ "grad_norm": 0.2139066755771637,
89448
+ "learning_rate": 3.172608431777674e-05,
89449
+ "loss": 10.216,
89450
+ "step": 12704
89451
+ },
89452
+ {
89453
+ "epoch": 2.218410370564358,
89454
+ "grad_norm": 0.09825961291790009,
89455
+ "learning_rate": 3.1712717322500516e-05,
89456
+ "loss": 10.1787,
89457
+ "step": 12705
89458
+ },
89459
+ {
89460
+ "epoch": 2.2185849591899087,
89461
+ "grad_norm": 0.07567700743675232,
89462
+ "learning_rate": 3.169935261307786e-05,
89463
+ "loss": 10.1896,
89464
+ "step": 12706
89465
+ },
89466
+ {
89467
+ "epoch": 2.21875954781546,
89468
+ "grad_norm": 0.06993112713098526,
89469
+ "learning_rate": 3.1685990189956036e-05,
89470
+ "loss": 10.2031,
89471
+ "step": 12707
89472
+ },
89473
+ {
89474
+ "epoch": 2.218934136441011,
89475
+ "grad_norm": 0.07628510147333145,
89476
+ "learning_rate": 3.1672630053582445e-05,
89477
+ "loss": 10.2021,
89478
+ "step": 12708
89479
+ },
89480
+ {
89481
+ "epoch": 2.2191087250665618,
89482
+ "grad_norm": 0.08900240063667297,
89483
+ "learning_rate": 3.165927220440427e-05,
89484
+ "loss": 10.1959,
89485
+ "step": 12709
89486
+ },
89487
+ {
89488
+ "epoch": 2.219283313692113,
89489
+ "grad_norm": 0.07460567355155945,
89490
+ "learning_rate": 3.1645916642868624e-05,
89491
+ "loss": 10.2235,
89492
+ "step": 12710
89493
+ },
89494
+ {
89495
+ "epoch": 2.219457902317664,
89496
+ "grad_norm": 0.06992142647504807,
89497
+ "learning_rate": 3.163256336942263e-05,
89498
+ "loss": 10.1977,
89499
+ "step": 12711
89500
+ },
89501
+ {
89502
+ "epoch": 2.2196324909432152,
89503
+ "grad_norm": 0.06193040683865547,
89504
+ "learning_rate": 3.161921238451324e-05,
89505
+ "loss": 10.1989,
89506
+ "step": 12712
89507
+ },
89508
+ {
89509
+ "epoch": 2.219807079568766,
89510
+ "grad_norm": 0.06348340213298798,
89511
+ "learning_rate": 3.1605863688587344e-05,
89512
+ "loss": 10.2151,
89513
+ "step": 12713
89514
+ },
89515
+ {
89516
+ "epoch": 2.219981668194317,
89517
+ "grad_norm": 0.05941242724657059,
89518
+ "learning_rate": 3.159251728209185e-05,
89519
+ "loss": 10.2005,
89520
+ "step": 12714
89521
+ },
89522
+ {
89523
+ "epoch": 2.2201562568198683,
89524
+ "grad_norm": 0.0736871212720871,
89525
+ "learning_rate": 3.157917316547347e-05,
89526
+ "loss": 10.2028,
89527
+ "step": 12715
89528
+ },
89529
+ {
89530
+ "epoch": 2.220330845445419,
89531
+ "grad_norm": 0.07386850565671921,
89532
+ "learning_rate": 3.156583133917884e-05,
89533
+ "loss": 10.1984,
89534
+ "step": 12716
89535
+ },
89536
+ {
89537
+ "epoch": 2.2205054340709705,
89538
+ "grad_norm": 0.06493071466684341,
89539
+ "learning_rate": 3.1552491803654684e-05,
89540
+ "loss": 10.189,
89541
+ "step": 12717
89542
+ },
89543
+ {
89544
+ "epoch": 2.2206800226965213,
89545
+ "grad_norm": 0.07866737246513367,
89546
+ "learning_rate": 3.153915455934744e-05,
89547
+ "loss": 10.199,
89548
+ "step": 12718
89549
+ },
89550
+ {
89551
+ "epoch": 2.220854611322072,
89552
+ "grad_norm": 0.06912501156330109,
89553
+ "learning_rate": 3.1525819606703545e-05,
89554
+ "loss": 10.1813,
89555
+ "step": 12719
89556
+ },
89557
+ {
89558
+ "epoch": 2.2210291999476235,
89559
+ "grad_norm": 0.06732521951198578,
89560
+ "learning_rate": 3.151248694616943e-05,
89561
+ "loss": 10.2269,
89562
+ "step": 12720
89563
+ },
89564
+ {
89565
+ "epoch": 2.2212037885731744,
89566
+ "grad_norm": 0.08485300838947296,
89567
+ "learning_rate": 3.149915657819138e-05,
89568
+ "loss": 10.1965,
89569
+ "step": 12721
89570
+ },
89571
+ {
89572
+ "epoch": 2.2213783771987257,
89573
+ "grad_norm": 0.08191362023353577,
89574
+ "learning_rate": 3.1485828503215585e-05,
89575
+ "loss": 10.1863,
89576
+ "step": 12722
89577
+ },
89578
+ {
89579
+ "epoch": 2.2215529658242765,
89580
+ "grad_norm": 0.06475207954645157,
89581
+ "learning_rate": 3.147250272168823e-05,
89582
+ "loss": 10.1859,
89583
+ "step": 12723
89584
+ },
89585
+ {
89586
+ "epoch": 2.2217275544498274,
89587
+ "grad_norm": 0.06937766075134277,
89588
+ "learning_rate": 3.145917923405539e-05,
89589
+ "loss": 10.1979,
89590
+ "step": 12724
89591
+ },
89592
+ {
89593
+ "epoch": 2.2219021430753787,
89594
+ "grad_norm": 0.07187538594007492,
89595
+ "learning_rate": 3.144585804076299e-05,
89596
+ "loss": 10.1937,
89597
+ "step": 12725
89598
+ },
89599
+ {
89600
+ "epoch": 2.2220767317009296,
89601
+ "grad_norm": 0.07922675460577011,
89602
+ "learning_rate": 3.143253914225702e-05,
89603
+ "loss": 10.1775,
89604
+ "step": 12726
89605
+ },
89606
+ {
89607
+ "epoch": 2.222251320326481,
89608
+ "grad_norm": 0.07430098950862885,
89609
+ "learning_rate": 3.141922253898329e-05,
89610
+ "loss": 10.1901,
89611
+ "step": 12727
89612
+ },
89613
+ {
89614
+ "epoch": 2.2224259089520317,
89615
+ "grad_norm": 0.07242728024721146,
89616
+ "learning_rate": 3.140590823138756e-05,
89617
+ "loss": 10.1642,
89618
+ "step": 12728
89619
+ },
89620
+ {
89621
+ "epoch": 2.2226004975775826,
89622
+ "grad_norm": 0.06920512020587921,
89623
+ "learning_rate": 3.1392596219915514e-05,
89624
+ "loss": 10.188,
89625
+ "step": 12729
89626
+ },
89627
+ {
89628
+ "epoch": 2.222775086203134,
89629
+ "grad_norm": 0.08126666396856308,
89630
+ "learning_rate": 3.1379286505012754e-05,
89631
+ "loss": 10.1999,
89632
+ "step": 12730
89633
+ },
89634
+ {
89635
+ "epoch": 2.2229496748286848,
89636
+ "grad_norm": 0.08993444591760635,
89637
+ "learning_rate": 3.136597908712477e-05,
89638
+ "loss": 10.1529,
89639
+ "step": 12731
89640
+ },
89641
+ {
89642
+ "epoch": 2.223124263454236,
89643
+ "grad_norm": 0.07846325635910034,
89644
+ "learning_rate": 3.135267396669711e-05,
89645
+ "loss": 10.1813,
89646
+ "step": 12732
89647
+ },
89648
+ {
89649
+ "epoch": 2.223298852079787,
89650
+ "grad_norm": 0.08201253414154053,
89651
+ "learning_rate": 3.133937114417509e-05,
89652
+ "loss": 10.202,
89653
+ "step": 12733
89654
+ },
89655
+ {
89656
+ "epoch": 2.2234734407053383,
89657
+ "grad_norm": 0.08042856305837631,
89658
+ "learning_rate": 3.132607062000399e-05,
89659
+ "loss": 10.1877,
89660
+ "step": 12734
89661
+ },
89662
+ {
89663
+ "epoch": 2.223648029330889,
89664
+ "grad_norm": 0.0821821466088295,
89665
+ "learning_rate": 3.13127723946291e-05,
89666
+ "loss": 10.2266,
89667
+ "step": 12735
89668
+ },
89669
+ {
89670
+ "epoch": 2.22382261795644,
89671
+ "grad_norm": 0.08673136681318283,
89672
+ "learning_rate": 3.129947646849552e-05,
89673
+ "loss": 10.1526,
89674
+ "step": 12736
89675
+ },
89676
+ {
89677
+ "epoch": 2.2239972065819913,
89678
+ "grad_norm": 0.07041019201278687,
89679
+ "learning_rate": 3.128618284204828e-05,
89680
+ "loss": 10.1947,
89681
+ "step": 12737
89682
+ },
89683
+ {
89684
+ "epoch": 2.224171795207542,
89685
+ "grad_norm": 0.08179409056901932,
89686
+ "learning_rate": 3.1272891515732475e-05,
89687
+ "loss": 10.1541,
89688
+ "step": 12738
89689
+ },
89690
+ {
89691
+ "epoch": 2.2243463838330935,
89692
+ "grad_norm": 0.08438827842473984,
89693
+ "learning_rate": 3.1259602489992954e-05,
89694
+ "loss": 10.1666,
89695
+ "step": 12739
89696
+ },
89697
+ {
89698
+ "epoch": 2.2245209724586443,
89699
+ "grad_norm": 0.09036166965961456,
89700
+ "learning_rate": 3.1246315765274556e-05,
89701
+ "loss": 10.1567,
89702
+ "step": 12740
89703
+ },
89704
+ {
89705
+ "epoch": 2.224695561084195,
89706
+ "grad_norm": 0.09661474078893661,
89707
+ "learning_rate": 3.123303134202207e-05,
89708
+ "loss": 10.1665,
89709
+ "step": 12741
89710
+ },
89711
+ {
89712
+ "epoch": 2.2248701497097465,
89713
+ "grad_norm": 0.0874740406870842,
89714
+ "learning_rate": 3.1219749220680105e-05,
89715
+ "loss": 10.1739,
89716
+ "step": 12742
89717
+ },
89718
+ {
89719
+ "epoch": 2.2250447383352974,
89720
+ "grad_norm": 0.09961409866809845,
89721
+ "learning_rate": 3.120646940169337e-05,
89722
+ "loss": 10.1745,
89723
+ "step": 12743
89724
+ },
89725
+ {
89726
+ "epoch": 2.2252193269608487,
89727
+ "grad_norm": 0.09768848121166229,
89728
+ "learning_rate": 3.119319188550634e-05,
89729
+ "loss": 10.1768,
89730
+ "step": 12744
89731
+ },
89732
+ {
89733
+ "epoch": 2.2253939155863995,
89734
+ "grad_norm": 0.10476569086313248,
89735
+ "learning_rate": 3.1179916672563445e-05,
89736
+ "loss": 10.1876,
89737
+ "step": 12745
89738
+ },
89739
+ {
89740
+ "epoch": 2.2255685042119504,
89741
+ "grad_norm": 0.11662567406892776,
89742
+ "learning_rate": 3.116664376330912e-05,
89743
+ "loss": 10.1505,
89744
+ "step": 12746
89745
+ },
89746
+ {
89747
+ "epoch": 2.2257430928375017,
89748
+ "grad_norm": 0.11181938648223877,
89749
+ "learning_rate": 3.1153373158187636e-05,
89750
+ "loss": 10.186,
89751
+ "step": 12747
89752
+ },
89753
+ {
89754
+ "epoch": 2.2259176814630526,
89755
+ "grad_norm": 0.09822602570056915,
89756
+ "learning_rate": 3.114010485764318e-05,
89757
+ "loss": 10.1707,
89758
+ "step": 12748
89759
+ },
89760
+ {
89761
+ "epoch": 2.226092270088604,
89762
+ "grad_norm": 0.11400248110294342,
89763
+ "learning_rate": 3.112683886211996e-05,
89764
+ "loss": 10.1741,
89765
+ "step": 12749
89766
+ },
89767
+ {
89768
+ "epoch": 2.2262668587141548,
89769
+ "grad_norm": 0.11423230171203613,
89770
+ "learning_rate": 3.1113575172062e-05,
89771
+ "loss": 10.2054,
89772
+ "step": 12750
89773
+ },
89774
+ {
89775
+ "epoch": 2.2264414473397056,
89776
+ "grad_norm": 0.1462564766407013,
89777
+ "learning_rate": 3.1100313787913314e-05,
89778
+ "loss": 10.1671,
89779
+ "step": 12751
89780
+ },
89781
+ {
89782
+ "epoch": 2.226616035965257,
89783
+ "grad_norm": 0.1416616439819336,
89784
+ "learning_rate": 3.108705471011779e-05,
89785
+ "loss": 10.1812,
89786
+ "step": 12752
89787
+ },
89788
+ {
89789
+ "epoch": 2.226790624590808,
89790
+ "grad_norm": 0.15125839412212372,
89791
+ "learning_rate": 3.1073797939119285e-05,
89792
+ "loss": 10.1297,
89793
+ "step": 12753
89794
+ },
89795
+ {
89796
+ "epoch": 2.226965213216359,
89797
+ "grad_norm": 0.2150464504957199,
89798
+ "learning_rate": 3.106054347536151e-05,
89799
+ "loss": 10.2084,
89800
+ "step": 12754
89801
+ },
89802
+ {
89803
+ "epoch": 2.22713980184191,
89804
+ "grad_norm": 0.08773548156023026,
89805
+ "learning_rate": 3.104729131928822e-05,
89806
+ "loss": 10.1822,
89807
+ "step": 12755
89808
+ },
89809
+ {
89810
+ "epoch": 2.227314390467461,
89811
+ "grad_norm": 0.06414200365543365,
89812
+ "learning_rate": 3.103404147134297e-05,
89813
+ "loss": 10.2145,
89814
+ "step": 12756
89815
+ },
89816
+ {
89817
+ "epoch": 2.227488979093012,
89818
+ "grad_norm": 0.0800204947590828,
89819
+ "learning_rate": 3.102079393196927e-05,
89820
+ "loss": 10.1731,
89821
+ "step": 12757
89822
+ },
89823
+ {
89824
+ "epoch": 2.227663567718563,
89825
+ "grad_norm": 0.06435570865869522,
89826
+ "learning_rate": 3.100754870161062e-05,
89827
+ "loss": 10.228,
89828
+ "step": 12758
89829
+ },
89830
+ {
89831
+ "epoch": 2.2278381563441143,
89832
+ "grad_norm": 0.06992477178573608,
89833
+ "learning_rate": 3.0994305780710385e-05,
89834
+ "loss": 10.2051,
89835
+ "step": 12759
89836
+ },
89837
+ {
89838
+ "epoch": 2.228012744969665,
89839
+ "grad_norm": 0.06773169338703156,
89840
+ "learning_rate": 3.09810651697118e-05,
89841
+ "loss": 10.1923,
89842
+ "step": 12760
89843
+ },
89844
+ {
89845
+ "epoch": 2.2281873335952165,
89846
+ "grad_norm": 0.07351845502853394,
89847
+ "learning_rate": 3.096782686905816e-05,
89848
+ "loss": 10.2133,
89849
+ "step": 12761
89850
+ },
89851
+ {
89852
+ "epoch": 2.2283619222207673,
89853
+ "grad_norm": 0.058428529649972916,
89854
+ "learning_rate": 3.095459087919257e-05,
89855
+ "loss": 10.2008,
89856
+ "step": 12762
89857
+ },
89858
+ {
89859
+ "epoch": 2.228536510846318,
89860
+ "grad_norm": 0.05993048846721649,
89861
+ "learning_rate": 3.094135720055809e-05,
89862
+ "loss": 10.2142,
89863
+ "step": 12763
89864
+ },
89865
+ {
89866
+ "epoch": 2.2287110994718695,
89867
+ "grad_norm": 0.06929834187030792,
89868
+ "learning_rate": 3.092812583359771e-05,
89869
+ "loss": 10.2067,
89870
+ "step": 12764
89871
+ },
89872
+ {
89873
+ "epoch": 2.2288856880974204,
89874
+ "grad_norm": 0.06262026727199554,
89875
+ "learning_rate": 3.091489677875433e-05,
89876
+ "loss": 10.1674,
89877
+ "step": 12765
89878
+ },
89879
+ {
89880
+ "epoch": 2.2290602767229717,
89881
+ "grad_norm": 0.07077167928218842,
89882
+ "learning_rate": 3.090167003647075e-05,
89883
+ "loss": 10.1822,
89884
+ "step": 12766
89885
+ },
89886
+ {
89887
+ "epoch": 2.2292348653485226,
89888
+ "grad_norm": 0.06426294893026352,
89889
+ "learning_rate": 3.08884456071898e-05,
89890
+ "loss": 10.2266,
89891
+ "step": 12767
89892
+ },
89893
+ {
89894
+ "epoch": 2.2294094539740734,
89895
+ "grad_norm": 0.07099264115095139,
89896
+ "learning_rate": 3.087522349135411e-05,
89897
+ "loss": 10.1986,
89898
+ "step": 12768
89899
+ },
89900
+ {
89901
+ "epoch": 2.2295840425996247,
89902
+ "grad_norm": 0.06537118554115295,
89903
+ "learning_rate": 3.086200368940626e-05,
89904
+ "loss": 10.1821,
89905
+ "step": 12769
89906
+ },
89907
+ {
89908
+ "epoch": 2.2297586312251756,
89909
+ "grad_norm": 0.08803095668554306,
89910
+ "learning_rate": 3.084878620178882e-05,
89911
+ "loss": 10.2019,
89912
+ "step": 12770
89913
+ },
89914
+ {
89915
+ "epoch": 2.229933219850727,
89916
+ "grad_norm": 0.07378345727920532,
89917
+ "learning_rate": 3.083557102894419e-05,
89918
+ "loss": 10.1803,
89919
+ "step": 12771
89920
+ },
89921
+ {
89922
+ "epoch": 2.2301078084762778,
89923
+ "grad_norm": 0.0544937402009964,
89924
+ "learning_rate": 3.0822358171314734e-05,
89925
+ "loss": 10.182,
89926
+ "step": 12772
89927
+ },
89928
+ {
89929
+ "epoch": 2.2302823971018286,
89930
+ "grad_norm": 0.07435423880815506,
89931
+ "learning_rate": 3.080914762934278e-05,
89932
+ "loss": 10.1536,
89933
+ "step": 12773
89934
+ },
89935
+ {
89936
+ "epoch": 2.23045698572738,
89937
+ "grad_norm": 0.07890438288450241,
89938
+ "learning_rate": 3.079593940347053e-05,
89939
+ "loss": 10.1767,
89940
+ "step": 12774
89941
+ },
89942
+ {
89943
+ "epoch": 2.230631574352931,
89944
+ "grad_norm": 0.06912059336900711,
89945
+ "learning_rate": 3.078273349414009e-05,
89946
+ "loss": 10.1736,
89947
+ "step": 12775
89948
+ },
89949
+ {
89950
+ "epoch": 2.230806162978482,
89951
+ "grad_norm": 0.0943080484867096,
89952
+ "learning_rate": 3.0769529901793536e-05,
89953
+ "loss": 10.2176,
89954
+ "step": 12776
89955
+ },
89956
+ {
89957
+ "epoch": 2.230980751604033,
89958
+ "grad_norm": 0.06983651220798492,
89959
+ "learning_rate": 3.075632862687284e-05,
89960
+ "loss": 10.1853,
89961
+ "step": 12777
89962
+ },
89963
+ {
89964
+ "epoch": 2.231155340229584,
89965
+ "grad_norm": 0.07243097573518753,
89966
+ "learning_rate": 3.074312966981987e-05,
89967
+ "loss": 10.2018,
89968
+ "step": 12778
89969
+ },
89970
+ {
89971
+ "epoch": 2.231329928855135,
89972
+ "grad_norm": 0.07189285755157471,
89973
+ "learning_rate": 3.072993303107651e-05,
89974
+ "loss": 10.151,
89975
+ "step": 12779
89976
+ },
89977
+ {
89978
+ "epoch": 2.231504517480686,
89979
+ "grad_norm": 0.07502743601799011,
89980
+ "learning_rate": 3.071673871108448e-05,
89981
+ "loss": 10.1957,
89982
+ "step": 12780
89983
+ },
89984
+ {
89985
+ "epoch": 2.2316791061062373,
89986
+ "grad_norm": 0.08407595753669739,
89987
+ "learning_rate": 3.07035467102854e-05,
89988
+ "loss": 10.1745,
89989
+ "step": 12781
89990
+ },
89991
+ {
89992
+ "epoch": 2.231853694731788,
89993
+ "grad_norm": 0.08079970628023148,
89994
+ "learning_rate": 3.0690357029120955e-05,
89995
+ "loss": 10.2122,
89996
+ "step": 12782
89997
+ },
89998
+ {
89999
+ "epoch": 2.232028283357339,
90000
+ "grad_norm": 0.07229289412498474,
90001
+ "learning_rate": 3.067716966803259e-05,
90002
+ "loss": 10.2105,
90003
+ "step": 12783
90004
+ },
90005
+ {
90006
+ "epoch": 2.2322028719828904,
90007
+ "grad_norm": 0.07743339985609055,
90008
+ "learning_rate": 3.0663984627461725e-05,
90009
+ "loss": 10.2157,
90010
+ "step": 12784
90011
+ },
90012
+ {
90013
+ "epoch": 2.232377460608441,
90014
+ "grad_norm": 0.07102283835411072,
90015
+ "learning_rate": 3.065080190784978e-05,
90016
+ "loss": 10.1875,
90017
+ "step": 12785
90018
+ },
90019
+ {
90020
+ "epoch": 2.2325520492339925,
90021
+ "grad_norm": 0.08268433064222336,
90022
+ "learning_rate": 3.0637621509638e-05,
90023
+ "loss": 10.1699,
90024
+ "step": 12786
90025
+ },
90026
+ {
90027
+ "epoch": 2.2327266378595434,
90028
+ "grad_norm": 0.08337731659412384,
90029
+ "learning_rate": 3.0624443433267594e-05,
90030
+ "loss": 10.1432,
90031
+ "step": 12787
90032
+ },
90033
+ {
90034
+ "epoch": 2.2329012264850947,
90035
+ "grad_norm": 0.086209736764431,
90036
+ "learning_rate": 3.061126767917968e-05,
90037
+ "loss": 10.1931,
90038
+ "step": 12788
90039
+ },
90040
+ {
90041
+ "epoch": 2.2330758151106456,
90042
+ "grad_norm": 0.08805203437805176,
90043
+ "learning_rate": 3.059809424781529e-05,
90044
+ "loss": 10.2273,
90045
+ "step": 12789
90046
+ },
90047
+ {
90048
+ "epoch": 2.2332504037361964,
90049
+ "grad_norm": 0.0850365087389946,
90050
+ "learning_rate": 3.058492313961539e-05,
90051
+ "loss": 10.1624,
90052
+ "step": 12790
90053
+ },
90054
+ {
90055
+ "epoch": 2.2334249923617477,
90056
+ "grad_norm": 0.08545870333909988,
90057
+ "learning_rate": 3.057175435502092e-05,
90058
+ "loss": 10.149,
90059
+ "step": 12791
90060
+ },
90061
+ {
90062
+ "epoch": 2.2335995809872986,
90063
+ "grad_norm": 0.08347998559474945,
90064
+ "learning_rate": 3.0558587894472654e-05,
90065
+ "loss": 10.1585,
90066
+ "step": 12792
90067
+ },
90068
+ {
90069
+ "epoch": 2.23377416961285,
90070
+ "grad_norm": 0.10039160400629044,
90071
+ "learning_rate": 3.0545423758411295e-05,
90072
+ "loss": 10.1772,
90073
+ "step": 12793
90074
+ },
90075
+ {
90076
+ "epoch": 2.233948758238401,
90077
+ "grad_norm": 0.11458864063024521,
90078
+ "learning_rate": 3.053226194727759e-05,
90079
+ "loss": 10.1221,
90080
+ "step": 12794
90081
+ },
90082
+ {
90083
+ "epoch": 2.2341233468639516,
90084
+ "grad_norm": 0.09470490366220474,
90085
+ "learning_rate": 3.051910246151205e-05,
90086
+ "loss": 10.1731,
90087
+ "step": 12795
90088
+ },
90089
+ {
90090
+ "epoch": 2.234297935489503,
90091
+ "grad_norm": 0.10155696421861649,
90092
+ "learning_rate": 3.0505945301555173e-05,
90093
+ "loss": 10.1951,
90094
+ "step": 12796
90095
+ },
90096
+ {
90097
+ "epoch": 2.234472524115054,
90098
+ "grad_norm": 0.11202774196863174,
90099
+ "learning_rate": 3.049279046784742e-05,
90100
+ "loss": 10.163,
90101
+ "step": 12797
90102
+ },
90103
+ {
90104
+ "epoch": 2.234647112740605,
90105
+ "grad_norm": 0.11893066763877869,
90106
+ "learning_rate": 3.0479637960829133e-05,
90107
+ "loss": 10.19,
90108
+ "step": 12798
90109
+ },
90110
+ {
90111
+ "epoch": 2.234821701366156,
90112
+ "grad_norm": 0.10509517788887024,
90113
+ "learning_rate": 3.0466487780940567e-05,
90114
+ "loss": 10.1664,
90115
+ "step": 12799
90116
+ },
90117
+ {
90118
+ "epoch": 2.234996289991707,
90119
+ "grad_norm": 0.10096976161003113,
90120
+ "learning_rate": 3.0453339928621904e-05,
90121
+ "loss": 10.1404,
90122
+ "step": 12800
90123
+ },
90124
+ {
90125
+ "epoch": 2.234996289991707,
90126
+ "eval_loss": 10.167818069458008,
90127
+ "eval_runtime": 0.727,
90128
+ "eval_samples_per_second": 317.732,
90129
+ "eval_steps_per_second": 159.554,
90130
+ "step": 12800
90131
  }
90132
  ],
90133
  "logging_steps": 1,
 
90142
  "early_stopping_threshold": 0.0
90143
  },
90144
  "attributes": {
90145
+ "early_stopping_patience_counter": 0
90146
  }
90147
  },
90148
  "TrainerControl": {
 
90156
  "attributes": {}
90157
  }
90158
  },
90159
+ "total_flos": 694624007749632.0,
90160
  "train_batch_size": 2,
90161
  "trial_name": null,
90162
  "trial_params": null