error577 commited on
Commit
cfc2196
·
verified ·
1 Parent(s): a577ab7

Training in progress, step 600, checkpoint

Browse files
last-checkpoint/adapter_model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:3e0de863a2ce1d0645d5a750ff6f9e4dc3e55f0a96df6b18b1dff9570545bc2c
3
  size 194563400
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:1b00be88a2492167a2e76e320d7de1d554d1d3161ec02a1c2f657359dd3dae76
3
  size 194563400
last-checkpoint/optimizer.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:46197e981667f086f989d1d12a2c0c172f236a56a0e267752e3d2150908bf8bb
3
  size 99236212
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:3e0d2e81ad7b9a3284cde6ebdb1e8c3831cec3ee70a4e066c4e094c88bd45e1a
3
  size 99236212
last-checkpoint/rng_state.pth CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:9ab91a29ce6d2eb5ea355f9b8b4777f3652bc8653f1315dc6aae5a5fb91bcb95
3
  size 14244
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:f6e1bfac446ceb16e099c4a58c3820ffa5c24a7435998f007378ef2eea661717
3
  size 14244
last-checkpoint/scheduler.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:97f7603b7fc0859dc70a9f6e12bdbf16ad3d01b825f4f8f44d233e6d38fdc585
3
  size 1064
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:c9c98ccb8f33fe0c8b8ab1320a9b96de61bf8c03393eeca70c4b2bc4dc35dd52
3
  size 1064
last-checkpoint/trainer_state.json CHANGED
@@ -1,9 +1,9 @@
1
  {
2
  "best_metric": 0.8067082166671753,
3
  "best_model_checkpoint": "miner_id_24/checkpoint-400",
4
- "epoch": 0.043749316416930986,
5
  "eval_steps": 200,
6
- "global_step": 400,
7
  "is_hyper_param_search": false,
8
  "is_local_process_zero": true,
9
  "is_world_process_zero": true,
@@ -2831,6 +2831,1414 @@
2831
  "eval_samples_per_second": 17.98,
2832
  "eval_steps_per_second": 4.495,
2833
  "step": 400
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
2834
  }
2835
  ],
2836
  "logging_steps": 1,
@@ -2845,7 +4253,7 @@
2845
  "early_stopping_threshold": 0.0
2846
  },
2847
  "attributes": {
2848
- "early_stopping_patience_counter": 0
2849
  }
2850
  },
2851
  "TrainerControl": {
@@ -2859,7 +4267,7 @@
2859
  "attributes": {}
2860
  }
2861
  },
2862
- "total_flos": 3.264458384002253e+16,
2863
  "train_batch_size": 4,
2864
  "trial_name": null,
2865
  "trial_params": null
 
1
  {
2
  "best_metric": 0.8067082166671753,
3
  "best_model_checkpoint": "miner_id_24/checkpoint-400",
4
+ "epoch": 0.06562397462539647,
5
  "eval_steps": 200,
6
+ "global_step": 600,
7
  "is_hyper_param_search": false,
8
  "is_local_process_zero": true,
9
  "is_world_process_zero": true,
 
2831
  "eval_samples_per_second": 17.98,
2832
  "eval_steps_per_second": 4.495,
2833
  "step": 400
2834
+ },
2835
+ {
2836
+ "epoch": 0.04385868970797331,
2837
+ "grad_norm": 0.9638638496398926,
2838
+ "learning_rate": 0.00019990953456990092,
2839
+ "loss": 0.9062,
2840
+ "step": 401
2841
+ },
2842
+ {
2843
+ "epoch": 0.04396806299901564,
2844
+ "grad_norm": 1.0281591415405273,
2845
+ "learning_rate": 0.00019990904630242607,
2846
+ "loss": 0.9666,
2847
+ "step": 402
2848
+ },
2849
+ {
2850
+ "epoch": 0.04407743629005797,
2851
+ "grad_norm": 1.0092509984970093,
2852
+ "learning_rate": 0.00019990855672143596,
2853
+ "loss": 0.6308,
2854
+ "step": 403
2855
+ },
2856
+ {
2857
+ "epoch": 0.04418680958110029,
2858
+ "grad_norm": 0.9775615334510803,
2859
+ "learning_rate": 0.00019990806582693697,
2860
+ "loss": 0.7727,
2861
+ "step": 404
2862
+ },
2863
+ {
2864
+ "epoch": 0.044296182872142625,
2865
+ "grad_norm": 1.1057891845703125,
2866
+ "learning_rate": 0.0001999075736189356,
2867
+ "loss": 1.2195,
2868
+ "step": 405
2869
+ },
2870
+ {
2871
+ "epoch": 0.04440555616318495,
2872
+ "grad_norm": 1.8804906606674194,
2873
+ "learning_rate": 0.0001999070800974383,
2874
+ "loss": 0.9471,
2875
+ "step": 406
2876
+ },
2877
+ {
2878
+ "epoch": 0.044514929454227276,
2879
+ "grad_norm": 0.916015088558197,
2880
+ "learning_rate": 0.00019990658526245153,
2881
+ "loss": 0.7251,
2882
+ "step": 407
2883
+ },
2884
+ {
2885
+ "epoch": 0.04462430274526961,
2886
+ "grad_norm": 1.1240051984786987,
2887
+ "learning_rate": 0.00019990608911398184,
2888
+ "loss": 1.0191,
2889
+ "step": 408
2890
+ },
2891
+ {
2892
+ "epoch": 0.04473367603631193,
2893
+ "grad_norm": 0.9934580326080322,
2894
+ "learning_rate": 0.00019990559165203572,
2895
+ "loss": 1.0016,
2896
+ "step": 409
2897
+ },
2898
+ {
2899
+ "epoch": 0.04484304932735426,
2900
+ "grad_norm": 0.9659127593040466,
2901
+ "learning_rate": 0.00019990509287661973,
2902
+ "loss": 1.0285,
2903
+ "step": 410
2904
+ },
2905
+ {
2906
+ "epoch": 0.04495242261839659,
2907
+ "grad_norm": 0.8822170495986938,
2908
+ "learning_rate": 0.00019990459278774046,
2909
+ "loss": 1.0685,
2910
+ "step": 411
2911
+ },
2912
+ {
2913
+ "epoch": 0.045061795909438915,
2914
+ "grad_norm": 1.0471923351287842,
2915
+ "learning_rate": 0.00019990409138540441,
2916
+ "loss": 0.8328,
2917
+ "step": 412
2918
+ },
2919
+ {
2920
+ "epoch": 0.04517116920048124,
2921
+ "grad_norm": 1.1356496810913086,
2922
+ "learning_rate": 0.0001999035886696182,
2923
+ "loss": 0.9262,
2924
+ "step": 413
2925
+ },
2926
+ {
2927
+ "epoch": 0.04528054249152357,
2928
+ "grad_norm": 0.9098622798919678,
2929
+ "learning_rate": 0.00019990308464038848,
2930
+ "loss": 0.6382,
2931
+ "step": 414
2932
+ },
2933
+ {
2934
+ "epoch": 0.0453899157825659,
2935
+ "grad_norm": 1.1171592473983765,
2936
+ "learning_rate": 0.00019990257929772184,
2937
+ "loss": 0.746,
2938
+ "step": 415
2939
+ },
2940
+ {
2941
+ "epoch": 0.04549928907360822,
2942
+ "grad_norm": 0.9921464920043945,
2943
+ "learning_rate": 0.0001999020726416249,
2944
+ "loss": 0.7603,
2945
+ "step": 416
2946
+ },
2947
+ {
2948
+ "epoch": 0.045608662364650554,
2949
+ "grad_norm": 1.0106383562088013,
2950
+ "learning_rate": 0.0001999015646721044,
2951
+ "loss": 0.7964,
2952
+ "step": 417
2953
+ },
2954
+ {
2955
+ "epoch": 0.04571803565569288,
2956
+ "grad_norm": 1.3405063152313232,
2957
+ "learning_rate": 0.00019990105538916694,
2958
+ "loss": 0.807,
2959
+ "step": 418
2960
+ },
2961
+ {
2962
+ "epoch": 0.045827408946735204,
2963
+ "grad_norm": 1.180208683013916,
2964
+ "learning_rate": 0.00019990054479281924,
2965
+ "loss": 0.9172,
2966
+ "step": 419
2967
+ },
2968
+ {
2969
+ "epoch": 0.045936782237777536,
2970
+ "grad_norm": 1.1107349395751953,
2971
+ "learning_rate": 0.00019990003288306802,
2972
+ "loss": 0.9676,
2973
+ "step": 420
2974
+ },
2975
+ {
2976
+ "epoch": 0.04604615552881986,
2977
+ "grad_norm": 0.8224467635154724,
2978
+ "learning_rate": 0.00019989951965991999,
2979
+ "loss": 0.811,
2980
+ "step": 421
2981
+ },
2982
+ {
2983
+ "epoch": 0.046155528819862186,
2984
+ "grad_norm": 1.0547099113464355,
2985
+ "learning_rate": 0.00019989900512338196,
2986
+ "loss": 0.9228,
2987
+ "step": 422
2988
+ },
2989
+ {
2990
+ "epoch": 0.04626490211090452,
2991
+ "grad_norm": 1.2838783264160156,
2992
+ "learning_rate": 0.0001998984892734606,
2993
+ "loss": 0.6898,
2994
+ "step": 423
2995
+ },
2996
+ {
2997
+ "epoch": 0.04637427540194684,
2998
+ "grad_norm": 1.7018957138061523,
2999
+ "learning_rate": 0.00019989797211016278,
3000
+ "loss": 0.8091,
3001
+ "step": 424
3002
+ },
3003
+ {
3004
+ "epoch": 0.046483648692989175,
3005
+ "grad_norm": 1.207707405090332,
3006
+ "learning_rate": 0.00019989745363349526,
3007
+ "loss": 0.6146,
3008
+ "step": 425
3009
+ },
3010
+ {
3011
+ "epoch": 0.0465930219840315,
3012
+ "grad_norm": 1.4657715559005737,
3013
+ "learning_rate": 0.00019989693384346482,
3014
+ "loss": 0.9031,
3015
+ "step": 426
3016
+ },
3017
+ {
3018
+ "epoch": 0.046702395275073826,
3019
+ "grad_norm": 1.3541256189346313,
3020
+ "learning_rate": 0.0001998964127400784,
3021
+ "loss": 0.6766,
3022
+ "step": 427
3023
+ },
3024
+ {
3025
+ "epoch": 0.04681176856611616,
3026
+ "grad_norm": 0.9115450382232666,
3027
+ "learning_rate": 0.00019989589032334268,
3028
+ "loss": 0.9605,
3029
+ "step": 428
3030
+ },
3031
+ {
3032
+ "epoch": 0.04692114185715848,
3033
+ "grad_norm": 0.9539338946342468,
3034
+ "learning_rate": 0.0001998953665932647,
3035
+ "loss": 1.0472,
3036
+ "step": 429
3037
+ },
3038
+ {
3039
+ "epoch": 0.04703051514820081,
3040
+ "grad_norm": 0.9659996628761292,
3041
+ "learning_rate": 0.00019989484154985126,
3042
+ "loss": 0.7071,
3043
+ "step": 430
3044
+ },
3045
+ {
3046
+ "epoch": 0.04713988843924314,
3047
+ "grad_norm": 1.097551703453064,
3048
+ "learning_rate": 0.0001998943151931093,
3049
+ "loss": 0.4573,
3050
+ "step": 431
3051
+ },
3052
+ {
3053
+ "epoch": 0.047249261730285465,
3054
+ "grad_norm": 1.287800908088684,
3055
+ "learning_rate": 0.0001998937875230457,
3056
+ "loss": 0.7062,
3057
+ "step": 432
3058
+ },
3059
+ {
3060
+ "epoch": 0.04735863502132779,
3061
+ "grad_norm": 0.9104124307632446,
3062
+ "learning_rate": 0.0001998932585396674,
3063
+ "loss": 0.5085,
3064
+ "step": 433
3065
+ },
3066
+ {
3067
+ "epoch": 0.04746800831237012,
3068
+ "grad_norm": 0.8423514366149902,
3069
+ "learning_rate": 0.0001998927282429814,
3070
+ "loss": 0.7665,
3071
+ "step": 434
3072
+ },
3073
+ {
3074
+ "epoch": 0.04757738160341245,
3075
+ "grad_norm": 1.021085500717163,
3076
+ "learning_rate": 0.0001998921966329946,
3077
+ "loss": 0.6975,
3078
+ "step": 435
3079
+ },
3080
+ {
3081
+ "epoch": 0.04768675489445477,
3082
+ "grad_norm": 1.40684175491333,
3083
+ "learning_rate": 0.0001998916637097141,
3084
+ "loss": 0.7913,
3085
+ "step": 436
3086
+ },
3087
+ {
3088
+ "epoch": 0.047796128185497104,
3089
+ "grad_norm": 1.0347301959991455,
3090
+ "learning_rate": 0.00019989112947314678,
3091
+ "loss": 0.7172,
3092
+ "step": 437
3093
+ },
3094
+ {
3095
+ "epoch": 0.04790550147653943,
3096
+ "grad_norm": 1.0268831253051758,
3097
+ "learning_rate": 0.00019989059392329974,
3098
+ "loss": 0.7212,
3099
+ "step": 438
3100
+ },
3101
+ {
3102
+ "epoch": 0.048014874767581754,
3103
+ "grad_norm": 1.0991255044937134,
3104
+ "learning_rate": 0.00019989005706018,
3105
+ "loss": 0.7781,
3106
+ "step": 439
3107
+ },
3108
+ {
3109
+ "epoch": 0.048124248058624086,
3110
+ "grad_norm": 1.0303900241851807,
3111
+ "learning_rate": 0.00019988951888379462,
3112
+ "loss": 0.8743,
3113
+ "step": 440
3114
+ },
3115
+ {
3116
+ "epoch": 0.04823362134966641,
3117
+ "grad_norm": 1.1497889757156372,
3118
+ "learning_rate": 0.0001998889793941507,
3119
+ "loss": 0.8768,
3120
+ "step": 441
3121
+ },
3122
+ {
3123
+ "epoch": 0.048342994640708736,
3124
+ "grad_norm": 1.1906489133834839,
3125
+ "learning_rate": 0.00019988843859125528,
3126
+ "loss": 0.7988,
3127
+ "step": 442
3128
+ },
3129
+ {
3130
+ "epoch": 0.04845236793175107,
3131
+ "grad_norm": 0.9526726603507996,
3132
+ "learning_rate": 0.0001998878964751155,
3133
+ "loss": 0.9272,
3134
+ "step": 443
3135
+ },
3136
+ {
3137
+ "epoch": 0.04856174122279339,
3138
+ "grad_norm": 1.0579299926757812,
3139
+ "learning_rate": 0.0001998873530457385,
3140
+ "loss": 0.7917,
3141
+ "step": 444
3142
+ },
3143
+ {
3144
+ "epoch": 0.04867111451383572,
3145
+ "grad_norm": 1.2798495292663574,
3146
+ "learning_rate": 0.0001998868083031314,
3147
+ "loss": 0.8362,
3148
+ "step": 445
3149
+ },
3150
+ {
3151
+ "epoch": 0.04878048780487805,
3152
+ "grad_norm": 1.187063217163086,
3153
+ "learning_rate": 0.00019988626224730135,
3154
+ "loss": 0.6954,
3155
+ "step": 446
3156
+ },
3157
+ {
3158
+ "epoch": 0.048889861095920376,
3159
+ "grad_norm": 0.8720710873603821,
3160
+ "learning_rate": 0.0001998857148782556,
3161
+ "loss": 0.6788,
3162
+ "step": 447
3163
+ },
3164
+ {
3165
+ "epoch": 0.0489992343869627,
3166
+ "grad_norm": 1.2096325159072876,
3167
+ "learning_rate": 0.00019988516619600128,
3168
+ "loss": 0.7242,
3169
+ "step": 448
3170
+ },
3171
+ {
3172
+ "epoch": 0.04910860767800503,
3173
+ "grad_norm": 0.9759934544563293,
3174
+ "learning_rate": 0.0001998846162005456,
3175
+ "loss": 0.82,
3176
+ "step": 449
3177
+ },
3178
+ {
3179
+ "epoch": 0.04921798096904736,
3180
+ "grad_norm": 0.9307674169540405,
3181
+ "learning_rate": 0.00019988406489189584,
3182
+ "loss": 1.0253,
3183
+ "step": 450
3184
+ },
3185
+ {
3186
+ "epoch": 0.04932735426008968,
3187
+ "grad_norm": 1.079480767250061,
3188
+ "learning_rate": 0.00019988351227005923,
3189
+ "loss": 0.7901,
3190
+ "step": 451
3191
+ },
3192
+ {
3193
+ "epoch": 0.049436727551132015,
3194
+ "grad_norm": 0.9951292276382446,
3195
+ "learning_rate": 0.000199882958335043,
3196
+ "loss": 0.8101,
3197
+ "step": 452
3198
+ },
3199
+ {
3200
+ "epoch": 0.04954610084217434,
3201
+ "grad_norm": 1.5982356071472168,
3202
+ "learning_rate": 0.00019988240308685447,
3203
+ "loss": 0.7624,
3204
+ "step": 453
3205
+ },
3206
+ {
3207
+ "epoch": 0.04965547413321667,
3208
+ "grad_norm": 1.5702210664749146,
3209
+ "learning_rate": 0.0001998818465255009,
3210
+ "loss": 1.0113,
3211
+ "step": 454
3212
+ },
3213
+ {
3214
+ "epoch": 0.049764847424259,
3215
+ "grad_norm": 0.8995147347450256,
3216
+ "learning_rate": 0.00019988128865098967,
3217
+ "loss": 0.8003,
3218
+ "step": 455
3219
+ },
3220
+ {
3221
+ "epoch": 0.04987422071530132,
3222
+ "grad_norm": 1.0795233249664307,
3223
+ "learning_rate": 0.00019988072946332808,
3224
+ "loss": 0.7688,
3225
+ "step": 456
3226
+ },
3227
+ {
3228
+ "epoch": 0.049983594006343654,
3229
+ "grad_norm": 1.1191943883895874,
3230
+ "learning_rate": 0.00019988016896252346,
3231
+ "loss": 0.8913,
3232
+ "step": 457
3233
+ },
3234
+ {
3235
+ "epoch": 0.05009296729738598,
3236
+ "grad_norm": 1.089416265487671,
3237
+ "learning_rate": 0.0001998796071485832,
3238
+ "loss": 0.6705,
3239
+ "step": 458
3240
+ },
3241
+ {
3242
+ "epoch": 0.050202340588428304,
3243
+ "grad_norm": 0.9763931632041931,
3244
+ "learning_rate": 0.0001998790440215147,
3245
+ "loss": 0.6319,
3246
+ "step": 459
3247
+ },
3248
+ {
3249
+ "epoch": 0.050311713879470636,
3250
+ "grad_norm": 1.4132522344589233,
3251
+ "learning_rate": 0.00019987847958132535,
3252
+ "loss": 0.7966,
3253
+ "step": 460
3254
+ },
3255
+ {
3256
+ "epoch": 0.05042108717051296,
3257
+ "grad_norm": 1.5261541604995728,
3258
+ "learning_rate": 0.00019987791382802255,
3259
+ "loss": 0.6739,
3260
+ "step": 461
3261
+ },
3262
+ {
3263
+ "epoch": 0.050530460461555286,
3264
+ "grad_norm": 1.1543093919754028,
3265
+ "learning_rate": 0.00019987734676161378,
3266
+ "loss": 1.3043,
3267
+ "step": 462
3268
+ },
3269
+ {
3270
+ "epoch": 0.05063983375259762,
3271
+ "grad_norm": 1.311062216758728,
3272
+ "learning_rate": 0.0001998767783821065,
3273
+ "loss": 0.8772,
3274
+ "step": 463
3275
+ },
3276
+ {
3277
+ "epoch": 0.05074920704363994,
3278
+ "grad_norm": 1.5114765167236328,
3279
+ "learning_rate": 0.00019987620868950812,
3280
+ "loss": 0.8614,
3281
+ "step": 464
3282
+ },
3283
+ {
3284
+ "epoch": 0.05085858033468227,
3285
+ "grad_norm": 1.1269599199295044,
3286
+ "learning_rate": 0.00019987563768382617,
3287
+ "loss": 0.9356,
3288
+ "step": 465
3289
+ },
3290
+ {
3291
+ "epoch": 0.0509679536257246,
3292
+ "grad_norm": 1.285370945930481,
3293
+ "learning_rate": 0.00019987506536506814,
3294
+ "loss": 0.6714,
3295
+ "step": 466
3296
+ },
3297
+ {
3298
+ "epoch": 0.051077326916766926,
3299
+ "grad_norm": 1.137934923171997,
3300
+ "learning_rate": 0.0001998744917332416,
3301
+ "loss": 0.5941,
3302
+ "step": 467
3303
+ },
3304
+ {
3305
+ "epoch": 0.05118670020780925,
3306
+ "grad_norm": 1.1598773002624512,
3307
+ "learning_rate": 0.00019987391678835404,
3308
+ "loss": 0.9834,
3309
+ "step": 468
3310
+ },
3311
+ {
3312
+ "epoch": 0.05129607349885158,
3313
+ "grad_norm": 1.5532463788986206,
3314
+ "learning_rate": 0.00019987334053041307,
3315
+ "loss": 0.8427,
3316
+ "step": 469
3317
+ },
3318
+ {
3319
+ "epoch": 0.05140544678989391,
3320
+ "grad_norm": 1.0216114521026611,
3321
+ "learning_rate": 0.00019987276295942621,
3322
+ "loss": 0.8592,
3323
+ "step": 470
3324
+ },
3325
+ {
3326
+ "epoch": 0.05151482008093623,
3327
+ "grad_norm": 1.5978375673294067,
3328
+ "learning_rate": 0.00019987218407540108,
3329
+ "loss": 0.6453,
3330
+ "step": 471
3331
+ },
3332
+ {
3333
+ "epoch": 0.051624193371978565,
3334
+ "grad_norm": 1.022755742073059,
3335
+ "learning_rate": 0.0001998716038783453,
3336
+ "loss": 0.9352,
3337
+ "step": 472
3338
+ },
3339
+ {
3340
+ "epoch": 0.05173356666302089,
3341
+ "grad_norm": 1.1233989000320435,
3342
+ "learning_rate": 0.00019987102236826646,
3343
+ "loss": 0.7528,
3344
+ "step": 473
3345
+ },
3346
+ {
3347
+ "epoch": 0.051842939954063215,
3348
+ "grad_norm": 1.0236766338348389,
3349
+ "learning_rate": 0.00019987043954517223,
3350
+ "loss": 0.7504,
3351
+ "step": 474
3352
+ },
3353
+ {
3354
+ "epoch": 0.05195231324510555,
3355
+ "grad_norm": 0.9642089009284973,
3356
+ "learning_rate": 0.0001998698554090703,
3357
+ "loss": 0.7342,
3358
+ "step": 475
3359
+ },
3360
+ {
3361
+ "epoch": 0.05206168653614787,
3362
+ "grad_norm": 1.0298606157302856,
3363
+ "learning_rate": 0.00019986926995996834,
3364
+ "loss": 0.9943,
3365
+ "step": 476
3366
+ },
3367
+ {
3368
+ "epoch": 0.0521710598271902,
3369
+ "grad_norm": 0.9320874214172363,
3370
+ "learning_rate": 0.000199868683197874,
3371
+ "loss": 1.1226,
3372
+ "step": 477
3373
+ },
3374
+ {
3375
+ "epoch": 0.05228043311823253,
3376
+ "grad_norm": 0.8626863956451416,
3377
+ "learning_rate": 0.000199868095122795,
3378
+ "loss": 1.0293,
3379
+ "step": 478
3380
+ },
3381
+ {
3382
+ "epoch": 0.052389806409274854,
3383
+ "grad_norm": 1.0206810235977173,
3384
+ "learning_rate": 0.00019986750573473914,
3385
+ "loss": 1.0032,
3386
+ "step": 479
3387
+ },
3388
+ {
3389
+ "epoch": 0.05249917970031718,
3390
+ "grad_norm": 1.1447771787643433,
3391
+ "learning_rate": 0.0001998669150337141,
3392
+ "loss": 0.8816,
3393
+ "step": 480
3394
+ },
3395
+ {
3396
+ "epoch": 0.05260855299135951,
3397
+ "grad_norm": 1.1172994375228882,
3398
+ "learning_rate": 0.0001998663230197277,
3399
+ "loss": 0.8034,
3400
+ "step": 481
3401
+ },
3402
+ {
3403
+ "epoch": 0.052717926282401836,
3404
+ "grad_norm": 1.1175955533981323,
3405
+ "learning_rate": 0.00019986572969278766,
3406
+ "loss": 0.9391,
3407
+ "step": 482
3408
+ },
3409
+ {
3410
+ "epoch": 0.05282729957344417,
3411
+ "grad_norm": 1.279219388961792,
3412
+ "learning_rate": 0.00019986513505290186,
3413
+ "loss": 0.7481,
3414
+ "step": 483
3415
+ },
3416
+ {
3417
+ "epoch": 0.05293667286448649,
3418
+ "grad_norm": 0.9596846103668213,
3419
+ "learning_rate": 0.00019986453910007806,
3420
+ "loss": 0.7093,
3421
+ "step": 484
3422
+ },
3423
+ {
3424
+ "epoch": 0.05304604615552882,
3425
+ "grad_norm": 1.5974267721176147,
3426
+ "learning_rate": 0.0001998639418343241,
3427
+ "loss": 0.9337,
3428
+ "step": 485
3429
+ },
3430
+ {
3431
+ "epoch": 0.05315541944657115,
3432
+ "grad_norm": 0.9189580678939819,
3433
+ "learning_rate": 0.0001998633432556478,
3434
+ "loss": 1.042,
3435
+ "step": 486
3436
+ },
3437
+ {
3438
+ "epoch": 0.053264792737613476,
3439
+ "grad_norm": 1.3200494050979614,
3440
+ "learning_rate": 0.00019986274336405714,
3441
+ "loss": 0.8717,
3442
+ "step": 487
3443
+ },
3444
+ {
3445
+ "epoch": 0.0533741660286558,
3446
+ "grad_norm": 1.514082431793213,
3447
+ "learning_rate": 0.0001998621421595599,
3448
+ "loss": 0.9438,
3449
+ "step": 488
3450
+ },
3451
+ {
3452
+ "epoch": 0.05348353931969813,
3453
+ "grad_norm": 1.1798110008239746,
3454
+ "learning_rate": 0.000199861539642164,
3455
+ "loss": 0.8857,
3456
+ "step": 489
3457
+ },
3458
+ {
3459
+ "epoch": 0.05359291261074046,
3460
+ "grad_norm": 1.3705772161483765,
3461
+ "learning_rate": 0.00019986093581187743,
3462
+ "loss": 0.7876,
3463
+ "step": 490
3464
+ },
3465
+ {
3466
+ "epoch": 0.05370228590178278,
3467
+ "grad_norm": 1.0883309841156006,
3468
+ "learning_rate": 0.00019986033066870805,
3469
+ "loss": 0.7006,
3470
+ "step": 491
3471
+ },
3472
+ {
3473
+ "epoch": 0.053811659192825115,
3474
+ "grad_norm": 1.2093448638916016,
3475
+ "learning_rate": 0.00019985972421266386,
3476
+ "loss": 0.8158,
3477
+ "step": 492
3478
+ },
3479
+ {
3480
+ "epoch": 0.05392103248386744,
3481
+ "grad_norm": 1.2223838567733765,
3482
+ "learning_rate": 0.00019985911644375282,
3483
+ "loss": 0.9867,
3484
+ "step": 493
3485
+ },
3486
+ {
3487
+ "epoch": 0.054030405774909765,
3488
+ "grad_norm": 1.2985742092132568,
3489
+ "learning_rate": 0.00019985850736198294,
3490
+ "loss": 0.7929,
3491
+ "step": 494
3492
+ },
3493
+ {
3494
+ "epoch": 0.0541397790659521,
3495
+ "grad_norm": 1.0266704559326172,
3496
+ "learning_rate": 0.00019985789696736215,
3497
+ "loss": 0.7462,
3498
+ "step": 495
3499
+ },
3500
+ {
3501
+ "epoch": 0.05424915235699442,
3502
+ "grad_norm": 1.272060513496399,
3503
+ "learning_rate": 0.00019985728525989858,
3504
+ "loss": 0.78,
3505
+ "step": 496
3506
+ },
3507
+ {
3508
+ "epoch": 0.05435852564803675,
3509
+ "grad_norm": 0.8229413032531738,
3510
+ "learning_rate": 0.00019985667223960021,
3511
+ "loss": 1.0024,
3512
+ "step": 497
3513
+ },
3514
+ {
3515
+ "epoch": 0.05446789893907908,
3516
+ "grad_norm": 1.0643401145935059,
3517
+ "learning_rate": 0.00019985605790647513,
3518
+ "loss": 0.8547,
3519
+ "step": 498
3520
+ },
3521
+ {
3522
+ "epoch": 0.054577272230121404,
3523
+ "grad_norm": 0.9842153787612915,
3524
+ "learning_rate": 0.00019985544226053137,
3525
+ "loss": 1.0151,
3526
+ "step": 499
3527
+ },
3528
+ {
3529
+ "epoch": 0.05468664552116373,
3530
+ "grad_norm": 1.050392508506775,
3531
+ "learning_rate": 0.00019985482530177707,
3532
+ "loss": 0.7329,
3533
+ "step": 500
3534
+ },
3535
+ {
3536
+ "epoch": 0.05479601881220606,
3537
+ "grad_norm": 1.1385303735733032,
3538
+ "learning_rate": 0.00019985420703022032,
3539
+ "loss": 0.8524,
3540
+ "step": 501
3541
+ },
3542
+ {
3543
+ "epoch": 0.054905392103248386,
3544
+ "grad_norm": 1.0153578519821167,
3545
+ "learning_rate": 0.0001998535874458693,
3546
+ "loss": 0.9798,
3547
+ "step": 502
3548
+ },
3549
+ {
3550
+ "epoch": 0.05501476539429071,
3551
+ "grad_norm": 0.8864844441413879,
3552
+ "learning_rate": 0.00019985296654873204,
3553
+ "loss": 0.8962,
3554
+ "step": 503
3555
+ },
3556
+ {
3557
+ "epoch": 0.05512413868533304,
3558
+ "grad_norm": 0.8665205836296082,
3559
+ "learning_rate": 0.0001998523443388168,
3560
+ "loss": 1.1352,
3561
+ "step": 504
3562
+ },
3563
+ {
3564
+ "epoch": 0.05523351197637537,
3565
+ "grad_norm": 1.2367112636566162,
3566
+ "learning_rate": 0.00019985172081613177,
3567
+ "loss": 0.9921,
3568
+ "step": 505
3569
+ },
3570
+ {
3571
+ "epoch": 0.055342885267417694,
3572
+ "grad_norm": 1.02898108959198,
3573
+ "learning_rate": 0.00019985109598068506,
3574
+ "loss": 0.9123,
3575
+ "step": 506
3576
+ },
3577
+ {
3578
+ "epoch": 0.055452258558460026,
3579
+ "grad_norm": 0.9751277565956116,
3580
+ "learning_rate": 0.000199850469832485,
3581
+ "loss": 1.0117,
3582
+ "step": 507
3583
+ },
3584
+ {
3585
+ "epoch": 0.05556163184950235,
3586
+ "grad_norm": 1.1283056735992432,
3587
+ "learning_rate": 0.00019984984237153973,
3588
+ "loss": 0.7363,
3589
+ "step": 508
3590
+ },
3591
+ {
3592
+ "epoch": 0.055671005140544676,
3593
+ "grad_norm": 1.480178952217102,
3594
+ "learning_rate": 0.0001998492135978575,
3595
+ "loss": 1.0154,
3596
+ "step": 509
3597
+ },
3598
+ {
3599
+ "epoch": 0.05578037843158701,
3600
+ "grad_norm": 1.3893234729766846,
3601
+ "learning_rate": 0.00019984858351144663,
3602
+ "loss": 0.6876,
3603
+ "step": 510
3604
+ },
3605
+ {
3606
+ "epoch": 0.05588975172262933,
3607
+ "grad_norm": 1.0186976194381714,
3608
+ "learning_rate": 0.00019984795211231535,
3609
+ "loss": 0.7121,
3610
+ "step": 511
3611
+ },
3612
+ {
3613
+ "epoch": 0.055999125013671665,
3614
+ "grad_norm": 1.1589125394821167,
3615
+ "learning_rate": 0.000199847319400472,
3616
+ "loss": 0.7955,
3617
+ "step": 512
3618
+ },
3619
+ {
3620
+ "epoch": 0.05610849830471399,
3621
+ "grad_norm": 1.0086039304733276,
3622
+ "learning_rate": 0.0001998466853759249,
3623
+ "loss": 0.8957,
3624
+ "step": 513
3625
+ },
3626
+ {
3627
+ "epoch": 0.056217871595756315,
3628
+ "grad_norm": 1.2082234621047974,
3629
+ "learning_rate": 0.00019984605003868237,
3630
+ "loss": 0.931,
3631
+ "step": 514
3632
+ },
3633
+ {
3634
+ "epoch": 0.05632724488679865,
3635
+ "grad_norm": 1.0067565441131592,
3636
+ "learning_rate": 0.0001998454133887528,
3637
+ "loss": 0.731,
3638
+ "step": 515
3639
+ },
3640
+ {
3641
+ "epoch": 0.05643661817784097,
3642
+ "grad_norm": 0.8393429517745972,
3643
+ "learning_rate": 0.00019984477542614446,
3644
+ "loss": 0.8231,
3645
+ "step": 516
3646
+ },
3647
+ {
3648
+ "epoch": 0.0565459914688833,
3649
+ "grad_norm": 0.9679846167564392,
3650
+ "learning_rate": 0.00019984413615086583,
3651
+ "loss": 1.0243,
3652
+ "step": 517
3653
+ },
3654
+ {
3655
+ "epoch": 0.05665536475992563,
3656
+ "grad_norm": 1.0620890855789185,
3657
+ "learning_rate": 0.0001998434955629253,
3658
+ "loss": 0.8942,
3659
+ "step": 518
3660
+ },
3661
+ {
3662
+ "epoch": 0.056764738050967954,
3663
+ "grad_norm": 0.8497173190116882,
3664
+ "learning_rate": 0.00019984285366233127,
3665
+ "loss": 0.8808,
3666
+ "step": 519
3667
+ },
3668
+ {
3669
+ "epoch": 0.05687411134201028,
3670
+ "grad_norm": 1.210013508796692,
3671
+ "learning_rate": 0.0001998422104490922,
3672
+ "loss": 0.6953,
3673
+ "step": 520
3674
+ },
3675
+ {
3676
+ "epoch": 0.05698348463305261,
3677
+ "grad_norm": 0.8720889091491699,
3678
+ "learning_rate": 0.00019984156592321652,
3679
+ "loss": 0.9666,
3680
+ "step": 521
3681
+ },
3682
+ {
3683
+ "epoch": 0.057092857924094936,
3684
+ "grad_norm": 1.122982144355774,
3685
+ "learning_rate": 0.00019984092008471272,
3686
+ "loss": 0.8495,
3687
+ "step": 522
3688
+ },
3689
+ {
3690
+ "epoch": 0.05720223121513726,
3691
+ "grad_norm": 1.1690536737442017,
3692
+ "learning_rate": 0.00019984027293358931,
3693
+ "loss": 1.202,
3694
+ "step": 523
3695
+ },
3696
+ {
3697
+ "epoch": 0.05731160450617959,
3698
+ "grad_norm": 1.0106743574142456,
3699
+ "learning_rate": 0.00019983962446985476,
3700
+ "loss": 0.9893,
3701
+ "step": 524
3702
+ },
3703
+ {
3704
+ "epoch": 0.05742097779722192,
3705
+ "grad_norm": 1.8566340208053589,
3706
+ "learning_rate": 0.0001998389746935176,
3707
+ "loss": 1.3652,
3708
+ "step": 525
3709
+ },
3710
+ {
3711
+ "epoch": 0.057530351088264244,
3712
+ "grad_norm": 0.9694240689277649,
3713
+ "learning_rate": 0.00019983832360458644,
3714
+ "loss": 0.6753,
3715
+ "step": 526
3716
+ },
3717
+ {
3718
+ "epoch": 0.057639724379306576,
3719
+ "grad_norm": 1.099011778831482,
3720
+ "learning_rate": 0.00019983767120306973,
3721
+ "loss": 1.549,
3722
+ "step": 527
3723
+ },
3724
+ {
3725
+ "epoch": 0.0577490976703489,
3726
+ "grad_norm": 1.0495198965072632,
3727
+ "learning_rate": 0.00019983701748897613,
3728
+ "loss": 1.1807,
3729
+ "step": 528
3730
+ },
3731
+ {
3732
+ "epoch": 0.057858470961391226,
3733
+ "grad_norm": 0.9285663962364197,
3734
+ "learning_rate": 0.0001998363624623142,
3735
+ "loss": 1.0697,
3736
+ "step": 529
3737
+ },
3738
+ {
3739
+ "epoch": 0.05796784425243356,
3740
+ "grad_norm": 1.0406607389450073,
3741
+ "learning_rate": 0.00019983570612309257,
3742
+ "loss": 1.0355,
3743
+ "step": 530
3744
+ },
3745
+ {
3746
+ "epoch": 0.05807721754347588,
3747
+ "grad_norm": 0.9569828510284424,
3748
+ "learning_rate": 0.00019983504847131985,
3749
+ "loss": 0.7724,
3750
+ "step": 531
3751
+ },
3752
+ {
3753
+ "epoch": 0.05818659083451821,
3754
+ "grad_norm": 1.041804313659668,
3755
+ "learning_rate": 0.0001998343895070047,
3756
+ "loss": 0.5987,
3757
+ "step": 532
3758
+ },
3759
+ {
3760
+ "epoch": 0.05829596412556054,
3761
+ "grad_norm": 1.242843508720398,
3762
+ "learning_rate": 0.00019983372923015576,
3763
+ "loss": 1.0367,
3764
+ "step": 533
3765
+ },
3766
+ {
3767
+ "epoch": 0.058405337416602865,
3768
+ "grad_norm": 1.2179800271987915,
3769
+ "learning_rate": 0.00019983306764078174,
3770
+ "loss": 0.8017,
3771
+ "step": 534
3772
+ },
3773
+ {
3774
+ "epoch": 0.05851471070764519,
3775
+ "grad_norm": 1.5981494188308716,
3776
+ "learning_rate": 0.00019983240473889132,
3777
+ "loss": 0.8737,
3778
+ "step": 535
3779
+ },
3780
+ {
3781
+ "epoch": 0.05862408399868752,
3782
+ "grad_norm": 1.071590781211853,
3783
+ "learning_rate": 0.00019983174052449324,
3784
+ "loss": 0.8819,
3785
+ "step": 536
3786
+ },
3787
+ {
3788
+ "epoch": 0.05873345728972985,
3789
+ "grad_norm": 0.9891796112060547,
3790
+ "learning_rate": 0.0001998310749975962,
3791
+ "loss": 1.1386,
3792
+ "step": 537
3793
+ },
3794
+ {
3795
+ "epoch": 0.05884283058077217,
3796
+ "grad_norm": 1.0623862743377686,
3797
+ "learning_rate": 0.00019983040815820896,
3798
+ "loss": 0.8083,
3799
+ "step": 538
3800
+ },
3801
+ {
3802
+ "epoch": 0.058952203871814504,
3803
+ "grad_norm": 0.9091552495956421,
3804
+ "learning_rate": 0.0001998297400063403,
3805
+ "loss": 0.5463,
3806
+ "step": 539
3807
+ },
3808
+ {
3809
+ "epoch": 0.05906157716285683,
3810
+ "grad_norm": 1.1463671922683716,
3811
+ "learning_rate": 0.000199829070541999,
3812
+ "loss": 0.8651,
3813
+ "step": 540
3814
+ },
3815
+ {
3816
+ "epoch": 0.05917095045389916,
3817
+ "grad_norm": 1.4799455404281616,
3818
+ "learning_rate": 0.00019982839976519386,
3819
+ "loss": 0.6439,
3820
+ "step": 541
3821
+ },
3822
+ {
3823
+ "epoch": 0.059280323744941486,
3824
+ "grad_norm": 1.2554148435592651,
3825
+ "learning_rate": 0.00019982772767593367,
3826
+ "loss": 0.9621,
3827
+ "step": 542
3828
+ },
3829
+ {
3830
+ "epoch": 0.05938969703598381,
3831
+ "grad_norm": 1.0151816606521606,
3832
+ "learning_rate": 0.00019982705427422733,
3833
+ "loss": 0.8456,
3834
+ "step": 543
3835
+ },
3836
+ {
3837
+ "epoch": 0.05949907032702614,
3838
+ "grad_norm": 0.9739223122596741,
3839
+ "learning_rate": 0.00019982637956008362,
3840
+ "loss": 1.0848,
3841
+ "step": 544
3842
+ },
3843
+ {
3844
+ "epoch": 0.05960844361806847,
3845
+ "grad_norm": 1.4318240880966187,
3846
+ "learning_rate": 0.00019982570353351147,
3847
+ "loss": 0.4684,
3848
+ "step": 545
3849
+ },
3850
+ {
3851
+ "epoch": 0.059717816909110794,
3852
+ "grad_norm": 1.1196770668029785,
3853
+ "learning_rate": 0.00019982502619451974,
3854
+ "loss": 0.7739,
3855
+ "step": 546
3856
+ },
3857
+ {
3858
+ "epoch": 0.059827190200153126,
3859
+ "grad_norm": 0.9427726864814758,
3860
+ "learning_rate": 0.00019982434754311733,
3861
+ "loss": 0.9338,
3862
+ "step": 547
3863
+ },
3864
+ {
3865
+ "epoch": 0.05993656349119545,
3866
+ "grad_norm": 1.3539577722549438,
3867
+ "learning_rate": 0.0001998236675793132,
3868
+ "loss": 0.9631,
3869
+ "step": 548
3870
+ },
3871
+ {
3872
+ "epoch": 0.060045936782237776,
3873
+ "grad_norm": 1.1712934970855713,
3874
+ "learning_rate": 0.00019982298630311622,
3875
+ "loss": 0.9422,
3876
+ "step": 549
3877
+ },
3878
+ {
3879
+ "epoch": 0.06015531007328011,
3880
+ "grad_norm": 1.177377700805664,
3881
+ "learning_rate": 0.0001998223037145354,
3882
+ "loss": 0.9431,
3883
+ "step": 550
3884
+ },
3885
+ {
3886
+ "epoch": 0.06026468336432243,
3887
+ "grad_norm": 1.0253443717956543,
3888
+ "learning_rate": 0.00019982161981357973,
3889
+ "loss": 1.1583,
3890
+ "step": 551
3891
+ },
3892
+ {
3893
+ "epoch": 0.06037405665536476,
3894
+ "grad_norm": 1.0737707614898682,
3895
+ "learning_rate": 0.00019982093460025815,
3896
+ "loss": 0.7857,
3897
+ "step": 552
3898
+ },
3899
+ {
3900
+ "epoch": 0.06048342994640709,
3901
+ "grad_norm": 1.4929778575897217,
3902
+ "learning_rate": 0.00019982024807457967,
3903
+ "loss": 1.0744,
3904
+ "step": 553
3905
+ },
3906
+ {
3907
+ "epoch": 0.060592803237449415,
3908
+ "grad_norm": 1.174723744392395,
3909
+ "learning_rate": 0.00019981956023655336,
3910
+ "loss": 1.124,
3911
+ "step": 554
3912
+ },
3913
+ {
3914
+ "epoch": 0.06070217652849174,
3915
+ "grad_norm": 1.4608044624328613,
3916
+ "learning_rate": 0.00019981887108618825,
3917
+ "loss": 0.91,
3918
+ "step": 555
3919
+ },
3920
+ {
3921
+ "epoch": 0.06081154981953407,
3922
+ "grad_norm": 1.2418204545974731,
3923
+ "learning_rate": 0.00019981818062349337,
3924
+ "loss": 0.6012,
3925
+ "step": 556
3926
+ },
3927
+ {
3928
+ "epoch": 0.0609209231105764,
3929
+ "grad_norm": 1.3971385955810547,
3930
+ "learning_rate": 0.0001998174888484778,
3931
+ "loss": 0.7114,
3932
+ "step": 557
3933
+ },
3934
+ {
3935
+ "epoch": 0.06103029640161872,
3936
+ "grad_norm": 1.189285397529602,
3937
+ "learning_rate": 0.0001998167957611507,
3938
+ "loss": 1.3319,
3939
+ "step": 558
3940
+ },
3941
+ {
3942
+ "epoch": 0.061139669692661054,
3943
+ "grad_norm": 1.088165521621704,
3944
+ "learning_rate": 0.0001998161013615211,
3945
+ "loss": 0.6337,
3946
+ "step": 559
3947
+ },
3948
+ {
3949
+ "epoch": 0.06124904298370338,
3950
+ "grad_norm": 1.2663531303405762,
3951
+ "learning_rate": 0.0001998154056495982,
3952
+ "loss": 0.7802,
3953
+ "step": 560
3954
+ },
3955
+ {
3956
+ "epoch": 0.061358416274745704,
3957
+ "grad_norm": 1.002173900604248,
3958
+ "learning_rate": 0.00019981470862539107,
3959
+ "loss": 0.8206,
3960
+ "step": 561
3961
+ },
3962
+ {
3963
+ "epoch": 0.061467789565788036,
3964
+ "grad_norm": 1.1963932514190674,
3965
+ "learning_rate": 0.00019981401028890895,
3966
+ "loss": 1.1556,
3967
+ "step": 562
3968
+ },
3969
+ {
3970
+ "epoch": 0.06157716285683036,
3971
+ "grad_norm": 1.1052930355072021,
3972
+ "learning_rate": 0.00019981331064016097,
3973
+ "loss": 0.9486,
3974
+ "step": 563
3975
+ },
3976
+ {
3977
+ "epoch": 0.061686536147872686,
3978
+ "grad_norm": 0.9965226054191589,
3979
+ "learning_rate": 0.00019981260967915634,
3980
+ "loss": 0.766,
3981
+ "step": 564
3982
+ },
3983
+ {
3984
+ "epoch": 0.06179590943891502,
3985
+ "grad_norm": 1.6856166124343872,
3986
+ "learning_rate": 0.0001998119074059043,
3987
+ "loss": 0.6992,
3988
+ "step": 565
3989
+ },
3990
+ {
3991
+ "epoch": 0.061905282729957344,
3992
+ "grad_norm": 1.4077011346817017,
3993
+ "learning_rate": 0.00019981120382041404,
3994
+ "loss": 0.8003,
3995
+ "step": 566
3996
+ },
3997
+ {
3998
+ "epoch": 0.06201465602099967,
3999
+ "grad_norm": 1.032565951347351,
4000
+ "learning_rate": 0.00019981049892269482,
4001
+ "loss": 0.7922,
4002
+ "step": 567
4003
+ },
4004
+ {
4005
+ "epoch": 0.062124029312042,
4006
+ "grad_norm": 1.1922955513000488,
4007
+ "learning_rate": 0.00019980979271275596,
4008
+ "loss": 0.7718,
4009
+ "step": 568
4010
+ },
4011
+ {
4012
+ "epoch": 0.062233402603084326,
4013
+ "grad_norm": 0.9688342213630676,
4014
+ "learning_rate": 0.00019980908519060667,
4015
+ "loss": 0.7989,
4016
+ "step": 569
4017
+ },
4018
+ {
4019
+ "epoch": 0.06234277589412666,
4020
+ "grad_norm": 1.5489237308502197,
4021
+ "learning_rate": 0.00019980837635625632,
4022
+ "loss": 0.8059,
4023
+ "step": 570
4024
+ },
4025
+ {
4026
+ "epoch": 0.06245214918516898,
4027
+ "grad_norm": 1.9893778562545776,
4028
+ "learning_rate": 0.0001998076662097142,
4029
+ "loss": 0.8632,
4030
+ "step": 571
4031
+ },
4032
+ {
4033
+ "epoch": 0.06256152247621131,
4034
+ "grad_norm": 1.1985156536102295,
4035
+ "learning_rate": 0.00019980695475098958,
4036
+ "loss": 1.0229,
4037
+ "step": 572
4038
+ },
4039
+ {
4040
+ "epoch": 0.06267089576725364,
4041
+ "grad_norm": 0.994389533996582,
4042
+ "learning_rate": 0.00019980624198009193,
4043
+ "loss": 1.1044,
4044
+ "step": 573
4045
+ },
4046
+ {
4047
+ "epoch": 0.06278026905829596,
4048
+ "grad_norm": 0.9276033043861389,
4049
+ "learning_rate": 0.00019980552789703056,
4050
+ "loss": 0.9062,
4051
+ "step": 574
4052
+ },
4053
+ {
4054
+ "epoch": 0.06288964234933829,
4055
+ "grad_norm": 1.2080670595169067,
4056
+ "learning_rate": 0.00019980481250181487,
4057
+ "loss": 0.769,
4058
+ "step": 575
4059
+ },
4060
+ {
4061
+ "epoch": 0.06299901564038062,
4062
+ "grad_norm": 1.1223119497299194,
4063
+ "learning_rate": 0.00019980409579445425,
4064
+ "loss": 1.137,
4065
+ "step": 576
4066
+ },
4067
+ {
4068
+ "epoch": 0.06310838893142294,
4069
+ "grad_norm": 1.0903812646865845,
4070
+ "learning_rate": 0.00019980337777495812,
4071
+ "loss": 0.9827,
4072
+ "step": 577
4073
+ },
4074
+ {
4075
+ "epoch": 0.06321776222246528,
4076
+ "grad_norm": 1.0898516178131104,
4077
+ "learning_rate": 0.00019980265844333594,
4078
+ "loss": 0.8881,
4079
+ "step": 578
4080
+ },
4081
+ {
4082
+ "epoch": 0.0633271355135076,
4083
+ "grad_norm": 0.9497270584106445,
4084
+ "learning_rate": 0.00019980193779959717,
4085
+ "loss": 0.9331,
4086
+ "step": 579
4087
+ },
4088
+ {
4089
+ "epoch": 0.06343650880454993,
4090
+ "grad_norm": 1.1686186790466309,
4091
+ "learning_rate": 0.00019980121584375126,
4092
+ "loss": 0.8766,
4093
+ "step": 580
4094
+ },
4095
+ {
4096
+ "epoch": 0.06354588209559225,
4097
+ "grad_norm": 1.187633991241455,
4098
+ "learning_rate": 0.00019980049257580773,
4099
+ "loss": 0.8418,
4100
+ "step": 581
4101
+ },
4102
+ {
4103
+ "epoch": 0.06365525538663458,
4104
+ "grad_norm": 1.136193037033081,
4105
+ "learning_rate": 0.00019979976799577607,
4106
+ "loss": 0.7776,
4107
+ "step": 582
4108
+ },
4109
+ {
4110
+ "epoch": 0.0637646286776769,
4111
+ "grad_norm": 1.1883234977722168,
4112
+ "learning_rate": 0.0001997990421036658,
4113
+ "loss": 0.8067,
4114
+ "step": 583
4115
+ },
4116
+ {
4117
+ "epoch": 0.06387400196871924,
4118
+ "grad_norm": 1.0206081867218018,
4119
+ "learning_rate": 0.0001997983148994865,
4120
+ "loss": 1.0334,
4121
+ "step": 584
4122
+ },
4123
+ {
4124
+ "epoch": 0.06398337525976157,
4125
+ "grad_norm": 0.9565343260765076,
4126
+ "learning_rate": 0.00019979758638324772,
4127
+ "loss": 0.9657,
4128
+ "step": 585
4129
+ },
4130
+ {
4131
+ "epoch": 0.0640927485508039,
4132
+ "grad_norm": 1.2159839868545532,
4133
+ "learning_rate": 0.00019979685655495896,
4134
+ "loss": 0.8276,
4135
+ "step": 586
4136
+ },
4137
+ {
4138
+ "epoch": 0.06420212184184622,
4139
+ "grad_norm": 1.3924200534820557,
4140
+ "learning_rate": 0.00019979612541462993,
4141
+ "loss": 0.8714,
4142
+ "step": 587
4143
+ },
4144
+ {
4145
+ "epoch": 0.06431149513288854,
4146
+ "grad_norm": 1.16556978225708,
4147
+ "learning_rate": 0.00019979539296227018,
4148
+ "loss": 0.8768,
4149
+ "step": 588
4150
+ },
4151
+ {
4152
+ "epoch": 0.06442086842393088,
4153
+ "grad_norm": 1.5815696716308594,
4154
+ "learning_rate": 0.00019979465919788933,
4155
+ "loss": 0.8323,
4156
+ "step": 589
4157
+ },
4158
+ {
4159
+ "epoch": 0.06453024171497321,
4160
+ "grad_norm": 1.1107839345932007,
4161
+ "learning_rate": 0.00019979392412149707,
4162
+ "loss": 0.8951,
4163
+ "step": 590
4164
+ },
4165
+ {
4166
+ "epoch": 0.06463961500601553,
4167
+ "grad_norm": 0.9651502966880798,
4168
+ "learning_rate": 0.00019979318773310302,
4169
+ "loss": 1.1726,
4170
+ "step": 591
4171
+ },
4172
+ {
4173
+ "epoch": 0.06474898829705786,
4174
+ "grad_norm": 1.1854195594787598,
4175
+ "learning_rate": 0.0001997924500327169,
4176
+ "loss": 0.7009,
4177
+ "step": 592
4178
+ },
4179
+ {
4180
+ "epoch": 0.06485836158810018,
4181
+ "grad_norm": 1.102640986442566,
4182
+ "learning_rate": 0.0001997917110203484,
4183
+ "loss": 0.7523,
4184
+ "step": 593
4185
+ },
4186
+ {
4187
+ "epoch": 0.06496773487914251,
4188
+ "grad_norm": 1.0900192260742188,
4189
+ "learning_rate": 0.00019979097069600717,
4190
+ "loss": 0.6592,
4191
+ "step": 594
4192
+ },
4193
+ {
4194
+ "epoch": 0.06507710817018485,
4195
+ "grad_norm": 1.2523647546768188,
4196
+ "learning_rate": 0.00019979022905970307,
4197
+ "loss": 0.7598,
4198
+ "step": 595
4199
+ },
4200
+ {
4201
+ "epoch": 0.06518648146122717,
4202
+ "grad_norm": 1.1489145755767822,
4203
+ "learning_rate": 0.00019978948611144574,
4204
+ "loss": 0.8636,
4205
+ "step": 596
4206
+ },
4207
+ {
4208
+ "epoch": 0.0652958547522695,
4209
+ "grad_norm": 1.1444084644317627,
4210
+ "learning_rate": 0.00019978874185124502,
4211
+ "loss": 0.8351,
4212
+ "step": 597
4213
+ },
4214
+ {
4215
+ "epoch": 0.06540522804331182,
4216
+ "grad_norm": 1.0838830471038818,
4217
+ "learning_rate": 0.00019978799627911063,
4218
+ "loss": 0.9453,
4219
+ "step": 598
4220
+ },
4221
+ {
4222
+ "epoch": 0.06551460133435415,
4223
+ "grad_norm": 0.9383161067962646,
4224
+ "learning_rate": 0.00019978724939505242,
4225
+ "loss": 0.7702,
4226
+ "step": 599
4227
+ },
4228
+ {
4229
+ "epoch": 0.06562397462539647,
4230
+ "grad_norm": 1.2142367362976074,
4231
+ "learning_rate": 0.00019978650119908018,
4232
+ "loss": 0.7413,
4233
+ "step": 600
4234
+ },
4235
+ {
4236
+ "epoch": 0.06562397462539647,
4237
+ "eval_loss": 0.817609429359436,
4238
+ "eval_runtime": 40.8601,
4239
+ "eval_samples_per_second": 18.013,
4240
+ "eval_steps_per_second": 4.503,
4241
+ "step": 600
4242
  }
4243
  ],
4244
  "logging_steps": 1,
 
4253
  "early_stopping_threshold": 0.0
4254
  },
4255
  "attributes": {
4256
+ "early_stopping_patience_counter": 1
4257
  }
4258
  },
4259
  "TrainerControl": {
 
4267
  "attributes": {}
4268
  }
4269
  },
4270
+ "total_flos": 4.904615294690918e+16,
4271
  "train_batch_size": 4,
4272
  "trial_name": null,
4273
  "trial_params": null