error577 commited on
Commit
4a796c3
·
verified ·
1 Parent(s): 7515570

Training in progress, step 3200, checkpoint

Browse files
last-checkpoint/adapter_model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:eb9a2a8fb09f575132e19db59c824f75189ca80bc8c4048a7ffcd18ffa614e31
3
  size 190757752
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:307e0e434b25bae0a13e95c7c0325d1bedbffc66a14b17ccaa4615ab080079f7
3
  size 190757752
last-checkpoint/optimizer.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:99a54314db93c8328f640f131e18ee6f6ca4283f616378f9a5eb39716cb896c6
3
  size 97268276
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:3a25424cd669c25ff7f92f82d74faf5e24461f250d8b66a960ebe4ad33e500a2
3
  size 97268276
last-checkpoint/rng_state.pth CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:39479cf87952f9db162320b4d38b0dd0cfbe547ab20ff45e9f7bd5b760faa849
3
  size 14244
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:eb98a6a60e5d26e273ce073803b2a60f1e46cff8400d26b63b14fc8721a73591
3
  size 14244
last-checkpoint/scheduler.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:179b051ae132b65ad89535a36f802cd4f3440d01ff83adeaf5c63fd58f890116
3
  size 1064
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:f3e6f1c3e3ea2a64eb2969162c348d0032a7fa4746c8bf4b3c0b1d265fc061f0
3
  size 1064
last-checkpoint/trainer_state.json CHANGED
@@ -1,9 +1,9 @@
1
  {
2
  "best_metric": 0.00510440906509757,
3
  "best_model_checkpoint": "miner_id_24/checkpoint-2200",
4
- "epoch": 0.21497478524914682,
5
  "eval_steps": 200,
6
- "global_step": 3000,
7
  "is_hyper_param_search": false,
8
  "is_local_process_zero": true,
9
  "is_world_process_zero": true,
@@ -21135,6 +21135,1414 @@
21135
  "eval_samples_per_second": 6.639,
21136
  "eval_steps_per_second": 3.322,
21137
  "step": 3000
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
21138
  }
21139
  ],
21140
  "logging_steps": 1,
@@ -21149,7 +22557,7 @@
21149
  "early_stopping_threshold": 0.0
21150
  },
21151
  "attributes": {
21152
- "early_stopping_patience_counter": 4
21153
  }
21154
  },
21155
  "TrainerControl": {
@@ -21158,12 +22566,12 @@
21158
  "should_evaluate": false,
21159
  "should_log": false,
21160
  "should_save": true,
21161
- "should_training_stop": false
21162
  },
21163
  "attributes": {}
21164
  }
21165
  },
21166
- "total_flos": 5.550525801918628e+17,
21167
  "train_batch_size": 2,
21168
  "trial_name": null,
21169
  "trial_params": null
 
1
  {
2
  "best_metric": 0.00510440906509757,
3
  "best_model_checkpoint": "miner_id_24/checkpoint-2200",
4
+ "epoch": 0.22930643759908995,
5
  "eval_steps": 200,
6
+ "global_step": 3200,
7
  "is_hyper_param_search": false,
8
  "is_local_process_zero": true,
9
  "is_world_process_zero": true,
 
21135
  "eval_samples_per_second": 6.639,
21136
  "eval_steps_per_second": 3.322,
21137
  "step": 3000
21138
+ },
21139
+ {
21140
+ "epoch": 0.21504644351089652,
21141
+ "grad_norm": 2.4628987312316895,
21142
+ "learning_rate": 0.00019752147512191667,
21143
+ "loss": 0.0551,
21144
+ "step": 3001
21145
+ },
21146
+ {
21147
+ "epoch": 0.21511810177264626,
21148
+ "grad_norm": 4.3391499519348145,
21149
+ "learning_rate": 0.0001975198132950856,
21150
+ "loss": 0.1184,
21151
+ "step": 3002
21152
+ },
21153
+ {
21154
+ "epoch": 0.21518976003439597,
21155
+ "grad_norm": 3.7146856784820557,
21156
+ "learning_rate": 0.00019751815091831738,
21157
+ "loss": 0.1029,
21158
+ "step": 3003
21159
+ },
21160
+ {
21161
+ "epoch": 0.21526141829614567,
21162
+ "grad_norm": 3.669947624206543,
21163
+ "learning_rate": 0.00019751648799162138,
21164
+ "loss": 0.1262,
21165
+ "step": 3004
21166
+ },
21167
+ {
21168
+ "epoch": 0.2153330765578954,
21169
+ "grad_norm": 1.8535606861114502,
21170
+ "learning_rate": 0.000197514824515007,
21171
+ "loss": 0.0817,
21172
+ "step": 3005
21173
+ },
21174
+ {
21175
+ "epoch": 0.21540473481964512,
21176
+ "grad_norm": 5.61026668548584,
21177
+ "learning_rate": 0.00019751316048848358,
21178
+ "loss": 0.0548,
21179
+ "step": 3006
21180
+ },
21181
+ {
21182
+ "epoch": 0.21547639308139482,
21183
+ "grad_norm": 2.2948896884918213,
21184
+ "learning_rate": 0.00019751149591206053,
21185
+ "loss": 0.0557,
21186
+ "step": 3007
21187
+ },
21188
+ {
21189
+ "epoch": 0.21554805134314453,
21190
+ "grad_norm": 1.5344500541687012,
21191
+ "learning_rate": 0.0001975098307857472,
21192
+ "loss": 0.0475,
21193
+ "step": 3008
21194
+ },
21195
+ {
21196
+ "epoch": 0.21561970960489427,
21197
+ "grad_norm": 3.1190221309661865,
21198
+ "learning_rate": 0.00019750816510955308,
21199
+ "loss": 0.0976,
21200
+ "step": 3009
21201
+ },
21202
+ {
21203
+ "epoch": 0.21569136786664397,
21204
+ "grad_norm": 1.7964825630187988,
21205
+ "learning_rate": 0.00019750649888348743,
21206
+ "loss": 0.0574,
21207
+ "step": 3010
21208
+ },
21209
+ {
21210
+ "epoch": 0.21576302612839368,
21211
+ "grad_norm": 0.7627496123313904,
21212
+ "learning_rate": 0.00019750483210755973,
21213
+ "loss": 0.0392,
21214
+ "step": 3011
21215
+ },
21216
+ {
21217
+ "epoch": 0.21583468439014342,
21218
+ "grad_norm": 4.264713287353516,
21219
+ "learning_rate": 0.00019750316478177942,
21220
+ "loss": 0.1861,
21221
+ "step": 3012
21222
+ },
21223
+ {
21224
+ "epoch": 0.21590634265189312,
21225
+ "grad_norm": 1.7129241228103638,
21226
+ "learning_rate": 0.00019750149690615578,
21227
+ "loss": 0.0807,
21228
+ "step": 3013
21229
+ },
21230
+ {
21231
+ "epoch": 0.21597800091364283,
21232
+ "grad_norm": 1.037056803703308,
21233
+ "learning_rate": 0.00019749982848069828,
21234
+ "loss": 0.0341,
21235
+ "step": 3014
21236
+ },
21237
+ {
21238
+ "epoch": 0.21604965917539257,
21239
+ "grad_norm": 1.47511887550354,
21240
+ "learning_rate": 0.00019749815950541633,
21241
+ "loss": 0.0962,
21242
+ "step": 3015
21243
+ },
21244
+ {
21245
+ "epoch": 0.21612131743714227,
21246
+ "grad_norm": 4.849519729614258,
21247
+ "learning_rate": 0.0001974964899803194,
21248
+ "loss": 0.7223,
21249
+ "step": 3016
21250
+ },
21251
+ {
21252
+ "epoch": 0.21619297569889198,
21253
+ "grad_norm": 1.117088794708252,
21254
+ "learning_rate": 0.00019749481990541677,
21255
+ "loss": 0.0383,
21256
+ "step": 3017
21257
+ },
21258
+ {
21259
+ "epoch": 0.2162646339606417,
21260
+ "grad_norm": 1.485826849937439,
21261
+ "learning_rate": 0.00019749314928071797,
21262
+ "loss": 0.0366,
21263
+ "step": 3018
21264
+ },
21265
+ {
21266
+ "epoch": 0.21633629222239142,
21267
+ "grad_norm": 0.7672363519668579,
21268
+ "learning_rate": 0.00019749147810623236,
21269
+ "loss": 0.0222,
21270
+ "step": 3019
21271
+ },
21272
+ {
21273
+ "epoch": 0.21640795048414113,
21274
+ "grad_norm": 3.3368937969207764,
21275
+ "learning_rate": 0.0001974898063819694,
21276
+ "loss": 0.1292,
21277
+ "step": 3020
21278
+ },
21279
+ {
21280
+ "epoch": 0.21647960874589084,
21281
+ "grad_norm": 2.5079598426818848,
21282
+ "learning_rate": 0.00019748813410793852,
21283
+ "loss": 0.2619,
21284
+ "step": 3021
21285
+ },
21286
+ {
21287
+ "epoch": 0.21655126700764057,
21288
+ "grad_norm": 4.2603888511657715,
21289
+ "learning_rate": 0.00019748646128414912,
21290
+ "loss": 0.2627,
21291
+ "step": 3022
21292
+ },
21293
+ {
21294
+ "epoch": 0.21662292526939028,
21295
+ "grad_norm": 2.698261022567749,
21296
+ "learning_rate": 0.0001974847879106106,
21297
+ "loss": 0.0589,
21298
+ "step": 3023
21299
+ },
21300
+ {
21301
+ "epoch": 0.21669458353114,
21302
+ "grad_norm": 2.737502336502075,
21303
+ "learning_rate": 0.00019748311398733255,
21304
+ "loss": 0.1335,
21305
+ "step": 3024
21306
+ },
21307
+ {
21308
+ "epoch": 0.2167662417928897,
21309
+ "grad_norm": 2.519582509994507,
21310
+ "learning_rate": 0.00019748143951432422,
21311
+ "loss": 0.0753,
21312
+ "step": 3025
21313
+ },
21314
+ {
21315
+ "epoch": 0.21683790005463943,
21316
+ "grad_norm": 4.037501811981201,
21317
+ "learning_rate": 0.0001974797644915952,
21318
+ "loss": 0.1319,
21319
+ "step": 3026
21320
+ },
21321
+ {
21322
+ "epoch": 0.21690955831638914,
21323
+ "grad_norm": 2.1571624279022217,
21324
+ "learning_rate": 0.0001974780889191548,
21325
+ "loss": 0.0463,
21326
+ "step": 3027
21327
+ },
21328
+ {
21329
+ "epoch": 0.21698121657813885,
21330
+ "grad_norm": 1.5106253623962402,
21331
+ "learning_rate": 0.0001974764127970126,
21332
+ "loss": 0.0312,
21333
+ "step": 3028
21334
+ },
21335
+ {
21336
+ "epoch": 0.21705287483988858,
21337
+ "grad_norm": 2.9063875675201416,
21338
+ "learning_rate": 0.00019747473612517799,
21339
+ "loss": 0.1065,
21340
+ "step": 3029
21341
+ },
21342
+ {
21343
+ "epoch": 0.2171245331016383,
21344
+ "grad_norm": 1.4158337116241455,
21345
+ "learning_rate": 0.0001974730589036604,
21346
+ "loss": 0.0847,
21347
+ "step": 3030
21348
+ },
21349
+ {
21350
+ "epoch": 0.217196191363388,
21351
+ "grad_norm": 2.2554218769073486,
21352
+ "learning_rate": 0.00019747138113246931,
21353
+ "loss": 0.0683,
21354
+ "step": 3031
21355
+ },
21356
+ {
21357
+ "epoch": 0.2172678496251377,
21358
+ "grad_norm": 2.0385987758636475,
21359
+ "learning_rate": 0.00019746970281161422,
21360
+ "loss": 0.0521,
21361
+ "step": 3032
21362
+ },
21363
+ {
21364
+ "epoch": 0.21733950788688744,
21365
+ "grad_norm": 1.4228156805038452,
21366
+ "learning_rate": 0.00019746802394110454,
21367
+ "loss": 0.0525,
21368
+ "step": 3033
21369
+ },
21370
+ {
21371
+ "epoch": 0.21741116614863715,
21372
+ "grad_norm": 1.563862681388855,
21373
+ "learning_rate": 0.00019746634452094978,
21374
+ "loss": 0.0604,
21375
+ "step": 3034
21376
+ },
21377
+ {
21378
+ "epoch": 0.21748282441038685,
21379
+ "grad_norm": 2.428701639175415,
21380
+ "learning_rate": 0.0001974646645511594,
21381
+ "loss": 0.0509,
21382
+ "step": 3035
21383
+ },
21384
+ {
21385
+ "epoch": 0.2175544826721366,
21386
+ "grad_norm": 2.204399347305298,
21387
+ "learning_rate": 0.00019746298403174286,
21388
+ "loss": 0.0564,
21389
+ "step": 3036
21390
+ },
21391
+ {
21392
+ "epoch": 0.2176261409338863,
21393
+ "grad_norm": 1.7319644689559937,
21394
+ "learning_rate": 0.00019746130296270965,
21395
+ "loss": 0.0527,
21396
+ "step": 3037
21397
+ },
21398
+ {
21399
+ "epoch": 0.217697799195636,
21400
+ "grad_norm": 0.8018523454666138,
21401
+ "learning_rate": 0.00019745962134406922,
21402
+ "loss": 0.0149,
21403
+ "step": 3038
21404
+ },
21405
+ {
21406
+ "epoch": 0.21776945745738574,
21407
+ "grad_norm": 0.8840718865394592,
21408
+ "learning_rate": 0.00019745793917583108,
21409
+ "loss": 0.0221,
21410
+ "step": 3039
21411
+ },
21412
+ {
21413
+ "epoch": 0.21784111571913545,
21414
+ "grad_norm": 1.3593902587890625,
21415
+ "learning_rate": 0.0001974562564580047,
21416
+ "loss": 0.0247,
21417
+ "step": 3040
21418
+ },
21419
+ {
21420
+ "epoch": 0.21791277398088515,
21421
+ "grad_norm": 3.12972354888916,
21422
+ "learning_rate": 0.0001974545731905996,
21423
+ "loss": 0.1139,
21424
+ "step": 3041
21425
+ },
21426
+ {
21427
+ "epoch": 0.21798443224263486,
21428
+ "grad_norm": 1.8570168018341064,
21429
+ "learning_rate": 0.00019745288937362526,
21430
+ "loss": 0.0651,
21431
+ "step": 3042
21432
+ },
21433
+ {
21434
+ "epoch": 0.2180560905043846,
21435
+ "grad_norm": 1.1713848114013672,
21436
+ "learning_rate": 0.00019745120500709113,
21437
+ "loss": 0.0276,
21438
+ "step": 3043
21439
+ },
21440
+ {
21441
+ "epoch": 0.2181277487661343,
21442
+ "grad_norm": 4.207985877990723,
21443
+ "learning_rate": 0.0001974495200910068,
21444
+ "loss": 0.1541,
21445
+ "step": 3044
21446
+ },
21447
+ {
21448
+ "epoch": 0.218199407027884,
21449
+ "grad_norm": 2.8358163833618164,
21450
+ "learning_rate": 0.00019744783462538167,
21451
+ "loss": 0.0931,
21452
+ "step": 3045
21453
+ },
21454
+ {
21455
+ "epoch": 0.21827106528963375,
21456
+ "grad_norm": 1.544304370880127,
21457
+ "learning_rate": 0.00019744614861022533,
21458
+ "loss": 0.0628,
21459
+ "step": 3046
21460
+ },
21461
+ {
21462
+ "epoch": 0.21834272355138346,
21463
+ "grad_norm": 2.38747501373291,
21464
+ "learning_rate": 0.00019744446204554724,
21465
+ "loss": 0.0816,
21466
+ "step": 3047
21467
+ },
21468
+ {
21469
+ "epoch": 0.21841438181313316,
21470
+ "grad_norm": 3.0009570121765137,
21471
+ "learning_rate": 0.0001974427749313569,
21472
+ "loss": 0.0987,
21473
+ "step": 3048
21474
+ },
21475
+ {
21476
+ "epoch": 0.21848604007488287,
21477
+ "grad_norm": 3.043855667114258,
21478
+ "learning_rate": 0.00019744108726766388,
21479
+ "loss": 0.1902,
21480
+ "step": 3049
21481
+ },
21482
+ {
21483
+ "epoch": 0.2185576983366326,
21484
+ "grad_norm": 3.389110803604126,
21485
+ "learning_rate": 0.00019743939905447763,
21486
+ "loss": 0.0603,
21487
+ "step": 3050
21488
+ },
21489
+ {
21490
+ "epoch": 0.2186293565983823,
21491
+ "grad_norm": 1.0833332538604736,
21492
+ "learning_rate": 0.00019743771029180773,
21493
+ "loss": 0.0229,
21494
+ "step": 3051
21495
+ },
21496
+ {
21497
+ "epoch": 0.21870101486013202,
21498
+ "grad_norm": 3.6219732761383057,
21499
+ "learning_rate": 0.00019743602097966367,
21500
+ "loss": 0.1818,
21501
+ "step": 3052
21502
+ },
21503
+ {
21504
+ "epoch": 0.21877267312188176,
21505
+ "grad_norm": 5.0006866455078125,
21506
+ "learning_rate": 0.00019743433111805498,
21507
+ "loss": 0.0887,
21508
+ "step": 3053
21509
+ },
21510
+ {
21511
+ "epoch": 0.21884433138363146,
21512
+ "grad_norm": 3.086841344833374,
21513
+ "learning_rate": 0.00019743264070699122,
21514
+ "loss": 0.1471,
21515
+ "step": 3054
21516
+ },
21517
+ {
21518
+ "epoch": 0.21891598964538117,
21519
+ "grad_norm": 5.8690900802612305,
21520
+ "learning_rate": 0.00019743094974648183,
21521
+ "loss": 0.3375,
21522
+ "step": 3055
21523
+ },
21524
+ {
21525
+ "epoch": 0.2189876479071309,
21526
+ "grad_norm": 2.7317752838134766,
21527
+ "learning_rate": 0.00019742925823653645,
21528
+ "loss": 0.077,
21529
+ "step": 3056
21530
+ },
21531
+ {
21532
+ "epoch": 0.2190593061688806,
21533
+ "grad_norm": 2.7551350593566895,
21534
+ "learning_rate": 0.0001974275661771646,
21535
+ "loss": 0.0905,
21536
+ "step": 3057
21537
+ },
21538
+ {
21539
+ "epoch": 0.21913096443063032,
21540
+ "grad_norm": 3.9734609127044678,
21541
+ "learning_rate": 0.00019742587356837577,
21542
+ "loss": 0.0925,
21543
+ "step": 3058
21544
+ },
21545
+ {
21546
+ "epoch": 0.21920262269238003,
21547
+ "grad_norm": 4.569202899932861,
21548
+ "learning_rate": 0.00019742418041017955,
21549
+ "loss": 0.3455,
21550
+ "step": 3059
21551
+ },
21552
+ {
21553
+ "epoch": 0.21927428095412976,
21554
+ "grad_norm": 1.3564692735671997,
21555
+ "learning_rate": 0.00019742248670258548,
21556
+ "loss": 0.0266,
21557
+ "step": 3060
21558
+ },
21559
+ {
21560
+ "epoch": 0.21934593921587947,
21561
+ "grad_norm": 3.5231144428253174,
21562
+ "learning_rate": 0.0001974207924456031,
21563
+ "loss": 0.1313,
21564
+ "step": 3061
21565
+ },
21566
+ {
21567
+ "epoch": 0.21941759747762918,
21568
+ "grad_norm": 0.7984659075737,
21569
+ "learning_rate": 0.00019741909763924196,
21570
+ "loss": 0.0165,
21571
+ "step": 3062
21572
+ },
21573
+ {
21574
+ "epoch": 0.2194892557393789,
21575
+ "grad_norm": 2.009456157684326,
21576
+ "learning_rate": 0.00019741740228351168,
21577
+ "loss": 0.0704,
21578
+ "step": 3063
21579
+ },
21580
+ {
21581
+ "epoch": 0.21956091400112862,
21582
+ "grad_norm": 5.279332160949707,
21583
+ "learning_rate": 0.0001974157063784217,
21584
+ "loss": 0.2656,
21585
+ "step": 3064
21586
+ },
21587
+ {
21588
+ "epoch": 0.21963257226287833,
21589
+ "grad_norm": 1.4657944440841675,
21590
+ "learning_rate": 0.00019741400992398167,
21591
+ "loss": 0.051,
21592
+ "step": 3065
21593
+ },
21594
+ {
21595
+ "epoch": 0.21970423052462804,
21596
+ "grad_norm": 2.357959747314453,
21597
+ "learning_rate": 0.00019741231292020114,
21598
+ "loss": 0.0557,
21599
+ "step": 3066
21600
+ },
21601
+ {
21602
+ "epoch": 0.21977588878637777,
21603
+ "grad_norm": 2.4229235649108887,
21604
+ "learning_rate": 0.0001974106153670897,
21605
+ "loss": 0.0636,
21606
+ "step": 3067
21607
+ },
21608
+ {
21609
+ "epoch": 0.21984754704812748,
21610
+ "grad_norm": 3.5715548992156982,
21611
+ "learning_rate": 0.00019740891726465688,
21612
+ "loss": 0.0905,
21613
+ "step": 3068
21614
+ },
21615
+ {
21616
+ "epoch": 0.21991920530987719,
21617
+ "grad_norm": 1.4018532037734985,
21618
+ "learning_rate": 0.00019740721861291228,
21619
+ "loss": 0.0289,
21620
+ "step": 3069
21621
+ },
21622
+ {
21623
+ "epoch": 0.21999086357162692,
21624
+ "grad_norm": 1.1814264059066772,
21625
+ "learning_rate": 0.00019740551941186549,
21626
+ "loss": 0.0443,
21627
+ "step": 3070
21628
+ },
21629
+ {
21630
+ "epoch": 0.22006252183337663,
21631
+ "grad_norm": 2.5029120445251465,
21632
+ "learning_rate": 0.0001974038196615261,
21633
+ "loss": 0.1068,
21634
+ "step": 3071
21635
+ },
21636
+ {
21637
+ "epoch": 0.22013418009512634,
21638
+ "grad_norm": 1.754837155342102,
21639
+ "learning_rate": 0.0001974021193619036,
21640
+ "loss": 0.0753,
21641
+ "step": 3072
21642
+ },
21643
+ {
21644
+ "epoch": 0.22020583835687607,
21645
+ "grad_norm": 1.0083013772964478,
21646
+ "learning_rate": 0.00019740041851300772,
21647
+ "loss": 0.0281,
21648
+ "step": 3073
21649
+ },
21650
+ {
21651
+ "epoch": 0.22027749661862578,
21652
+ "grad_norm": 0.8577060699462891,
21653
+ "learning_rate": 0.00019739871711484797,
21654
+ "loss": 0.0759,
21655
+ "step": 3074
21656
+ },
21657
+ {
21658
+ "epoch": 0.2203491548803755,
21659
+ "grad_norm": 2.009495496749878,
21660
+ "learning_rate": 0.00019739701516743394,
21661
+ "loss": 0.0532,
21662
+ "step": 3075
21663
+ },
21664
+ {
21665
+ "epoch": 0.2204208131421252,
21666
+ "grad_norm": 1.063370943069458,
21667
+ "learning_rate": 0.00019739531267077526,
21668
+ "loss": 0.0229,
21669
+ "step": 3076
21670
+ },
21671
+ {
21672
+ "epoch": 0.22049247140387493,
21673
+ "grad_norm": 2.514589309692383,
21674
+ "learning_rate": 0.00019739360962488153,
21675
+ "loss": 0.0692,
21676
+ "step": 3077
21677
+ },
21678
+ {
21679
+ "epoch": 0.22056412966562464,
21680
+ "grad_norm": 4.032553195953369,
21681
+ "learning_rate": 0.0001973919060297623,
21682
+ "loss": 0.047,
21683
+ "step": 3078
21684
+ },
21685
+ {
21686
+ "epoch": 0.22063578792737434,
21687
+ "grad_norm": 1.7957438230514526,
21688
+ "learning_rate": 0.00019739020188542725,
21689
+ "loss": 0.0317,
21690
+ "step": 3079
21691
+ },
21692
+ {
21693
+ "epoch": 0.22070744618912408,
21694
+ "grad_norm": 1.486922264099121,
21695
+ "learning_rate": 0.00019738849719188594,
21696
+ "loss": 0.0877,
21697
+ "step": 3080
21698
+ },
21699
+ {
21700
+ "epoch": 0.2207791044508738,
21701
+ "grad_norm": 12.221081733703613,
21702
+ "learning_rate": 0.00019738679194914802,
21703
+ "loss": 0.0655,
21704
+ "step": 3081
21705
+ },
21706
+ {
21707
+ "epoch": 0.2208507627126235,
21708
+ "grad_norm": 1.8291082382202148,
21709
+ "learning_rate": 0.00019738508615722307,
21710
+ "loss": 0.1541,
21711
+ "step": 3082
21712
+ },
21713
+ {
21714
+ "epoch": 0.2209224209743732,
21715
+ "grad_norm": 3.8388009071350098,
21716
+ "learning_rate": 0.00019738337981612075,
21717
+ "loss": 0.1308,
21718
+ "step": 3083
21719
+ },
21720
+ {
21721
+ "epoch": 0.22099407923612294,
21722
+ "grad_norm": 2.315101146697998,
21723
+ "learning_rate": 0.00019738167292585065,
21724
+ "loss": 0.0805,
21725
+ "step": 3084
21726
+ },
21727
+ {
21728
+ "epoch": 0.22106573749787264,
21729
+ "grad_norm": 2.4230704307556152,
21730
+ "learning_rate": 0.0001973799654864224,
21731
+ "loss": 0.1164,
21732
+ "step": 3085
21733
+ },
21734
+ {
21735
+ "epoch": 0.22113739575962235,
21736
+ "grad_norm": 1.0072479248046875,
21737
+ "learning_rate": 0.00019737825749784562,
21738
+ "loss": 0.0233,
21739
+ "step": 3086
21740
+ },
21741
+ {
21742
+ "epoch": 0.2212090540213721,
21743
+ "grad_norm": 2.0900087356567383,
21744
+ "learning_rate": 0.00019737654896012996,
21745
+ "loss": 0.0556,
21746
+ "step": 3087
21747
+ },
21748
+ {
21749
+ "epoch": 0.2212807122831218,
21750
+ "grad_norm": 4.260119438171387,
21751
+ "learning_rate": 0.00019737483987328504,
21752
+ "loss": 0.1196,
21753
+ "step": 3088
21754
+ },
21755
+ {
21756
+ "epoch": 0.2213523705448715,
21757
+ "grad_norm": 2.845036506652832,
21758
+ "learning_rate": 0.00019737313023732056,
21759
+ "loss": 0.0873,
21760
+ "step": 3089
21761
+ },
21762
+ {
21763
+ "epoch": 0.22142402880662124,
21764
+ "grad_norm": 2.300370693206787,
21765
+ "learning_rate": 0.00019737142005224608,
21766
+ "loss": 0.0668,
21767
+ "step": 3090
21768
+ },
21769
+ {
21770
+ "epoch": 0.22149568706837094,
21771
+ "grad_norm": 3.369480848312378,
21772
+ "learning_rate": 0.00019736970931807127,
21773
+ "loss": 0.0548,
21774
+ "step": 3091
21775
+ },
21776
+ {
21777
+ "epoch": 0.22156734533012065,
21778
+ "grad_norm": 1.4116883277893066,
21779
+ "learning_rate": 0.00019736799803480576,
21780
+ "loss": 0.0566,
21781
+ "step": 3092
21782
+ },
21783
+ {
21784
+ "epoch": 0.22163900359187036,
21785
+ "grad_norm": 1.5525500774383545,
21786
+ "learning_rate": 0.00019736628620245923,
21787
+ "loss": 0.0718,
21788
+ "step": 3093
21789
+ },
21790
+ {
21791
+ "epoch": 0.2217106618536201,
21792
+ "grad_norm": 0.9978987574577332,
21793
+ "learning_rate": 0.00019736457382104133,
21794
+ "loss": 0.0293,
21795
+ "step": 3094
21796
+ },
21797
+ {
21798
+ "epoch": 0.2217823201153698,
21799
+ "grad_norm": 1.9624165296554565,
21800
+ "learning_rate": 0.00019736286089056172,
21801
+ "loss": 0.1061,
21802
+ "step": 3095
21803
+ },
21804
+ {
21805
+ "epoch": 0.2218539783771195,
21806
+ "grad_norm": 2.561814308166504,
21807
+ "learning_rate": 0.00019736114741103003,
21808
+ "loss": 0.2294,
21809
+ "step": 3096
21810
+ },
21811
+ {
21812
+ "epoch": 0.22192563663886924,
21813
+ "grad_norm": 2.8429388999938965,
21814
+ "learning_rate": 0.00019735943338245596,
21815
+ "loss": 0.0576,
21816
+ "step": 3097
21817
+ },
21818
+ {
21819
+ "epoch": 0.22199729490061895,
21820
+ "grad_norm": 0.5179453492164612,
21821
+ "learning_rate": 0.00019735771880484917,
21822
+ "loss": 0.0098,
21823
+ "step": 3098
21824
+ },
21825
+ {
21826
+ "epoch": 0.22206895316236866,
21827
+ "grad_norm": 1.362380027770996,
21828
+ "learning_rate": 0.00019735600367821928,
21829
+ "loss": 0.0212,
21830
+ "step": 3099
21831
+ },
21832
+ {
21833
+ "epoch": 0.22214061142411837,
21834
+ "grad_norm": 2.6260499954223633,
21835
+ "learning_rate": 0.00019735428800257603,
21836
+ "loss": 0.0598,
21837
+ "step": 3100
21838
+ },
21839
+ {
21840
+ "epoch": 0.2222122696858681,
21841
+ "grad_norm": 3.7558913230895996,
21842
+ "learning_rate": 0.00019735257177792907,
21843
+ "loss": 0.1603,
21844
+ "step": 3101
21845
+ },
21846
+ {
21847
+ "epoch": 0.2222839279476178,
21848
+ "grad_norm": 3.222310781478882,
21849
+ "learning_rate": 0.00019735085500428804,
21850
+ "loss": 0.0914,
21851
+ "step": 3102
21852
+ },
21853
+ {
21854
+ "epoch": 0.22235558620936752,
21855
+ "grad_norm": 1.9745584726333618,
21856
+ "learning_rate": 0.00019734913768166269,
21857
+ "loss": 0.1138,
21858
+ "step": 3103
21859
+ },
21860
+ {
21861
+ "epoch": 0.22242724447111725,
21862
+ "grad_norm": 1.8130275011062622,
21863
+ "learning_rate": 0.00019734741981006264,
21864
+ "loss": 0.0495,
21865
+ "step": 3104
21866
+ },
21867
+ {
21868
+ "epoch": 0.22249890273286696,
21869
+ "grad_norm": 1.7764642238616943,
21870
+ "learning_rate": 0.00019734570138949762,
21871
+ "loss": 0.1249,
21872
+ "step": 3105
21873
+ },
21874
+ {
21875
+ "epoch": 0.22257056099461667,
21876
+ "grad_norm": 5.379619598388672,
21877
+ "learning_rate": 0.0001973439824199773,
21878
+ "loss": 0.1666,
21879
+ "step": 3106
21880
+ },
21881
+ {
21882
+ "epoch": 0.22264221925636637,
21883
+ "grad_norm": 1.9337239265441895,
21884
+ "learning_rate": 0.0001973422629015114,
21885
+ "loss": 0.0562,
21886
+ "step": 3107
21887
+ },
21888
+ {
21889
+ "epoch": 0.2227138775181161,
21890
+ "grad_norm": 1.818488597869873,
21891
+ "learning_rate": 0.00019734054283410956,
21892
+ "loss": 0.0621,
21893
+ "step": 3108
21894
+ },
21895
+ {
21896
+ "epoch": 0.22278553577986582,
21897
+ "grad_norm": 5.51910400390625,
21898
+ "learning_rate": 0.00019733882221778154,
21899
+ "loss": 0.123,
21900
+ "step": 3109
21901
+ },
21902
+ {
21903
+ "epoch": 0.22285719404161553,
21904
+ "grad_norm": 4.072179317474365,
21905
+ "learning_rate": 0.000197337101052537,
21906
+ "loss": 0.1095,
21907
+ "step": 3110
21908
+ },
21909
+ {
21910
+ "epoch": 0.22292885230336526,
21911
+ "grad_norm": 1.3571125268936157,
21912
+ "learning_rate": 0.00019733537933838572,
21913
+ "loss": 0.0234,
21914
+ "step": 3111
21915
+ },
21916
+ {
21917
+ "epoch": 0.22300051056511497,
21918
+ "grad_norm": 1.580028772354126,
21919
+ "learning_rate": 0.00019733365707533734,
21920
+ "loss": 0.0807,
21921
+ "step": 3112
21922
+ },
21923
+ {
21924
+ "epoch": 0.22307216882686468,
21925
+ "grad_norm": 1.3068225383758545,
21926
+ "learning_rate": 0.00019733193426340156,
21927
+ "loss": 0.0231,
21928
+ "step": 3113
21929
+ },
21930
+ {
21931
+ "epoch": 0.2231438270886144,
21932
+ "grad_norm": 5.8080973625183105,
21933
+ "learning_rate": 0.00019733021090258813,
21934
+ "loss": 0.1212,
21935
+ "step": 3114
21936
+ },
21937
+ {
21938
+ "epoch": 0.22321548535036412,
21939
+ "grad_norm": 1.7663867473602295,
21940
+ "learning_rate": 0.00019732848699290675,
21941
+ "loss": 0.0409,
21942
+ "step": 3115
21943
+ },
21944
+ {
21945
+ "epoch": 0.22328714361211383,
21946
+ "grad_norm": 2.096801996231079,
21947
+ "learning_rate": 0.00019732676253436714,
21948
+ "loss": 0.0961,
21949
+ "step": 3116
21950
+ },
21951
+ {
21952
+ "epoch": 0.22335880187386353,
21953
+ "grad_norm": 2.8772642612457275,
21954
+ "learning_rate": 0.0001973250375269791,
21955
+ "loss": 0.1337,
21956
+ "step": 3117
21957
+ },
21958
+ {
21959
+ "epoch": 0.22343046013561327,
21960
+ "grad_norm": 2.8473429679870605,
21961
+ "learning_rate": 0.00019732331197075222,
21962
+ "loss": 0.0545,
21963
+ "step": 3118
21964
+ },
21965
+ {
21966
+ "epoch": 0.22350211839736298,
21967
+ "grad_norm": 5.026994705200195,
21968
+ "learning_rate": 0.00019732158586569635,
21969
+ "loss": 0.0973,
21970
+ "step": 3119
21971
+ },
21972
+ {
21973
+ "epoch": 0.22357377665911268,
21974
+ "grad_norm": 1.5344842672348022,
21975
+ "learning_rate": 0.00019731985921182118,
21976
+ "loss": 0.0861,
21977
+ "step": 3120
21978
+ },
21979
+ {
21980
+ "epoch": 0.22364543492086242,
21981
+ "grad_norm": 3.3518893718719482,
21982
+ "learning_rate": 0.00019731813200913643,
21983
+ "loss": 0.1205,
21984
+ "step": 3121
21985
+ },
21986
+ {
21987
+ "epoch": 0.22371709318261213,
21988
+ "grad_norm": 2.1043238639831543,
21989
+ "learning_rate": 0.00019731640425765188,
21990
+ "loss": 0.0727,
21991
+ "step": 3122
21992
+ },
21993
+ {
21994
+ "epoch": 0.22378875144436183,
21995
+ "grad_norm": 1.3752812147140503,
21996
+ "learning_rate": 0.00019731467595737723,
21997
+ "loss": 0.0385,
21998
+ "step": 3123
21999
+ },
22000
+ {
22001
+ "epoch": 0.22386040970611154,
22002
+ "grad_norm": 2.3557231426239014,
22003
+ "learning_rate": 0.00019731294710832224,
22004
+ "loss": 0.0745,
22005
+ "step": 3124
22006
+ },
22007
+ {
22008
+ "epoch": 0.22393206796786128,
22009
+ "grad_norm": 8.939406394958496,
22010
+ "learning_rate": 0.00019731121771049667,
22011
+ "loss": 0.07,
22012
+ "step": 3125
22013
+ },
22014
+ {
22015
+ "epoch": 0.22400372622961098,
22016
+ "grad_norm": 3.5889999866485596,
22017
+ "learning_rate": 0.0001973094877639103,
22018
+ "loss": 0.0753,
22019
+ "step": 3126
22020
+ },
22021
+ {
22022
+ "epoch": 0.2240753844913607,
22023
+ "grad_norm": 1.4219551086425781,
22024
+ "learning_rate": 0.00019730775726857283,
22025
+ "loss": 0.0366,
22026
+ "step": 3127
22027
+ },
22028
+ {
22029
+ "epoch": 0.22414704275311043,
22030
+ "grad_norm": 2.8409926891326904,
22031
+ "learning_rate": 0.00019730602622449402,
22032
+ "loss": 0.1095,
22033
+ "step": 3128
22034
+ },
22035
+ {
22036
+ "epoch": 0.22421870101486013,
22037
+ "grad_norm": 3.071387529373169,
22038
+ "learning_rate": 0.0001973042946316837,
22039
+ "loss": 0.0971,
22040
+ "step": 3129
22041
+ },
22042
+ {
22043
+ "epoch": 0.22429035927660984,
22044
+ "grad_norm": 2.3936619758605957,
22045
+ "learning_rate": 0.00019730256249015155,
22046
+ "loss": 0.137,
22047
+ "step": 3130
22048
+ },
22049
+ {
22050
+ "epoch": 0.22436201753835958,
22051
+ "grad_norm": 2.3402903079986572,
22052
+ "learning_rate": 0.00019730082979990741,
22053
+ "loss": 0.0796,
22054
+ "step": 3131
22055
+ },
22056
+ {
22057
+ "epoch": 0.22443367580010928,
22058
+ "grad_norm": 10.714118003845215,
22059
+ "learning_rate": 0.000197299096560961,
22060
+ "loss": 0.1916,
22061
+ "step": 3132
22062
+ },
22063
+ {
22064
+ "epoch": 0.224505334061859,
22065
+ "grad_norm": 2.154625654220581,
22066
+ "learning_rate": 0.0001972973627733221,
22067
+ "loss": 0.0321,
22068
+ "step": 3133
22069
+ },
22070
+ {
22071
+ "epoch": 0.2245769923236087,
22072
+ "grad_norm": 2.1994245052337646,
22073
+ "learning_rate": 0.00019729562843700052,
22074
+ "loss": 0.0626,
22075
+ "step": 3134
22076
+ },
22077
+ {
22078
+ "epoch": 0.22464865058535843,
22079
+ "grad_norm": 3.7188920974731445,
22080
+ "learning_rate": 0.000197293893552006,
22081
+ "loss": 0.1318,
22082
+ "step": 3135
22083
+ },
22084
+ {
22085
+ "epoch": 0.22472030884710814,
22086
+ "grad_norm": 3.9916179180145264,
22087
+ "learning_rate": 0.00019729215811834836,
22088
+ "loss": 0.1415,
22089
+ "step": 3136
22090
+ },
22091
+ {
22092
+ "epoch": 0.22479196710885785,
22093
+ "grad_norm": 2.8066675662994385,
22094
+ "learning_rate": 0.00019729042213603736,
22095
+ "loss": 0.068,
22096
+ "step": 3137
22097
+ },
22098
+ {
22099
+ "epoch": 0.22486362537060758,
22100
+ "grad_norm": 3.204038381576538,
22101
+ "learning_rate": 0.0001972886856050828,
22102
+ "loss": 0.0964,
22103
+ "step": 3138
22104
+ },
22105
+ {
22106
+ "epoch": 0.2249352836323573,
22107
+ "grad_norm": 1.678391456604004,
22108
+ "learning_rate": 0.0001972869485254945,
22109
+ "loss": 0.0636,
22110
+ "step": 3139
22111
+ },
22112
+ {
22113
+ "epoch": 0.225006941894107,
22114
+ "grad_norm": 1.725905179977417,
22115
+ "learning_rate": 0.0001972852108972822,
22116
+ "loss": 0.1178,
22117
+ "step": 3140
22118
+ },
22119
+ {
22120
+ "epoch": 0.2250786001558567,
22121
+ "grad_norm": 3.2003419399261475,
22122
+ "learning_rate": 0.00019728347272045572,
22123
+ "loss": 0.0517,
22124
+ "step": 3141
22125
+ },
22126
+ {
22127
+ "epoch": 0.22515025841760644,
22128
+ "grad_norm": 2.744774103164673,
22129
+ "learning_rate": 0.00019728173399502489,
22130
+ "loss": 0.1279,
22131
+ "step": 3142
22132
+ },
22133
+ {
22134
+ "epoch": 0.22522191667935615,
22135
+ "grad_norm": 2.4140079021453857,
22136
+ "learning_rate": 0.00019727999472099946,
22137
+ "loss": 0.1351,
22138
+ "step": 3143
22139
+ },
22140
+ {
22141
+ "epoch": 0.22529357494110586,
22142
+ "grad_norm": 2.9648284912109375,
22143
+ "learning_rate": 0.00019727825489838932,
22144
+ "loss": 0.224,
22145
+ "step": 3144
22146
+ },
22147
+ {
22148
+ "epoch": 0.2253652332028556,
22149
+ "grad_norm": 0.5860627293586731,
22150
+ "learning_rate": 0.00019727651452720418,
22151
+ "loss": 0.0155,
22152
+ "step": 3145
22153
+ },
22154
+ {
22155
+ "epoch": 0.2254368914646053,
22156
+ "grad_norm": 3.2358205318450928,
22157
+ "learning_rate": 0.00019727477360745397,
22158
+ "loss": 0.0689,
22159
+ "step": 3146
22160
+ },
22161
+ {
22162
+ "epoch": 0.225508549726355,
22163
+ "grad_norm": 0.8277013897895813,
22164
+ "learning_rate": 0.00019727303213914842,
22165
+ "loss": 0.0186,
22166
+ "step": 3147
22167
+ },
22168
+ {
22169
+ "epoch": 0.22558020798810474,
22170
+ "grad_norm": 2.044189691543579,
22171
+ "learning_rate": 0.00019727129012229734,
22172
+ "loss": 0.0555,
22173
+ "step": 3148
22174
+ },
22175
+ {
22176
+ "epoch": 0.22565186624985445,
22177
+ "grad_norm": 2.842193126678467,
22178
+ "learning_rate": 0.00019726954755691062,
22179
+ "loss": 0.1854,
22180
+ "step": 3149
22181
+ },
22182
+ {
22183
+ "epoch": 0.22572352451160416,
22184
+ "grad_norm": 1.3177040815353394,
22185
+ "learning_rate": 0.00019726780444299805,
22186
+ "loss": 0.0242,
22187
+ "step": 3150
22188
+ },
22189
+ {
22190
+ "epoch": 0.22579518277335386,
22191
+ "grad_norm": 0.9401643872261047,
22192
+ "learning_rate": 0.0001972660607805695,
22193
+ "loss": 0.0252,
22194
+ "step": 3151
22195
+ },
22196
+ {
22197
+ "epoch": 0.2258668410351036,
22198
+ "grad_norm": 1.9081029891967773,
22199
+ "learning_rate": 0.0001972643165696347,
22200
+ "loss": 0.0506,
22201
+ "step": 3152
22202
+ },
22203
+ {
22204
+ "epoch": 0.2259384992968533,
22205
+ "grad_norm": 3.3091177940368652,
22206
+ "learning_rate": 0.0001972625718102036,
22207
+ "loss": 0.0804,
22208
+ "step": 3153
22209
+ },
22210
+ {
22211
+ "epoch": 0.22601015755860301,
22212
+ "grad_norm": 1.841059923171997,
22213
+ "learning_rate": 0.00019726082650228598,
22214
+ "loss": 0.0399,
22215
+ "step": 3154
22216
+ },
22217
+ {
22218
+ "epoch": 0.22608181582035275,
22219
+ "grad_norm": 2.8663852214813232,
22220
+ "learning_rate": 0.00019725908064589171,
22221
+ "loss": 0.0593,
22222
+ "step": 3155
22223
+ },
22224
+ {
22225
+ "epoch": 0.22615347408210246,
22226
+ "grad_norm": 0.6934168338775635,
22227
+ "learning_rate": 0.0001972573342410306,
22228
+ "loss": 0.0162,
22229
+ "step": 3156
22230
+ },
22231
+ {
22232
+ "epoch": 0.22622513234385216,
22233
+ "grad_norm": 5.062717437744141,
22234
+ "learning_rate": 0.00019725558728771257,
22235
+ "loss": 0.1628,
22236
+ "step": 3157
22237
+ },
22238
+ {
22239
+ "epoch": 0.22629679060560187,
22240
+ "grad_norm": 0.925889790058136,
22241
+ "learning_rate": 0.00019725383978594737,
22242
+ "loss": 0.0129,
22243
+ "step": 3158
22244
+ },
22245
+ {
22246
+ "epoch": 0.2263684488673516,
22247
+ "grad_norm": 5.248608112335205,
22248
+ "learning_rate": 0.0001972520917357449,
22249
+ "loss": 0.049,
22250
+ "step": 3159
22251
+ },
22252
+ {
22253
+ "epoch": 0.22644010712910131,
22254
+ "grad_norm": 5.682336330413818,
22255
+ "learning_rate": 0.00019725034313711505,
22256
+ "loss": 0.1515,
22257
+ "step": 3160
22258
+ },
22259
+ {
22260
+ "epoch": 0.22651176539085102,
22261
+ "grad_norm": 1.7246397733688354,
22262
+ "learning_rate": 0.00019724859399006768,
22263
+ "loss": 0.0796,
22264
+ "step": 3161
22265
+ },
22266
+ {
22267
+ "epoch": 0.22658342365260076,
22268
+ "grad_norm": 3.1124370098114014,
22269
+ "learning_rate": 0.00019724684429461256,
22270
+ "loss": 0.1502,
22271
+ "step": 3162
22272
+ },
22273
+ {
22274
+ "epoch": 0.22665508191435046,
22275
+ "grad_norm": 2.09053111076355,
22276
+ "learning_rate": 0.00019724509405075967,
22277
+ "loss": 0.0449,
22278
+ "step": 3163
22279
+ },
22280
+ {
22281
+ "epoch": 0.22672674017610017,
22282
+ "grad_norm": 3.552201986312866,
22283
+ "learning_rate": 0.00019724334325851883,
22284
+ "loss": 0.1501,
22285
+ "step": 3164
22286
+ },
22287
+ {
22288
+ "epoch": 0.2267983984378499,
22289
+ "grad_norm": 7.022800922393799,
22290
+ "learning_rate": 0.0001972415919178999,
22291
+ "loss": 0.1394,
22292
+ "step": 3165
22293
+ },
22294
+ {
22295
+ "epoch": 0.22687005669959961,
22296
+ "grad_norm": 3.6989688873291016,
22297
+ "learning_rate": 0.00019723984002891282,
22298
+ "loss": 0.068,
22299
+ "step": 3166
22300
+ },
22301
+ {
22302
+ "epoch": 0.22694171496134932,
22303
+ "grad_norm": 2.6294586658477783,
22304
+ "learning_rate": 0.00019723808759156738,
22305
+ "loss": 0.1147,
22306
+ "step": 3167
22307
+ },
22308
+ {
22309
+ "epoch": 0.22701337322309903,
22310
+ "grad_norm": 0.652228593826294,
22311
+ "learning_rate": 0.00019723633460587352,
22312
+ "loss": 0.0257,
22313
+ "step": 3168
22314
+ },
22315
+ {
22316
+ "epoch": 0.22708503148484876,
22317
+ "grad_norm": 0.785850465297699,
22318
+ "learning_rate": 0.0001972345810718411,
22319
+ "loss": 0.022,
22320
+ "step": 3169
22321
+ },
22322
+ {
22323
+ "epoch": 0.22715668974659847,
22324
+ "grad_norm": 2.0665955543518066,
22325
+ "learning_rate": 0.00019723282698948005,
22326
+ "loss": 0.108,
22327
+ "step": 3170
22328
+ },
22329
+ {
22330
+ "epoch": 0.22722834800834818,
22331
+ "grad_norm": 2.8564889430999756,
22332
+ "learning_rate": 0.0001972310723588002,
22333
+ "loss": 0.1088,
22334
+ "step": 3171
22335
+ },
22336
+ {
22337
+ "epoch": 0.22730000627009792,
22338
+ "grad_norm": 4.199337005615234,
22339
+ "learning_rate": 0.00019722931717981151,
22340
+ "loss": 0.1209,
22341
+ "step": 3172
22342
+ },
22343
+ {
22344
+ "epoch": 0.22737166453184762,
22345
+ "grad_norm": 3.122753143310547,
22346
+ "learning_rate": 0.0001972275614525238,
22347
+ "loss": 0.1816,
22348
+ "step": 3173
22349
+ },
22350
+ {
22351
+ "epoch": 0.22744332279359733,
22352
+ "grad_norm": 2.102360248565674,
22353
+ "learning_rate": 0.00019722580517694704,
22354
+ "loss": 0.0951,
22355
+ "step": 3174
22356
+ },
22357
+ {
22358
+ "epoch": 0.22751498105534704,
22359
+ "grad_norm": 5.302291393280029,
22360
+ "learning_rate": 0.0001972240483530911,
22361
+ "loss": 0.0797,
22362
+ "step": 3175
22363
+ },
22364
+ {
22365
+ "epoch": 0.22758663931709677,
22366
+ "grad_norm": 1.5703771114349365,
22367
+ "learning_rate": 0.00019722229098096593,
22368
+ "loss": 0.1172,
22369
+ "step": 3176
22370
+ },
22371
+ {
22372
+ "epoch": 0.22765829757884648,
22373
+ "grad_norm": 2.458751678466797,
22374
+ "learning_rate": 0.00019722053306058137,
22375
+ "loss": 0.0767,
22376
+ "step": 3177
22377
+ },
22378
+ {
22379
+ "epoch": 0.2277299558405962,
22380
+ "grad_norm": 3.1445064544677734,
22381
+ "learning_rate": 0.00019721877459194737,
22382
+ "loss": 0.171,
22383
+ "step": 3178
22384
+ },
22385
+ {
22386
+ "epoch": 0.22780161410234592,
22387
+ "grad_norm": 1.9280569553375244,
22388
+ "learning_rate": 0.00019721701557507388,
22389
+ "loss": 0.0534,
22390
+ "step": 3179
22391
+ },
22392
+ {
22393
+ "epoch": 0.22787327236409563,
22394
+ "grad_norm": 1.9906558990478516,
22395
+ "learning_rate": 0.00019721525600997075,
22396
+ "loss": 0.0651,
22397
+ "step": 3180
22398
+ },
22399
+ {
22400
+ "epoch": 0.22794493062584534,
22401
+ "grad_norm": 2.253248691558838,
22402
+ "learning_rate": 0.00019721349589664797,
22403
+ "loss": 0.0728,
22404
+ "step": 3181
22405
+ },
22406
+ {
22407
+ "epoch": 0.22801658888759505,
22408
+ "grad_norm": 1.795764446258545,
22409
+ "learning_rate": 0.0001972117352351154,
22410
+ "loss": 0.0705,
22411
+ "step": 3182
22412
+ },
22413
+ {
22414
+ "epoch": 0.22808824714934478,
22415
+ "grad_norm": 1.5911445617675781,
22416
+ "learning_rate": 0.00019720997402538303,
22417
+ "loss": 0.0665,
22418
+ "step": 3183
22419
+ },
22420
+ {
22421
+ "epoch": 0.2281599054110945,
22422
+ "grad_norm": 1.6029465198516846,
22423
+ "learning_rate": 0.00019720821226746078,
22424
+ "loss": 0.0328,
22425
+ "step": 3184
22426
+ },
22427
+ {
22428
+ "epoch": 0.2282315636728442,
22429
+ "grad_norm": 2.1250219345092773,
22430
+ "learning_rate": 0.00019720644996135852,
22431
+ "loss": 0.1651,
22432
+ "step": 3185
22433
+ },
22434
+ {
22435
+ "epoch": 0.22830322193459393,
22436
+ "grad_norm": 3.633127212524414,
22437
+ "learning_rate": 0.0001972046871070863,
22438
+ "loss": 0.2459,
22439
+ "step": 3186
22440
+ },
22441
+ {
22442
+ "epoch": 0.22837488019634364,
22443
+ "grad_norm": 0.9196987748146057,
22444
+ "learning_rate": 0.00019720292370465394,
22445
+ "loss": 0.0164,
22446
+ "step": 3187
22447
+ },
22448
+ {
22449
+ "epoch": 0.22844653845809335,
22450
+ "grad_norm": 2.055433511734009,
22451
+ "learning_rate": 0.00019720115975407147,
22452
+ "loss": 0.14,
22453
+ "step": 3188
22454
+ },
22455
+ {
22456
+ "epoch": 0.22851819671984308,
22457
+ "grad_norm": 2.1676344871520996,
22458
+ "learning_rate": 0.0001971993952553488,
22459
+ "loss": 0.1527,
22460
+ "step": 3189
22461
+ },
22462
+ {
22463
+ "epoch": 0.2285898549815928,
22464
+ "grad_norm": 1.6741209030151367,
22465
+ "learning_rate": 0.0001971976302084959,
22466
+ "loss": 0.065,
22467
+ "step": 3190
22468
+ },
22469
+ {
22470
+ "epoch": 0.2286615132433425,
22471
+ "grad_norm": 1.9379805326461792,
22472
+ "learning_rate": 0.00019719586461352273,
22473
+ "loss": 0.0311,
22474
+ "step": 3191
22475
+ },
22476
+ {
22477
+ "epoch": 0.2287331715050922,
22478
+ "grad_norm": 2.0364577770233154,
22479
+ "learning_rate": 0.00019719409847043922,
22480
+ "loss": 0.0679,
22481
+ "step": 3192
22482
+ },
22483
+ {
22484
+ "epoch": 0.22880482976684194,
22485
+ "grad_norm": 1.868452548980713,
22486
+ "learning_rate": 0.00019719233177925533,
22487
+ "loss": 0.0466,
22488
+ "step": 3193
22489
+ },
22490
+ {
22491
+ "epoch": 0.22887648802859165,
22492
+ "grad_norm": 1.9072489738464355,
22493
+ "learning_rate": 0.00019719056453998106,
22494
+ "loss": 0.0557,
22495
+ "step": 3194
22496
+ },
22497
+ {
22498
+ "epoch": 0.22894814629034135,
22499
+ "grad_norm": 2.9343552589416504,
22500
+ "learning_rate": 0.0001971887967526263,
22501
+ "loss": 0.1168,
22502
+ "step": 3195
22503
+ },
22504
+ {
22505
+ "epoch": 0.2290198045520911,
22506
+ "grad_norm": 1.4843168258666992,
22507
+ "learning_rate": 0.00019718702841720114,
22508
+ "loss": 0.0494,
22509
+ "step": 3196
22510
+ },
22511
+ {
22512
+ "epoch": 0.2290914628138408,
22513
+ "grad_norm": 2.262708902359009,
22514
+ "learning_rate": 0.00019718525953371543,
22515
+ "loss": 0.029,
22516
+ "step": 3197
22517
+ },
22518
+ {
22519
+ "epoch": 0.2291631210755905,
22520
+ "grad_norm": 3.9959311485290527,
22521
+ "learning_rate": 0.0001971834901021792,
22522
+ "loss": 0.1648,
22523
+ "step": 3198
22524
+ },
22525
+ {
22526
+ "epoch": 0.2292347793373402,
22527
+ "grad_norm": 1.552308201789856,
22528
+ "learning_rate": 0.00019718172012260244,
22529
+ "loss": 0.0352,
22530
+ "step": 3199
22531
+ },
22532
+ {
22533
+ "epoch": 0.22930643759908995,
22534
+ "grad_norm": 3.429759979248047,
22535
+ "learning_rate": 0.00019717994959499507,
22536
+ "loss": 0.0827,
22537
+ "step": 3200
22538
+ },
22539
+ {
22540
+ "epoch": 0.22930643759908995,
22541
+ "eval_loss": 0.005183567758649588,
22542
+ "eval_runtime": 169.1641,
22543
+ "eval_samples_per_second": 6.639,
22544
+ "eval_steps_per_second": 3.322,
22545
+ "step": 3200
22546
  }
22547
  ],
22548
  "logging_steps": 1,
 
22557
  "early_stopping_threshold": 0.0
22558
  },
22559
  "attributes": {
22560
+ "early_stopping_patience_counter": 5
22561
  }
22562
  },
22563
  "TrainerControl": {
 
22566
  "should_evaluate": false,
22567
  "should_log": false,
22568
  "should_save": true,
22569
+ "should_training_stop": true
22570
  },
22571
  "attributes": {}
22572
  }
22573
  },
22574
+ "total_flos": 5.918834408785183e+17,
22575
  "train_batch_size": 2,
22576
  "trial_name": null,
22577
  "trial_params": null