error577 commited on
Commit
9305c3d
·
verified ·
1 Parent(s): 5666bcc

Training in progress, step 5200, checkpoint

Browse files
last-checkpoint/adapter_model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:b196cf3a6b26ec8605e09ccbebde7d9e1f7f95a0a4537cd17e2a5235768fe3fa
3
  size 6298048
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:003da860d9a727573bed9d824fb388a6d781af0fa1b630499c6f7fc97a2c61f9
3
  size 6298048
last-checkpoint/optimizer.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:78694850f87b5861f822150d2003ecf262a80d6d7f22df81d8e7da87ffc209b0
3
  size 3253690
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:37b2cbc110c3fbd954673019c5de12667f1f95fc1310991b747ab93aa37895b7
3
  size 3253690
last-checkpoint/rng_state.pth CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:8e4100c107766080960de1025226970c34a92adf7bd1920896b7ed1fab4b3d67
3
  size 14244
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:746812404599955fb15413295a0078abefcb0c70df8ee289518ba7ec56840ea6
3
  size 14244
last-checkpoint/scheduler.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:857e9237851395e9191b805a95d07a6883d0510319a167c390295fb691b3f689
3
  size 1064
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:d35f70357f47052fbae1e97f35938f2bb0a272d9de2100c9c75876c639f539ea
3
  size 1064
last-checkpoint/trainer_state.json CHANGED
@@ -1,9 +1,9 @@
1
  {
2
  "best_metric": 0.4535141587257385,
3
  "best_model_checkpoint": "miner_id_24/checkpoint-5000",
4
- "epoch": 2.715400800923098,
5
  "eval_steps": 200,
6
- "global_step": 5000,
7
  "is_hyper_param_search": false,
8
  "is_local_process_zero": true,
9
  "is_world_process_zero": true,
@@ -35215,6 +35215,1414 @@
35215
  "eval_samples_per_second": 123.611,
35216
  "eval_steps_per_second": 62.22,
35217
  "step": 5000
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
35218
  }
35219
  ],
35220
  "logging_steps": 1,
@@ -35229,7 +36637,7 @@
35229
  "early_stopping_threshold": 0.0
35230
  },
35231
  "attributes": {
35232
- "early_stopping_patience_counter": 0
35233
  }
35234
  },
35235
  "TrainerControl": {
@@ -35243,7 +36651,7 @@
35243
  "attributes": {}
35244
  }
35245
  },
35246
- "total_flos": 1.13641758130176e+16,
35247
  "train_batch_size": 2,
35248
  "trial_name": null,
35249
  "trial_params": null
 
1
  {
2
  "best_metric": 0.4535141587257385,
3
  "best_model_checkpoint": "miner_id_24/checkpoint-5000",
4
+ "epoch": 2.8240005429987103,
5
  "eval_steps": 200,
6
+ "global_step": 5200,
7
  "is_hyper_param_search": false,
8
  "is_local_process_zero": true,
9
  "is_world_process_zero": true,
 
35215
  "eval_samples_per_second": 123.611,
35216
  "eval_steps_per_second": 62.22,
35217
  "step": 5000
35218
+ },
35219
+ {
35220
+ "epoch": 2.715943799633476,
35221
+ "grad_norm": 754.042236328125,
35222
+ "learning_rate": 4.423473742079731e-06,
35223
+ "loss": 4.1441,
35224
+ "step": 5001
35225
+ },
35226
+ {
35227
+ "epoch": 2.716486798343854,
35228
+ "grad_norm": 825.6425170898438,
35229
+ "learning_rate": 4.406667268564258e-06,
35230
+ "loss": 4.4649,
35231
+ "step": 5002
35232
+ },
35233
+ {
35234
+ "epoch": 2.717029797054232,
35235
+ "grad_norm": 495.062744140625,
35236
+ "learning_rate": 4.38989206362731e-06,
35237
+ "loss": 4.1005,
35238
+ "step": 5003
35239
+ },
35240
+ {
35241
+ "epoch": 2.7175727957646103,
35242
+ "grad_norm": 445.96929931640625,
35243
+ "learning_rate": 4.373148132756033e-06,
35244
+ "loss": 3.9457,
35245
+ "step": 5004
35246
+ },
35247
+ {
35248
+ "epoch": 2.718115794474988,
35249
+ "grad_norm": 656.88525390625,
35250
+ "learning_rate": 4.35643548142739e-06,
35251
+ "loss": 4.2506,
35252
+ "step": 5005
35253
+ },
35254
+ {
35255
+ "epoch": 2.7186587931853663,
35256
+ "grad_norm": 401.2259216308594,
35257
+ "learning_rate": 4.339754115108086e-06,
35258
+ "loss": 3.4514,
35259
+ "step": 5006
35260
+ },
35261
+ {
35262
+ "epoch": 2.7192017918957445,
35263
+ "grad_norm": 766.2008666992188,
35264
+ "learning_rate": 4.3231040392545665e-06,
35265
+ "loss": 4.3433,
35266
+ "step": 5007
35267
+ },
35268
+ {
35269
+ "epoch": 2.7197447906061223,
35270
+ "grad_norm": 613.8910522460938,
35271
+ "learning_rate": 4.30648525931312e-06,
35272
+ "loss": 3.5981,
35273
+ "step": 5008
35274
+ },
35275
+ {
35276
+ "epoch": 2.7202877893165005,
35277
+ "grad_norm": 444.7544860839844,
35278
+ "learning_rate": 4.289897780719721e-06,
35279
+ "loss": 3.9116,
35280
+ "step": 5009
35281
+ },
35282
+ {
35283
+ "epoch": 2.7208307880268783,
35284
+ "grad_norm": 405.4656677246094,
35285
+ "learning_rate": 4.273341608900128e-06,
35286
+ "loss": 3.7938,
35287
+ "step": 5010
35288
+ },
35289
+ {
35290
+ "epoch": 2.7213737867372565,
35291
+ "grad_norm": 880.2958984375,
35292
+ "learning_rate": 4.256816749269865e-06,
35293
+ "loss": 3.5042,
35294
+ "step": 5011
35295
+ },
35296
+ {
35297
+ "epoch": 2.7219167854476347,
35298
+ "grad_norm": 1112.91943359375,
35299
+ "learning_rate": 4.240323207234243e-06,
35300
+ "loss": 3.1001,
35301
+ "step": 5012
35302
+ },
35303
+ {
35304
+ "epoch": 2.7224597841580125,
35305
+ "grad_norm": 423.1214294433594,
35306
+ "learning_rate": 4.2238609881882665e-06,
35307
+ "loss": 4.3547,
35308
+ "step": 5013
35309
+ },
35310
+ {
35311
+ "epoch": 2.7230027828683907,
35312
+ "grad_norm": 607.1992797851562,
35313
+ "learning_rate": 4.20743009751674e-06,
35314
+ "loss": 4.2703,
35315
+ "step": 5014
35316
+ },
35317
+ {
35318
+ "epoch": 2.7235457815787685,
35319
+ "grad_norm": 780.1934204101562,
35320
+ "learning_rate": 4.191030540594209e-06,
35321
+ "loss": 4.2767,
35322
+ "step": 5015
35323
+ },
35324
+ {
35325
+ "epoch": 2.7240887802891467,
35326
+ "grad_norm": 471.1454772949219,
35327
+ "learning_rate": 4.174662322784961e-06,
35328
+ "loss": 3.8886,
35329
+ "step": 5016
35330
+ },
35331
+ {
35332
+ "epoch": 2.724631778999525,
35333
+ "grad_norm": 1041.9959716796875,
35334
+ "learning_rate": 4.158325449443057e-06,
35335
+ "loss": 4.5538,
35336
+ "step": 5017
35337
+ },
35338
+ {
35339
+ "epoch": 2.7251747777099027,
35340
+ "grad_norm": 585.022705078125,
35341
+ "learning_rate": 4.142019925912266e-06,
35342
+ "loss": 4.5516,
35343
+ "step": 5018
35344
+ },
35345
+ {
35346
+ "epoch": 2.725717776420281,
35347
+ "grad_norm": 744.4454956054688,
35348
+ "learning_rate": 4.125745757526145e-06,
35349
+ "loss": 4.1632,
35350
+ "step": 5019
35351
+ },
35352
+ {
35353
+ "epoch": 2.726260775130659,
35354
+ "grad_norm": 945.2689819335938,
35355
+ "learning_rate": 4.109502949607958e-06,
35356
+ "loss": 5.9898,
35357
+ "step": 5020
35358
+ },
35359
+ {
35360
+ "epoch": 2.726803773841037,
35361
+ "grad_norm": 637.0564575195312,
35362
+ "learning_rate": 4.093291507470731e-06,
35363
+ "loss": 4.3828,
35364
+ "step": 5021
35365
+ },
35366
+ {
35367
+ "epoch": 2.727346772551415,
35368
+ "grad_norm": 371.70904541015625,
35369
+ "learning_rate": 4.0771114364172136e-06,
35370
+ "loss": 4.0305,
35371
+ "step": 5022
35372
+ },
35373
+ {
35374
+ "epoch": 2.7278897712617933,
35375
+ "grad_norm": 759.02294921875,
35376
+ "learning_rate": 4.0609627417399485e-06,
35377
+ "loss": 4.9529,
35378
+ "step": 5023
35379
+ },
35380
+ {
35381
+ "epoch": 2.728432769972171,
35382
+ "grad_norm": 1186.716796875,
35383
+ "learning_rate": 4.044845428721144e-06,
35384
+ "loss": 4.753,
35385
+ "step": 5024
35386
+ },
35387
+ {
35388
+ "epoch": 2.7289757686825493,
35389
+ "grad_norm": 885.723876953125,
35390
+ "learning_rate": 4.028759502632784e-06,
35391
+ "loss": 4.4857,
35392
+ "step": 5025
35393
+ },
35394
+ {
35395
+ "epoch": 2.7295187673929275,
35396
+ "grad_norm": 494.7954406738281,
35397
+ "learning_rate": 4.012704968736547e-06,
35398
+ "loss": 4.2422,
35399
+ "step": 5026
35400
+ },
35401
+ {
35402
+ "epoch": 2.7300617661033053,
35403
+ "grad_norm": 760.1868896484375,
35404
+ "learning_rate": 3.9966818322838996e-06,
35405
+ "loss": 3.4851,
35406
+ "step": 5027
35407
+ },
35408
+ {
35409
+ "epoch": 2.7306047648136835,
35410
+ "grad_norm": 668.182861328125,
35411
+ "learning_rate": 3.980690098516004e-06,
35412
+ "loss": 3.1946,
35413
+ "step": 5028
35414
+ },
35415
+ {
35416
+ "epoch": 2.7311477635240617,
35417
+ "grad_norm": 3172.27099609375,
35418
+ "learning_rate": 3.964729772663756e-06,
35419
+ "loss": 3.0266,
35420
+ "step": 5029
35421
+ },
35422
+ {
35423
+ "epoch": 2.7316907622344395,
35424
+ "grad_norm": 646.6648559570312,
35425
+ "learning_rate": 3.9488008599477765e-06,
35426
+ "loss": 3.9472,
35427
+ "step": 5030
35428
+ },
35429
+ {
35430
+ "epoch": 2.7322337609448177,
35431
+ "grad_norm": 1279.0089111328125,
35432
+ "learning_rate": 3.932903365578411e-06,
35433
+ "loss": 4.4697,
35434
+ "step": 5031
35435
+ },
35436
+ {
35437
+ "epoch": 2.732776759655196,
35438
+ "grad_norm": 1157.6290283203125,
35439
+ "learning_rate": 3.91703729475571e-06,
35440
+ "loss": 4.3281,
35441
+ "step": 5032
35442
+ },
35443
+ {
35444
+ "epoch": 2.7333197583655737,
35445
+ "grad_norm": 1070.764404296875,
35446
+ "learning_rate": 3.901202652669511e-06,
35447
+ "loss": 3.8431,
35448
+ "step": 5033
35449
+ },
35450
+ {
35451
+ "epoch": 2.733862757075952,
35452
+ "grad_norm": 551.4417114257812,
35453
+ "learning_rate": 3.885399444499305e-06,
35454
+ "loss": 3.4022,
35455
+ "step": 5034
35456
+ },
35457
+ {
35458
+ "epoch": 2.73440575578633,
35459
+ "grad_norm": 1417.7672119140625,
35460
+ "learning_rate": 3.869627675414312e-06,
35461
+ "loss": 4.7622,
35462
+ "step": 5035
35463
+ },
35464
+ {
35465
+ "epoch": 2.734948754496708,
35466
+ "grad_norm": 665.5150756835938,
35467
+ "learning_rate": 3.853887350573482e-06,
35468
+ "loss": 3.0578,
35469
+ "step": 5036
35470
+ },
35471
+ {
35472
+ "epoch": 2.735491753207086,
35473
+ "grad_norm": 864.9338989257812,
35474
+ "learning_rate": 3.838178475125453e-06,
35475
+ "loss": 4.6405,
35476
+ "step": 5037
35477
+ },
35478
+ {
35479
+ "epoch": 2.7360347519174644,
35480
+ "grad_norm": 1039.266845703125,
35481
+ "learning_rate": 3.822501054208638e-06,
35482
+ "loss": 3.5141,
35483
+ "step": 5038
35484
+ },
35485
+ {
35486
+ "epoch": 2.736577750627842,
35487
+ "grad_norm": 499.7294006347656,
35488
+ "learning_rate": 3.8068550929511113e-06,
35489
+ "loss": 4.0925,
35490
+ "step": 5039
35491
+ },
35492
+ {
35493
+ "epoch": 2.7371207493382204,
35494
+ "grad_norm": 668.3948364257812,
35495
+ "learning_rate": 3.7912405964706578e-06,
35496
+ "loss": 3.71,
35497
+ "step": 5040
35498
+ },
35499
+ {
35500
+ "epoch": 2.7376637480485986,
35501
+ "grad_norm": 694.3373413085938,
35502
+ "learning_rate": 3.775657569874769e-06,
35503
+ "loss": 3.9955,
35504
+ "step": 5041
35505
+ },
35506
+ {
35507
+ "epoch": 2.7382067467589764,
35508
+ "grad_norm": 866.5053100585938,
35509
+ "learning_rate": 3.7601060182606674e-06,
35510
+ "loss": 5.182,
35511
+ "step": 5042
35512
+ },
35513
+ {
35514
+ "epoch": 2.7387497454693546,
35515
+ "grad_norm": 953.5985717773438,
35516
+ "learning_rate": 3.7445859467152733e-06,
35517
+ "loss": 4.2527,
35518
+ "step": 5043
35519
+ },
35520
+ {
35521
+ "epoch": 2.739292744179733,
35522
+ "grad_norm": 791.253662109375,
35523
+ "learning_rate": 3.7290973603151926e-06,
35524
+ "loss": 4.1687,
35525
+ "step": 5044
35526
+ },
35527
+ {
35528
+ "epoch": 2.7398357428901106,
35529
+ "grad_norm": 1013.05126953125,
35530
+ "learning_rate": 3.7136402641267274e-06,
35531
+ "loss": 3.7608,
35532
+ "step": 5045
35533
+ },
35534
+ {
35535
+ "epoch": 2.7403787416004888,
35536
+ "grad_norm": 540.5369262695312,
35537
+ "learning_rate": 3.6982146632059124e-06,
35538
+ "loss": 3.336,
35539
+ "step": 5046
35540
+ },
35541
+ {
35542
+ "epoch": 2.740921740310867,
35543
+ "grad_norm": 652.3958740234375,
35544
+ "learning_rate": 3.6828205625984436e-06,
35545
+ "loss": 3.3004,
35546
+ "step": 5047
35547
+ },
35548
+ {
35549
+ "epoch": 2.7414647390212448,
35550
+ "grad_norm": 708.6607055664062,
35551
+ "learning_rate": 3.6674579673397603e-06,
35552
+ "loss": 3.7543,
35553
+ "step": 5048
35554
+ },
35555
+ {
35556
+ "epoch": 2.742007737731623,
35557
+ "grad_norm": 785.9500122070312,
35558
+ "learning_rate": 3.6521268824549427e-06,
35559
+ "loss": 3.6382,
35560
+ "step": 5049
35561
+ },
35562
+ {
35563
+ "epoch": 2.742550736442001,
35564
+ "grad_norm": 694.1214599609375,
35565
+ "learning_rate": 3.6368273129588015e-06,
35566
+ "loss": 4.3892,
35567
+ "step": 5050
35568
+ },
35569
+ {
35570
+ "epoch": 2.743093735152379,
35571
+ "grad_norm": 752.3842163085938,
35572
+ "learning_rate": 3.6215592638558225e-06,
35573
+ "loss": 5.5256,
35574
+ "step": 5051
35575
+ },
35576
+ {
35577
+ "epoch": 2.743636733862757,
35578
+ "grad_norm": 515.9019165039062,
35579
+ "learning_rate": 3.6063227401401776e-06,
35580
+ "loss": 3.5278,
35581
+ "step": 5052
35582
+ },
35583
+ {
35584
+ "epoch": 2.7441797325731354,
35585
+ "grad_norm": 963.2393798828125,
35586
+ "learning_rate": 3.591117746795747e-06,
35587
+ "loss": 5.764,
35588
+ "step": 5053
35589
+ },
35590
+ {
35591
+ "epoch": 2.744722731283513,
35592
+ "grad_norm": 400.91082763671875,
35593
+ "learning_rate": 3.5759442887960624e-06,
35594
+ "loss": 4.1101,
35595
+ "step": 5054
35596
+ },
35597
+ {
35598
+ "epoch": 2.7452657299938914,
35599
+ "grad_norm": 549.560546875,
35600
+ "learning_rate": 3.560802371104388e-06,
35601
+ "loss": 4.036,
35602
+ "step": 5055
35603
+ },
35604
+ {
35605
+ "epoch": 2.745808728704269,
35606
+ "grad_norm": 740.826416015625,
35607
+ "learning_rate": 3.545691998673628e-06,
35608
+ "loss": 3.7914,
35609
+ "step": 5056
35610
+ },
35611
+ {
35612
+ "epoch": 2.7463517274146474,
35613
+ "grad_norm": 323.0660095214844,
35614
+ "learning_rate": 3.5306131764463733e-06,
35615
+ "loss": 3.9237,
35616
+ "step": 5057
35617
+ },
35618
+ {
35619
+ "epoch": 2.7468947261250256,
35620
+ "grad_norm": 457.292724609375,
35621
+ "learning_rate": 3.515565909354934e-06,
35622
+ "loss": 3.961,
35623
+ "step": 5058
35624
+ },
35625
+ {
35626
+ "epoch": 2.7474377248354034,
35627
+ "grad_norm": 481.22467041015625,
35628
+ "learning_rate": 3.5005502023212622e-06,
35629
+ "loss": 4.4577,
35630
+ "step": 5059
35631
+ },
35632
+ {
35633
+ "epoch": 2.7479807235457816,
35634
+ "grad_norm": 511.76824951171875,
35635
+ "learning_rate": 3.485566060257006e-06,
35636
+ "loss": 3.7998,
35637
+ "step": 5060
35638
+ },
35639
+ {
35640
+ "epoch": 2.7485237222561594,
35641
+ "grad_norm": 484.1962585449219,
35642
+ "learning_rate": 3.470613488063457e-06,
35643
+ "loss": 4.4528,
35644
+ "step": 5061
35645
+ },
35646
+ {
35647
+ "epoch": 2.7490667209665376,
35648
+ "grad_norm": 573.2638549804688,
35649
+ "learning_rate": 3.45569249063159e-06,
35650
+ "loss": 3.2916,
35651
+ "step": 5062
35652
+ },
35653
+ {
35654
+ "epoch": 2.749609719676916,
35655
+ "grad_norm": 372.7596130371094,
35656
+ "learning_rate": 3.4408030728421027e-06,
35657
+ "loss": 3.2745,
35658
+ "step": 5063
35659
+ },
35660
+ {
35661
+ "epoch": 2.7501527183872936,
35662
+ "grad_norm": 776.1598510742188,
35663
+ "learning_rate": 3.425945239565298e-06,
35664
+ "loss": 4.7393,
35665
+ "step": 5064
35666
+ },
35667
+ {
35668
+ "epoch": 2.750695717097672,
35669
+ "grad_norm": 792.7010498046875,
35670
+ "learning_rate": 3.4111189956611776e-06,
35671
+ "loss": 4.7307,
35672
+ "step": 5065
35673
+ },
35674
+ {
35675
+ "epoch": 2.75123871580805,
35676
+ "grad_norm": 543.6465454101562,
35677
+ "learning_rate": 3.396324345979407e-06,
35678
+ "loss": 4.2423,
35679
+ "step": 5066
35680
+ },
35681
+ {
35682
+ "epoch": 2.751781714518428,
35683
+ "grad_norm": 649.894775390625,
35684
+ "learning_rate": 3.3815612953593036e-06,
35685
+ "loss": 3.3293,
35686
+ "step": 5067
35687
+ },
35688
+ {
35689
+ "epoch": 2.752324713228806,
35690
+ "grad_norm": 706.0491333007812,
35691
+ "learning_rate": 3.3668298486298935e-06,
35692
+ "loss": 4.6071,
35693
+ "step": 5068
35694
+ },
35695
+ {
35696
+ "epoch": 2.7528677119391842,
35697
+ "grad_norm": 543.1436157226562,
35698
+ "learning_rate": 3.3521300106098106e-06,
35699
+ "loss": 4.266,
35700
+ "step": 5069
35701
+ },
35702
+ {
35703
+ "epoch": 2.753410710649562,
35704
+ "grad_norm": 414.9528503417969,
35705
+ "learning_rate": 3.3374617861073656e-06,
35706
+ "loss": 3.3112,
35707
+ "step": 5070
35708
+ },
35709
+ {
35710
+ "epoch": 2.75395370935994,
35711
+ "grad_norm": 579.41943359375,
35712
+ "learning_rate": 3.322825179920552e-06,
35713
+ "loss": 3.0992,
35714
+ "step": 5071
35715
+ },
35716
+ {
35717
+ "epoch": 2.7544967080703184,
35718
+ "grad_norm": 675.246826171875,
35719
+ "learning_rate": 3.308220196836975e-06,
35720
+ "loss": 4.048,
35721
+ "step": 5072
35722
+ },
35723
+ {
35724
+ "epoch": 2.755039706780696,
35725
+ "grad_norm": 360.9516296386719,
35726
+ "learning_rate": 3.2936468416339572e-06,
35727
+ "loss": 4.6605,
35728
+ "step": 5073
35729
+ },
35730
+ {
35731
+ "epoch": 2.7555827054910744,
35732
+ "grad_norm": 523.5582275390625,
35733
+ "learning_rate": 3.2791051190784294e-06,
35734
+ "loss": 3.4906,
35735
+ "step": 5074
35736
+ },
35737
+ {
35738
+ "epoch": 2.7561257042014526,
35739
+ "grad_norm": 513.7962036132812,
35740
+ "learning_rate": 3.264595033926998e-06,
35741
+ "loss": 4.2177,
35742
+ "step": 5075
35743
+ },
35744
+ {
35745
+ "epoch": 2.7566687029118304,
35746
+ "grad_norm": 532.7496337890625,
35747
+ "learning_rate": 3.250116590925889e-06,
35748
+ "loss": 3.8515,
35749
+ "step": 5076
35750
+ },
35751
+ {
35752
+ "epoch": 2.7572117016222086,
35753
+ "grad_norm": 749.4642944335938,
35754
+ "learning_rate": 3.235669794811025e-06,
35755
+ "loss": 4.5589,
35756
+ "step": 5077
35757
+ },
35758
+ {
35759
+ "epoch": 2.757754700332587,
35760
+ "grad_norm": 513.0418701171875,
35761
+ "learning_rate": 3.2212546503079477e-06,
35762
+ "loss": 4.5184,
35763
+ "step": 5078
35764
+ },
35765
+ {
35766
+ "epoch": 2.7582976990429646,
35767
+ "grad_norm": 944.7942504882812,
35768
+ "learning_rate": 3.2068711621318305e-06,
35769
+ "loss": 4.2889,
35770
+ "step": 5079
35771
+ },
35772
+ {
35773
+ "epoch": 2.758840697753343,
35774
+ "grad_norm": 362.56756591796875,
35775
+ "learning_rate": 3.1925193349875426e-06,
35776
+ "loss": 2.6204,
35777
+ "step": 5080
35778
+ },
35779
+ {
35780
+ "epoch": 2.759383696463721,
35781
+ "grad_norm": 530.367919921875,
35782
+ "learning_rate": 3.1781991735695405e-06,
35783
+ "loss": 4.3068,
35784
+ "step": 5081
35785
+ },
35786
+ {
35787
+ "epoch": 2.759926695174099,
35788
+ "grad_norm": 802.7803955078125,
35789
+ "learning_rate": 3.1639106825619546e-06,
35790
+ "loss": 4.3946,
35791
+ "step": 5082
35792
+ },
35793
+ {
35794
+ "epoch": 2.760469693884477,
35795
+ "grad_norm": 410.1996765136719,
35796
+ "learning_rate": 3.149653866638569e-06,
35797
+ "loss": 3.3527,
35798
+ "step": 5083
35799
+ },
35800
+ {
35801
+ "epoch": 2.7610126925948553,
35802
+ "grad_norm": 375.22882080078125,
35803
+ "learning_rate": 3.135428730462775e-06,
35804
+ "loss": 3.7499,
35805
+ "step": 5084
35806
+ },
35807
+ {
35808
+ "epoch": 2.761555691305233,
35809
+ "grad_norm": 507.7083435058594,
35810
+ "learning_rate": 3.1212352786876067e-06,
35811
+ "loss": 3.9562,
35812
+ "step": 5085
35813
+ },
35814
+ {
35815
+ "epoch": 2.7620986900156113,
35816
+ "grad_norm": 493.5599060058594,
35817
+ "learning_rate": 3.1070735159557717e-06,
35818
+ "loss": 4.4615,
35819
+ "step": 5086
35820
+ },
35821
+ {
35822
+ "epoch": 2.7626416887259895,
35823
+ "grad_norm": 664.6200561523438,
35824
+ "learning_rate": 3.0929434468995324e-06,
35825
+ "loss": 5.0281,
35826
+ "step": 5087
35827
+ },
35828
+ {
35829
+ "epoch": 2.7631846874363672,
35830
+ "grad_norm": 605.4922485351562,
35831
+ "learning_rate": 3.0788450761408685e-06,
35832
+ "loss": 3.9369,
35833
+ "step": 5088
35834
+ },
35835
+ {
35836
+ "epoch": 2.7637276861467455,
35837
+ "grad_norm": 813.049072265625,
35838
+ "learning_rate": 3.0647784082913576e-06,
35839
+ "loss": 3.7501,
35840
+ "step": 5089
35841
+ },
35842
+ {
35843
+ "epoch": 2.7642706848571237,
35844
+ "grad_norm": 355.1506652832031,
35845
+ "learning_rate": 3.050743447952198e-06,
35846
+ "loss": 3.6337,
35847
+ "step": 5090
35848
+ },
35849
+ {
35850
+ "epoch": 2.7648136835675015,
35851
+ "grad_norm": 547.3757934570312,
35852
+ "learning_rate": 3.036740199714239e-06,
35853
+ "loss": 4.0993,
35854
+ "step": 5091
35855
+ },
35856
+ {
35857
+ "epoch": 2.7653566822778797,
35858
+ "grad_norm": 648.0291748046875,
35859
+ "learning_rate": 3.022768668157916e-06,
35860
+ "loss": 5.2016,
35861
+ "step": 5092
35862
+ },
35863
+ {
35864
+ "epoch": 2.765899680988258,
35865
+ "grad_norm": 862.5260009765625,
35866
+ "learning_rate": 3.0088288578533296e-06,
35867
+ "loss": 4.1286,
35868
+ "step": 5093
35869
+ },
35870
+ {
35871
+ "epoch": 2.7664426796986357,
35872
+ "grad_norm": 971.1481323242188,
35873
+ "learning_rate": 2.9949207733601993e-06,
35874
+ "loss": 3.519,
35875
+ "step": 5094
35876
+ },
35877
+ {
35878
+ "epoch": 2.766985678409014,
35879
+ "grad_norm": 727.3080444335938,
35880
+ "learning_rate": 2.981044419227863e-06,
35881
+ "loss": 3.6727,
35882
+ "step": 5095
35883
+ },
35884
+ {
35885
+ "epoch": 2.767528677119392,
35886
+ "grad_norm": 379.2283020019531,
35887
+ "learning_rate": 2.9671997999952683e-06,
35888
+ "loss": 4.6451,
35889
+ "step": 5096
35890
+ },
35891
+ {
35892
+ "epoch": 2.76807167582977,
35893
+ "grad_norm": 580.7006225585938,
35894
+ "learning_rate": 2.9533869201909703e-06,
35895
+ "loss": 3.3031,
35896
+ "step": 5097
35897
+ },
35898
+ {
35899
+ "epoch": 2.768614674540148,
35900
+ "grad_norm": 525.9453125,
35901
+ "learning_rate": 2.939605784333199e-06,
35902
+ "loss": 4.0271,
35903
+ "step": 5098
35904
+ },
35905
+ {
35906
+ "epoch": 2.769157673250526,
35907
+ "grad_norm": 806.1375732421875,
35908
+ "learning_rate": 2.925856396929738e-06,
35909
+ "loss": 4.3383,
35910
+ "step": 5099
35911
+ },
35912
+ {
35913
+ "epoch": 2.769700671960904,
35914
+ "grad_norm": 466.9095458984375,
35915
+ "learning_rate": 2.912138762478023e-06,
35916
+ "loss": 4.2185,
35917
+ "step": 5100
35918
+ },
35919
+ {
35920
+ "epoch": 2.7702436706712823,
35921
+ "grad_norm": 733.1318359375,
35922
+ "learning_rate": 2.8984528854650863e-06,
35923
+ "loss": 4.4336,
35924
+ "step": 5101
35925
+ },
35926
+ {
35927
+ "epoch": 2.77078666938166,
35928
+ "grad_norm": 794.1581420898438,
35929
+ "learning_rate": 2.8847987703675804e-06,
35930
+ "loss": 5.1572,
35931
+ "step": 5102
35932
+ },
35933
+ {
35934
+ "epoch": 2.7713296680920383,
35935
+ "grad_norm": 1011.6903076171875,
35936
+ "learning_rate": 2.8711764216517665e-06,
35937
+ "loss": 3.347,
35938
+ "step": 5103
35939
+ },
35940
+ {
35941
+ "epoch": 2.7718726668024165,
35942
+ "grad_norm": 510.90155029296875,
35943
+ "learning_rate": 2.857585843773514e-06,
35944
+ "loss": 4.5163,
35945
+ "step": 5104
35946
+ },
35947
+ {
35948
+ "epoch": 2.7724156655127943,
35949
+ "grad_norm": 493.1015930175781,
35950
+ "learning_rate": 2.8440270411782987e-06,
35951
+ "loss": 3.2217,
35952
+ "step": 5105
35953
+ },
35954
+ {
35955
+ "epoch": 2.7729586642231725,
35956
+ "grad_norm": 695.4116821289062,
35957
+ "learning_rate": 2.8305000183012186e-06,
35958
+ "loss": 4.2069,
35959
+ "step": 5106
35960
+ },
35961
+ {
35962
+ "epoch": 2.7735016629335503,
35963
+ "grad_norm": 451.94140625,
35964
+ "learning_rate": 2.817004779566934e-06,
35965
+ "loss": 4.0841,
35966
+ "step": 5107
35967
+ },
35968
+ {
35969
+ "epoch": 2.7740446616439285,
35970
+ "grad_norm": 426.1748046875,
35971
+ "learning_rate": 2.8035413293897582e-06,
35972
+ "loss": 3.8548,
35973
+ "step": 5108
35974
+ },
35975
+ {
35976
+ "epoch": 2.7745876603543067,
35977
+ "grad_norm": 423.5711364746094,
35978
+ "learning_rate": 2.790109672173591e-06,
35979
+ "loss": 4.3815,
35980
+ "step": 5109
35981
+ },
35982
+ {
35983
+ "epoch": 2.7751306590646845,
35984
+ "grad_norm": 1262.8558349609375,
35985
+ "learning_rate": 2.7767098123119284e-06,
35986
+ "loss": 4.3836,
35987
+ "step": 5110
35988
+ },
35989
+ {
35990
+ "epoch": 2.7756736577750627,
35991
+ "grad_norm": 712.8995361328125,
35992
+ "learning_rate": 2.7633417541878426e-06,
35993
+ "loss": 5.3302,
35994
+ "step": 5111
35995
+ },
35996
+ {
35997
+ "epoch": 2.776216656485441,
35998
+ "grad_norm": 554.9609985351562,
35999
+ "learning_rate": 2.750005502174036e-06,
36000
+ "loss": 3.1881,
36001
+ "step": 5112
36002
+ },
36003
+ {
36004
+ "epoch": 2.7767596551958187,
36005
+ "grad_norm": 1710.06298828125,
36006
+ "learning_rate": 2.736701060632807e-06,
36007
+ "loss": 5.1809,
36008
+ "step": 5113
36009
+ },
36010
+ {
36011
+ "epoch": 2.777302653906197,
36012
+ "grad_norm": 1120.006591796875,
36013
+ "learning_rate": 2.723428433916031e-06,
36014
+ "loss": 5.2324,
36015
+ "step": 5114
36016
+ },
36017
+ {
36018
+ "epoch": 2.777845652616575,
36019
+ "grad_norm": 614.5526733398438,
36020
+ "learning_rate": 2.7101876263651683e-06,
36021
+ "loss": 5.4766,
36022
+ "step": 5115
36023
+ },
36024
+ {
36025
+ "epoch": 2.778388651326953,
36026
+ "grad_norm": 1077.6749267578125,
36027
+ "learning_rate": 2.6969786423113206e-06,
36028
+ "loss": 4.4507,
36029
+ "step": 5116
36030
+ },
36031
+ {
36032
+ "epoch": 2.778931650037331,
36033
+ "grad_norm": 492.57843017578125,
36034
+ "learning_rate": 2.6838014860751104e-06,
36035
+ "loss": 3.6869,
36036
+ "step": 5117
36037
+ },
36038
+ {
36039
+ "epoch": 2.7794746487477093,
36040
+ "grad_norm": 731.0562133789062,
36041
+ "learning_rate": 2.6706561619668002e-06,
36042
+ "loss": 4.6921,
36043
+ "step": 5118
36044
+ },
36045
+ {
36046
+ "epoch": 2.780017647458087,
36047
+ "grad_norm": 829.9580688476562,
36048
+ "learning_rate": 2.6575426742862395e-06,
36049
+ "loss": 3.7739,
36050
+ "step": 5119
36051
+ },
36052
+ {
36053
+ "epoch": 2.7805606461684653,
36054
+ "grad_norm": 829.8641357421875,
36055
+ "learning_rate": 2.644461027322842e-06,
36056
+ "loss": 4.5644,
36057
+ "step": 5120
36058
+ },
36059
+ {
36060
+ "epoch": 2.7811036448788435,
36061
+ "grad_norm": 631.8134765625,
36062
+ "learning_rate": 2.6314112253556067e-06,
36063
+ "loss": 4.2384,
36064
+ "step": 5121
36065
+ },
36066
+ {
36067
+ "epoch": 2.7816466435892213,
36068
+ "grad_norm": 435.6779479980469,
36069
+ "learning_rate": 2.618393272653119e-06,
36070
+ "loss": 4.563,
36071
+ "step": 5122
36072
+ },
36073
+ {
36074
+ "epoch": 2.7821896422995995,
36075
+ "grad_norm": 796.0286865234375,
36076
+ "learning_rate": 2.605407173473573e-06,
36077
+ "loss": 4.3984,
36078
+ "step": 5123
36079
+ },
36080
+ {
36081
+ "epoch": 2.7827326410099777,
36082
+ "grad_norm": 543.0800170898438,
36083
+ "learning_rate": 2.5924529320646927e-06,
36084
+ "loss": 4.3746,
36085
+ "step": 5124
36086
+ },
36087
+ {
36088
+ "epoch": 2.7832756397203555,
36089
+ "grad_norm": 1331.4854736328125,
36090
+ "learning_rate": 2.5795305526638446e-06,
36091
+ "loss": 4.1814,
36092
+ "step": 5125
36093
+ },
36094
+ {
36095
+ "epoch": 2.7838186384307337,
36096
+ "grad_norm": 635.777587890625,
36097
+ "learning_rate": 2.5666400394979027e-06,
36098
+ "loss": 4.2498,
36099
+ "step": 5126
36100
+ },
36101
+ {
36102
+ "epoch": 2.784361637141112,
36103
+ "grad_norm": 566.770751953125,
36104
+ "learning_rate": 2.5537813967833834e-06,
36105
+ "loss": 4.3154,
36106
+ "step": 5127
36107
+ },
36108
+ {
36109
+ "epoch": 2.7849046358514897,
36110
+ "grad_norm": 551.4568481445312,
36111
+ "learning_rate": 2.540954628726322e-06,
36112
+ "loss": 3.6912,
36113
+ "step": 5128
36114
+ },
36115
+ {
36116
+ "epoch": 2.785447634561868,
36117
+ "grad_norm": 729.0905151367188,
36118
+ "learning_rate": 2.5281597395223957e-06,
36119
+ "loss": 3.8422,
36120
+ "step": 5129
36121
+ },
36122
+ {
36123
+ "epoch": 2.785990633272246,
36124
+ "grad_norm": 640.2979736328125,
36125
+ "learning_rate": 2.5153967333567673e-06,
36126
+ "loss": 4.258,
36127
+ "step": 5130
36128
+ },
36129
+ {
36130
+ "epoch": 2.786533631982624,
36131
+ "grad_norm": 619.5833740234375,
36132
+ "learning_rate": 2.5026656144042424e-06,
36133
+ "loss": 4.4131,
36134
+ "step": 5131
36135
+ },
36136
+ {
36137
+ "epoch": 2.787076630693002,
36138
+ "grad_norm": 545.5739135742188,
36139
+ "learning_rate": 2.4899663868291454e-06,
36140
+ "loss": 3.9388,
36141
+ "step": 5132
36142
+ },
36143
+ {
36144
+ "epoch": 2.7876196294033804,
36145
+ "grad_norm": 512.8392944335938,
36146
+ "learning_rate": 2.4772990547854203e-06,
36147
+ "loss": 4.5003,
36148
+ "step": 5133
36149
+ },
36150
+ {
36151
+ "epoch": 2.788162628113758,
36152
+ "grad_norm": 974.7022705078125,
36153
+ "learning_rate": 2.464663622416541e-06,
36154
+ "loss": 3.6014,
36155
+ "step": 5134
36156
+ },
36157
+ {
36158
+ "epoch": 2.7887056268241364,
36159
+ "grad_norm": 515.7823486328125,
36160
+ "learning_rate": 2.4520600938555683e-06,
36161
+ "loss": 4.3682,
36162
+ "step": 5135
36163
+ },
36164
+ {
36165
+ "epoch": 2.7892486255345146,
36166
+ "grad_norm": 1039.7286376953125,
36167
+ "learning_rate": 2.439488473225093e-06,
36168
+ "loss": 4.2152,
36169
+ "step": 5136
36170
+ },
36171
+ {
36172
+ "epoch": 2.7897916242448924,
36173
+ "grad_norm": 866.72314453125,
36174
+ "learning_rate": 2.4269487646373155e-06,
36175
+ "loss": 4.6845,
36176
+ "step": 5137
36177
+ },
36178
+ {
36179
+ "epoch": 2.7903346229552706,
36180
+ "grad_norm": 612.1165771484375,
36181
+ "learning_rate": 2.414440972193954e-06,
36182
+ "loss": 5.3944,
36183
+ "step": 5138
36184
+ },
36185
+ {
36186
+ "epoch": 2.790877621665649,
36187
+ "grad_norm": 597.077392578125,
36188
+ "learning_rate": 2.401965099986325e-06,
36189
+ "loss": 4.3363,
36190
+ "step": 5139
36191
+ },
36192
+ {
36193
+ "epoch": 2.7914206203760266,
36194
+ "grad_norm": 828.762939453125,
36195
+ "learning_rate": 2.3895211520952753e-06,
36196
+ "loss": 4.9433,
36197
+ "step": 5140
36198
+ },
36199
+ {
36200
+ "epoch": 2.791963619086405,
36201
+ "grad_norm": 486.4022216796875,
36202
+ "learning_rate": 2.377109132591215e-06,
36203
+ "loss": 4.5213,
36204
+ "step": 5141
36205
+ },
36206
+ {
36207
+ "epoch": 2.792506617796783,
36208
+ "grad_norm": 778.0509033203125,
36209
+ "learning_rate": 2.3647290455341307e-06,
36210
+ "loss": 4.4736,
36211
+ "step": 5142
36212
+ },
36213
+ {
36214
+ "epoch": 2.7930496165071608,
36215
+ "grad_norm": 353.0651550292969,
36216
+ "learning_rate": 2.3523808949735382e-06,
36217
+ "loss": 3.9695,
36218
+ "step": 5143
36219
+ },
36220
+ {
36221
+ "epoch": 2.793592615217539,
36222
+ "grad_norm": 852.0538940429688,
36223
+ "learning_rate": 2.3400646849485287e-06,
36224
+ "loss": 3.5513,
36225
+ "step": 5144
36226
+ },
36227
+ {
36228
+ "epoch": 2.7941356139279168,
36229
+ "grad_norm": 761.385009765625,
36230
+ "learning_rate": 2.327780419487724e-06,
36231
+ "loss": 4.8319,
36232
+ "step": 5145
36233
+ },
36234
+ {
36235
+ "epoch": 2.794678612638295,
36236
+ "grad_norm": 433.3284606933594,
36237
+ "learning_rate": 2.31552810260931e-06,
36238
+ "loss": 3.7059,
36239
+ "step": 5146
36240
+ },
36241
+ {
36242
+ "epoch": 2.795221611348673,
36243
+ "grad_norm": 686.7593383789062,
36244
+ "learning_rate": 2.3033077383210144e-06,
36245
+ "loss": 5.752,
36246
+ "step": 5147
36247
+ },
36248
+ {
36249
+ "epoch": 2.795764610059051,
36250
+ "grad_norm": 582.459716796875,
36251
+ "learning_rate": 2.2911193306201285e-06,
36252
+ "loss": 4.4024,
36253
+ "step": 5148
36254
+ },
36255
+ {
36256
+ "epoch": 2.796307608769429,
36257
+ "grad_norm": 537.1115112304688,
36258
+ "learning_rate": 2.278962883493474e-06,
36259
+ "loss": 3.5739,
36260
+ "step": 5149
36261
+ },
36262
+ {
36263
+ "epoch": 2.796850607479807,
36264
+ "grad_norm": 577.2192993164062,
36265
+ "learning_rate": 2.266838400917426e-06,
36266
+ "loss": 3.3887,
36267
+ "step": 5150
36268
+ },
36269
+ {
36270
+ "epoch": 2.797393606190185,
36271
+ "grad_norm": 360.9241638183594,
36272
+ "learning_rate": 2.254745886857912e-06,
36273
+ "loss": 4.1433,
36274
+ "step": 5151
36275
+ },
36276
+ {
36277
+ "epoch": 2.7979366049005634,
36278
+ "grad_norm": 2678.588623046875,
36279
+ "learning_rate": 2.2426853452703677e-06,
36280
+ "loss": 4.5553,
36281
+ "step": 5152
36282
+ },
36283
+ {
36284
+ "epoch": 2.798479603610941,
36285
+ "grad_norm": 372.7983093261719,
36286
+ "learning_rate": 2.2306567800998156e-06,
36287
+ "loss": 3.8345,
36288
+ "step": 5153
36289
+ },
36290
+ {
36291
+ "epoch": 2.7990226023213194,
36292
+ "grad_norm": 683.8236694335938,
36293
+ "learning_rate": 2.2186601952808085e-06,
36294
+ "loss": 4.239,
36295
+ "step": 5154
36296
+ },
36297
+ {
36298
+ "epoch": 2.7995656010316976,
36299
+ "grad_norm": 651.3511962890625,
36300
+ "learning_rate": 2.206695594737418e-06,
36301
+ "loss": 3.5771,
36302
+ "step": 5155
36303
+ },
36304
+ {
36305
+ "epoch": 2.8001085997420754,
36306
+ "grad_norm": 433.34783935546875,
36307
+ "learning_rate": 2.194762982383247e-06,
36308
+ "loss": 3.975,
36309
+ "step": 5156
36310
+ },
36311
+ {
36312
+ "epoch": 2.8006515984524536,
36313
+ "grad_norm": 760.779052734375,
36314
+ "learning_rate": 2.182862362121485e-06,
36315
+ "loss": 4.1703,
36316
+ "step": 5157
36317
+ },
36318
+ {
36319
+ "epoch": 2.801194597162832,
36320
+ "grad_norm": 392.1454772949219,
36321
+ "learning_rate": 2.170993737844795e-06,
36322
+ "loss": 3.2476,
36323
+ "step": 5158
36324
+ },
36325
+ {
36326
+ "epoch": 2.8017375958732096,
36327
+ "grad_norm": 1285.6934814453125,
36328
+ "learning_rate": 2.159157113435417e-06,
36329
+ "loss": 5.0232,
36330
+ "step": 5159
36331
+ },
36332
+ {
36333
+ "epoch": 2.802280594583588,
36334
+ "grad_norm": 494.91278076171875,
36335
+ "learning_rate": 2.1473524927651312e-06,
36336
+ "loss": 4.2492,
36337
+ "step": 5160
36338
+ },
36339
+ {
36340
+ "epoch": 2.802823593293966,
36341
+ "grad_norm": 634.6396484375,
36342
+ "learning_rate": 2.1355798796951933e-06,
36343
+ "loss": 4.591,
36344
+ "step": 5161
36345
+ },
36346
+ {
36347
+ "epoch": 2.803366592004344,
36348
+ "grad_norm": 455.8196716308594,
36349
+ "learning_rate": 2.123839278076445e-06,
36350
+ "loss": 3.7394,
36351
+ "step": 5162
36352
+ },
36353
+ {
36354
+ "epoch": 2.803909590714722,
36355
+ "grad_norm": 498.9368896484375,
36356
+ "learning_rate": 2.1121306917492368e-06,
36357
+ "loss": 4.6135,
36358
+ "step": 5163
36359
+ },
36360
+ {
36361
+ "epoch": 2.8044525894251002,
36362
+ "grad_norm": 754.1373291015625,
36363
+ "learning_rate": 2.1004541245434496e-06,
36364
+ "loss": 4.3496,
36365
+ "step": 5164
36366
+ },
36367
+ {
36368
+ "epoch": 2.804995588135478,
36369
+ "grad_norm": 664.9534301757812,
36370
+ "learning_rate": 2.0888095802784725e-06,
36371
+ "loss": 4.3483,
36372
+ "step": 5165
36373
+ },
36374
+ {
36375
+ "epoch": 2.805538586845856,
36376
+ "grad_norm": 761.7283325195312,
36377
+ "learning_rate": 2.0771970627632588e-06,
36378
+ "loss": 4.1655,
36379
+ "step": 5166
36380
+ },
36381
+ {
36382
+ "epoch": 2.8060815855562344,
36383
+ "grad_norm": 503.21612548828125,
36384
+ "learning_rate": 2.0656165757962367e-06,
36385
+ "loss": 2.3496,
36386
+ "step": 5167
36387
+ },
36388
+ {
36389
+ "epoch": 2.806624584266612,
36390
+ "grad_norm": 524.16650390625,
36391
+ "learning_rate": 2.054068123165398e-06,
36392
+ "loss": 3.0995,
36393
+ "step": 5168
36394
+ },
36395
+ {
36396
+ "epoch": 2.8071675829769904,
36397
+ "grad_norm": 826.041015625,
36398
+ "learning_rate": 2.042551708648244e-06,
36399
+ "loss": 5.0678,
36400
+ "step": 5169
36401
+ },
36402
+ {
36403
+ "epoch": 2.8077105816873686,
36404
+ "grad_norm": 373.3750305175781,
36405
+ "learning_rate": 2.0310673360117937e-06,
36406
+ "loss": 3.6811,
36407
+ "step": 5170
36408
+ },
36409
+ {
36410
+ "epoch": 2.8082535803977464,
36411
+ "grad_norm": 309.510986328125,
36412
+ "learning_rate": 2.0196150090125766e-06,
36413
+ "loss": 4.1299,
36414
+ "step": 5171
36415
+ },
36416
+ {
36417
+ "epoch": 2.8087965791081246,
36418
+ "grad_norm": 867.5144653320312,
36419
+ "learning_rate": 2.008194731396662e-06,
36420
+ "loss": 4.8099,
36421
+ "step": 5172
36422
+ },
36423
+ {
36424
+ "epoch": 2.809339577818503,
36425
+ "grad_norm": 871.2198486328125,
36426
+ "learning_rate": 1.9968065068996068e-06,
36427
+ "loss": 4.2024,
36428
+ "step": 5173
36429
+ },
36430
+ {
36431
+ "epoch": 2.8098825765288806,
36432
+ "grad_norm": 362.3316955566406,
36433
+ "learning_rate": 1.9854503392465084e-06,
36434
+ "loss": 3.7024,
36435
+ "step": 5174
36436
+ },
36437
+ {
36438
+ "epoch": 2.810425575239259,
36439
+ "grad_norm": 321.15496826171875,
36440
+ "learning_rate": 1.974126232151974e-06,
36441
+ "loss": 3.4624,
36442
+ "step": 5175
36443
+ },
36444
+ {
36445
+ "epoch": 2.810968573949637,
36446
+ "grad_norm": 784.3812866210938,
36447
+ "learning_rate": 1.9628341893201064e-06,
36448
+ "loss": 3.413,
36449
+ "step": 5176
36450
+ },
36451
+ {
36452
+ "epoch": 2.811511572660015,
36453
+ "grad_norm": 574.1488037109375,
36454
+ "learning_rate": 1.95157421444454e-06,
36455
+ "loss": 4.2546,
36456
+ "step": 5177
36457
+ },
36458
+ {
36459
+ "epoch": 2.812054571370393,
36460
+ "grad_norm": 535.1071166992188,
36461
+ "learning_rate": 1.9403463112084076e-06,
36462
+ "loss": 3.6552,
36463
+ "step": 5178
36464
+ },
36465
+ {
36466
+ "epoch": 2.8125975700807713,
36467
+ "grad_norm": 505.3081970214844,
36468
+ "learning_rate": 1.929150483284359e-06,
36469
+ "loss": 3.3402,
36470
+ "step": 5179
36471
+ },
36472
+ {
36473
+ "epoch": 2.813140568791149,
36474
+ "grad_norm": 1580.228759765625,
36475
+ "learning_rate": 1.917986734334565e-06,
36476
+ "loss": 4.0807,
36477
+ "step": 5180
36478
+ },
36479
+ {
36480
+ "epoch": 2.8136835675015273,
36481
+ "grad_norm": 999.6670532226562,
36482
+ "learning_rate": 1.906855068010671e-06,
36483
+ "loss": 4.9807,
36484
+ "step": 5181
36485
+ },
36486
+ {
36487
+ "epoch": 2.8142265662119055,
36488
+ "grad_norm": 783.4354858398438,
36489
+ "learning_rate": 1.895755487953843e-06,
36490
+ "loss": 4.8869,
36491
+ "step": 5182
36492
+ },
36493
+ {
36494
+ "epoch": 2.8147695649222833,
36495
+ "grad_norm": 637.1692504882812,
36496
+ "learning_rate": 1.884687997794743e-06,
36497
+ "loss": 3.4488,
36498
+ "step": 5183
36499
+ },
36500
+ {
36501
+ "epoch": 2.8153125636326615,
36502
+ "grad_norm": 1398.28271484375,
36503
+ "learning_rate": 1.873652601153586e-06,
36504
+ "loss": 3.9312,
36505
+ "step": 5184
36506
+ },
36507
+ {
36508
+ "epoch": 2.8158555623430397,
36509
+ "grad_norm": 502.7449645996094,
36510
+ "learning_rate": 1.862649301640018e-06,
36511
+ "loss": 3.3319,
36512
+ "step": 5185
36513
+ },
36514
+ {
36515
+ "epoch": 2.8163985610534175,
36516
+ "grad_norm": 645.34326171875,
36517
+ "learning_rate": 1.851678102853216e-06,
36518
+ "loss": 4.1623,
36519
+ "step": 5186
36520
+ },
36521
+ {
36522
+ "epoch": 2.8169415597637957,
36523
+ "grad_norm": 1147.7216796875,
36524
+ "learning_rate": 1.8407390083818866e-06,
36525
+ "loss": 4.0606,
36526
+ "step": 5187
36527
+ },
36528
+ {
36529
+ "epoch": 2.817484558474174,
36530
+ "grad_norm": 601.4821166992188,
36531
+ "learning_rate": 1.8298320218041676e-06,
36532
+ "loss": 4.3324,
36533
+ "step": 5188
36534
+ },
36535
+ {
36536
+ "epoch": 2.8180275571845517,
36537
+ "grad_norm": 592.8321533203125,
36538
+ "learning_rate": 1.818957146687772e-06,
36539
+ "loss": 4.9158,
36540
+ "step": 5189
36541
+ },
36542
+ {
36543
+ "epoch": 2.81857055589493,
36544
+ "grad_norm": 429.2796325683594,
36545
+ "learning_rate": 1.8081143865898653e-06,
36546
+ "loss": 4.1927,
36547
+ "step": 5190
36548
+ },
36549
+ {
36550
+ "epoch": 2.8191135546053077,
36551
+ "grad_norm": 925.8233642578125,
36552
+ "learning_rate": 1.7973037450570996e-06,
36553
+ "loss": 3.4751,
36554
+ "step": 5191
36555
+ },
36556
+ {
36557
+ "epoch": 2.819656553315686,
36558
+ "grad_norm": 953.81201171875,
36559
+ "learning_rate": 1.786525225625646e-06,
36560
+ "loss": 2.7992,
36561
+ "step": 5192
36562
+ },
36563
+ {
36564
+ "epoch": 2.820199552026064,
36565
+ "grad_norm": 596.8466186523438,
36566
+ "learning_rate": 1.7757788318211288e-06,
36567
+ "loss": 3.7332,
36568
+ "step": 5193
36569
+ },
36570
+ {
36571
+ "epoch": 2.820742550736442,
36572
+ "grad_norm": 420.4459228515625,
36573
+ "learning_rate": 1.7650645671587363e-06,
36574
+ "loss": 4.0591,
36575
+ "step": 5194
36576
+ },
36577
+ {
36578
+ "epoch": 2.82128554944682,
36579
+ "grad_norm": 458.5698547363281,
36580
+ "learning_rate": 1.7543824351430872e-06,
36581
+ "loss": 3.576,
36582
+ "step": 5195
36583
+ },
36584
+ {
36585
+ "epoch": 2.821828548157198,
36586
+ "grad_norm": 471.7769470214844,
36587
+ "learning_rate": 1.7437324392683085e-06,
36588
+ "loss": 4.8637,
36589
+ "step": 5196
36590
+ },
36591
+ {
36592
+ "epoch": 2.822371546867576,
36593
+ "grad_norm": 838.4124145507812,
36594
+ "learning_rate": 1.7331145830180029e-06,
36595
+ "loss": 4.3578,
36596
+ "step": 5197
36597
+ },
36598
+ {
36599
+ "epoch": 2.8229145455779543,
36600
+ "grad_norm": 973.5407104492188,
36601
+ "learning_rate": 1.7225288698652918e-06,
36602
+ "loss": 4.2959,
36603
+ "step": 5198
36604
+ },
36605
+ {
36606
+ "epoch": 2.823457544288332,
36607
+ "grad_norm": 507.6147155761719,
36608
+ "learning_rate": 1.7119753032727393e-06,
36609
+ "loss": 3.881,
36610
+ "step": 5199
36611
+ },
36612
+ {
36613
+ "epoch": 2.8240005429987103,
36614
+ "grad_norm": 401.71881103515625,
36615
+ "learning_rate": 1.701453886692428e-06,
36616
+ "loss": 4.2731,
36617
+ "step": 5200
36618
+ },
36619
+ {
36620
+ "epoch": 2.8240005429987103,
36621
+ "eval_loss": 0.4557664096355438,
36622
+ "eval_runtime": 1.2087,
36623
+ "eval_samples_per_second": 123.269,
36624
+ "eval_steps_per_second": 62.048,
36625
+ "step": 5200
36626
  }
36627
  ],
36628
  "logging_steps": 1,
 
36637
  "early_stopping_threshold": 0.0
36638
  },
36639
  "attributes": {
36640
+ "early_stopping_patience_counter": 1
36641
  }
36642
  },
36643
  "TrainerControl": {
 
36651
  "attributes": {}
36652
  }
36653
  },
36654
+ "total_flos": 1.181862919667712e+16,
36655
  "train_batch_size": 2,
36656
  "trial_name": null,
36657
  "trial_params": null