error577 commited on
Commit
1f67421
·
verified ·
1 Parent(s): 2310879

Training in progress, step 9600, checkpoint

Browse files
last-checkpoint/adapter_model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:073f485948ff837fc37d8f0a22e32f680560b6f4f3cbcab84e3c34d6648a3370
3
  size 231448
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:5351acda2291e68b254bbbf6bcac6ffd59181ce25040c1a49fc6f95e8a5a51fd
3
  size 231448
last-checkpoint/optimizer.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:110dab7b119d74bdd1907a661d2051a8e6eac7ba8b04f7fa3abd75f6672d42c9
3
  size 374849
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:0c262b1ca0b289001760797cf74270f26da12d996989dc561d018431044ec310
3
  size 374849
last-checkpoint/rng_state.pth CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:f6eb355b401e2f5ef234337a94f776ee1cb5b3db750380550afb579705325bb3
3
  size 14645
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:107acbb947896e162d77bac431426a16a62db2cb6bb6ecce843e0cf764917947
3
  size 14645
last-checkpoint/scheduler.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:04c1df144f1530edd471eaebc5fb6d55f9f9efd8be9a63dc37f6c6ef4d32ad84
3
  size 1465
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:6b108e8181a13a53da1f54da2a38bf238ba16e82d05f2f0c07551e041aa0f61f
3
  size 1465
last-checkpoint/trainer_state.json CHANGED
@@ -2,9 +2,9 @@
2
  "best_global_step": 9400,
3
  "best_metric": 10.170708656311035,
4
  "best_model_checkpoint": "miner_id_24/checkpoint-9400",
5
- "epoch": 1.6412640216489895,
6
  "eval_steps": 200,
7
- "global_step": 9400,
8
  "is_hyper_param_search": false,
9
  "is_local_process_zero": true,
10
  "is_world_process_zero": true,
@@ -66192,6 +66192,1414 @@
66192
  "eval_samples_per_second": 312.572,
66193
  "eval_steps_per_second": 156.962,
66194
  "step": 9400
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
66195
  }
66196
  ],
66197
  "logging_steps": 1,
@@ -66206,7 +67614,7 @@
66206
  "early_stopping_threshold": 0.0
66207
  },
66208
  "attributes": {
66209
- "early_stopping_patience_counter": 0
66210
  }
66211
  },
66212
  "TrainerControl": {
@@ -66220,7 +67628,7 @@
66220
  "attributes": {}
66221
  }
66222
  },
66223
- "total_flos": 510108146466816.0,
66224
  "train_batch_size": 2,
66225
  "trial_name": null,
66226
  "trial_params": null
 
2
  "best_global_step": 9400,
3
  "best_metric": 10.170708656311035,
4
  "best_model_checkpoint": "miner_id_24/checkpoint-9400",
5
+ "epoch": 1.6761817467591986,
6
  "eval_steps": 200,
7
+ "global_step": 9600,
8
  "is_hyper_param_search": false,
9
  "is_local_process_zero": true,
10
  "is_world_process_zero": true,
 
66192
  "eval_samples_per_second": 312.572,
66193
  "eval_steps_per_second": 156.962,
66194
  "step": 9400
66195
+ },
66196
+ {
66197
+ "epoch": 1.6414386102745406,
66198
+ "grad_norm": 0.06472108513116837,
66199
+ "learning_rate": 8.533402208240721e-05,
66200
+ "loss": 10.1977,
66201
+ "step": 9401
66202
+ },
66203
+ {
66204
+ "epoch": 1.6416131989000915,
66205
+ "grad_norm": 0.058195412158966064,
66206
+ "learning_rate": 8.5315924240538e-05,
66207
+ "loss": 10.2024,
66208
+ "step": 9402
66209
+ },
66210
+ {
66211
+ "epoch": 1.6417877875256428,
66212
+ "grad_norm": 0.06840867549180984,
66213
+ "learning_rate": 8.529782689020466e-05,
66214
+ "loss": 10.1837,
66215
+ "step": 9403
66216
+ },
66217
+ {
66218
+ "epoch": 1.6419623761511937,
66219
+ "grad_norm": 0.0736900120973587,
66220
+ "learning_rate": 8.527973003201294e-05,
66221
+ "loss": 10.1832,
66222
+ "step": 9404
66223
+ },
66224
+ {
66225
+ "epoch": 1.6421369647767448,
66226
+ "grad_norm": 0.0748605951666832,
66227
+ "learning_rate": 8.526163366656858e-05,
66228
+ "loss": 10.1876,
66229
+ "step": 9405
66230
+ },
66231
+ {
66232
+ "epoch": 1.6423115534022958,
66233
+ "grad_norm": 0.06304674595594406,
66234
+ "learning_rate": 8.524353779447742e-05,
66235
+ "loss": 10.2173,
66236
+ "step": 9406
66237
+ },
66238
+ {
66239
+ "epoch": 1.642486142027847,
66240
+ "grad_norm": 0.07157879322767258,
66241
+ "learning_rate": 8.522544241634516e-05,
66242
+ "loss": 10.1907,
66243
+ "step": 9407
66244
+ },
66245
+ {
66246
+ "epoch": 1.642660730653398,
66247
+ "grad_norm": 0.08255765587091446,
66248
+ "learning_rate": 8.520734753277751e-05,
66249
+ "loss": 10.2046,
66250
+ "step": 9408
66251
+ },
66252
+ {
66253
+ "epoch": 1.6428353192789489,
66254
+ "grad_norm": 0.07005627453327179,
66255
+ "learning_rate": 8.518925314438023e-05,
66256
+ "loss": 10.2041,
66257
+ "step": 9409
66258
+ },
66259
+ {
66260
+ "epoch": 1.6430099079045,
66261
+ "grad_norm": 0.07653332501649857,
66262
+ "learning_rate": 8.517115925175898e-05,
66263
+ "loss": 10.184,
66264
+ "step": 9410
66265
+ },
66266
+ {
66267
+ "epoch": 1.643184496530051,
66268
+ "grad_norm": 0.08277665078639984,
66269
+ "learning_rate": 8.515306585551939e-05,
66270
+ "loss": 10.1875,
66271
+ "step": 9411
66272
+ },
66273
+ {
66274
+ "epoch": 1.6433590851556021,
66275
+ "grad_norm": 0.07851693034172058,
66276
+ "learning_rate": 8.513497295626722e-05,
66277
+ "loss": 10.1844,
66278
+ "step": 9412
66279
+ },
66280
+ {
66281
+ "epoch": 1.6435336737811532,
66282
+ "grad_norm": 0.08226253092288971,
66283
+ "learning_rate": 8.511688055460803e-05,
66284
+ "loss": 10.1612,
66285
+ "step": 9413
66286
+ },
66287
+ {
66288
+ "epoch": 1.643708262406704,
66289
+ "grad_norm": 0.06701301783323288,
66290
+ "learning_rate": 8.509878865114748e-05,
66291
+ "loss": 10.1762,
66292
+ "step": 9414
66293
+ },
66294
+ {
66295
+ "epoch": 1.6438828510322554,
66296
+ "grad_norm": 0.07127207517623901,
66297
+ "learning_rate": 8.508069724649121e-05,
66298
+ "loss": 10.2028,
66299
+ "step": 9415
66300
+ },
66301
+ {
66302
+ "epoch": 1.6440574396578063,
66303
+ "grad_norm": 0.10428861528635025,
66304
+ "learning_rate": 8.506260634124476e-05,
66305
+ "loss": 10.1787,
66306
+ "step": 9416
66307
+ },
66308
+ {
66309
+ "epoch": 1.6442320282833573,
66310
+ "grad_norm": 0.0761970803141594,
66311
+ "learning_rate": 8.504451593601367e-05,
66312
+ "loss": 10.1996,
66313
+ "step": 9417
66314
+ },
66315
+ {
66316
+ "epoch": 1.6444066169089084,
66317
+ "grad_norm": 0.08080276846885681,
66318
+ "learning_rate": 8.502642603140363e-05,
66319
+ "loss": 10.188,
66320
+ "step": 9418
66321
+ },
66322
+ {
66323
+ "epoch": 1.6445812055344593,
66324
+ "grad_norm": 0.09234943985939026,
66325
+ "learning_rate": 8.500833662802009e-05,
66326
+ "loss": 10.1907,
66327
+ "step": 9419
66328
+ },
66329
+ {
66330
+ "epoch": 1.6447557941600106,
66331
+ "grad_norm": 0.09592827409505844,
66332
+ "learning_rate": 8.499024772646858e-05,
66333
+ "loss": 10.1733,
66334
+ "step": 9420
66335
+ },
66336
+ {
66337
+ "epoch": 1.6449303827855615,
66338
+ "grad_norm": 0.10078222304582596,
66339
+ "learning_rate": 8.497215932735464e-05,
66340
+ "loss": 10.1972,
66341
+ "step": 9421
66342
+ },
66343
+ {
66344
+ "epoch": 1.6451049714111126,
66345
+ "grad_norm": 0.10682355612516403,
66346
+ "learning_rate": 8.495407143128375e-05,
66347
+ "loss": 10.1856,
66348
+ "step": 9422
66349
+ },
66350
+ {
66351
+ "epoch": 1.6452795600366636,
66352
+ "grad_norm": 0.10317470878362656,
66353
+ "learning_rate": 8.493598403886134e-05,
66354
+ "loss": 10.1844,
66355
+ "step": 9423
66356
+ },
66357
+ {
66358
+ "epoch": 1.6454541486622145,
66359
+ "grad_norm": 0.10088612884283066,
66360
+ "learning_rate": 8.491789715069294e-05,
66361
+ "loss": 10.1908,
66362
+ "step": 9424
66363
+ },
66364
+ {
66365
+ "epoch": 1.6456287372877658,
66366
+ "grad_norm": 0.1001969501376152,
66367
+ "learning_rate": 8.489981076738398e-05,
66368
+ "loss": 10.219,
66369
+ "step": 9425
66370
+ },
66371
+ {
66372
+ "epoch": 1.6458033259133167,
66373
+ "grad_norm": 0.13094136118888855,
66374
+ "learning_rate": 8.488172488953982e-05,
66375
+ "loss": 10.1446,
66376
+ "step": 9426
66377
+ },
66378
+ {
66379
+ "epoch": 1.6459779145388678,
66380
+ "grad_norm": 0.16554492712020874,
66381
+ "learning_rate": 8.486363951776596e-05,
66382
+ "loss": 10.173,
66383
+ "step": 9427
66384
+ },
66385
+ {
66386
+ "epoch": 1.6461525031644189,
66387
+ "grad_norm": 0.08071645349264145,
66388
+ "learning_rate": 8.48455546526677e-05,
66389
+ "loss": 10.1886,
66390
+ "step": 9428
66391
+ },
66392
+ {
66393
+ "epoch": 1.6463270917899697,
66394
+ "grad_norm": 0.05933690443634987,
66395
+ "learning_rate": 8.48274702948505e-05,
66396
+ "loss": 10.2015,
66397
+ "step": 9429
66398
+ },
66399
+ {
66400
+ "epoch": 1.646501680415521,
66401
+ "grad_norm": 0.07404293119907379,
66402
+ "learning_rate": 8.480938644491968e-05,
66403
+ "loss": 10.1888,
66404
+ "step": 9430
66405
+ },
66406
+ {
66407
+ "epoch": 1.646676269041072,
66408
+ "grad_norm": 0.06109438091516495,
66409
+ "learning_rate": 8.479130310348056e-05,
66410
+ "loss": 10.1976,
66411
+ "step": 9431
66412
+ },
66413
+ {
66414
+ "epoch": 1.646850857666623,
66415
+ "grad_norm": 0.050382524728775024,
66416
+ "learning_rate": 8.477322027113848e-05,
66417
+ "loss": 10.2021,
66418
+ "step": 9432
66419
+ },
66420
+ {
66421
+ "epoch": 1.647025446292174,
66422
+ "grad_norm": 0.06221413239836693,
66423
+ "learning_rate": 8.475513794849876e-05,
66424
+ "loss": 10.2092,
66425
+ "step": 9433
66426
+ },
66427
+ {
66428
+ "epoch": 1.6472000349177252,
66429
+ "grad_norm": 0.060346584767103195,
66430
+ "learning_rate": 8.473705613616665e-05,
66431
+ "loss": 10.1992,
66432
+ "step": 9434
66433
+ },
66434
+ {
66435
+ "epoch": 1.6473746235432762,
66436
+ "grad_norm": 0.07482429593801498,
66437
+ "learning_rate": 8.471897483474747e-05,
66438
+ "loss": 10.2158,
66439
+ "step": 9435
66440
+ },
66441
+ {
66442
+ "epoch": 1.647549212168827,
66443
+ "grad_norm": 0.06151067838072777,
66444
+ "learning_rate": 8.470089404484646e-05,
66445
+ "loss": 10.2203,
66446
+ "step": 9436
66447
+ },
66448
+ {
66449
+ "epoch": 1.6477238007943784,
66450
+ "grad_norm": 0.06200287863612175,
66451
+ "learning_rate": 8.468281376706881e-05,
66452
+ "loss": 10.1981,
66453
+ "step": 9437
66454
+ },
66455
+ {
66456
+ "epoch": 1.6478983894199293,
66457
+ "grad_norm": 0.06718616187572479,
66458
+ "learning_rate": 8.466473400201982e-05,
66459
+ "loss": 10.1822,
66460
+ "step": 9438
66461
+ },
66462
+ {
66463
+ "epoch": 1.6480729780454804,
66464
+ "grad_norm": 0.06350249797105789,
66465
+ "learning_rate": 8.464665475030465e-05,
66466
+ "loss": 10.2162,
66467
+ "step": 9439
66468
+ },
66469
+ {
66470
+ "epoch": 1.6482475666710314,
66471
+ "grad_norm": 0.06126469001173973,
66472
+ "learning_rate": 8.462857601252846e-05,
66473
+ "loss": 10.1926,
66474
+ "step": 9440
66475
+ },
66476
+ {
66477
+ "epoch": 1.6484221552965823,
66478
+ "grad_norm": 0.05623682215809822,
66479
+ "learning_rate": 8.461049778929648e-05,
66480
+ "loss": 10.1885,
66481
+ "step": 9441
66482
+ },
66483
+ {
66484
+ "epoch": 1.6485967439221336,
66485
+ "grad_norm": 0.05688511207699776,
66486
+ "learning_rate": 8.459242008121383e-05,
66487
+ "loss": 10.1877,
66488
+ "step": 9442
66489
+ },
66490
+ {
66491
+ "epoch": 1.6487713325476845,
66492
+ "grad_norm": 0.06759943068027496,
66493
+ "learning_rate": 8.457434288888563e-05,
66494
+ "loss": 10.2012,
66495
+ "step": 9443
66496
+ },
66497
+ {
66498
+ "epoch": 1.6489459211732356,
66499
+ "grad_norm": 0.05416153371334076,
66500
+ "learning_rate": 8.455626621291702e-05,
66501
+ "loss": 10.2106,
66502
+ "step": 9444
66503
+ },
66504
+ {
66505
+ "epoch": 1.6491205097987867,
66506
+ "grad_norm": 0.06961473822593689,
66507
+ "learning_rate": 8.45381900539131e-05,
66508
+ "loss": 10.1814,
66509
+ "step": 9445
66510
+ },
66511
+ {
66512
+ "epoch": 1.6492950984243375,
66513
+ "grad_norm": 0.06039927527308464,
66514
+ "learning_rate": 8.452011441247892e-05,
66515
+ "loss": 10.2022,
66516
+ "step": 9446
66517
+ },
66518
+ {
66519
+ "epoch": 1.6494696870498888,
66520
+ "grad_norm": 0.06804604083299637,
66521
+ "learning_rate": 8.45020392892196e-05,
66522
+ "loss": 10.2085,
66523
+ "step": 9447
66524
+ },
66525
+ {
66526
+ "epoch": 1.6496442756754397,
66527
+ "grad_norm": 0.07475394010543823,
66528
+ "learning_rate": 8.448396468474014e-05,
66529
+ "loss": 10.2196,
66530
+ "step": 9448
66531
+ },
66532
+ {
66533
+ "epoch": 1.6498188643009908,
66534
+ "grad_norm": 0.06651382148265839,
66535
+ "learning_rate": 8.44658905996456e-05,
66536
+ "loss": 10.1543,
66537
+ "step": 9449
66538
+ },
66539
+ {
66540
+ "epoch": 1.6499934529265419,
66541
+ "grad_norm": 0.06731124967336655,
66542
+ "learning_rate": 8.444781703454097e-05,
66543
+ "loss": 10.2284,
66544
+ "step": 9450
66545
+ },
66546
+ {
66547
+ "epoch": 1.6501680415520927,
66548
+ "grad_norm": 0.06126101687550545,
66549
+ "learning_rate": 8.442974399003129e-05,
66550
+ "loss": 10.2151,
66551
+ "step": 9451
66552
+ },
66553
+ {
66554
+ "epoch": 1.650342630177644,
66555
+ "grad_norm": 0.06290709227323532,
66556
+ "learning_rate": 8.441167146672146e-05,
66557
+ "loss": 10.2013,
66558
+ "step": 9452
66559
+ },
66560
+ {
66561
+ "epoch": 1.650517218803195,
66562
+ "grad_norm": 0.06468050181865692,
66563
+ "learning_rate": 8.439359946521651e-05,
66564
+ "loss": 10.1975,
66565
+ "step": 9453
66566
+ },
66567
+ {
66568
+ "epoch": 1.650691807428746,
66569
+ "grad_norm": 0.08149657398462296,
66570
+ "learning_rate": 8.437552798612138e-05,
66571
+ "loss": 10.1741,
66572
+ "step": 9454
66573
+ },
66574
+ {
66575
+ "epoch": 1.650866396054297,
66576
+ "grad_norm": 0.06989357620477676,
66577
+ "learning_rate": 8.435745703004095e-05,
66578
+ "loss": 10.1397,
66579
+ "step": 9455
66580
+ },
66581
+ {
66582
+ "epoch": 1.651040984679848,
66583
+ "grad_norm": 0.06908656656742096,
66584
+ "learning_rate": 8.433938659758017e-05,
66585
+ "loss": 10.2111,
66586
+ "step": 9456
66587
+ },
66588
+ {
66589
+ "epoch": 1.6512155733053993,
66590
+ "grad_norm": 0.08638431876897812,
66591
+ "learning_rate": 8.432131668934393e-05,
66592
+ "loss": 10.1541,
66593
+ "step": 9457
66594
+ },
66595
+ {
66596
+ "epoch": 1.6513901619309501,
66597
+ "grad_norm": 0.07852194458246231,
66598
+ "learning_rate": 8.430324730593704e-05,
66599
+ "loss": 10.2034,
66600
+ "step": 9458
66601
+ },
66602
+ {
66603
+ "epoch": 1.6515647505565012,
66604
+ "grad_norm": 0.07500282675027847,
66605
+ "learning_rate": 8.428517844796445e-05,
66606
+ "loss": 10.1935,
66607
+ "step": 9459
66608
+ },
66609
+ {
66610
+ "epoch": 1.6517393391820523,
66611
+ "grad_norm": 0.07916644215583801,
66612
+ "learning_rate": 8.426711011603096e-05,
66613
+ "loss": 10.1665,
66614
+ "step": 9460
66615
+ },
66616
+ {
66617
+ "epoch": 1.6519139278076034,
66618
+ "grad_norm": 0.0767730101943016,
66619
+ "learning_rate": 8.424904231074135e-05,
66620
+ "loss": 10.192,
66621
+ "step": 9461
66622
+ },
66623
+ {
66624
+ "epoch": 1.6520885164331545,
66625
+ "grad_norm": 0.07413671910762787,
66626
+ "learning_rate": 8.42309750327005e-05,
66627
+ "loss": 10.1914,
66628
+ "step": 9462
66629
+ },
66630
+ {
66631
+ "epoch": 1.6522631050587053,
66632
+ "grad_norm": 0.082909494638443,
66633
+ "learning_rate": 8.421290828251314e-05,
66634
+ "loss": 10.1652,
66635
+ "step": 9463
66636
+ },
66637
+ {
66638
+ "epoch": 1.6524376936842566,
66639
+ "grad_norm": 0.07672706991434097,
66640
+ "learning_rate": 8.4194842060784e-05,
66641
+ "loss": 10.1886,
66642
+ "step": 9464
66643
+ },
66644
+ {
66645
+ "epoch": 1.6526122823098075,
66646
+ "grad_norm": 0.07924214005470276,
66647
+ "learning_rate": 8.417677636811793e-05,
66648
+ "loss": 10.1863,
66649
+ "step": 9465
66650
+ },
66651
+ {
66652
+ "epoch": 1.6527868709353586,
66653
+ "grad_norm": 0.07586313784122467,
66654
+ "learning_rate": 8.415871120511963e-05,
66655
+ "loss": 10.1906,
66656
+ "step": 9466
66657
+ },
66658
+ {
66659
+ "epoch": 1.6529614595609097,
66660
+ "grad_norm": 0.07410575449466705,
66661
+ "learning_rate": 8.414064657239376e-05,
66662
+ "loss": 10.1759,
66663
+ "step": 9467
66664
+ },
66665
+ {
66666
+ "epoch": 1.6531360481864605,
66667
+ "grad_norm": 0.08394407480955124,
66668
+ "learning_rate": 8.412258247054508e-05,
66669
+ "loss": 10.1708,
66670
+ "step": 9468
66671
+ },
66672
+ {
66673
+ "epoch": 1.6533106368120118,
66674
+ "grad_norm": 0.08994774520397186,
66675
+ "learning_rate": 8.410451890017826e-05,
66676
+ "loss": 10.16,
66677
+ "step": 9469
66678
+ },
66679
+ {
66680
+ "epoch": 1.6534852254375627,
66681
+ "grad_norm": 0.08347536623477936,
66682
+ "learning_rate": 8.408645586189788e-05,
66683
+ "loss": 10.1764,
66684
+ "step": 9470
66685
+ },
66686
+ {
66687
+ "epoch": 1.6536598140631138,
66688
+ "grad_norm": 0.10192148387432098,
66689
+ "learning_rate": 8.40683933563087e-05,
66690
+ "loss": 10.1768,
66691
+ "step": 9471
66692
+ },
66693
+ {
66694
+ "epoch": 1.6538344026886649,
66695
+ "grad_norm": 0.10516633093357086,
66696
+ "learning_rate": 8.40503313840153e-05,
66697
+ "loss": 10.1743,
66698
+ "step": 9472
66699
+ },
66700
+ {
66701
+ "epoch": 1.6540089913142157,
66702
+ "grad_norm": 0.12778860330581665,
66703
+ "learning_rate": 8.403226994562225e-05,
66704
+ "loss": 10.1784,
66705
+ "step": 9473
66706
+ },
66707
+ {
66708
+ "epoch": 1.654183579939767,
66709
+ "grad_norm": 0.10905100405216217,
66710
+ "learning_rate": 8.40142090417342e-05,
66711
+ "loss": 10.1862,
66712
+ "step": 9474
66713
+ },
66714
+ {
66715
+ "epoch": 1.654358168565318,
66716
+ "grad_norm": 0.11300542950630188,
66717
+ "learning_rate": 8.39961486729557e-05,
66718
+ "loss": 10.1883,
66719
+ "step": 9475
66720
+ },
66721
+ {
66722
+ "epoch": 1.654532757190869,
66723
+ "grad_norm": 0.12412374466657639,
66724
+ "learning_rate": 8.397808883989126e-05,
66725
+ "loss": 10.195,
66726
+ "step": 9476
66727
+ },
66728
+ {
66729
+ "epoch": 1.65470734581642,
66730
+ "grad_norm": 0.16555042564868927,
66731
+ "learning_rate": 8.396002954314548e-05,
66732
+ "loss": 10.213,
66733
+ "step": 9477
66734
+ },
66735
+ {
66736
+ "epoch": 1.654881934441971,
66737
+ "grad_norm": 0.06761189550161362,
66738
+ "learning_rate": 8.394197078332287e-05,
66739
+ "loss": 10.2008,
66740
+ "step": 9478
66741
+ },
66742
+ {
66743
+ "epoch": 1.6550565230675223,
66744
+ "grad_norm": 0.07925977557897568,
66745
+ "learning_rate": 8.392391256102787e-05,
66746
+ "loss": 10.1851,
66747
+ "step": 9479
66748
+ },
66749
+ {
66750
+ "epoch": 1.6552311116930731,
66751
+ "grad_norm": 0.0675627663731575,
66752
+ "learning_rate": 8.390585487686505e-05,
66753
+ "loss": 10.2036,
66754
+ "step": 9480
66755
+ },
66756
+ {
66757
+ "epoch": 1.6554057003186242,
66758
+ "grad_norm": 0.06175656616687775,
66759
+ "learning_rate": 8.388779773143881e-05,
66760
+ "loss": 10.2086,
66761
+ "step": 9481
66762
+ },
66763
+ {
66764
+ "epoch": 1.6555802889441753,
66765
+ "grad_norm": 0.0783420205116272,
66766
+ "learning_rate": 8.386974112535358e-05,
66767
+ "loss": 10.1827,
66768
+ "step": 9482
66769
+ },
66770
+ {
66771
+ "epoch": 1.6557548775697262,
66772
+ "grad_norm": 0.0597173348069191,
66773
+ "learning_rate": 8.385168505921389e-05,
66774
+ "loss": 10.2024,
66775
+ "step": 9483
66776
+ },
66777
+ {
66778
+ "epoch": 1.6559294661952775,
66779
+ "grad_norm": 0.0718328207731247,
66780
+ "learning_rate": 8.383362953362406e-05,
66781
+ "loss": 10.1977,
66782
+ "step": 9484
66783
+ },
66784
+ {
66785
+ "epoch": 1.6561040548208283,
66786
+ "grad_norm": 0.05470523238182068,
66787
+ "learning_rate": 8.381557454918847e-05,
66788
+ "loss": 10.1854,
66789
+ "step": 9485
66790
+ },
66791
+ {
66792
+ "epoch": 1.6562786434463794,
66793
+ "grad_norm": 0.05947712063789368,
66794
+ "learning_rate": 8.379752010651157e-05,
66795
+ "loss": 10.2424,
66796
+ "step": 9486
66797
+ },
66798
+ {
66799
+ "epoch": 1.6564532320719305,
66800
+ "grad_norm": 0.05981485918164253,
66801
+ "learning_rate": 8.377946620619768e-05,
66802
+ "loss": 10.2082,
66803
+ "step": 9487
66804
+ },
66805
+ {
66806
+ "epoch": 1.6566278206974816,
66807
+ "grad_norm": 0.06150251626968384,
66808
+ "learning_rate": 8.376141284885108e-05,
66809
+ "loss": 10.2082,
66810
+ "step": 9488
66811
+ },
66812
+ {
66813
+ "epoch": 1.6568024093230327,
66814
+ "grad_norm": 0.06394179165363312,
66815
+ "learning_rate": 8.37433600350762e-05,
66816
+ "loss": 10.1934,
66817
+ "step": 9489
66818
+ },
66819
+ {
66820
+ "epoch": 1.6569769979485836,
66821
+ "grad_norm": 0.08969283103942871,
66822
+ "learning_rate": 8.372530776547729e-05,
66823
+ "loss": 10.1904,
66824
+ "step": 9490
66825
+ },
66826
+ {
66827
+ "epoch": 1.6571515865741349,
66828
+ "grad_norm": 0.06576825678348541,
66829
+ "learning_rate": 8.370725604065858e-05,
66830
+ "loss": 10.1826,
66831
+ "step": 9491
66832
+ },
66833
+ {
66834
+ "epoch": 1.6573261751996857,
66835
+ "grad_norm": 0.06002652272582054,
66836
+ "learning_rate": 8.36892048612244e-05,
66837
+ "loss": 10.2171,
66838
+ "step": 9492
66839
+ },
66840
+ {
66841
+ "epoch": 1.6575007638252368,
66842
+ "grad_norm": 0.06679164618253708,
66843
+ "learning_rate": 8.3671154227779e-05,
66844
+ "loss": 10.1859,
66845
+ "step": 9493
66846
+ },
66847
+ {
66848
+ "epoch": 1.657675352450788,
66849
+ "grad_norm": 0.08130109310150146,
66850
+ "learning_rate": 8.365310414092653e-05,
66851
+ "loss": 10.1734,
66852
+ "step": 9494
66853
+ },
66854
+ {
66855
+ "epoch": 1.6578499410763388,
66856
+ "grad_norm": 0.060985494405031204,
66857
+ "learning_rate": 8.363505460127133e-05,
66858
+ "loss": 10.2148,
66859
+ "step": 9495
66860
+ },
66861
+ {
66862
+ "epoch": 1.65802452970189,
66863
+ "grad_norm": 0.07340959459543228,
66864
+ "learning_rate": 8.36170056094175e-05,
66865
+ "loss": 10.1773,
66866
+ "step": 9496
66867
+ },
66868
+ {
66869
+ "epoch": 1.658199118327441,
66870
+ "grad_norm": 0.0583205446600914,
66871
+ "learning_rate": 8.359895716596919e-05,
66872
+ "loss": 10.2073,
66873
+ "step": 9497
66874
+ },
66875
+ {
66876
+ "epoch": 1.658373706952992,
66877
+ "grad_norm": 0.06447353959083557,
66878
+ "learning_rate": 8.358090927153061e-05,
66879
+ "loss": 10.1606,
66880
+ "step": 9498
66881
+ },
66882
+ {
66883
+ "epoch": 1.658548295578543,
66884
+ "grad_norm": 0.07998763024806976,
66885
+ "learning_rate": 8.356286192670591e-05,
66886
+ "loss": 10.1872,
66887
+ "step": 9499
66888
+ },
66889
+ {
66890
+ "epoch": 1.658722884204094,
66891
+ "grad_norm": 0.06753525137901306,
66892
+ "learning_rate": 8.354481513209915e-05,
66893
+ "loss": 10.1804,
66894
+ "step": 9500
66895
+ },
66896
+ {
66897
+ "epoch": 1.6588974728296453,
66898
+ "grad_norm": 0.07002332806587219,
66899
+ "learning_rate": 8.35267688883145e-05,
66900
+ "loss": 10.1898,
66901
+ "step": 9501
66902
+ },
66903
+ {
66904
+ "epoch": 1.6590720614551961,
66905
+ "grad_norm": 0.06775212287902832,
66906
+ "learning_rate": 8.350872319595599e-05,
66907
+ "loss": 10.1864,
66908
+ "step": 9502
66909
+ },
66910
+ {
66911
+ "epoch": 1.6592466500807472,
66912
+ "grad_norm": 0.06632813066244125,
66913
+ "learning_rate": 8.349067805562764e-05,
66914
+ "loss": 10.1969,
66915
+ "step": 9503
66916
+ },
66917
+ {
66918
+ "epoch": 1.6594212387062983,
66919
+ "grad_norm": 0.06353012472391129,
66920
+ "learning_rate": 8.34726334679336e-05,
66921
+ "loss": 10.1562,
66922
+ "step": 9504
66923
+ },
66924
+ {
66925
+ "epoch": 1.6595958273318492,
66926
+ "grad_norm": 0.08096658438444138,
66927
+ "learning_rate": 8.345458943347785e-05,
66928
+ "loss": 10.1573,
66929
+ "step": 9505
66930
+ },
66931
+ {
66932
+ "epoch": 1.6597704159574005,
66933
+ "grad_norm": 0.07140235602855682,
66934
+ "learning_rate": 8.343654595286437e-05,
66935
+ "loss": 10.201,
66936
+ "step": 9506
66937
+ },
66938
+ {
66939
+ "epoch": 1.6599450045829514,
66940
+ "grad_norm": 0.06328490376472473,
66941
+ "learning_rate": 8.341850302669718e-05,
66942
+ "loss": 10.145,
66943
+ "step": 9507
66944
+ },
66945
+ {
66946
+ "epoch": 1.6601195932085024,
66947
+ "grad_norm": 0.07631489634513855,
66948
+ "learning_rate": 8.340046065558026e-05,
66949
+ "loss": 10.1611,
66950
+ "step": 9508
66951
+ },
66952
+ {
66953
+ "epoch": 1.6602941818340535,
66954
+ "grad_norm": 0.07656226307153702,
66955
+ "learning_rate": 8.338241884011748e-05,
66956
+ "loss": 10.1635,
66957
+ "step": 9509
66958
+ },
66959
+ {
66960
+ "epoch": 1.6604687704596044,
66961
+ "grad_norm": 0.07808014750480652,
66962
+ "learning_rate": 8.33643775809129e-05,
66963
+ "loss": 10.1785,
66964
+ "step": 9510
66965
+ },
66966
+ {
66967
+ "epoch": 1.6606433590851557,
66968
+ "grad_norm": 0.0795428678393364,
66969
+ "learning_rate": 8.334633687857037e-05,
66970
+ "loss": 10.1886,
66971
+ "step": 9511
66972
+ },
66973
+ {
66974
+ "epoch": 1.6608179477107066,
66975
+ "grad_norm": 0.08770054578781128,
66976
+ "learning_rate": 8.332829673369374e-05,
66977
+ "loss": 10.1863,
66978
+ "step": 9512
66979
+ },
66980
+ {
66981
+ "epoch": 1.6609925363362577,
66982
+ "grad_norm": 0.08513861149549484,
66983
+ "learning_rate": 8.331025714688698e-05,
66984
+ "loss": 10.2016,
66985
+ "step": 9513
66986
+ },
66987
+ {
66988
+ "epoch": 1.6611671249618087,
66989
+ "grad_norm": 0.07320301979780197,
66990
+ "learning_rate": 8.32922181187539e-05,
66991
+ "loss": 10.171,
66992
+ "step": 9514
66993
+ },
66994
+ {
66995
+ "epoch": 1.6613417135873598,
66996
+ "grad_norm": 0.10116402804851532,
66997
+ "learning_rate": 8.327417964989829e-05,
66998
+ "loss": 10.2168,
66999
+ "step": 9515
67000
+ },
67001
+ {
67002
+ "epoch": 1.661516302212911,
67003
+ "grad_norm": 0.08191830664873123,
67004
+ "learning_rate": 8.325614174092407e-05,
67005
+ "loss": 10.1807,
67006
+ "step": 9516
67007
+ },
67008
+ {
67009
+ "epoch": 1.6616908908384618,
67010
+ "grad_norm": 0.10659171640872955,
67011
+ "learning_rate": 8.323810439243498e-05,
67012
+ "loss": 10.1706,
67013
+ "step": 9517
67014
+ },
67015
+ {
67016
+ "epoch": 1.661865479464013,
67017
+ "grad_norm": 0.0885719507932663,
67018
+ "learning_rate": 8.322006760503482e-05,
67019
+ "loss": 10.1968,
67020
+ "step": 9518
67021
+ },
67022
+ {
67023
+ "epoch": 1.662040068089564,
67024
+ "grad_norm": 0.08549613505601883,
67025
+ "learning_rate": 8.320203137932737e-05,
67026
+ "loss": 10.2139,
67027
+ "step": 9519
67028
+ },
67029
+ {
67030
+ "epoch": 1.662214656715115,
67031
+ "grad_norm": 0.08267426490783691,
67032
+ "learning_rate": 8.318399571591634e-05,
67033
+ "loss": 10.1499,
67034
+ "step": 9520
67035
+ },
67036
+ {
67037
+ "epoch": 1.6623892453406661,
67038
+ "grad_norm": 0.0942457988858223,
67039
+ "learning_rate": 8.316596061540545e-05,
67040
+ "loss": 10.1787,
67041
+ "step": 9521
67042
+ },
67043
+ {
67044
+ "epoch": 1.662563833966217,
67045
+ "grad_norm": 0.09933435916900635,
67046
+ "learning_rate": 8.314792607839848e-05,
67047
+ "loss": 10.1596,
67048
+ "step": 9522
67049
+ },
67050
+ {
67051
+ "epoch": 1.6627384225917683,
67052
+ "grad_norm": 0.10712228715419769,
67053
+ "learning_rate": 8.312989210549906e-05,
67054
+ "loss": 10.1766,
67055
+ "step": 9523
67056
+ },
67057
+ {
67058
+ "epoch": 1.6629130112173192,
67059
+ "grad_norm": 0.09058883041143417,
67060
+ "learning_rate": 8.311185869731086e-05,
67061
+ "loss": 10.1813,
67062
+ "step": 9524
67063
+ },
67064
+ {
67065
+ "epoch": 1.6630875998428702,
67066
+ "grad_norm": 0.13505831360816956,
67067
+ "learning_rate": 8.309382585443758e-05,
67068
+ "loss": 10.238,
67069
+ "step": 9525
67070
+ },
67071
+ {
67072
+ "epoch": 1.6632621884684213,
67073
+ "grad_norm": 0.13509665429592133,
67074
+ "learning_rate": 8.307579357748281e-05,
67075
+ "loss": 10.1769,
67076
+ "step": 9526
67077
+ },
67078
+ {
67079
+ "epoch": 1.6634367770939722,
67080
+ "grad_norm": 0.19945304095745087,
67081
+ "learning_rate": 8.305776186705012e-05,
67082
+ "loss": 10.1841,
67083
+ "step": 9527
67084
+ },
67085
+ {
67086
+ "epoch": 1.6636113657195235,
67087
+ "grad_norm": 0.06832484155893326,
67088
+ "learning_rate": 8.303973072374321e-05,
67089
+ "loss": 10.2287,
67090
+ "step": 9528
67091
+ },
67092
+ {
67093
+ "epoch": 1.6637859543450744,
67094
+ "grad_norm": 0.06483224034309387,
67095
+ "learning_rate": 8.302170014816562e-05,
67096
+ "loss": 10.2072,
67097
+ "step": 9529
67098
+ },
67099
+ {
67100
+ "epoch": 1.6639605429706255,
67101
+ "grad_norm": 0.08053240180015564,
67102
+ "learning_rate": 8.300367014092084e-05,
67103
+ "loss": 10.197,
67104
+ "step": 9530
67105
+ },
67106
+ {
67107
+ "epoch": 1.6641351315961765,
67108
+ "grad_norm": 0.06323005259037018,
67109
+ "learning_rate": 8.29856407026125e-05,
67110
+ "loss": 10.202,
67111
+ "step": 9531
67112
+ },
67113
+ {
67114
+ "epoch": 1.6643097202217274,
67115
+ "grad_norm": 0.07249495387077332,
67116
+ "learning_rate": 8.296761183384407e-05,
67117
+ "loss": 10.2063,
67118
+ "step": 9532
67119
+ },
67120
+ {
67121
+ "epoch": 1.6644843088472787,
67122
+ "grad_norm": 0.07248301804065704,
67123
+ "learning_rate": 8.2949583535219e-05,
67124
+ "loss": 10.19,
67125
+ "step": 9533
67126
+ },
67127
+ {
67128
+ "epoch": 1.6646588974728296,
67129
+ "grad_norm": 0.0684758871793747,
67130
+ "learning_rate": 8.293155580734089e-05,
67131
+ "loss": 10.2036,
67132
+ "step": 9534
67133
+ },
67134
+ {
67135
+ "epoch": 1.6648334860983807,
67136
+ "grad_norm": 0.06416324526071548,
67137
+ "learning_rate": 8.291352865081312e-05,
67138
+ "loss": 10.2162,
67139
+ "step": 9535
67140
+ },
67141
+ {
67142
+ "epoch": 1.6650080747239318,
67143
+ "grad_norm": 0.06478643417358398,
67144
+ "learning_rate": 8.289550206623915e-05,
67145
+ "loss": 10.1731,
67146
+ "step": 9536
67147
+ },
67148
+ {
67149
+ "epoch": 1.6651826633494826,
67150
+ "grad_norm": 0.05937831476330757,
67151
+ "learning_rate": 8.287747605422241e-05,
67152
+ "loss": 10.1953,
67153
+ "step": 9537
67154
+ },
67155
+ {
67156
+ "epoch": 1.665357251975034,
67157
+ "grad_norm": 0.06723145395517349,
67158
+ "learning_rate": 8.285945061536631e-05,
67159
+ "loss": 10.2005,
67160
+ "step": 9538
67161
+ },
67162
+ {
67163
+ "epoch": 1.6655318406005848,
67164
+ "grad_norm": 0.07767181098461151,
67165
+ "learning_rate": 8.284142575027418e-05,
67166
+ "loss": 10.2189,
67167
+ "step": 9539
67168
+ },
67169
+ {
67170
+ "epoch": 1.6657064292261359,
67171
+ "grad_norm": 0.06462177634239197,
67172
+ "learning_rate": 8.282340145954946e-05,
67173
+ "loss": 10.1995,
67174
+ "step": 9540
67175
+ },
67176
+ {
67177
+ "epoch": 1.665881017851687,
67178
+ "grad_norm": 0.061288271099328995,
67179
+ "learning_rate": 8.280537774379546e-05,
67180
+ "loss": 10.1867,
67181
+ "step": 9541
67182
+ },
67183
+ {
67184
+ "epoch": 1.666055606477238,
67185
+ "grad_norm": 0.055224791169166565,
67186
+ "learning_rate": 8.27873546036155e-05,
67187
+ "loss": 10.1815,
67188
+ "step": 9542
67189
+ },
67190
+ {
67191
+ "epoch": 1.6662301951027891,
67192
+ "grad_norm": 0.056101955473423004,
67193
+ "learning_rate": 8.276933203961292e-05,
67194
+ "loss": 10.1922,
67195
+ "step": 9543
67196
+ },
67197
+ {
67198
+ "epoch": 1.66640478372834,
67199
+ "grad_norm": 0.08207404613494873,
67200
+ "learning_rate": 8.275131005239096e-05,
67201
+ "loss": 10.1893,
67202
+ "step": 9544
67203
+ },
67204
+ {
67205
+ "epoch": 1.6665793723538913,
67206
+ "grad_norm": 0.06062381714582443,
67207
+ "learning_rate": 8.273328864255294e-05,
67208
+ "loss": 10.1997,
67209
+ "step": 9545
67210
+ },
67211
+ {
67212
+ "epoch": 1.6667539609794422,
67213
+ "grad_norm": 0.0659094974398613,
67214
+ "learning_rate": 8.27152678107021e-05,
67215
+ "loss": 10.1961,
67216
+ "step": 9546
67217
+ },
67218
+ {
67219
+ "epoch": 1.6669285496049933,
67220
+ "grad_norm": 0.06697360426187515,
67221
+ "learning_rate": 8.269724755744164e-05,
67222
+ "loss": 10.2081,
67223
+ "step": 9547
67224
+ },
67225
+ {
67226
+ "epoch": 1.6671031382305443,
67227
+ "grad_norm": 0.06239376217126846,
67228
+ "learning_rate": 8.267922788337481e-05,
67229
+ "loss": 10.2077,
67230
+ "step": 9548
67231
+ },
67232
+ {
67233
+ "epoch": 1.6672777268560952,
67234
+ "grad_norm": 0.06949647516012192,
67235
+ "learning_rate": 8.266120878910477e-05,
67236
+ "loss": 10.1923,
67237
+ "step": 9549
67238
+ },
67239
+ {
67240
+ "epoch": 1.6674523154816465,
67241
+ "grad_norm": 0.06610902398824692,
67242
+ "learning_rate": 8.264319027523467e-05,
67243
+ "loss": 10.1795,
67244
+ "step": 9550
67245
+ },
67246
+ {
67247
+ "epoch": 1.6676269041071974,
67248
+ "grad_norm": 0.0740019902586937,
67249
+ "learning_rate": 8.262517234236776e-05,
67250
+ "loss": 10.2187,
67251
+ "step": 9551
67252
+ },
67253
+ {
67254
+ "epoch": 1.6678014927327485,
67255
+ "grad_norm": 0.07097716629505157,
67256
+ "learning_rate": 8.260715499110707e-05,
67257
+ "loss": 10.2177,
67258
+ "step": 9552
67259
+ },
67260
+ {
67261
+ "epoch": 1.6679760813582996,
67262
+ "grad_norm": 0.08054213225841522,
67263
+ "learning_rate": 8.258913822205577e-05,
67264
+ "loss": 10.2039,
67265
+ "step": 9553
67266
+ },
67267
+ {
67268
+ "epoch": 1.6681506699838504,
67269
+ "grad_norm": 0.07908420264720917,
67270
+ "learning_rate": 8.257112203581694e-05,
67271
+ "loss": 10.1538,
67272
+ "step": 9554
67273
+ },
67274
+ {
67275
+ "epoch": 1.6683252586094017,
67276
+ "grad_norm": 0.08028268814086914,
67277
+ "learning_rate": 8.255310643299366e-05,
67278
+ "loss": 10.1851,
67279
+ "step": 9555
67280
+ },
67281
+ {
67282
+ "epoch": 1.6684998472349526,
67283
+ "grad_norm": 0.07611515372991562,
67284
+ "learning_rate": 8.253509141418894e-05,
67285
+ "loss": 10.1698,
67286
+ "step": 9556
67287
+ },
67288
+ {
67289
+ "epoch": 1.6686744358605037,
67290
+ "grad_norm": 0.07803556323051453,
67291
+ "learning_rate": 8.25170769800059e-05,
67292
+ "loss": 10.1907,
67293
+ "step": 9557
67294
+ },
67295
+ {
67296
+ "epoch": 1.6688490244860548,
67297
+ "grad_norm": 0.06834094971418381,
67298
+ "learning_rate": 8.249906313104752e-05,
67299
+ "loss": 10.2153,
67300
+ "step": 9558
67301
+ },
67302
+ {
67303
+ "epoch": 1.6690236131116056,
67304
+ "grad_norm": 0.06619197875261307,
67305
+ "learning_rate": 8.248104986791676e-05,
67306
+ "loss": 10.1877,
67307
+ "step": 9559
67308
+ },
67309
+ {
67310
+ "epoch": 1.669198201737157,
67311
+ "grad_norm": 0.07475481182336807,
67312
+ "learning_rate": 8.246303719121666e-05,
67313
+ "loss": 10.1557,
67314
+ "step": 9560
67315
+ },
67316
+ {
67317
+ "epoch": 1.6693727903627078,
67318
+ "grad_norm": 0.07650749385356903,
67319
+ "learning_rate": 8.244502510155014e-05,
67320
+ "loss": 10.2013,
67321
+ "step": 9561
67322
+ },
67323
+ {
67324
+ "epoch": 1.669547378988259,
67325
+ "grad_norm": 0.07663261145353317,
67326
+ "learning_rate": 8.242701359952009e-05,
67327
+ "loss": 10.1669,
67328
+ "step": 9562
67329
+ },
67330
+ {
67331
+ "epoch": 1.66972196761381,
67332
+ "grad_norm": 0.07925941795110703,
67333
+ "learning_rate": 8.240900268572953e-05,
67334
+ "loss": 10.1586,
67335
+ "step": 9563
67336
+ },
67337
+ {
67338
+ "epoch": 1.6698965562393608,
67339
+ "grad_norm": 0.08863768726587296,
67340
+ "learning_rate": 8.239099236078132e-05,
67341
+ "loss": 10.212,
67342
+ "step": 9564
67343
+ },
67344
+ {
67345
+ "epoch": 1.6700711448649121,
67346
+ "grad_norm": 0.08363403379917145,
67347
+ "learning_rate": 8.237298262527828e-05,
67348
+ "loss": 10.1446,
67349
+ "step": 9565
67350
+ },
67351
+ {
67352
+ "epoch": 1.670245733490463,
67353
+ "grad_norm": 0.09215398877859116,
67354
+ "learning_rate": 8.235497347982337e-05,
67355
+ "loss": 10.1842,
67356
+ "step": 9566
67357
+ },
67358
+ {
67359
+ "epoch": 1.670420322116014,
67360
+ "grad_norm": 0.08408965915441513,
67361
+ "learning_rate": 8.233696492501937e-05,
67362
+ "loss": 10.1878,
67363
+ "step": 9567
67364
+ },
67365
+ {
67366
+ "epoch": 1.6705949107415652,
67367
+ "grad_norm": 0.09662948548793793,
67368
+ "learning_rate": 8.231895696146905e-05,
67369
+ "loss": 10.1947,
67370
+ "step": 9568
67371
+ },
67372
+ {
67373
+ "epoch": 1.6707694993671163,
67374
+ "grad_norm": 0.08972841501235962,
67375
+ "learning_rate": 8.230094958977534e-05,
67376
+ "loss": 10.184,
67377
+ "step": 9569
67378
+ },
67379
+ {
67380
+ "epoch": 1.6709440879926674,
67381
+ "grad_norm": 0.10459853708744049,
67382
+ "learning_rate": 8.228294281054092e-05,
67383
+ "loss": 10.1798,
67384
+ "step": 9570
67385
+ },
67386
+ {
67387
+ "epoch": 1.6711186766182182,
67388
+ "grad_norm": 0.0926315113902092,
67389
+ "learning_rate": 8.226493662436856e-05,
67390
+ "loss": 10.2185,
67391
+ "step": 9571
67392
+ },
67393
+ {
67394
+ "epoch": 1.6712932652437695,
67395
+ "grad_norm": 0.10391233116388321,
67396
+ "learning_rate": 8.224693103186105e-05,
67397
+ "loss": 10.2042,
67398
+ "step": 9572
67399
+ },
67400
+ {
67401
+ "epoch": 1.6714678538693204,
67402
+ "grad_norm": 0.10736367851495743,
67403
+ "learning_rate": 8.222892603362108e-05,
67404
+ "loss": 10.1953,
67405
+ "step": 9573
67406
+ },
67407
+ {
67408
+ "epoch": 1.6716424424948715,
67409
+ "grad_norm": 0.11586301773786545,
67410
+ "learning_rate": 8.22109216302513e-05,
67411
+ "loss": 10.2132,
67412
+ "step": 9574
67413
+ },
67414
+ {
67415
+ "epoch": 1.6718170311204226,
67416
+ "grad_norm": 0.126064270734787,
67417
+ "learning_rate": 8.219291782235447e-05,
67418
+ "loss": 10.1877,
67419
+ "step": 9575
67420
+ },
67421
+ {
67422
+ "epoch": 1.6719916197459734,
67423
+ "grad_norm": 0.138479545712471,
67424
+ "learning_rate": 8.217491461053324e-05,
67425
+ "loss": 10.1881,
67426
+ "step": 9576
67427
+ },
67428
+ {
67429
+ "epoch": 1.6721662083715247,
67430
+ "grad_norm": 0.18258965015411377,
67431
+ "learning_rate": 8.215691199539021e-05,
67432
+ "loss": 10.199,
67433
+ "step": 9577
67434
+ },
67435
+ {
67436
+ "epoch": 1.6723407969970756,
67437
+ "grad_norm": 0.07854004204273224,
67438
+ "learning_rate": 8.213890997752804e-05,
67439
+ "loss": 10.2021,
67440
+ "step": 9578
67441
+ },
67442
+ {
67443
+ "epoch": 1.6725153856226267,
67444
+ "grad_norm": 0.06856455653905869,
67445
+ "learning_rate": 8.212090855754931e-05,
67446
+ "loss": 10.2124,
67447
+ "step": 9579
67448
+ },
67449
+ {
67450
+ "epoch": 1.6726899742481778,
67451
+ "grad_norm": 0.06536215543746948,
67452
+ "learning_rate": 8.210290773605656e-05,
67453
+ "loss": 10.2119,
67454
+ "step": 9580
67455
+ },
67456
+ {
67457
+ "epoch": 1.6728645628737286,
67458
+ "grad_norm": 0.07158442586660385,
67459
+ "learning_rate": 8.208490751365244e-05,
67460
+ "loss": 10.2164,
67461
+ "step": 9581
67462
+ },
67463
+ {
67464
+ "epoch": 1.67303915149928,
67465
+ "grad_norm": 0.06190914288163185,
67466
+ "learning_rate": 8.206690789093945e-05,
67467
+ "loss": 10.1885,
67468
+ "step": 9582
67469
+ },
67470
+ {
67471
+ "epoch": 1.6732137401248308,
67472
+ "grad_norm": 0.09261096268892288,
67473
+ "learning_rate": 8.204890886852007e-05,
67474
+ "loss": 10.1969,
67475
+ "step": 9583
67476
+ },
67477
+ {
67478
+ "epoch": 1.673388328750382,
67479
+ "grad_norm": 0.07202643901109695,
67480
+ "learning_rate": 8.203091044699689e-05,
67481
+ "loss": 10.2043,
67482
+ "step": 9584
67483
+ },
67484
+ {
67485
+ "epoch": 1.673562917375933,
67486
+ "grad_norm": 0.06123803183436394,
67487
+ "learning_rate": 8.201291262697231e-05,
67488
+ "loss": 10.1823,
67489
+ "step": 9585
67490
+ },
67491
+ {
67492
+ "epoch": 1.6737375060014839,
67493
+ "grad_norm": 0.06260677427053452,
67494
+ "learning_rate": 8.199491540904879e-05,
67495
+ "loss": 10.2077,
67496
+ "step": 9586
67497
+ },
67498
+ {
67499
+ "epoch": 1.6739120946270352,
67500
+ "grad_norm": 0.06464126706123352,
67501
+ "learning_rate": 8.197691879382884e-05,
67502
+ "loss": 10.2079,
67503
+ "step": 9587
67504
+ },
67505
+ {
67506
+ "epoch": 1.674086683252586,
67507
+ "grad_norm": 0.05929072946310043,
67508
+ "learning_rate": 8.195892278191482e-05,
67509
+ "loss": 10.1651,
67510
+ "step": 9588
67511
+ },
67512
+ {
67513
+ "epoch": 1.6742612718781371,
67514
+ "grad_norm": 0.06227815896272659,
67515
+ "learning_rate": 8.194092737390914e-05,
67516
+ "loss": 10.2204,
67517
+ "step": 9589
67518
+ },
67519
+ {
67520
+ "epoch": 1.6744358605036882,
67521
+ "grad_norm": 0.06469644606113434,
67522
+ "learning_rate": 8.192293257041421e-05,
67523
+ "loss": 10.1699,
67524
+ "step": 9590
67525
+ },
67526
+ {
67527
+ "epoch": 1.674610449129239,
67528
+ "grad_norm": 0.05708679184317589,
67529
+ "learning_rate": 8.190493837203237e-05,
67530
+ "loss": 10.1932,
67531
+ "step": 9591
67532
+ },
67533
+ {
67534
+ "epoch": 1.6747850377547904,
67535
+ "grad_norm": 0.07061285525560379,
67536
+ "learning_rate": 8.188694477936592e-05,
67537
+ "loss": 10.2018,
67538
+ "step": 9592
67539
+ },
67540
+ {
67541
+ "epoch": 1.6749596263803412,
67542
+ "grad_norm": 0.06719718873500824,
67543
+ "learning_rate": 8.186895179301724e-05,
67544
+ "loss": 10.2139,
67545
+ "step": 9593
67546
+ },
67547
+ {
67548
+ "epoch": 1.6751342150058923,
67549
+ "grad_norm": 0.05637526139616966,
67550
+ "learning_rate": 8.185095941358861e-05,
67551
+ "loss": 10.2073,
67552
+ "step": 9594
67553
+ },
67554
+ {
67555
+ "epoch": 1.6753088036314434,
67556
+ "grad_norm": 0.06708982586860657,
67557
+ "learning_rate": 8.183296764168229e-05,
67558
+ "loss": 10.198,
67559
+ "step": 9595
67560
+ },
67561
+ {
67562
+ "epoch": 1.6754833922569945,
67563
+ "grad_norm": 0.060755565762519836,
67564
+ "learning_rate": 8.181497647790055e-05,
67565
+ "loss": 10.1683,
67566
+ "step": 9596
67567
+ },
67568
+ {
67569
+ "epoch": 1.6756579808825456,
67570
+ "grad_norm": 0.07229048758745193,
67571
+ "learning_rate": 8.179698592284564e-05,
67572
+ "loss": 10.1932,
67573
+ "step": 9597
67574
+ },
67575
+ {
67576
+ "epoch": 1.6758325695080964,
67577
+ "grad_norm": 0.06714093685150146,
67578
+ "learning_rate": 8.177899597711974e-05,
67579
+ "loss": 10.1638,
67580
+ "step": 9598
67581
+ },
67582
+ {
67583
+ "epoch": 1.6760071581336478,
67584
+ "grad_norm": 0.06812886148691177,
67585
+ "learning_rate": 8.176100664132508e-05,
67586
+ "loss": 10.2012,
67587
+ "step": 9599
67588
+ },
67589
+ {
67590
+ "epoch": 1.6761817467591986,
67591
+ "grad_norm": 0.05551505461335182,
67592
+ "learning_rate": 8.174301791606385e-05,
67593
+ "loss": 10.1714,
67594
+ "step": 9600
67595
+ },
67596
+ {
67597
+ "epoch": 1.6761817467591986,
67598
+ "eval_loss": 10.170788764953613,
67599
+ "eval_runtime": 0.7195,
67600
+ "eval_samples_per_second": 321.068,
67601
+ "eval_steps_per_second": 161.229,
67602
+ "step": 9600
67603
  }
67604
  ],
67605
  "logging_steps": 1,
 
67614
  "early_stopping_threshold": 0.0
67615
  },
67616
  "attributes": {
67617
+ "early_stopping_patience_counter": 1
67618
  }
67619
  },
67620
  "TrainerControl": {
 
67628
  "attributes": {}
67629
  }
67630
  },
67631
+ "total_flos": 520961222639616.0,
67632
  "train_batch_size": 2,
67633
  "trial_name": null,
67634
  "trial_params": null