error577 commited on
Commit
39e0a33
·
verified ·
1 Parent(s): fdc743d

Training in progress, step 800, checkpoint

Browse files
last-checkpoint/adapter_model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:1b00be88a2492167a2e76e320d7de1d554d1d3161ec02a1c2f657359dd3dae76
3
  size 194563400
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:c265e4fe6b89896ef67edc8720a96dffd9f9fe72fe67e853bae57c6fc4a8eff8
3
  size 194563400
last-checkpoint/optimizer.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:3e0d2e81ad7b9a3284cde6ebdb1e8c3831cec3ee70a4e066c4e094c88bd45e1a
3
  size 99236212
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:e74c41fdb3817e9ec5367e8241bd579674e099c9012764f134e9f62c8887a6bb
3
  size 99236212
last-checkpoint/rng_state.pth CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:f6e1bfac446ceb16e099c4a58c3820ffa5c24a7435998f007378ef2eea661717
3
  size 14244
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:fcc0551f758e289407319e9f9ba59d4c44df5d83c006424e1985c8f9c8a2297c
3
  size 14244
last-checkpoint/scheduler.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:c9c98ccb8f33fe0c8b8ab1320a9b96de61bf8c03393eeca70c4b2bc4dc35dd52
3
  size 1064
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:59ae6ece6a11a7b350a2da363d5e0436c77113edce6a0c575e85abcab0f39024
3
  size 1064
last-checkpoint/trainer_state.json CHANGED
@@ -1,9 +1,9 @@
1
  {
2
  "best_metric": 0.8067082166671753,
3
  "best_model_checkpoint": "miner_id_24/checkpoint-400",
4
- "epoch": 0.06562397462539647,
5
  "eval_steps": 200,
6
- "global_step": 600,
7
  "is_hyper_param_search": false,
8
  "is_local_process_zero": true,
9
  "is_world_process_zero": true,
@@ -4239,6 +4239,1414 @@
4239
  "eval_samples_per_second": 18.013,
4240
  "eval_steps_per_second": 4.503,
4241
  "step": 600
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
4242
  }
4243
  ],
4244
  "logging_steps": 1,
@@ -4253,7 +5661,7 @@
4253
  "early_stopping_threshold": 0.0
4254
  },
4255
  "attributes": {
4256
- "early_stopping_patience_counter": 1
4257
  }
4258
  },
4259
  "TrainerControl": {
@@ -4267,7 +5675,7 @@
4267
  "attributes": {}
4268
  }
4269
  },
4270
- "total_flos": 4.904615294690918e+16,
4271
  "train_batch_size": 4,
4272
  "trial_name": null,
4273
  "trial_params": null
 
1
  {
2
  "best_metric": 0.8067082166671753,
3
  "best_model_checkpoint": "miner_id_24/checkpoint-400",
4
+ "epoch": 0.08749863283386197,
5
  "eval_steps": 200,
6
+ "global_step": 800,
7
  "is_hyper_param_search": false,
8
  "is_local_process_zero": true,
9
  "is_world_process_zero": true,
 
4239
  "eval_samples_per_second": 18.013,
4240
  "eval_steps_per_second": 4.503,
4241
  "step": 600
4242
+ },
4243
+ {
4244
+ "epoch": 0.06573334791643881,
4245
+ "grad_norm": 1.1490843296051025,
4246
+ "learning_rate": 0.0001997857516912038,
4247
+ "loss": 1.2676,
4248
+ "step": 601
4249
+ },
4250
+ {
4251
+ "epoch": 0.06584272120748114,
4252
+ "grad_norm": 1.0191518068313599,
4253
+ "learning_rate": 0.00019978500087143307,
4254
+ "loss": 1.0855,
4255
+ "step": 602
4256
+ },
4257
+ {
4258
+ "epoch": 0.06595209449852346,
4259
+ "grad_norm": 1.3642194271087646,
4260
+ "learning_rate": 0.00019978424873977785,
4261
+ "loss": 0.6015,
4262
+ "step": 603
4263
+ },
4264
+ {
4265
+ "epoch": 0.06606146778956579,
4266
+ "grad_norm": 1.4552335739135742,
4267
+ "learning_rate": 0.00019978349529624812,
4268
+ "loss": 1.1351,
4269
+ "step": 604
4270
+ },
4271
+ {
4272
+ "epoch": 0.06617084108060811,
4273
+ "grad_norm": 1.0363779067993164,
4274
+ "learning_rate": 0.0001997827405408537,
4275
+ "loss": 0.6271,
4276
+ "step": 605
4277
+ },
4278
+ {
4279
+ "epoch": 0.06628021437165044,
4280
+ "grad_norm": 1.104835033416748,
4281
+ "learning_rate": 0.00019978198447360456,
4282
+ "loss": 0.789,
4283
+ "step": 606
4284
+ },
4285
+ {
4286
+ "epoch": 0.06638958766269278,
4287
+ "grad_norm": 1.1536211967468262,
4288
+ "learning_rate": 0.00019978122709451063,
4289
+ "loss": 0.8427,
4290
+ "step": 607
4291
+ },
4292
+ {
4293
+ "epoch": 0.0664989609537351,
4294
+ "grad_norm": 1.244495153427124,
4295
+ "learning_rate": 0.00019978046840358183,
4296
+ "loss": 0.8738,
4297
+ "step": 608
4298
+ },
4299
+ {
4300
+ "epoch": 0.06660833424477743,
4301
+ "grad_norm": 0.9507635831832886,
4302
+ "learning_rate": 0.00019977970840082818,
4303
+ "loss": 0.9701,
4304
+ "step": 609
4305
+ },
4306
+ {
4307
+ "epoch": 0.06671770753581975,
4308
+ "grad_norm": 1.0605548620224,
4309
+ "learning_rate": 0.00019977894708625966,
4310
+ "loss": 0.9389,
4311
+ "step": 610
4312
+ },
4313
+ {
4314
+ "epoch": 0.06682708082686208,
4315
+ "grad_norm": 1.1662912368774414,
4316
+ "learning_rate": 0.0001997781844598863,
4317
+ "loss": 0.8314,
4318
+ "step": 611
4319
+ },
4320
+ {
4321
+ "epoch": 0.0669364541179044,
4322
+ "grad_norm": 1.1008390188217163,
4323
+ "learning_rate": 0.00019977742052171803,
4324
+ "loss": 0.9678,
4325
+ "step": 612
4326
+ },
4327
+ {
4328
+ "epoch": 0.06704582740894674,
4329
+ "grad_norm": 0.9262655377388,
4330
+ "learning_rate": 0.00019977665527176502,
4331
+ "loss": 1.1337,
4332
+ "step": 613
4333
+ },
4334
+ {
4335
+ "epoch": 0.06715520069998906,
4336
+ "grad_norm": 1.0576245784759521,
4337
+ "learning_rate": 0.00019977588871003727,
4338
+ "loss": 0.8009,
4339
+ "step": 614
4340
+ },
4341
+ {
4342
+ "epoch": 0.06726457399103139,
4343
+ "grad_norm": 1.2124804258346558,
4344
+ "learning_rate": 0.00019977512083654486,
4345
+ "loss": 0.9089,
4346
+ "step": 615
4347
+ },
4348
+ {
4349
+ "epoch": 0.06737394728207372,
4350
+ "grad_norm": 1.283664584159851,
4351
+ "learning_rate": 0.0001997743516512979,
4352
+ "loss": 0.8328,
4353
+ "step": 616
4354
+ },
4355
+ {
4356
+ "epoch": 0.06748332057311604,
4357
+ "grad_norm": 1.108501672744751,
4358
+ "learning_rate": 0.0001997735811543065,
4359
+ "loss": 0.8678,
4360
+ "step": 617
4361
+ },
4362
+ {
4363
+ "epoch": 0.06759269386415838,
4364
+ "grad_norm": 1.1499704122543335,
4365
+ "learning_rate": 0.00019977280934558076,
4366
+ "loss": 0.9058,
4367
+ "step": 618
4368
+ },
4369
+ {
4370
+ "epoch": 0.0677020671552007,
4371
+ "grad_norm": 1.1553590297698975,
4372
+ "learning_rate": 0.00019977203622513086,
4373
+ "loss": 0.7613,
4374
+ "step": 619
4375
+ },
4376
+ {
4377
+ "epoch": 0.06781144044624303,
4378
+ "grad_norm": 1.5791667699813843,
4379
+ "learning_rate": 0.00019977126179296693,
4380
+ "loss": 0.7606,
4381
+ "step": 620
4382
+ },
4383
+ {
4384
+ "epoch": 0.06792081373728535,
4385
+ "grad_norm": 1.0687192678451538,
4386
+ "learning_rate": 0.0001997704860490992,
4387
+ "loss": 0.7789,
4388
+ "step": 621
4389
+ },
4390
+ {
4391
+ "epoch": 0.06803018702832768,
4392
+ "grad_norm": 1.2858752012252808,
4393
+ "learning_rate": 0.00019976970899353785,
4394
+ "loss": 1.04,
4395
+ "step": 622
4396
+ },
4397
+ {
4398
+ "epoch": 0.06813956031937,
4399
+ "grad_norm": 1.2823305130004883,
4400
+ "learning_rate": 0.00019976893062629308,
4401
+ "loss": 0.7686,
4402
+ "step": 623
4403
+ },
4404
+ {
4405
+ "epoch": 0.06824893361041234,
4406
+ "grad_norm": 0.7791513800621033,
4407
+ "learning_rate": 0.00019976815094737514,
4408
+ "loss": 0.9096,
4409
+ "step": 624
4410
+ },
4411
+ {
4412
+ "epoch": 0.06835830690145467,
4413
+ "grad_norm": 1.144914984703064,
4414
+ "learning_rate": 0.00019976736995679426,
4415
+ "loss": 1.0989,
4416
+ "step": 625
4417
+ },
4418
+ {
4419
+ "epoch": 0.068467680192497,
4420
+ "grad_norm": 1.3526418209075928,
4421
+ "learning_rate": 0.00019976658765456074,
4422
+ "loss": 0.9081,
4423
+ "step": 626
4424
+ },
4425
+ {
4426
+ "epoch": 0.06857705348353932,
4427
+ "grad_norm": 1.377889633178711,
4428
+ "learning_rate": 0.0001997658040406848,
4429
+ "loss": 0.8414,
4430
+ "step": 627
4431
+ },
4432
+ {
4433
+ "epoch": 0.06868642677458164,
4434
+ "grad_norm": 1.0736886262893677,
4435
+ "learning_rate": 0.00019976501911517683,
4436
+ "loss": 0.9343,
4437
+ "step": 628
4438
+ },
4439
+ {
4440
+ "epoch": 0.06879580006562397,
4441
+ "grad_norm": 1.338830590248108,
4442
+ "learning_rate": 0.00019976423287804712,
4443
+ "loss": 1.1015,
4444
+ "step": 629
4445
+ },
4446
+ {
4447
+ "epoch": 0.06890517335666631,
4448
+ "grad_norm": 0.9553831219673157,
4449
+ "learning_rate": 0.00019976344532930597,
4450
+ "loss": 0.7355,
4451
+ "step": 630
4452
+ },
4453
+ {
4454
+ "epoch": 0.06901454664770863,
4455
+ "grad_norm": 0.9868148565292358,
4456
+ "learning_rate": 0.00019976265646896377,
4457
+ "loss": 0.9508,
4458
+ "step": 631
4459
+ },
4460
+ {
4461
+ "epoch": 0.06912391993875096,
4462
+ "grad_norm": 1.1125775575637817,
4463
+ "learning_rate": 0.00019976186629703087,
4464
+ "loss": 0.9547,
4465
+ "step": 632
4466
+ },
4467
+ {
4468
+ "epoch": 0.06923329322979328,
4469
+ "grad_norm": 0.9383817911148071,
4470
+ "learning_rate": 0.0001997610748135177,
4471
+ "loss": 0.8079,
4472
+ "step": 633
4473
+ },
4474
+ {
4475
+ "epoch": 0.06934266652083561,
4476
+ "grad_norm": 1.1855041980743408,
4477
+ "learning_rate": 0.0001997602820184346,
4478
+ "loss": 0.9058,
4479
+ "step": 634
4480
+ },
4481
+ {
4482
+ "epoch": 0.06945203981187793,
4483
+ "grad_norm": 0.9881440997123718,
4484
+ "learning_rate": 0.00019975948791179203,
4485
+ "loss": 0.9206,
4486
+ "step": 635
4487
+ },
4488
+ {
4489
+ "epoch": 0.06956141310292027,
4490
+ "grad_norm": 0.9503551125526428,
4491
+ "learning_rate": 0.00019975869249360043,
4492
+ "loss": 0.8653,
4493
+ "step": 636
4494
+ },
4495
+ {
4496
+ "epoch": 0.0696707863939626,
4497
+ "grad_norm": 1.2306631803512573,
4498
+ "learning_rate": 0.00019975789576387028,
4499
+ "loss": 0.9693,
4500
+ "step": 637
4501
+ },
4502
+ {
4503
+ "epoch": 0.06978015968500492,
4504
+ "grad_norm": 1.0904885530471802,
4505
+ "learning_rate": 0.000199757097722612,
4506
+ "loss": 0.4848,
4507
+ "step": 638
4508
+ },
4509
+ {
4510
+ "epoch": 0.06988953297604725,
4511
+ "grad_norm": 1.0348321199417114,
4512
+ "learning_rate": 0.00019975629836983612,
4513
+ "loss": 0.7544,
4514
+ "step": 639
4515
+ },
4516
+ {
4517
+ "epoch": 0.06999890626708957,
4518
+ "grad_norm": 1.4437801837921143,
4519
+ "learning_rate": 0.00019975549770555312,
4520
+ "loss": 0.8284,
4521
+ "step": 640
4522
+ },
4523
+ {
4524
+ "epoch": 0.0701082795581319,
4525
+ "grad_norm": 1.0044362545013428,
4526
+ "learning_rate": 0.0001997546957297736,
4527
+ "loss": 0.8013,
4528
+ "step": 641
4529
+ },
4530
+ {
4531
+ "epoch": 0.07021765284917424,
4532
+ "grad_norm": 0.8750835657119751,
4533
+ "learning_rate": 0.00019975389244250802,
4534
+ "loss": 0.9223,
4535
+ "step": 642
4536
+ },
4537
+ {
4538
+ "epoch": 0.07032702614021656,
4539
+ "grad_norm": 0.9822641611099243,
4540
+ "learning_rate": 0.00019975308784376695,
4541
+ "loss": 0.503,
4542
+ "step": 643
4543
+ },
4544
+ {
4545
+ "epoch": 0.07043639943125889,
4546
+ "grad_norm": 1.0298289060592651,
4547
+ "learning_rate": 0.00019975228193356103,
4548
+ "loss": 0.7897,
4549
+ "step": 644
4550
+ },
4551
+ {
4552
+ "epoch": 0.07054577272230121,
4553
+ "grad_norm": 1.4158082008361816,
4554
+ "learning_rate": 0.0001997514747119008,
4555
+ "loss": 0.7782,
4556
+ "step": 645
4557
+ },
4558
+ {
4559
+ "epoch": 0.07065514601334354,
4560
+ "grad_norm": 1.096412181854248,
4561
+ "learning_rate": 0.0001997506661787969,
4562
+ "loss": 1.014,
4563
+ "step": 646
4564
+ },
4565
+ {
4566
+ "epoch": 0.07076451930438588,
4567
+ "grad_norm": 1.2402337789535522,
4568
+ "learning_rate": 0.00019974985633425995,
4569
+ "loss": 0.9853,
4570
+ "step": 647
4571
+ },
4572
+ {
4573
+ "epoch": 0.0708738925954282,
4574
+ "grad_norm": 1.048528790473938,
4575
+ "learning_rate": 0.00019974904517830057,
4576
+ "loss": 0.7008,
4577
+ "step": 648
4578
+ },
4579
+ {
4580
+ "epoch": 0.07098326588647053,
4581
+ "grad_norm": 1.127461552619934,
4582
+ "learning_rate": 0.00019974823271092946,
4583
+ "loss": 0.8591,
4584
+ "step": 649
4585
+ },
4586
+ {
4587
+ "epoch": 0.07109263917751285,
4588
+ "grad_norm": 1.5449364185333252,
4589
+ "learning_rate": 0.00019974741893215729,
4590
+ "loss": 0.6911,
4591
+ "step": 650
4592
+ },
4593
+ {
4594
+ "epoch": 0.07120201246855518,
4595
+ "grad_norm": 1.1602526903152466,
4596
+ "learning_rate": 0.00019974660384199474,
4597
+ "loss": 0.7851,
4598
+ "step": 651
4599
+ },
4600
+ {
4601
+ "epoch": 0.0713113857595975,
4602
+ "grad_norm": 1.5102430582046509,
4603
+ "learning_rate": 0.0001997457874404526,
4604
+ "loss": 0.5834,
4605
+ "step": 652
4606
+ },
4607
+ {
4608
+ "epoch": 0.07142075905063984,
4609
+ "grad_norm": 0.9589799642562866,
4610
+ "learning_rate": 0.0001997449697275415,
4611
+ "loss": 1.086,
4612
+ "step": 653
4613
+ },
4614
+ {
4615
+ "epoch": 0.07153013234168216,
4616
+ "grad_norm": 0.9409639239311218,
4617
+ "learning_rate": 0.00019974415070327228,
4618
+ "loss": 0.6376,
4619
+ "step": 654
4620
+ },
4621
+ {
4622
+ "epoch": 0.07163950563272449,
4623
+ "grad_norm": 1.3825045824050903,
4624
+ "learning_rate": 0.00019974333036765565,
4625
+ "loss": 1.05,
4626
+ "step": 655
4627
+ },
4628
+ {
4629
+ "epoch": 0.07174887892376682,
4630
+ "grad_norm": 1.228034257888794,
4631
+ "learning_rate": 0.0001997425087207024,
4632
+ "loss": 0.756,
4633
+ "step": 656
4634
+ },
4635
+ {
4636
+ "epoch": 0.07185825221480914,
4637
+ "grad_norm": 1.1063343286514282,
4638
+ "learning_rate": 0.00019974168576242333,
4639
+ "loss": 0.94,
4640
+ "step": 657
4641
+ },
4642
+ {
4643
+ "epoch": 0.07196762550585147,
4644
+ "grad_norm": 1.1796149015426636,
4645
+ "learning_rate": 0.0001997408614928293,
4646
+ "loss": 1.1948,
4647
+ "step": 658
4648
+ },
4649
+ {
4650
+ "epoch": 0.0720769987968938,
4651
+ "grad_norm": 1.2910804748535156,
4652
+ "learning_rate": 0.00019974003591193113,
4653
+ "loss": 0.7471,
4654
+ "step": 659
4655
+ },
4656
+ {
4657
+ "epoch": 0.07218637208793613,
4658
+ "grad_norm": 0.950053334236145,
4659
+ "learning_rate": 0.00019973920901973966,
4660
+ "loss": 0.8559,
4661
+ "step": 660
4662
+ },
4663
+ {
4664
+ "epoch": 0.07229574537897845,
4665
+ "grad_norm": 1.1288427114486694,
4666
+ "learning_rate": 0.00019973838081626576,
4667
+ "loss": 0.7652,
4668
+ "step": 661
4669
+ },
4670
+ {
4671
+ "epoch": 0.07240511867002078,
4672
+ "grad_norm": 1.3732799291610718,
4673
+ "learning_rate": 0.00019973755130152032,
4674
+ "loss": 0.9279,
4675
+ "step": 662
4676
+ },
4677
+ {
4678
+ "epoch": 0.0725144919610631,
4679
+ "grad_norm": 1.5457011461257935,
4680
+ "learning_rate": 0.00019973672047551426,
4681
+ "loss": 1.0739,
4682
+ "step": 663
4683
+ },
4684
+ {
4685
+ "epoch": 0.07262386525210543,
4686
+ "grad_norm": 1.3835077285766602,
4687
+ "learning_rate": 0.0001997358883382585,
4688
+ "loss": 0.9601,
4689
+ "step": 664
4690
+ },
4691
+ {
4692
+ "epoch": 0.07273323854314777,
4693
+ "grad_norm": 1.0740020275115967,
4694
+ "learning_rate": 0.00019973505488976394,
4695
+ "loss": 0.8934,
4696
+ "step": 665
4697
+ },
4698
+ {
4699
+ "epoch": 0.0728426118341901,
4700
+ "grad_norm": 1.0193759202957153,
4701
+ "learning_rate": 0.0001997342201300416,
4702
+ "loss": 0.8884,
4703
+ "step": 666
4704
+ },
4705
+ {
4706
+ "epoch": 0.07295198512523242,
4707
+ "grad_norm": 1.0482374429702759,
4708
+ "learning_rate": 0.00019973338405910243,
4709
+ "loss": 0.9933,
4710
+ "step": 667
4711
+ },
4712
+ {
4713
+ "epoch": 0.07306135841627474,
4714
+ "grad_norm": 0.8073828816413879,
4715
+ "learning_rate": 0.0001997325466769574,
4716
+ "loss": 0.4287,
4717
+ "step": 668
4718
+ },
4719
+ {
4720
+ "epoch": 0.07317073170731707,
4721
+ "grad_norm": 1.123384952545166,
4722
+ "learning_rate": 0.0001997317079836176,
4723
+ "loss": 1.0069,
4724
+ "step": 669
4725
+ },
4726
+ {
4727
+ "epoch": 0.0732801049983594,
4728
+ "grad_norm": 1.0574086904525757,
4729
+ "learning_rate": 0.00019973086797909391,
4730
+ "loss": 0.9728,
4731
+ "step": 670
4732
+ },
4733
+ {
4734
+ "epoch": 0.07338947828940173,
4735
+ "grad_norm": 1.0201141834259033,
4736
+ "learning_rate": 0.0001997300266633975,
4737
+ "loss": 1.0972,
4738
+ "step": 671
4739
+ },
4740
+ {
4741
+ "epoch": 0.07349885158044406,
4742
+ "grad_norm": 1.225523591041565,
4743
+ "learning_rate": 0.00019972918403653934,
4744
+ "loss": 0.8404,
4745
+ "step": 672
4746
+ },
4747
+ {
4748
+ "epoch": 0.07360822487148638,
4749
+ "grad_norm": 1.357897162437439,
4750
+ "learning_rate": 0.00019972834009853062,
4751
+ "loss": 1.0389,
4752
+ "step": 673
4753
+ },
4754
+ {
4755
+ "epoch": 0.07371759816252871,
4756
+ "grad_norm": 1.0925666093826294,
4757
+ "learning_rate": 0.00019972749484938233,
4758
+ "loss": 0.9689,
4759
+ "step": 674
4760
+ },
4761
+ {
4762
+ "epoch": 0.07382697145357103,
4763
+ "grad_norm": 1.1267412900924683,
4764
+ "learning_rate": 0.00019972664828910564,
4765
+ "loss": 0.7727,
4766
+ "step": 675
4767
+ },
4768
+ {
4769
+ "epoch": 0.07393634474461337,
4770
+ "grad_norm": 1.2903382778167725,
4771
+ "learning_rate": 0.00019972580041771165,
4772
+ "loss": 1.1321,
4773
+ "step": 676
4774
+ },
4775
+ {
4776
+ "epoch": 0.0740457180356557,
4777
+ "grad_norm": 1.1655809879302979,
4778
+ "learning_rate": 0.00019972495123521156,
4779
+ "loss": 0.9803,
4780
+ "step": 677
4781
+ },
4782
+ {
4783
+ "epoch": 0.07415509132669802,
4784
+ "grad_norm": 0.9937360286712646,
4785
+ "learning_rate": 0.00019972410074161644,
4786
+ "loss": 1.2199,
4787
+ "step": 678
4788
+ },
4789
+ {
4790
+ "epoch": 0.07426446461774035,
4791
+ "grad_norm": 1.1037606000900269,
4792
+ "learning_rate": 0.00019972324893693756,
4793
+ "loss": 0.8067,
4794
+ "step": 679
4795
+ },
4796
+ {
4797
+ "epoch": 0.07437383790878267,
4798
+ "grad_norm": 1.7199792861938477,
4799
+ "learning_rate": 0.0001997223958211861,
4800
+ "loss": 0.9226,
4801
+ "step": 680
4802
+ },
4803
+ {
4804
+ "epoch": 0.074483211199825,
4805
+ "grad_norm": 1.2497960329055786,
4806
+ "learning_rate": 0.00019972154139437324,
4807
+ "loss": 1.2316,
4808
+ "step": 681
4809
+ },
4810
+ {
4811
+ "epoch": 0.07459258449086734,
4812
+ "grad_norm": 1.2246016263961792,
4813
+ "learning_rate": 0.00019972068565651024,
4814
+ "loss": 0.7142,
4815
+ "step": 682
4816
+ },
4817
+ {
4818
+ "epoch": 0.07470195778190966,
4819
+ "grad_norm": 1.1919150352478027,
4820
+ "learning_rate": 0.00019971982860760834,
4821
+ "loss": 0.8632,
4822
+ "step": 683
4823
+ },
4824
+ {
4825
+ "epoch": 0.07481133107295199,
4826
+ "grad_norm": 1.457666039466858,
4827
+ "learning_rate": 0.00019971897024767882,
4828
+ "loss": 0.8739,
4829
+ "step": 684
4830
+ },
4831
+ {
4832
+ "epoch": 0.07492070436399431,
4833
+ "grad_norm": 1.2749696969985962,
4834
+ "learning_rate": 0.00019971811057673295,
4835
+ "loss": 0.6209,
4836
+ "step": 685
4837
+ },
4838
+ {
4839
+ "epoch": 0.07503007765503664,
4840
+ "grad_norm": 2.0851213932037354,
4841
+ "learning_rate": 0.00019971724959478202,
4842
+ "loss": 0.9724,
4843
+ "step": 686
4844
+ },
4845
+ {
4846
+ "epoch": 0.07513945094607896,
4847
+ "grad_norm": 1.120041847229004,
4848
+ "learning_rate": 0.00019971638730183742,
4849
+ "loss": 1.0215,
4850
+ "step": 687
4851
+ },
4852
+ {
4853
+ "epoch": 0.0752488242371213,
4854
+ "grad_norm": 1.146913766860962,
4855
+ "learning_rate": 0.0001997155236979104,
4856
+ "loss": 0.9925,
4857
+ "step": 688
4858
+ },
4859
+ {
4860
+ "epoch": 0.07535819752816363,
4861
+ "grad_norm": 1.2135933637619019,
4862
+ "learning_rate": 0.00019971465878301236,
4863
+ "loss": 0.6812,
4864
+ "step": 689
4865
+ },
4866
+ {
4867
+ "epoch": 0.07546757081920595,
4868
+ "grad_norm": 1.5919603109359741,
4869
+ "learning_rate": 0.00019971379255715466,
4870
+ "loss": 0.9658,
4871
+ "step": 690
4872
+ },
4873
+ {
4874
+ "epoch": 0.07557694411024828,
4875
+ "grad_norm": 0.9288296699523926,
4876
+ "learning_rate": 0.00019971292502034868,
4877
+ "loss": 1.1744,
4878
+ "step": 691
4879
+ },
4880
+ {
4881
+ "epoch": 0.0756863174012906,
4882
+ "grad_norm": 1.343369960784912,
4883
+ "learning_rate": 0.00019971205617260585,
4884
+ "loss": 0.9064,
4885
+ "step": 692
4886
+ },
4887
+ {
4888
+ "epoch": 0.07579569069233293,
4889
+ "grad_norm": 1.2773042917251587,
4890
+ "learning_rate": 0.00019971118601393756,
4891
+ "loss": 0.5802,
4892
+ "step": 693
4893
+ },
4894
+ {
4895
+ "epoch": 0.07590506398337526,
4896
+ "grad_norm": 1.0229064226150513,
4897
+ "learning_rate": 0.0001997103145443553,
4898
+ "loss": 0.8091,
4899
+ "step": 694
4900
+ },
4901
+ {
4902
+ "epoch": 0.07601443727441759,
4903
+ "grad_norm": 1.152958869934082,
4904
+ "learning_rate": 0.00019970944176387047,
4905
+ "loss": 0.7775,
4906
+ "step": 695
4907
+ },
4908
+ {
4909
+ "epoch": 0.07612381056545992,
4910
+ "grad_norm": 0.848763644695282,
4911
+ "learning_rate": 0.00019970856767249456,
4912
+ "loss": 0.7118,
4913
+ "step": 696
4914
+ },
4915
+ {
4916
+ "epoch": 0.07623318385650224,
4917
+ "grad_norm": 1.7074475288391113,
4918
+ "learning_rate": 0.0001997076922702391,
4919
+ "loss": 0.9012,
4920
+ "step": 697
4921
+ },
4922
+ {
4923
+ "epoch": 0.07634255714754457,
4924
+ "grad_norm": 0.8505508899688721,
4925
+ "learning_rate": 0.00019970681555711556,
4926
+ "loss": 0.9937,
4927
+ "step": 698
4928
+ },
4929
+ {
4930
+ "epoch": 0.07645193043858689,
4931
+ "grad_norm": 1.1460299491882324,
4932
+ "learning_rate": 0.0001997059375331355,
4933
+ "loss": 0.5383,
4934
+ "step": 699
4935
+ },
4936
+ {
4937
+ "epoch": 0.07656130372962923,
4938
+ "grad_norm": 1.167402982711792,
4939
+ "learning_rate": 0.00019970505819831043,
4940
+ "loss": 0.692,
4941
+ "step": 700
4942
+ },
4943
+ {
4944
+ "epoch": 0.07667067702067155,
4945
+ "grad_norm": 1.3995429277420044,
4946
+ "learning_rate": 0.0001997041775526519,
4947
+ "loss": 0.8846,
4948
+ "step": 701
4949
+ },
4950
+ {
4951
+ "epoch": 0.07678005031171388,
4952
+ "grad_norm": 1.0239083766937256,
4953
+ "learning_rate": 0.0001997032955961715,
4954
+ "loss": 0.8172,
4955
+ "step": 702
4956
+ },
4957
+ {
4958
+ "epoch": 0.0768894236027562,
4959
+ "grad_norm": 1.228286862373352,
4960
+ "learning_rate": 0.00019970241232888087,
4961
+ "loss": 0.8918,
4962
+ "step": 703
4963
+ },
4964
+ {
4965
+ "epoch": 0.07699879689379853,
4966
+ "grad_norm": 1.2466994524002075,
4967
+ "learning_rate": 0.00019970152775079157,
4968
+ "loss": 0.9824,
4969
+ "step": 704
4970
+ },
4971
+ {
4972
+ "epoch": 0.07710817018484087,
4973
+ "grad_norm": 1.0454096794128418,
4974
+ "learning_rate": 0.00019970064186191524,
4975
+ "loss": 0.7876,
4976
+ "step": 705
4977
+ },
4978
+ {
4979
+ "epoch": 0.0772175434758832,
4980
+ "grad_norm": 1.3275943994522095,
4981
+ "learning_rate": 0.00019969975466226352,
4982
+ "loss": 0.7415,
4983
+ "step": 706
4984
+ },
4985
+ {
4986
+ "epoch": 0.07732691676692552,
4987
+ "grad_norm": 1.2628555297851562,
4988
+ "learning_rate": 0.00019969886615184813,
4989
+ "loss": 0.9612,
4990
+ "step": 707
4991
+ },
4992
+ {
4993
+ "epoch": 0.07743629005796784,
4994
+ "grad_norm": 1.2491726875305176,
4995
+ "learning_rate": 0.00019969797633068067,
4996
+ "loss": 0.9752,
4997
+ "step": 708
4998
+ },
4999
+ {
5000
+ "epoch": 0.07754566334901017,
5001
+ "grad_norm": 1.105066180229187,
5002
+ "learning_rate": 0.0001996970851987729,
5003
+ "loss": 0.8346,
5004
+ "step": 709
5005
+ },
5006
+ {
5007
+ "epoch": 0.0776550366400525,
5008
+ "grad_norm": 1.2142994403839111,
5009
+ "learning_rate": 0.00019969619275613649,
5010
+ "loss": 0.7027,
5011
+ "step": 710
5012
+ },
5013
+ {
5014
+ "epoch": 0.07776440993109483,
5015
+ "grad_norm": 0.9537602663040161,
5016
+ "learning_rate": 0.0001996952990027832,
5017
+ "loss": 1.044,
5018
+ "step": 711
5019
+ },
5020
+ {
5021
+ "epoch": 0.07787378322213716,
5022
+ "grad_norm": 1.3910495042800903,
5023
+ "learning_rate": 0.00019969440393872482,
5024
+ "loss": 1.0096,
5025
+ "step": 712
5026
+ },
5027
+ {
5028
+ "epoch": 0.07798315651317948,
5029
+ "grad_norm": 1.3613632917404175,
5030
+ "learning_rate": 0.00019969350756397303,
5031
+ "loss": 0.8662,
5032
+ "step": 713
5033
+ },
5034
+ {
5035
+ "epoch": 0.07809252980422181,
5036
+ "grad_norm": 1.2845927476882935,
5037
+ "learning_rate": 0.00019969260987853966,
5038
+ "loss": 0.5798,
5039
+ "step": 714
5040
+ },
5041
+ {
5042
+ "epoch": 0.07820190309526413,
5043
+ "grad_norm": 1.6404705047607422,
5044
+ "learning_rate": 0.00019969171088243654,
5045
+ "loss": 0.7121,
5046
+ "step": 715
5047
+ },
5048
+ {
5049
+ "epoch": 0.07831127638630646,
5050
+ "grad_norm": 0.8574418425559998,
5051
+ "learning_rate": 0.00019969081057567544,
5052
+ "loss": 0.8782,
5053
+ "step": 716
5054
+ },
5055
+ {
5056
+ "epoch": 0.0784206496773488,
5057
+ "grad_norm": 1.0659464597702026,
5058
+ "learning_rate": 0.00019968990895826824,
5059
+ "loss": 0.9873,
5060
+ "step": 717
5061
+ },
5062
+ {
5063
+ "epoch": 0.07853002296839112,
5064
+ "grad_norm": 1.3987879753112793,
5065
+ "learning_rate": 0.00019968900603022674,
5066
+ "loss": 1.043,
5067
+ "step": 718
5068
+ },
5069
+ {
5070
+ "epoch": 0.07863939625943345,
5071
+ "grad_norm": 1.4074671268463135,
5072
+ "learning_rate": 0.00019968810179156284,
5073
+ "loss": 0.5627,
5074
+ "step": 719
5075
+ },
5076
+ {
5077
+ "epoch": 0.07874876955047577,
5078
+ "grad_norm": 1.5267953872680664,
5079
+ "learning_rate": 0.0001996871962422884,
5080
+ "loss": 0.8376,
5081
+ "step": 720
5082
+ },
5083
+ {
5084
+ "epoch": 0.0788581428415181,
5085
+ "grad_norm": 1.3651149272918701,
5086
+ "learning_rate": 0.00019968628938241544,
5087
+ "loss": 0.5277,
5088
+ "step": 721
5089
+ },
5090
+ {
5091
+ "epoch": 0.07896751613256042,
5092
+ "grad_norm": 1.42264723777771,
5093
+ "learning_rate": 0.00019968538121195573,
5094
+ "loss": 0.8679,
5095
+ "step": 722
5096
+ },
5097
+ {
5098
+ "epoch": 0.07907688942360276,
5099
+ "grad_norm": 0.9253861904144287,
5100
+ "learning_rate": 0.00019968447173092127,
5101
+ "loss": 0.6319,
5102
+ "step": 723
5103
+ },
5104
+ {
5105
+ "epoch": 0.07918626271464509,
5106
+ "grad_norm": 1.3918668031692505,
5107
+ "learning_rate": 0.00019968356093932408,
5108
+ "loss": 0.9424,
5109
+ "step": 724
5110
+ },
5111
+ {
5112
+ "epoch": 0.07929563600568741,
5113
+ "grad_norm": 1.2722500562667847,
5114
+ "learning_rate": 0.00019968264883717603,
5115
+ "loss": 0.7896,
5116
+ "step": 725
5117
+ },
5118
+ {
5119
+ "epoch": 0.07940500929672974,
5120
+ "grad_norm": 1.1754547357559204,
5121
+ "learning_rate": 0.00019968173542448918,
5122
+ "loss": 0.7964,
5123
+ "step": 726
5124
+ },
5125
+ {
5126
+ "epoch": 0.07951438258777206,
5127
+ "grad_norm": 1.2456198930740356,
5128
+ "learning_rate": 0.0001996808207012755,
5129
+ "loss": 0.9675,
5130
+ "step": 727
5131
+ },
5132
+ {
5133
+ "epoch": 0.07962375587881439,
5134
+ "grad_norm": 1.112210750579834,
5135
+ "learning_rate": 0.00019967990466754706,
5136
+ "loss": 0.8094,
5137
+ "step": 728
5138
+ },
5139
+ {
5140
+ "epoch": 0.07973312916985673,
5141
+ "grad_norm": 1.4162180423736572,
5142
+ "learning_rate": 0.00019967898732331589,
5143
+ "loss": 0.7958,
5144
+ "step": 729
5145
+ },
5146
+ {
5147
+ "epoch": 0.07984250246089905,
5148
+ "grad_norm": 1.1824671030044556,
5149
+ "learning_rate": 0.00019967806866859399,
5150
+ "loss": 0.9652,
5151
+ "step": 730
5152
+ },
5153
+ {
5154
+ "epoch": 0.07995187575194138,
5155
+ "grad_norm": 1.1127402782440186,
5156
+ "learning_rate": 0.00019967714870339353,
5157
+ "loss": 1.0534,
5158
+ "step": 731
5159
+ },
5160
+ {
5161
+ "epoch": 0.0800612490429837,
5162
+ "grad_norm": 1.2103041410446167,
5163
+ "learning_rate": 0.00019967622742772653,
5164
+ "loss": 0.8203,
5165
+ "step": 732
5166
+ },
5167
+ {
5168
+ "epoch": 0.08017062233402603,
5169
+ "grad_norm": 1.122659683227539,
5170
+ "learning_rate": 0.00019967530484160515,
5171
+ "loss": 1.0141,
5172
+ "step": 733
5173
+ },
5174
+ {
5175
+ "epoch": 0.08027999562506836,
5176
+ "grad_norm": 1.188337802886963,
5177
+ "learning_rate": 0.0001996743809450415,
5178
+ "loss": 0.8292,
5179
+ "step": 734
5180
+ },
5181
+ {
5182
+ "epoch": 0.08038936891611069,
5183
+ "grad_norm": 1.3577244281768799,
5184
+ "learning_rate": 0.00019967345573804773,
5185
+ "loss": 0.7919,
5186
+ "step": 735
5187
+ },
5188
+ {
5189
+ "epoch": 0.08049874220715302,
5190
+ "grad_norm": 1.403151035308838,
5191
+ "learning_rate": 0.00019967252922063598,
5192
+ "loss": 0.7486,
5193
+ "step": 736
5194
+ },
5195
+ {
5196
+ "epoch": 0.08060811549819534,
5197
+ "grad_norm": 1.0413349866867065,
5198
+ "learning_rate": 0.00019967160139281847,
5199
+ "loss": 0.7938,
5200
+ "step": 737
5201
+ },
5202
+ {
5203
+ "epoch": 0.08071748878923767,
5204
+ "grad_norm": 1.182256817817688,
5205
+ "learning_rate": 0.00019967067225460739,
5206
+ "loss": 1.0254,
5207
+ "step": 738
5208
+ },
5209
+ {
5210
+ "epoch": 0.08082686208027999,
5211
+ "grad_norm": 1.1335121393203735,
5212
+ "learning_rate": 0.00019966974180601495,
5213
+ "loss": 0.9295,
5214
+ "step": 739
5215
+ },
5216
+ {
5217
+ "epoch": 0.08093623537132233,
5218
+ "grad_norm": 0.9481456875801086,
5219
+ "learning_rate": 0.00019966881004705335,
5220
+ "loss": 0.7879,
5221
+ "step": 740
5222
+ },
5223
+ {
5224
+ "epoch": 0.08104560866236465,
5225
+ "grad_norm": 1.5649831295013428,
5226
+ "learning_rate": 0.00019966787697773487,
5227
+ "loss": 0.8673,
5228
+ "step": 741
5229
+ },
5230
+ {
5231
+ "epoch": 0.08115498195340698,
5232
+ "grad_norm": 0.9668005108833313,
5233
+ "learning_rate": 0.00019966694259807182,
5234
+ "loss": 1.0657,
5235
+ "step": 742
5236
+ },
5237
+ {
5238
+ "epoch": 0.0812643552444493,
5239
+ "grad_norm": 1.3596941232681274,
5240
+ "learning_rate": 0.00019966600690807641,
5241
+ "loss": 0.8447,
5242
+ "step": 743
5243
+ },
5244
+ {
5245
+ "epoch": 0.08137372853549163,
5246
+ "grad_norm": 1.0048425197601318,
5247
+ "learning_rate": 0.000199665069907761,
5248
+ "loss": 1.0387,
5249
+ "step": 744
5250
+ },
5251
+ {
5252
+ "epoch": 0.08148310182653395,
5253
+ "grad_norm": 1.011863350868225,
5254
+ "learning_rate": 0.00019966413159713784,
5255
+ "loss": 0.572,
5256
+ "step": 745
5257
+ },
5258
+ {
5259
+ "epoch": 0.0815924751175763,
5260
+ "grad_norm": 1.1538282632827759,
5261
+ "learning_rate": 0.00019966319197621933,
5262
+ "loss": 0.8894,
5263
+ "step": 746
5264
+ },
5265
+ {
5266
+ "epoch": 0.08170184840861862,
5267
+ "grad_norm": 1.2780123949050903,
5268
+ "learning_rate": 0.0001996622510450178,
5269
+ "loss": 0.7546,
5270
+ "step": 747
5271
+ },
5272
+ {
5273
+ "epoch": 0.08181122169966094,
5274
+ "grad_norm": 1.2636635303497314,
5275
+ "learning_rate": 0.00019966130880354563,
5276
+ "loss": 1.0885,
5277
+ "step": 748
5278
+ },
5279
+ {
5280
+ "epoch": 0.08192059499070327,
5281
+ "grad_norm": 1.4378074407577515,
5282
+ "learning_rate": 0.00019966036525181517,
5283
+ "loss": 0.8398,
5284
+ "step": 749
5285
+ },
5286
+ {
5287
+ "epoch": 0.0820299682817456,
5288
+ "grad_norm": 0.9686568975448608,
5289
+ "learning_rate": 0.0001996594203898389,
5290
+ "loss": 0.8958,
5291
+ "step": 750
5292
+ },
5293
+ {
5294
+ "epoch": 0.08213934157278792,
5295
+ "grad_norm": 0.9453415274620056,
5296
+ "learning_rate": 0.00019965847421762916,
5297
+ "loss": 0.7573,
5298
+ "step": 751
5299
+ },
5300
+ {
5301
+ "epoch": 0.08224871486383026,
5302
+ "grad_norm": 1.0684524774551392,
5303
+ "learning_rate": 0.00019965752673519843,
5304
+ "loss": 1.0317,
5305
+ "step": 752
5306
+ },
5307
+ {
5308
+ "epoch": 0.08235808815487258,
5309
+ "grad_norm": 1.2976714372634888,
5310
+ "learning_rate": 0.00019965657794255917,
5311
+ "loss": 0.8801,
5312
+ "step": 753
5313
+ },
5314
+ {
5315
+ "epoch": 0.08246746144591491,
5316
+ "grad_norm": 1.2436695098876953,
5317
+ "learning_rate": 0.00019965562783972384,
5318
+ "loss": 0.9685,
5319
+ "step": 754
5320
+ },
5321
+ {
5322
+ "epoch": 0.08257683473695723,
5323
+ "grad_norm": 1.6265769004821777,
5324
+ "learning_rate": 0.00019965467642670494,
5325
+ "loss": 0.8696,
5326
+ "step": 755
5327
+ },
5328
+ {
5329
+ "epoch": 0.08268620802799956,
5330
+ "grad_norm": 1.113477110862732,
5331
+ "learning_rate": 0.00019965372370351497,
5332
+ "loss": 0.7968,
5333
+ "step": 756
5334
+ },
5335
+ {
5336
+ "epoch": 0.08279558131904188,
5337
+ "grad_norm": 1.1436411142349243,
5338
+ "learning_rate": 0.00019965276967016647,
5339
+ "loss": 0.8767,
5340
+ "step": 757
5341
+ },
5342
+ {
5343
+ "epoch": 0.08290495461008422,
5344
+ "grad_norm": 1.0350077152252197,
5345
+ "learning_rate": 0.000199651814326672,
5346
+ "loss": 0.8886,
5347
+ "step": 758
5348
+ },
5349
+ {
5350
+ "epoch": 0.08301432790112655,
5351
+ "grad_norm": 1.208807110786438,
5352
+ "learning_rate": 0.00019965085767304408,
5353
+ "loss": 0.6376,
5354
+ "step": 759
5355
+ },
5356
+ {
5357
+ "epoch": 0.08312370119216887,
5358
+ "grad_norm": 1.3621273040771484,
5359
+ "learning_rate": 0.00019964989970929525,
5360
+ "loss": 0.8308,
5361
+ "step": 760
5362
+ },
5363
+ {
5364
+ "epoch": 0.0832330744832112,
5365
+ "grad_norm": 1.2521097660064697,
5366
+ "learning_rate": 0.00019964894043543823,
5367
+ "loss": 0.8721,
5368
+ "step": 761
5369
+ },
5370
+ {
5371
+ "epoch": 0.08334244777425352,
5372
+ "grad_norm": 1.5560908317565918,
5373
+ "learning_rate": 0.00019964797985148552,
5374
+ "loss": 1.0384,
5375
+ "step": 762
5376
+ },
5377
+ {
5378
+ "epoch": 0.08345182106529586,
5379
+ "grad_norm": 0.8045756220817566,
5380
+ "learning_rate": 0.0001996470179574498,
5381
+ "loss": 0.6202,
5382
+ "step": 763
5383
+ },
5384
+ {
5385
+ "epoch": 0.08356119435633819,
5386
+ "grad_norm": 1.2550946474075317,
5387
+ "learning_rate": 0.00019964605475334367,
5388
+ "loss": 0.6782,
5389
+ "step": 764
5390
+ },
5391
+ {
5392
+ "epoch": 0.08367056764738051,
5393
+ "grad_norm": 1.165345311164856,
5394
+ "learning_rate": 0.00019964509023917985,
5395
+ "loss": 0.9765,
5396
+ "step": 765
5397
+ },
5398
+ {
5399
+ "epoch": 0.08377994093842284,
5400
+ "grad_norm": 1.181070327758789,
5401
+ "learning_rate": 0.00019964412441497102,
5402
+ "loss": 0.9072,
5403
+ "step": 766
5404
+ },
5405
+ {
5406
+ "epoch": 0.08388931422946516,
5407
+ "grad_norm": 1.2799577713012695,
5408
+ "learning_rate": 0.00019964315728072983,
5409
+ "loss": 0.7609,
5410
+ "step": 767
5411
+ },
5412
+ {
5413
+ "epoch": 0.08399868752050749,
5414
+ "grad_norm": 1.2581814527511597,
5415
+ "learning_rate": 0.00019964218883646901,
5416
+ "loss": 1.0167,
5417
+ "step": 768
5418
+ },
5419
+ {
5420
+ "epoch": 0.08410806081154983,
5421
+ "grad_norm": 1.2967522144317627,
5422
+ "learning_rate": 0.00019964121908220132,
5423
+ "loss": 1.0021,
5424
+ "step": 769
5425
+ },
5426
+ {
5427
+ "epoch": 0.08421743410259215,
5428
+ "grad_norm": 1.5000118017196655,
5429
+ "learning_rate": 0.00019964024801793947,
5430
+ "loss": 0.7812,
5431
+ "step": 770
5432
+ },
5433
+ {
5434
+ "epoch": 0.08432680739363448,
5435
+ "grad_norm": 1.1445389986038208,
5436
+ "learning_rate": 0.00019963927564369625,
5437
+ "loss": 0.7056,
5438
+ "step": 771
5439
+ },
5440
+ {
5441
+ "epoch": 0.0844361806846768,
5442
+ "grad_norm": 1.3679161071777344,
5443
+ "learning_rate": 0.00019963830195948446,
5444
+ "loss": 0.6822,
5445
+ "step": 772
5446
+ },
5447
+ {
5448
+ "epoch": 0.08454555397571913,
5449
+ "grad_norm": 1.0828126668930054,
5450
+ "learning_rate": 0.0001996373269653169,
5451
+ "loss": 0.7763,
5452
+ "step": 773
5453
+ },
5454
+ {
5455
+ "epoch": 0.08465492726676145,
5456
+ "grad_norm": 1.3515561819076538,
5457
+ "learning_rate": 0.00019963635066120634,
5458
+ "loss": 0.8533,
5459
+ "step": 774
5460
+ },
5461
+ {
5462
+ "epoch": 0.08476430055780379,
5463
+ "grad_norm": 1.3976073265075684,
5464
+ "learning_rate": 0.00019963537304716568,
5465
+ "loss": 0.9915,
5466
+ "step": 775
5467
+ },
5468
+ {
5469
+ "epoch": 0.08487367384884612,
5470
+ "grad_norm": 0.981069803237915,
5471
+ "learning_rate": 0.00019963439412320767,
5472
+ "loss": 0.6723,
5473
+ "step": 776
5474
+ },
5475
+ {
5476
+ "epoch": 0.08498304713988844,
5477
+ "grad_norm": 1.1897884607315063,
5478
+ "learning_rate": 0.0001996334138893453,
5479
+ "loss": 0.8058,
5480
+ "step": 777
5481
+ },
5482
+ {
5483
+ "epoch": 0.08509242043093077,
5484
+ "grad_norm": 1.029106855392456,
5485
+ "learning_rate": 0.00019963243234559142,
5486
+ "loss": 0.7647,
5487
+ "step": 778
5488
+ },
5489
+ {
5490
+ "epoch": 0.08520179372197309,
5491
+ "grad_norm": 1.119536280632019,
5492
+ "learning_rate": 0.0001996314494919589,
5493
+ "loss": 0.7175,
5494
+ "step": 779
5495
+ },
5496
+ {
5497
+ "epoch": 0.08531116701301542,
5498
+ "grad_norm": 1.2119157314300537,
5499
+ "learning_rate": 0.00019963046532846067,
5500
+ "loss": 0.7693,
5501
+ "step": 780
5502
+ },
5503
+ {
5504
+ "epoch": 0.08542054030405775,
5505
+ "grad_norm": 1.2779622077941895,
5506
+ "learning_rate": 0.00019962947985510972,
5507
+ "loss": 1.0908,
5508
+ "step": 781
5509
+ },
5510
+ {
5511
+ "epoch": 0.08552991359510008,
5512
+ "grad_norm": 1.5152631998062134,
5513
+ "learning_rate": 0.00019962849307191894,
5514
+ "loss": 0.9018,
5515
+ "step": 782
5516
+ },
5517
+ {
5518
+ "epoch": 0.0856392868861424,
5519
+ "grad_norm": 1.2640904188156128,
5520
+ "learning_rate": 0.00019962750497890132,
5521
+ "loss": 1.1887,
5522
+ "step": 783
5523
+ },
5524
+ {
5525
+ "epoch": 0.08574866017718473,
5526
+ "grad_norm": 1.3365931510925293,
5527
+ "learning_rate": 0.00019962651557606988,
5528
+ "loss": 0.7064,
5529
+ "step": 784
5530
+ },
5531
+ {
5532
+ "epoch": 0.08585803346822705,
5533
+ "grad_norm": 1.191049575805664,
5534
+ "learning_rate": 0.0001996255248634376,
5535
+ "loss": 0.9107,
5536
+ "step": 785
5537
+ },
5538
+ {
5539
+ "epoch": 0.08596740675926938,
5540
+ "grad_norm": 1.3733034133911133,
5541
+ "learning_rate": 0.00019962453284101754,
5542
+ "loss": 0.8751,
5543
+ "step": 786
5544
+ },
5545
+ {
5546
+ "epoch": 0.08607678005031172,
5547
+ "grad_norm": 1.3037829399108887,
5548
+ "learning_rate": 0.00019962353950882272,
5549
+ "loss": 1.1918,
5550
+ "step": 787
5551
+ },
5552
+ {
5553
+ "epoch": 0.08618615334135404,
5554
+ "grad_norm": 1.273435354232788,
5555
+ "learning_rate": 0.00019962254486686616,
5556
+ "loss": 0.6163,
5557
+ "step": 788
5558
+ },
5559
+ {
5560
+ "epoch": 0.08629552663239637,
5561
+ "grad_norm": 1.2746548652648926,
5562
+ "learning_rate": 0.00019962154891516097,
5563
+ "loss": 0.8341,
5564
+ "step": 789
5565
+ },
5566
+ {
5567
+ "epoch": 0.0864048999234387,
5568
+ "grad_norm": 0.8775056600570679,
5569
+ "learning_rate": 0.00019962055165372028,
5570
+ "loss": 0.5022,
5571
+ "step": 790
5572
+ },
5573
+ {
5574
+ "epoch": 0.08651427321448102,
5575
+ "grad_norm": 1.1755577325820923,
5576
+ "learning_rate": 0.00019961955308255718,
5577
+ "loss": 0.7566,
5578
+ "step": 791
5579
+ },
5580
+ {
5581
+ "epoch": 0.08662364650552336,
5582
+ "grad_norm": 1.5284981727600098,
5583
+ "learning_rate": 0.00019961855320168475,
5584
+ "loss": 0.6847,
5585
+ "step": 792
5586
+ },
5587
+ {
5588
+ "epoch": 0.08673301979656568,
5589
+ "grad_norm": 1.4542872905731201,
5590
+ "learning_rate": 0.00019961755201111618,
5591
+ "loss": 1.0386,
5592
+ "step": 793
5593
+ },
5594
+ {
5595
+ "epoch": 0.08684239308760801,
5596
+ "grad_norm": 1.3919121026992798,
5597
+ "learning_rate": 0.0001996165495108646,
5598
+ "loss": 0.9977,
5599
+ "step": 794
5600
+ },
5601
+ {
5602
+ "epoch": 0.08695176637865033,
5603
+ "grad_norm": 1.5708112716674805,
5604
+ "learning_rate": 0.00019961554570094325,
5605
+ "loss": 0.6402,
5606
+ "step": 795
5607
+ },
5608
+ {
5609
+ "epoch": 0.08706113966969266,
5610
+ "grad_norm": 0.9465711712837219,
5611
+ "learning_rate": 0.0001996145405813653,
5612
+ "loss": 0.9086,
5613
+ "step": 796
5614
+ },
5615
+ {
5616
+ "epoch": 0.08717051296073498,
5617
+ "grad_norm": 1.1368910074234009,
5618
+ "learning_rate": 0.00019961353415214394,
5619
+ "loss": 0.7948,
5620
+ "step": 797
5621
+ },
5622
+ {
5623
+ "epoch": 0.08727988625177732,
5624
+ "grad_norm": 1.1227450370788574,
5625
+ "learning_rate": 0.00019961252641329243,
5626
+ "loss": 0.7257,
5627
+ "step": 798
5628
+ },
5629
+ {
5630
+ "epoch": 0.08738925954281965,
5631
+ "grad_norm": 1.1165131330490112,
5632
+ "learning_rate": 0.000199611517364824,
5633
+ "loss": 0.6876,
5634
+ "step": 799
5635
+ },
5636
+ {
5637
+ "epoch": 0.08749863283386197,
5638
+ "grad_norm": 0.9231796264648438,
5639
+ "learning_rate": 0.0001996105070067519,
5640
+ "loss": 0.8655,
5641
+ "step": 800
5642
+ },
5643
+ {
5644
+ "epoch": 0.08749863283386197,
5645
+ "eval_loss": 0.8182419538497925,
5646
+ "eval_runtime": 40.9467,
5647
+ "eval_samples_per_second": 17.975,
5648
+ "eval_steps_per_second": 4.494,
5649
+ "step": 800
5650
  }
5651
  ],
5652
  "logging_steps": 1,
 
5661
  "early_stopping_threshold": 0.0
5662
  },
5663
  "attributes": {
5664
+ "early_stopping_patience_counter": 2
5665
  }
5666
  },
5667
  "TrainerControl": {
 
5675
  "attributes": {}
5676
  }
5677
  },
5678
+ "total_flos": 6.541248774851789e+16,
5679
  "train_batch_size": 4,
5680
  "trial_name": null,
5681
  "trial_params": null