error577 commited on
Commit
4fd4b47
·
verified ·
1 Parent(s): c4f135b

Training in progress, step 1400, checkpoint

Browse files
last-checkpoint/adapter_model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:e567e68a95fc49edcf5540cb0266878fe1cdd015559ef091ed08e9bfb528c96b
3
  size 194563400
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:2cc353f73298357243ffea91c070db1f0968f3697e44aff63111d24765ae1b70
3
  size 194563400
last-checkpoint/optimizer.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:fbb34b26639563dfc2f423739ed40ad8563472546de28e70de8001c25ae186ea
3
  size 99236212
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:388ec4b791e35c5f4f56fdbad3edf2b87ce5493ae624f4a3cd8192a4d9969498
3
  size 99236212
last-checkpoint/rng_state.pth CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:6e8ab3e20002a6d761df21c3a0b7abd8dfe29d8dced0f7a60047f8d83714113c
3
  size 14244
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:46d3620637a127b94c27ccd215c46b1945546f8a902ed83a422849efcb371548
3
  size 14244
last-checkpoint/scheduler.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:5cf2d5f40115fcd5e103e2f0a9a3b5c5ec5bb19fbd1b407ee4948a083ea5c903
3
  size 1064
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:f91fcd29185b899dd54dc5eaafca3a3cae39e23c98e992445c4c39fb5b747b92
3
  size 1064
last-checkpoint/trainer_state.json CHANGED
@@ -1,9 +1,9 @@
1
  {
2
  "best_metric": 0.8067082166671753,
3
  "best_model_checkpoint": "miner_id_24/checkpoint-400",
4
- "epoch": 0.13124794925079294,
5
  "eval_steps": 200,
6
- "global_step": 1200,
7
  "is_hyper_param_search": false,
8
  "is_local_process_zero": true,
9
  "is_world_process_zero": true,
@@ -8463,6 +8463,1414 @@
8463
  "eval_samples_per_second": 17.988,
8464
  "eval_steps_per_second": 4.497,
8465
  "step": 1200
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
8466
  }
8467
  ],
8468
  "logging_steps": 1,
@@ -8477,7 +9885,7 @@
8477
  "early_stopping_threshold": 0.0
8478
  },
8479
  "attributes": {
8480
- "early_stopping_patience_counter": 4
8481
  }
8482
  },
8483
  "TrainerControl": {
@@ -8486,12 +9894,12 @@
8486
  "should_evaluate": false,
8487
  "should_log": false,
8488
  "should_save": true,
8489
- "should_training_stop": false
8490
  },
8491
  "attributes": {}
8492
  }
8493
  },
8494
- "total_flos": 9.855035186243174e+16,
8495
  "train_batch_size": 4,
8496
  "trial_name": null,
8497
  "trial_params": null
 
1
  {
2
  "best_metric": 0.8067082166671753,
3
  "best_model_checkpoint": "miner_id_24/checkpoint-400",
4
+ "epoch": 0.15312260745925846,
5
  "eval_steps": 200,
6
+ "global_step": 1400,
7
  "is_hyper_param_search": false,
8
  "is_local_process_zero": true,
9
  "is_world_process_zero": true,
 
8463
  "eval_samples_per_second": 17.988,
8464
  "eval_steps_per_second": 4.497,
8465
  "step": 1200
8466
+ },
8467
+ {
8468
+ "epoch": 0.1313573225418353,
8469
+ "grad_norm": 1.4450033903121948,
8470
+ "learning_rate": 0.00019909996050527888,
8471
+ "loss": 0.8049,
8472
+ "step": 1201
8473
+ },
8474
+ {
8475
+ "epoch": 0.13146669583287762,
8476
+ "grad_norm": 1.3853977918624878,
8477
+ "learning_rate": 0.00019909842494873702,
8478
+ "loss": 1.1377,
8479
+ "step": 1202
8480
+ },
8481
+ {
8482
+ "epoch": 0.13157606912391995,
8483
+ "grad_norm": 1.3726768493652344,
8484
+ "learning_rate": 0.00019909688808933718,
8485
+ "loss": 0.7274,
8486
+ "step": 1203
8487
+ },
8488
+ {
8489
+ "epoch": 0.13168544241496227,
8490
+ "grad_norm": 1.0252834558486938,
8491
+ "learning_rate": 0.00019909534992709963,
8492
+ "loss": 0.9952,
8493
+ "step": 1204
8494
+ },
8495
+ {
8496
+ "epoch": 0.1317948157060046,
8497
+ "grad_norm": 1.1816951036453247,
8498
+ "learning_rate": 0.00019909381046204452,
8499
+ "loss": 0.7428,
8500
+ "step": 1205
8501
+ },
8502
+ {
8503
+ "epoch": 0.13190418899704692,
8504
+ "grad_norm": 1.3335750102996826,
8505
+ "learning_rate": 0.0001990922696941921,
8506
+ "loss": 0.917,
8507
+ "step": 1206
8508
+ },
8509
+ {
8510
+ "epoch": 0.13201356228808925,
8511
+ "grad_norm": 1.2397119998931885,
8512
+ "learning_rate": 0.00019909072762356263,
8513
+ "loss": 0.8642,
8514
+ "step": 1207
8515
+ },
8516
+ {
8517
+ "epoch": 0.13212293557913157,
8518
+ "grad_norm": 1.4454095363616943,
8519
+ "learning_rate": 0.00019908918425017643,
8520
+ "loss": 0.7159,
8521
+ "step": 1208
8522
+ },
8523
+ {
8524
+ "epoch": 0.1322323088701739,
8525
+ "grad_norm": 1.0113486051559448,
8526
+ "learning_rate": 0.00019908763957405374,
8527
+ "loss": 0.5676,
8528
+ "step": 1209
8529
+ },
8530
+ {
8531
+ "epoch": 0.13234168216121622,
8532
+ "grad_norm": 1.2884767055511475,
8533
+ "learning_rate": 0.00019908609359521487,
8534
+ "loss": 0.7862,
8535
+ "step": 1210
8536
+ },
8537
+ {
8538
+ "epoch": 0.13245105545225855,
8539
+ "grad_norm": 1.352392315864563,
8540
+ "learning_rate": 0.00019908454631368017,
8541
+ "loss": 0.8751,
8542
+ "step": 1211
8543
+ },
8544
+ {
8545
+ "epoch": 0.13256042874330087,
8546
+ "grad_norm": 1.321605920791626,
8547
+ "learning_rate": 0.00019908299772946995,
8548
+ "loss": 0.8701,
8549
+ "step": 1212
8550
+ },
8551
+ {
8552
+ "epoch": 0.13266980203434323,
8553
+ "grad_norm": 1.563302993774414,
8554
+ "learning_rate": 0.0001990814478426046,
8555
+ "loss": 0.7621,
8556
+ "step": 1213
8557
+ },
8558
+ {
8559
+ "epoch": 0.13277917532538555,
8560
+ "grad_norm": 1.2672288417816162,
8561
+ "learning_rate": 0.0001990798966531045,
8562
+ "loss": 0.9917,
8563
+ "step": 1214
8564
+ },
8565
+ {
8566
+ "epoch": 0.13288854861642788,
8567
+ "grad_norm": 1.4309278726577759,
8568
+ "learning_rate": 0.00019907834416099004,
8569
+ "loss": 0.9358,
8570
+ "step": 1215
8571
+ },
8572
+ {
8573
+ "epoch": 0.1329979219074702,
8574
+ "grad_norm": 1.324981689453125,
8575
+ "learning_rate": 0.00019907679036628158,
8576
+ "loss": 1.0276,
8577
+ "step": 1216
8578
+ },
8579
+ {
8580
+ "epoch": 0.13310729519851253,
8581
+ "grad_norm": 1.6899940967559814,
8582
+ "learning_rate": 0.0001990752352689996,
8583
+ "loss": 1.0495,
8584
+ "step": 1217
8585
+ },
8586
+ {
8587
+ "epoch": 0.13321666848955485,
8588
+ "grad_norm": 1.40802800655365,
8589
+ "learning_rate": 0.00019907367886916455,
8590
+ "loss": 1.0022,
8591
+ "step": 1218
8592
+ },
8593
+ {
8594
+ "epoch": 0.13332604178059718,
8595
+ "grad_norm": 1.25163996219635,
8596
+ "learning_rate": 0.00019907212116679685,
8597
+ "loss": 0.781,
8598
+ "step": 1219
8599
+ },
8600
+ {
8601
+ "epoch": 0.1334354150716395,
8602
+ "grad_norm": 1.5142436027526855,
8603
+ "learning_rate": 0.000199070562161917,
8604
+ "loss": 0.8624,
8605
+ "step": 1220
8606
+ },
8607
+ {
8608
+ "epoch": 0.13354478836268183,
8609
+ "grad_norm": 1.7423028945922852,
8610
+ "learning_rate": 0.00019906900185454553,
8611
+ "loss": 1.1806,
8612
+ "step": 1221
8613
+ },
8614
+ {
8615
+ "epoch": 0.13365416165372415,
8616
+ "grad_norm": 1.3047839403152466,
8617
+ "learning_rate": 0.00019906744024470295,
8618
+ "loss": 1.0223,
8619
+ "step": 1222
8620
+ },
8621
+ {
8622
+ "epoch": 0.13376353494476648,
8623
+ "grad_norm": 1.2250339984893799,
8624
+ "learning_rate": 0.00019906587733240972,
8625
+ "loss": 0.9334,
8626
+ "step": 1223
8627
+ },
8628
+ {
8629
+ "epoch": 0.1338729082358088,
8630
+ "grad_norm": 1.6344289779663086,
8631
+ "learning_rate": 0.00019906431311768642,
8632
+ "loss": 0.8382,
8633
+ "step": 1224
8634
+ },
8635
+ {
8636
+ "epoch": 0.13398228152685115,
8637
+ "grad_norm": 1.3012244701385498,
8638
+ "learning_rate": 0.0001990627476005537,
8639
+ "loss": 0.7952,
8640
+ "step": 1225
8641
+ },
8642
+ {
8643
+ "epoch": 0.13409165481789348,
8644
+ "grad_norm": 1.321818470954895,
8645
+ "learning_rate": 0.000199061180781032,
8646
+ "loss": 1.0363,
8647
+ "step": 1226
8648
+ },
8649
+ {
8650
+ "epoch": 0.1342010281089358,
8651
+ "grad_norm": 1.1936602592468262,
8652
+ "learning_rate": 0.000199059612659142,
8653
+ "loss": 0.771,
8654
+ "step": 1227
8655
+ },
8656
+ {
8657
+ "epoch": 0.13431040139997813,
8658
+ "grad_norm": 1.7952005863189697,
8659
+ "learning_rate": 0.00019905804323490432,
8660
+ "loss": 0.8584,
8661
+ "step": 1228
8662
+ },
8663
+ {
8664
+ "epoch": 0.13441977469102045,
8665
+ "grad_norm": 1.147356629371643,
8666
+ "learning_rate": 0.00019905647250833956,
8667
+ "loss": 0.9632,
8668
+ "step": 1229
8669
+ },
8670
+ {
8671
+ "epoch": 0.13452914798206278,
8672
+ "grad_norm": 0.9150287508964539,
8673
+ "learning_rate": 0.0001990549004794684,
8674
+ "loss": 1.0553,
8675
+ "step": 1230
8676
+ },
8677
+ {
8678
+ "epoch": 0.1346385212731051,
8679
+ "grad_norm": 1.4733471870422363,
8680
+ "learning_rate": 0.00019905332714831149,
8681
+ "loss": 0.8838,
8682
+ "step": 1231
8683
+ },
8684
+ {
8685
+ "epoch": 0.13474789456414743,
8686
+ "grad_norm": 0.9057783484458923,
8687
+ "learning_rate": 0.00019905175251488954,
8688
+ "loss": 0.6519,
8689
+ "step": 1232
8690
+ },
8691
+ {
8692
+ "epoch": 0.13485726785518976,
8693
+ "grad_norm": 1.003832459449768,
8694
+ "learning_rate": 0.00019905017657922324,
8695
+ "loss": 0.8934,
8696
+ "step": 1233
8697
+ },
8698
+ {
8699
+ "epoch": 0.13496664114623208,
8700
+ "grad_norm": 1.4523720741271973,
8701
+ "learning_rate": 0.00019904859934133327,
8702
+ "loss": 0.7496,
8703
+ "step": 1234
8704
+ },
8705
+ {
8706
+ "epoch": 0.1350760144372744,
8707
+ "grad_norm": 1.5943773984909058,
8708
+ "learning_rate": 0.0001990470208012404,
8709
+ "loss": 0.81,
8710
+ "step": 1235
8711
+ },
8712
+ {
8713
+ "epoch": 0.13518538772831676,
8714
+ "grad_norm": 1.4647760391235352,
8715
+ "learning_rate": 0.0001990454409589654,
8716
+ "loss": 0.685,
8717
+ "step": 1236
8718
+ },
8719
+ {
8720
+ "epoch": 0.13529476101935908,
8721
+ "grad_norm": 1.0640710592269897,
8722
+ "learning_rate": 0.00019904385981452905,
8723
+ "loss": 1.0492,
8724
+ "step": 1237
8725
+ },
8726
+ {
8727
+ "epoch": 0.1354041343104014,
8728
+ "grad_norm": 1.2380677461624146,
8729
+ "learning_rate": 0.00019904227736795206,
8730
+ "loss": 0.6507,
8731
+ "step": 1238
8732
+ },
8733
+ {
8734
+ "epoch": 0.13551350760144373,
8735
+ "grad_norm": 1.4155107736587524,
8736
+ "learning_rate": 0.0001990406936192553,
8737
+ "loss": 0.8304,
8738
+ "step": 1239
8739
+ },
8740
+ {
8741
+ "epoch": 0.13562288089248606,
8742
+ "grad_norm": 1.4900351762771606,
8743
+ "learning_rate": 0.00019903910856845956,
8744
+ "loss": 0.8339,
8745
+ "step": 1240
8746
+ },
8747
+ {
8748
+ "epoch": 0.13573225418352838,
8749
+ "grad_norm": 1.5656943321228027,
8750
+ "learning_rate": 0.00019903752221558574,
8751
+ "loss": 0.8266,
8752
+ "step": 1241
8753
+ },
8754
+ {
8755
+ "epoch": 0.1358416274745707,
8756
+ "grad_norm": 1.0937628746032715,
8757
+ "learning_rate": 0.0001990359345606546,
8758
+ "loss": 1.0124,
8759
+ "step": 1242
8760
+ },
8761
+ {
8762
+ "epoch": 0.13595100076561303,
8763
+ "grad_norm": 1.2953020334243774,
8764
+ "learning_rate": 0.0001990343456036871,
8765
+ "loss": 0.8379,
8766
+ "step": 1243
8767
+ },
8768
+ {
8769
+ "epoch": 0.13606037405665536,
8770
+ "grad_norm": 1.5445834398269653,
8771
+ "learning_rate": 0.0001990327553447041,
8772
+ "loss": 0.8043,
8773
+ "step": 1244
8774
+ },
8775
+ {
8776
+ "epoch": 0.13616974734769768,
8777
+ "grad_norm": 1.6298121213912964,
8778
+ "learning_rate": 0.00019903116378372645,
8779
+ "loss": 0.8297,
8780
+ "step": 1245
8781
+ },
8782
+ {
8783
+ "epoch": 0.13627912063874,
8784
+ "grad_norm": 1.5033830404281616,
8785
+ "learning_rate": 0.00019902957092077518,
8786
+ "loss": 0.6852,
8787
+ "step": 1246
8788
+ },
8789
+ {
8790
+ "epoch": 0.13638849392978233,
8791
+ "grad_norm": 1.1886252164840698,
8792
+ "learning_rate": 0.00019902797675587115,
8793
+ "loss": 0.803,
8794
+ "step": 1247
8795
+ },
8796
+ {
8797
+ "epoch": 0.1364978672208247,
8798
+ "grad_norm": 1.216243863105774,
8799
+ "learning_rate": 0.00019902638128903535,
8800
+ "loss": 0.9977,
8801
+ "step": 1248
8802
+ },
8803
+ {
8804
+ "epoch": 0.136607240511867,
8805
+ "grad_norm": 1.4907606840133667,
8806
+ "learning_rate": 0.00019902478452028875,
8807
+ "loss": 0.8494,
8808
+ "step": 1249
8809
+ },
8810
+ {
8811
+ "epoch": 0.13671661380290934,
8812
+ "grad_norm": 1.387757658958435,
8813
+ "learning_rate": 0.00019902318644965234,
8814
+ "loss": 1.0733,
8815
+ "step": 1250
8816
+ },
8817
+ {
8818
+ "epoch": 0.13682598709395166,
8819
+ "grad_norm": 1.418609619140625,
8820
+ "learning_rate": 0.00019902158707714714,
8821
+ "loss": 0.8953,
8822
+ "step": 1251
8823
+ },
8824
+ {
8825
+ "epoch": 0.136935360384994,
8826
+ "grad_norm": 1.2187076807022095,
8827
+ "learning_rate": 0.00019901998640279418,
8828
+ "loss": 0.7233,
8829
+ "step": 1252
8830
+ },
8831
+ {
8832
+ "epoch": 0.1370447336760363,
8833
+ "grad_norm": 1.5095491409301758,
8834
+ "learning_rate": 0.0001990183844266145,
8835
+ "loss": 0.9251,
8836
+ "step": 1253
8837
+ },
8838
+ {
8839
+ "epoch": 0.13715410696707864,
8840
+ "grad_norm": 1.2181601524353027,
8841
+ "learning_rate": 0.00019901678114862917,
8842
+ "loss": 0.7486,
8843
+ "step": 1254
8844
+ },
8845
+ {
8846
+ "epoch": 0.13726348025812096,
8847
+ "grad_norm": 1.432478666305542,
8848
+ "learning_rate": 0.00019901517656885923,
8849
+ "loss": 1.0862,
8850
+ "step": 1255
8851
+ },
8852
+ {
8853
+ "epoch": 0.1373728535491633,
8854
+ "grad_norm": 1.0717029571533203,
8855
+ "learning_rate": 0.00019901357068732577,
8856
+ "loss": 0.6119,
8857
+ "step": 1256
8858
+ },
8859
+ {
8860
+ "epoch": 0.1374822268402056,
8861
+ "grad_norm": 1.1415666341781616,
8862
+ "learning_rate": 0.00019901196350404998,
8863
+ "loss": 0.7756,
8864
+ "step": 1257
8865
+ },
8866
+ {
8867
+ "epoch": 0.13759160013124794,
8868
+ "grad_norm": 1.0101507902145386,
8869
+ "learning_rate": 0.00019901035501905293,
8870
+ "loss": 0.9983,
8871
+ "step": 1258
8872
+ },
8873
+ {
8874
+ "epoch": 0.1377009734222903,
8875
+ "grad_norm": 1.7728488445281982,
8876
+ "learning_rate": 0.00019900874523235578,
8877
+ "loss": 0.9716,
8878
+ "step": 1259
8879
+ },
8880
+ {
8881
+ "epoch": 0.13781034671333262,
8882
+ "grad_norm": 1.482842206954956,
8883
+ "learning_rate": 0.00019900713414397968,
8884
+ "loss": 0.9112,
8885
+ "step": 1260
8886
+ },
8887
+ {
8888
+ "epoch": 0.13791972000437494,
8889
+ "grad_norm": 1.1647096872329712,
8890
+ "learning_rate": 0.00019900552175394586,
8891
+ "loss": 0.8918,
8892
+ "step": 1261
8893
+ },
8894
+ {
8895
+ "epoch": 0.13802909329541727,
8896
+ "grad_norm": 1.4008877277374268,
8897
+ "learning_rate": 0.00019900390806227547,
8898
+ "loss": 0.6757,
8899
+ "step": 1262
8900
+ },
8901
+ {
8902
+ "epoch": 0.1381384665864596,
8903
+ "grad_norm": 1.1786069869995117,
8904
+ "learning_rate": 0.00019900229306898975,
8905
+ "loss": 0.7931,
8906
+ "step": 1263
8907
+ },
8908
+ {
8909
+ "epoch": 0.13824783987750192,
8910
+ "grad_norm": 1.0978976488113403,
8911
+ "learning_rate": 0.00019900067677410988,
8912
+ "loss": 0.8839,
8913
+ "step": 1264
8914
+ },
8915
+ {
8916
+ "epoch": 0.13835721316854424,
8917
+ "grad_norm": 1.1017560958862305,
8918
+ "learning_rate": 0.0001989990591776572,
8919
+ "loss": 0.9369,
8920
+ "step": 1265
8921
+ },
8922
+ {
8923
+ "epoch": 0.13846658645958657,
8924
+ "grad_norm": 1.1316092014312744,
8925
+ "learning_rate": 0.00019899744027965292,
8926
+ "loss": 0.8511,
8927
+ "step": 1266
8928
+ },
8929
+ {
8930
+ "epoch": 0.1385759597506289,
8931
+ "grad_norm": 1.189332127571106,
8932
+ "learning_rate": 0.00019899582008011833,
8933
+ "loss": 0.8724,
8934
+ "step": 1267
8935
+ },
8936
+ {
8937
+ "epoch": 0.13868533304167122,
8938
+ "grad_norm": 1.3983025550842285,
8939
+ "learning_rate": 0.00019899419857907473,
8940
+ "loss": 0.6759,
8941
+ "step": 1268
8942
+ },
8943
+ {
8944
+ "epoch": 0.13879470633271354,
8945
+ "grad_norm": 0.9870102405548096,
8946
+ "learning_rate": 0.0001989925757765434,
8947
+ "loss": 0.7991,
8948
+ "step": 1269
8949
+ },
8950
+ {
8951
+ "epoch": 0.13890407962375587,
8952
+ "grad_norm": 1.3650133609771729,
8953
+ "learning_rate": 0.00019899095167254577,
8954
+ "loss": 1.065,
8955
+ "step": 1270
8956
+ },
8957
+ {
8958
+ "epoch": 0.13901345291479822,
8959
+ "grad_norm": 1.0879632234573364,
8960
+ "learning_rate": 0.00019898932626710313,
8961
+ "loss": 0.8213,
8962
+ "step": 1271
8963
+ },
8964
+ {
8965
+ "epoch": 0.13912282620584054,
8966
+ "grad_norm": 1.3493596315383911,
8967
+ "learning_rate": 0.00019898769956023683,
8968
+ "loss": 1.0474,
8969
+ "step": 1272
8970
+ },
8971
+ {
8972
+ "epoch": 0.13923219949688287,
8973
+ "grad_norm": 1.4854204654693604,
8974
+ "learning_rate": 0.00019898607155196833,
8975
+ "loss": 0.543,
8976
+ "step": 1273
8977
+ },
8978
+ {
8979
+ "epoch": 0.1393415727879252,
8980
+ "grad_norm": 1.355569839477539,
8981
+ "learning_rate": 0.00019898444224231897,
8982
+ "loss": 0.9195,
8983
+ "step": 1274
8984
+ },
8985
+ {
8986
+ "epoch": 0.13945094607896752,
8987
+ "grad_norm": 0.9457685947418213,
8988
+ "learning_rate": 0.00019898281163131017,
8989
+ "loss": 1.0232,
8990
+ "step": 1275
8991
+ },
8992
+ {
8993
+ "epoch": 0.13956031937000984,
8994
+ "grad_norm": 1.2054322957992554,
8995
+ "learning_rate": 0.00019898117971896338,
8996
+ "loss": 0.9148,
8997
+ "step": 1276
8998
+ },
8999
+ {
9000
+ "epoch": 0.13966969266105217,
9001
+ "grad_norm": 1.2978698015213013,
9002
+ "learning_rate": 0.00019897954650530011,
9003
+ "loss": 0.9338,
9004
+ "step": 1277
9005
+ },
9006
+ {
9007
+ "epoch": 0.1397790659520945,
9008
+ "grad_norm": 1.433168888092041,
9009
+ "learning_rate": 0.00019897791199034175,
9010
+ "loss": 0.8646,
9011
+ "step": 1278
9012
+ },
9013
+ {
9014
+ "epoch": 0.13988843924313682,
9015
+ "grad_norm": 1.4227919578552246,
9016
+ "learning_rate": 0.00019897627617410983,
9017
+ "loss": 0.7242,
9018
+ "step": 1279
9019
+ },
9020
+ {
9021
+ "epoch": 0.13999781253417914,
9022
+ "grad_norm": 1.235701322555542,
9023
+ "learning_rate": 0.00019897463905662585,
9024
+ "loss": 0.8947,
9025
+ "step": 1280
9026
+ },
9027
+ {
9028
+ "epoch": 0.14010718582522147,
9029
+ "grad_norm": 1.1992274522781372,
9030
+ "learning_rate": 0.00019897300063791132,
9031
+ "loss": 0.8932,
9032
+ "step": 1281
9033
+ },
9034
+ {
9035
+ "epoch": 0.1402165591162638,
9036
+ "grad_norm": 1.3948328495025635,
9037
+ "learning_rate": 0.00019897136091798781,
9038
+ "loss": 0.8331,
9039
+ "step": 1282
9040
+ },
9041
+ {
9042
+ "epoch": 0.14032593240730615,
9043
+ "grad_norm": 1.330905795097351,
9044
+ "learning_rate": 0.00019896971989687688,
9045
+ "loss": 0.8722,
9046
+ "step": 1283
9047
+ },
9048
+ {
9049
+ "epoch": 0.14043530569834847,
9050
+ "grad_norm": 1.051833987236023,
9051
+ "learning_rate": 0.00019896807757460003,
9052
+ "loss": 0.747,
9053
+ "step": 1284
9054
+ },
9055
+ {
9056
+ "epoch": 0.1405446789893908,
9057
+ "grad_norm": 1.7666586637496948,
9058
+ "learning_rate": 0.00019896643395117894,
9059
+ "loss": 0.7577,
9060
+ "step": 1285
9061
+ },
9062
+ {
9063
+ "epoch": 0.14065405228043312,
9064
+ "grad_norm": 1.2675107717514038,
9065
+ "learning_rate": 0.0001989647890266352,
9066
+ "loss": 0.7789,
9067
+ "step": 1286
9068
+ },
9069
+ {
9070
+ "epoch": 0.14076342557147545,
9071
+ "grad_norm": 1.593224287033081,
9072
+ "learning_rate": 0.00019896314280099038,
9073
+ "loss": 0.8443,
9074
+ "step": 1287
9075
+ },
9076
+ {
9077
+ "epoch": 0.14087279886251777,
9078
+ "grad_norm": 1.2290527820587158,
9079
+ "learning_rate": 0.0001989614952742662,
9080
+ "loss": 1.0003,
9081
+ "step": 1288
9082
+ },
9083
+ {
9084
+ "epoch": 0.1409821721535601,
9085
+ "grad_norm": 1.5133509635925293,
9086
+ "learning_rate": 0.00019895984644648426,
9087
+ "loss": 0.9221,
9088
+ "step": 1289
9089
+ },
9090
+ {
9091
+ "epoch": 0.14109154544460242,
9092
+ "grad_norm": 1.005330204963684,
9093
+ "learning_rate": 0.00019895819631766628,
9094
+ "loss": 0.8675,
9095
+ "step": 1290
9096
+ },
9097
+ {
9098
+ "epoch": 0.14120091873564475,
9099
+ "grad_norm": 1.7682890892028809,
9100
+ "learning_rate": 0.00019895654488783396,
9101
+ "loss": 0.815,
9102
+ "step": 1291
9103
+ },
9104
+ {
9105
+ "epoch": 0.14131029202668707,
9106
+ "grad_norm": 1.1472705602645874,
9107
+ "learning_rate": 0.00019895489215700896,
9108
+ "loss": 0.6013,
9109
+ "step": 1292
9110
+ },
9111
+ {
9112
+ "epoch": 0.1414196653177294,
9113
+ "grad_norm": 2.014301300048828,
9114
+ "learning_rate": 0.00019895323812521302,
9115
+ "loss": 0.6484,
9116
+ "step": 1293
9117
+ },
9118
+ {
9119
+ "epoch": 0.14152903860877175,
9120
+ "grad_norm": 1.667834758758545,
9121
+ "learning_rate": 0.00019895158279246796,
9122
+ "loss": 0.5929,
9123
+ "step": 1294
9124
+ },
9125
+ {
9126
+ "epoch": 0.14163841189981408,
9127
+ "grad_norm": 1.2010897397994995,
9128
+ "learning_rate": 0.00019894992615879543,
9129
+ "loss": 1.1385,
9130
+ "step": 1295
9131
+ },
9132
+ {
9133
+ "epoch": 0.1417477851908564,
9134
+ "grad_norm": 1.8050376176834106,
9135
+ "learning_rate": 0.00019894826822421728,
9136
+ "loss": 0.7875,
9137
+ "step": 1296
9138
+ },
9139
+ {
9140
+ "epoch": 0.14185715848189873,
9141
+ "grad_norm": 1.1445764303207397,
9142
+ "learning_rate": 0.0001989466089887553,
9143
+ "loss": 0.8346,
9144
+ "step": 1297
9145
+ },
9146
+ {
9147
+ "epoch": 0.14196653177294105,
9148
+ "grad_norm": 1.3288732767105103,
9149
+ "learning_rate": 0.00019894494845243128,
9150
+ "loss": 0.8347,
9151
+ "step": 1298
9152
+ },
9153
+ {
9154
+ "epoch": 0.14207590506398338,
9155
+ "grad_norm": 2.197702646255493,
9156
+ "learning_rate": 0.0001989432866152671,
9157
+ "loss": 0.8339,
9158
+ "step": 1299
9159
+ },
9160
+ {
9161
+ "epoch": 0.1421852783550257,
9162
+ "grad_norm": 1.3687258958816528,
9163
+ "learning_rate": 0.00019894162347728456,
9164
+ "loss": 0.8043,
9165
+ "step": 1300
9166
+ },
9167
+ {
9168
+ "epoch": 0.14229465164606803,
9169
+ "grad_norm": 1.918575406074524,
9170
+ "learning_rate": 0.00019893995903850554,
9171
+ "loss": 1.0886,
9172
+ "step": 1301
9173
+ },
9174
+ {
9175
+ "epoch": 0.14240402493711035,
9176
+ "grad_norm": 1.3542847633361816,
9177
+ "learning_rate": 0.0001989382932989519,
9178
+ "loss": 1.2997,
9179
+ "step": 1302
9180
+ },
9181
+ {
9182
+ "epoch": 0.14251339822815268,
9183
+ "grad_norm": 1.8041226863861084,
9184
+ "learning_rate": 0.00019893662625864562,
9185
+ "loss": 0.995,
9186
+ "step": 1303
9187
+ },
9188
+ {
9189
+ "epoch": 0.142622771519195,
9190
+ "grad_norm": 1.1469374895095825,
9191
+ "learning_rate": 0.00019893495791760852,
9192
+ "loss": 0.8043,
9193
+ "step": 1304
9194
+ },
9195
+ {
9196
+ "epoch": 0.14273214481023733,
9197
+ "grad_norm": 1.0283957719802856,
9198
+ "learning_rate": 0.0001989332882758626,
9199
+ "loss": 0.9582,
9200
+ "step": 1305
9201
+ },
9202
+ {
9203
+ "epoch": 0.14284151810127968,
9204
+ "grad_norm": 1.3918421268463135,
9205
+ "learning_rate": 0.00019893161733342975,
9206
+ "loss": 0.9409,
9207
+ "step": 1306
9208
+ },
9209
+ {
9210
+ "epoch": 0.142950891392322,
9211
+ "grad_norm": 1.1873068809509277,
9212
+ "learning_rate": 0.000198929945090332,
9213
+ "loss": 0.8272,
9214
+ "step": 1307
9215
+ },
9216
+ {
9217
+ "epoch": 0.14306026468336433,
9218
+ "grad_norm": 1.0391401052474976,
9219
+ "learning_rate": 0.0001989282715465913,
9220
+ "loss": 0.743,
9221
+ "step": 1308
9222
+ },
9223
+ {
9224
+ "epoch": 0.14316963797440665,
9225
+ "grad_norm": 0.9347202777862549,
9226
+ "learning_rate": 0.00019892659670222966,
9227
+ "loss": 0.9824,
9228
+ "step": 1309
9229
+ },
9230
+ {
9231
+ "epoch": 0.14327901126544898,
9232
+ "grad_norm": 1.2760140895843506,
9233
+ "learning_rate": 0.00019892492055726912,
9234
+ "loss": 0.7222,
9235
+ "step": 1310
9236
+ },
9237
+ {
9238
+ "epoch": 0.1433883845564913,
9239
+ "grad_norm": 1.3573187589645386,
9240
+ "learning_rate": 0.0001989232431117317,
9241
+ "loss": 0.9713,
9242
+ "step": 1311
9243
+ },
9244
+ {
9245
+ "epoch": 0.14349775784753363,
9246
+ "grad_norm": 1.5151350498199463,
9247
+ "learning_rate": 0.00019892156436563941,
9248
+ "loss": 0.8673,
9249
+ "step": 1312
9250
+ },
9251
+ {
9252
+ "epoch": 0.14360713113857596,
9253
+ "grad_norm": 1.1117901802062988,
9254
+ "learning_rate": 0.0001989198843190144,
9255
+ "loss": 0.9669,
9256
+ "step": 1313
9257
+ },
9258
+ {
9259
+ "epoch": 0.14371650442961828,
9260
+ "grad_norm": 1.1102594137191772,
9261
+ "learning_rate": 0.00019891820297187872,
9262
+ "loss": 0.8136,
9263
+ "step": 1314
9264
+ },
9265
+ {
9266
+ "epoch": 0.1438258777206606,
9267
+ "grad_norm": 1.0395758152008057,
9268
+ "learning_rate": 0.00019891652032425446,
9269
+ "loss": 0.7556,
9270
+ "step": 1315
9271
+ },
9272
+ {
9273
+ "epoch": 0.14393525101170293,
9274
+ "grad_norm": 1.0732916593551636,
9275
+ "learning_rate": 0.00019891483637616376,
9276
+ "loss": 0.9965,
9277
+ "step": 1316
9278
+ },
9279
+ {
9280
+ "epoch": 0.14404462430274528,
9281
+ "grad_norm": 1.6103031635284424,
9282
+ "learning_rate": 0.00019891315112762872,
9283
+ "loss": 0.8578,
9284
+ "step": 1317
9285
+ },
9286
+ {
9287
+ "epoch": 0.1441539975937876,
9288
+ "grad_norm": 1.5338727235794067,
9289
+ "learning_rate": 0.00019891146457867156,
9290
+ "loss": 0.8031,
9291
+ "step": 1318
9292
+ },
9293
+ {
9294
+ "epoch": 0.14426337088482993,
9295
+ "grad_norm": 1.0858309268951416,
9296
+ "learning_rate": 0.00019890977672931443,
9297
+ "loss": 0.8685,
9298
+ "step": 1319
9299
+ },
9300
+ {
9301
+ "epoch": 0.14437274417587226,
9302
+ "grad_norm": 1.1474350690841675,
9303
+ "learning_rate": 0.0001989080875795795,
9304
+ "loss": 0.922,
9305
+ "step": 1320
9306
+ },
9307
+ {
9308
+ "epoch": 0.14448211746691458,
9309
+ "grad_norm": 1.2947766780853271,
9310
+ "learning_rate": 0.000198906397129489,
9311
+ "loss": 0.8175,
9312
+ "step": 1321
9313
+ },
9314
+ {
9315
+ "epoch": 0.1445914907579569,
9316
+ "grad_norm": 1.7123373746871948,
9317
+ "learning_rate": 0.00019890470537906518,
9318
+ "loss": 0.9249,
9319
+ "step": 1322
9320
+ },
9321
+ {
9322
+ "epoch": 0.14470086404899923,
9323
+ "grad_norm": 1.4728519916534424,
9324
+ "learning_rate": 0.0001989030123283302,
9325
+ "loss": 0.701,
9326
+ "step": 1323
9327
+ },
9328
+ {
9329
+ "epoch": 0.14481023734004156,
9330
+ "grad_norm": 1.6449192762374878,
9331
+ "learning_rate": 0.0001989013179773064,
9332
+ "loss": 0.7727,
9333
+ "step": 1324
9334
+ },
9335
+ {
9336
+ "epoch": 0.14491961063108388,
9337
+ "grad_norm": 1.6379886865615845,
9338
+ "learning_rate": 0.000198899622326016,
9339
+ "loss": 0.9266,
9340
+ "step": 1325
9341
+ },
9342
+ {
9343
+ "epoch": 0.1450289839221262,
9344
+ "grad_norm": 1.3292016983032227,
9345
+ "learning_rate": 0.00019889792537448132,
9346
+ "loss": 0.9376,
9347
+ "step": 1326
9348
+ },
9349
+ {
9350
+ "epoch": 0.14513835721316853,
9351
+ "grad_norm": 1.370091199874878,
9352
+ "learning_rate": 0.00019889622712272468,
9353
+ "loss": 0.7698,
9354
+ "step": 1327
9355
+ },
9356
+ {
9357
+ "epoch": 0.14524773050421086,
9358
+ "grad_norm": 1.2836308479309082,
9359
+ "learning_rate": 0.00019889452757076837,
9360
+ "loss": 1.0549,
9361
+ "step": 1328
9362
+ },
9363
+ {
9364
+ "epoch": 0.1453571037952532,
9365
+ "grad_norm": 1.3008925914764404,
9366
+ "learning_rate": 0.00019889282671863479,
9367
+ "loss": 1.1469,
9368
+ "step": 1329
9369
+ },
9370
+ {
9371
+ "epoch": 0.14546647708629554,
9372
+ "grad_norm": 1.0805034637451172,
9373
+ "learning_rate": 0.00019889112456634626,
9374
+ "loss": 0.9019,
9375
+ "step": 1330
9376
+ },
9377
+ {
9378
+ "epoch": 0.14557585037733786,
9379
+ "grad_norm": 1.3450411558151245,
9380
+ "learning_rate": 0.00019888942111392512,
9381
+ "loss": 0.8756,
9382
+ "step": 1331
9383
+ },
9384
+ {
9385
+ "epoch": 0.1456852236683802,
9386
+ "grad_norm": 1.472870945930481,
9387
+ "learning_rate": 0.00019888771636139384,
9388
+ "loss": 1.1762,
9389
+ "step": 1332
9390
+ },
9391
+ {
9392
+ "epoch": 0.1457945969594225,
9393
+ "grad_norm": 1.6283928155899048,
9394
+ "learning_rate": 0.00019888601030877484,
9395
+ "loss": 0.7255,
9396
+ "step": 1333
9397
+ },
9398
+ {
9399
+ "epoch": 0.14590397025046484,
9400
+ "grad_norm": 1.1767903566360474,
9401
+ "learning_rate": 0.00019888430295609047,
9402
+ "loss": 0.8443,
9403
+ "step": 1334
9404
+ },
9405
+ {
9406
+ "epoch": 0.14601334354150716,
9407
+ "grad_norm": 1.3466321229934692,
9408
+ "learning_rate": 0.00019888259430336325,
9409
+ "loss": 1.0804,
9410
+ "step": 1335
9411
+ },
9412
+ {
9413
+ "epoch": 0.1461227168325495,
9414
+ "grad_norm": 0.9327676892280579,
9415
+ "learning_rate": 0.00019888088435061557,
9416
+ "loss": 1.0759,
9417
+ "step": 1336
9418
+ },
9419
+ {
9420
+ "epoch": 0.1462320901235918,
9421
+ "grad_norm": 1.3020119667053223,
9422
+ "learning_rate": 0.00019887917309787003,
9423
+ "loss": 0.9431,
9424
+ "step": 1337
9425
+ },
9426
+ {
9427
+ "epoch": 0.14634146341463414,
9428
+ "grad_norm": 1.3907805681228638,
9429
+ "learning_rate": 0.000198877460545149,
9430
+ "loss": 0.7569,
9431
+ "step": 1338
9432
+ },
9433
+ {
9434
+ "epoch": 0.14645083670567646,
9435
+ "grad_norm": 1.8734911680221558,
9436
+ "learning_rate": 0.00019887574669247507,
9437
+ "loss": 0.9455,
9438
+ "step": 1339
9439
+ },
9440
+ {
9441
+ "epoch": 0.1465602099967188,
9442
+ "grad_norm": 1.3019437789916992,
9443
+ "learning_rate": 0.0001988740315398707,
9444
+ "loss": 0.847,
9445
+ "step": 1340
9446
+ },
9447
+ {
9448
+ "epoch": 0.14666958328776114,
9449
+ "grad_norm": 1.0235811471939087,
9450
+ "learning_rate": 0.00019887231508735855,
9451
+ "loss": 0.7818,
9452
+ "step": 1341
9453
+ },
9454
+ {
9455
+ "epoch": 0.14677895657880347,
9456
+ "grad_norm": 1.4977604150772095,
9457
+ "learning_rate": 0.00019887059733496112,
9458
+ "loss": 0.8976,
9459
+ "step": 1342
9460
+ },
9461
+ {
9462
+ "epoch": 0.1468883298698458,
9463
+ "grad_norm": 1.5260249376296997,
9464
+ "learning_rate": 0.000198868878282701,
9465
+ "loss": 0.7457,
9466
+ "step": 1343
9467
+ },
9468
+ {
9469
+ "epoch": 0.14699770316088812,
9470
+ "grad_norm": 1.0140836238861084,
9471
+ "learning_rate": 0.00019886715793060079,
9472
+ "loss": 1.1424,
9473
+ "step": 1344
9474
+ },
9475
+ {
9476
+ "epoch": 0.14710707645193044,
9477
+ "grad_norm": 1.3300782442092896,
9478
+ "learning_rate": 0.00019886543627868308,
9479
+ "loss": 0.9799,
9480
+ "step": 1345
9481
+ },
9482
+ {
9483
+ "epoch": 0.14721644974297277,
9484
+ "grad_norm": 1.432807207107544,
9485
+ "learning_rate": 0.00019886371332697057,
9486
+ "loss": 0.6344,
9487
+ "step": 1346
9488
+ },
9489
+ {
9490
+ "epoch": 0.1473258230340151,
9491
+ "grad_norm": 1.6012585163116455,
9492
+ "learning_rate": 0.00019886198907548587,
9493
+ "loss": 0.862,
9494
+ "step": 1347
9495
+ },
9496
+ {
9497
+ "epoch": 0.14743519632505742,
9498
+ "grad_norm": 1.0878487825393677,
9499
+ "learning_rate": 0.00019886026352425163,
9500
+ "loss": 0.878,
9501
+ "step": 1348
9502
+ },
9503
+ {
9504
+ "epoch": 0.14754456961609974,
9505
+ "grad_norm": 1.2399684190750122,
9506
+ "learning_rate": 0.0001988585366732906,
9507
+ "loss": 1.0422,
9508
+ "step": 1349
9509
+ },
9510
+ {
9511
+ "epoch": 0.14765394290714207,
9512
+ "grad_norm": 1.8239383697509766,
9513
+ "learning_rate": 0.0001988568085226254,
9514
+ "loss": 0.8317,
9515
+ "step": 1350
9516
+ },
9517
+ {
9518
+ "epoch": 0.1477633161981844,
9519
+ "grad_norm": 1.4150322675704956,
9520
+ "learning_rate": 0.00019885507907227881,
9521
+ "loss": 0.7806,
9522
+ "step": 1351
9523
+ },
9524
+ {
9525
+ "epoch": 0.14787268948922674,
9526
+ "grad_norm": 1.182781457901001,
9527
+ "learning_rate": 0.00019885334832227356,
9528
+ "loss": 1.1287,
9529
+ "step": 1352
9530
+ },
9531
+ {
9532
+ "epoch": 0.14798206278026907,
9533
+ "grad_norm": 1.1663532257080078,
9534
+ "learning_rate": 0.00019885161627263237,
9535
+ "loss": 1.1032,
9536
+ "step": 1353
9537
+ },
9538
+ {
9539
+ "epoch": 0.1480914360713114,
9540
+ "grad_norm": 1.7171438932418823,
9541
+ "learning_rate": 0.00019884988292337807,
9542
+ "loss": 0.9727,
9543
+ "step": 1354
9544
+ },
9545
+ {
9546
+ "epoch": 0.14820080936235372,
9547
+ "grad_norm": 1.317341923713684,
9548
+ "learning_rate": 0.00019884814827453342,
9549
+ "loss": 0.688,
9550
+ "step": 1355
9551
+ },
9552
+ {
9553
+ "epoch": 0.14831018265339604,
9554
+ "grad_norm": 1.0706037282943726,
9555
+ "learning_rate": 0.0001988464123261212,
9556
+ "loss": 1.058,
9557
+ "step": 1356
9558
+ },
9559
+ {
9560
+ "epoch": 0.14841955594443837,
9561
+ "grad_norm": 1.1368889808654785,
9562
+ "learning_rate": 0.00019884467507816424,
9563
+ "loss": 0.6506,
9564
+ "step": 1357
9565
+ },
9566
+ {
9567
+ "epoch": 0.1485289292354807,
9568
+ "grad_norm": 1.3398265838623047,
9569
+ "learning_rate": 0.00019884293653068543,
9570
+ "loss": 0.775,
9571
+ "step": 1358
9572
+ },
9573
+ {
9574
+ "epoch": 0.14863830252652302,
9575
+ "grad_norm": 1.1798793077468872,
9576
+ "learning_rate": 0.00019884119668370754,
9577
+ "loss": 0.8756,
9578
+ "step": 1359
9579
+ },
9580
+ {
9581
+ "epoch": 0.14874767581756534,
9582
+ "grad_norm": 0.9610666036605835,
9583
+ "learning_rate": 0.00019883945553725353,
9584
+ "loss": 0.8017,
9585
+ "step": 1360
9586
+ },
9587
+ {
9588
+ "epoch": 0.14885704910860767,
9589
+ "grad_norm": 1.7703958749771118,
9590
+ "learning_rate": 0.00019883771309134627,
9591
+ "loss": 0.6973,
9592
+ "step": 1361
9593
+ },
9594
+ {
9595
+ "epoch": 0.14896642239965,
9596
+ "grad_norm": 1.5369101762771606,
9597
+ "learning_rate": 0.00019883596934600862,
9598
+ "loss": 0.7437,
9599
+ "step": 1362
9600
+ },
9601
+ {
9602
+ "epoch": 0.14907579569069232,
9603
+ "grad_norm": 1.0070579051971436,
9604
+ "learning_rate": 0.00019883422430126354,
9605
+ "loss": 0.7783,
9606
+ "step": 1363
9607
+ },
9608
+ {
9609
+ "epoch": 0.14918516898173467,
9610
+ "grad_norm": 2.0147452354431152,
9611
+ "learning_rate": 0.000198832477957134,
9612
+ "loss": 0.6302,
9613
+ "step": 1364
9614
+ },
9615
+ {
9616
+ "epoch": 0.149294542272777,
9617
+ "grad_norm": 1.3789225816726685,
9618
+ "learning_rate": 0.00019883073031364289,
9619
+ "loss": 0.7851,
9620
+ "step": 1365
9621
+ },
9622
+ {
9623
+ "epoch": 0.14940391556381932,
9624
+ "grad_norm": 1.3498444557189941,
9625
+ "learning_rate": 0.00019882898137081324,
9626
+ "loss": 1.0645,
9627
+ "step": 1366
9628
+ },
9629
+ {
9630
+ "epoch": 0.14951328885486165,
9631
+ "grad_norm": 1.3234645128250122,
9632
+ "learning_rate": 0.00019882723112866807,
9633
+ "loss": 0.6351,
9634
+ "step": 1367
9635
+ },
9636
+ {
9637
+ "epoch": 0.14962266214590397,
9638
+ "grad_norm": 1.5828369855880737,
9639
+ "learning_rate": 0.0001988254795872303,
9640
+ "loss": 1.0627,
9641
+ "step": 1368
9642
+ },
9643
+ {
9644
+ "epoch": 0.1497320354369463,
9645
+ "grad_norm": 1.729599952697754,
9646
+ "learning_rate": 0.00019882372674652303,
9647
+ "loss": 0.9174,
9648
+ "step": 1369
9649
+ },
9650
+ {
9651
+ "epoch": 0.14984140872798862,
9652
+ "grad_norm": 1.4323097467422485,
9653
+ "learning_rate": 0.0001988219726065693,
9654
+ "loss": 0.8694,
9655
+ "step": 1370
9656
+ },
9657
+ {
9658
+ "epoch": 0.14995078201903095,
9659
+ "grad_norm": 1.3311268091201782,
9660
+ "learning_rate": 0.0001988202171673921,
9661
+ "loss": 0.8819,
9662
+ "step": 1371
9663
+ },
9664
+ {
9665
+ "epoch": 0.15006015531007327,
9666
+ "grad_norm": 1.691634178161621,
9667
+ "learning_rate": 0.00019881846042901462,
9668
+ "loss": 0.9333,
9669
+ "step": 1372
9670
+ },
9671
+ {
9672
+ "epoch": 0.1501695286011156,
9673
+ "grad_norm": 1.2400075197219849,
9674
+ "learning_rate": 0.0001988167023914599,
9675
+ "loss": 0.8887,
9676
+ "step": 1373
9677
+ },
9678
+ {
9679
+ "epoch": 0.15027890189215792,
9680
+ "grad_norm": 1.1478346586227417,
9681
+ "learning_rate": 0.000198814943054751,
9682
+ "loss": 0.9972,
9683
+ "step": 1374
9684
+ },
9685
+ {
9686
+ "epoch": 0.15038827518320028,
9687
+ "grad_norm": 1.105053424835205,
9688
+ "learning_rate": 0.00019881318241891116,
9689
+ "loss": 0.8586,
9690
+ "step": 1375
9691
+ },
9692
+ {
9693
+ "epoch": 0.1504976484742426,
9694
+ "grad_norm": 1.6296879053115845,
9695
+ "learning_rate": 0.00019881142048396345,
9696
+ "loss": 1.1815,
9697
+ "step": 1376
9698
+ },
9699
+ {
9700
+ "epoch": 0.15060702176528493,
9701
+ "grad_norm": 1.3772250413894653,
9702
+ "learning_rate": 0.00019880965724993103,
9703
+ "loss": 1.1228,
9704
+ "step": 1377
9705
+ },
9706
+ {
9707
+ "epoch": 0.15071639505632725,
9708
+ "grad_norm": 1.5180319547653198,
9709
+ "learning_rate": 0.00019880789271683715,
9710
+ "loss": 0.8623,
9711
+ "step": 1378
9712
+ },
9713
+ {
9714
+ "epoch": 0.15082576834736958,
9715
+ "grad_norm": 1.5298681259155273,
9716
+ "learning_rate": 0.00019880612688470494,
9717
+ "loss": 0.5956,
9718
+ "step": 1379
9719
+ },
9720
+ {
9721
+ "epoch": 0.1509351416384119,
9722
+ "grad_norm": 1.423857569694519,
9723
+ "learning_rate": 0.00019880435975355764,
9724
+ "loss": 0.9896,
9725
+ "step": 1380
9726
+ },
9727
+ {
9728
+ "epoch": 0.15104451492945423,
9729
+ "grad_norm": 1.3312628269195557,
9730
+ "learning_rate": 0.00019880259132341852,
9731
+ "loss": 0.6942,
9732
+ "step": 1381
9733
+ },
9734
+ {
9735
+ "epoch": 0.15115388822049655,
9736
+ "grad_norm": 1.1663191318511963,
9737
+ "learning_rate": 0.00019880082159431074,
9738
+ "loss": 0.9578,
9739
+ "step": 1382
9740
+ },
9741
+ {
9742
+ "epoch": 0.15126326151153888,
9743
+ "grad_norm": 1.145989179611206,
9744
+ "learning_rate": 0.00019879905056625766,
9745
+ "loss": 0.7223,
9746
+ "step": 1383
9747
+ },
9748
+ {
9749
+ "epoch": 0.1513726348025812,
9750
+ "grad_norm": 0.8383100032806396,
9751
+ "learning_rate": 0.00019879727823928249,
9752
+ "loss": 0.963,
9753
+ "step": 1384
9754
+ },
9755
+ {
9756
+ "epoch": 0.15148200809362353,
9757
+ "grad_norm": 1.585050106048584,
9758
+ "learning_rate": 0.00019879550461340858,
9759
+ "loss": 0.5838,
9760
+ "step": 1385
9761
+ },
9762
+ {
9763
+ "epoch": 0.15159138138466585,
9764
+ "grad_norm": 1.1837832927703857,
9765
+ "learning_rate": 0.00019879372968865925,
9766
+ "loss": 1.0345,
9767
+ "step": 1386
9768
+ },
9769
+ {
9770
+ "epoch": 0.1517007546757082,
9771
+ "grad_norm": 1.171630620956421,
9772
+ "learning_rate": 0.00019879195346505778,
9773
+ "loss": 0.8856,
9774
+ "step": 1387
9775
+ },
9776
+ {
9777
+ "epoch": 0.15181012796675053,
9778
+ "grad_norm": 1.2677950859069824,
9779
+ "learning_rate": 0.0001987901759426276,
9780
+ "loss": 1.1283,
9781
+ "step": 1388
9782
+ },
9783
+ {
9784
+ "epoch": 0.15191950125779285,
9785
+ "grad_norm": 0.9968597888946533,
9786
+ "learning_rate": 0.000198788397121392,
9787
+ "loss": 0.6675,
9788
+ "step": 1389
9789
+ },
9790
+ {
9791
+ "epoch": 0.15202887454883518,
9792
+ "grad_norm": 1.2447069883346558,
9793
+ "learning_rate": 0.00019878661700137445,
9794
+ "loss": 1.079,
9795
+ "step": 1390
9796
+ },
9797
+ {
9798
+ "epoch": 0.1521382478398775,
9799
+ "grad_norm": 1.5468206405639648,
9800
+ "learning_rate": 0.0001987848355825983,
9801
+ "loss": 0.7963,
9802
+ "step": 1391
9803
+ },
9804
+ {
9805
+ "epoch": 0.15224762113091983,
9806
+ "grad_norm": 1.3707401752471924,
9807
+ "learning_rate": 0.00019878305286508697,
9808
+ "loss": 0.5818,
9809
+ "step": 1392
9810
+ },
9811
+ {
9812
+ "epoch": 0.15235699442196216,
9813
+ "grad_norm": 1.3503425121307373,
9814
+ "learning_rate": 0.00019878126884886389,
9815
+ "loss": 0.8322,
9816
+ "step": 1393
9817
+ },
9818
+ {
9819
+ "epoch": 0.15246636771300448,
9820
+ "grad_norm": 2.1415793895721436,
9821
+ "learning_rate": 0.00019877948353395257,
9822
+ "loss": 0.7691,
9823
+ "step": 1394
9824
+ },
9825
+ {
9826
+ "epoch": 0.1525757410040468,
9827
+ "grad_norm": 1.3835546970367432,
9828
+ "learning_rate": 0.00019877769692037641,
9829
+ "loss": 0.955,
9830
+ "step": 1395
9831
+ },
9832
+ {
9833
+ "epoch": 0.15268511429508913,
9834
+ "grad_norm": 1.197978138923645,
9835
+ "learning_rate": 0.00019877590900815894,
9836
+ "loss": 0.84,
9837
+ "step": 1396
9838
+ },
9839
+ {
9840
+ "epoch": 0.15279448758613146,
9841
+ "grad_norm": 1.2404671907424927,
9842
+ "learning_rate": 0.00019877411979732368,
9843
+ "loss": 0.7603,
9844
+ "step": 1397
9845
+ },
9846
+ {
9847
+ "epoch": 0.15290386087717378,
9848
+ "grad_norm": 1.1336536407470703,
9849
+ "learning_rate": 0.0001987723292878941,
9850
+ "loss": 0.8828,
9851
+ "step": 1398
9852
+ },
9853
+ {
9854
+ "epoch": 0.15301323416821613,
9855
+ "grad_norm": 1.4907398223876953,
9856
+ "learning_rate": 0.00019877053747989379,
9857
+ "loss": 0.8101,
9858
+ "step": 1399
9859
+ },
9860
+ {
9861
+ "epoch": 0.15312260745925846,
9862
+ "grad_norm": 1.4589446783065796,
9863
+ "learning_rate": 0.00019876874437334627,
9864
+ "loss": 0.5207,
9865
+ "step": 1400
9866
+ },
9867
+ {
9868
+ "epoch": 0.15312260745925846,
9869
+ "eval_loss": 0.8338207006454468,
9870
+ "eval_runtime": 40.9401,
9871
+ "eval_samples_per_second": 17.977,
9872
+ "eval_steps_per_second": 4.494,
9873
+ "step": 1400
9874
  }
9875
  ],
9876
  "logging_steps": 1,
 
9885
  "early_stopping_threshold": 0.0
9886
  },
9887
  "attributes": {
9888
+ "early_stopping_patience_counter": 5
9889
  }
9890
  },
9891
  "TrainerControl": {
 
9894
  "should_evaluate": false,
9895
  "should_log": false,
9896
  "should_save": true,
9897
+ "should_training_stop": true
9898
  },
9899
  "attributes": {}
9900
  }
9901
  },
9902
+ "total_flos": 1.1461719506917786e+17,
9903
  "train_batch_size": 4,
9904
  "trial_name": null,
9905
  "trial_params": null