{
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 1.0,
  "eval_steps": 500,
  "global_step": 960,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.0010416666666666667,
      "grad_norm": 3.89841890335083,
      "learning_rate": 2e-05,
      "loss": 1.3045,
      "step": 1
    },
    {
      "epoch": 0.0020833333333333333,
      "grad_norm": 3.155778646469116,
      "learning_rate": 4e-05,
      "loss": 1.2908,
      "step": 2
    },
    {
      "epoch": 0.003125,
      "grad_norm": 3.7164533138275146,
      "learning_rate": 6e-05,
      "loss": 1.3904,
      "step": 3
    },
    {
      "epoch": 0.004166666666666667,
      "grad_norm": 3.635389566421509,
      "learning_rate": 8e-05,
      "loss": 1.3371,
      "step": 4
    },
    {
      "epoch": 0.005208333333333333,
      "grad_norm": 4.847501277923584,
      "learning_rate": 0.0001,
      "loss": 1.2251,
      "step": 5
    },
    {
      "epoch": 0.00625,
      "grad_norm": 4.314141273498535,
      "learning_rate": 9.999972945929386e-05,
      "loss": 1.0889,
      "step": 6
    },
    {
      "epoch": 0.007291666666666667,
      "grad_norm": 3.0280661582946777,
      "learning_rate": 9.999891784010313e-05,
      "loss": 0.9793,
      "step": 7
    },
    {
      "epoch": 0.008333333333333333,
      "grad_norm": 3.5087926387786865,
      "learning_rate": 9.999756515121088e-05,
      "loss": 1.0261,
      "step": 8
    },
    {
      "epoch": 0.009375,
      "grad_norm": 2.9475789070129395,
      "learning_rate": 9.999567140725535e-05,
      "loss": 0.88,
      "step": 9
    },
    {
      "epoch": 0.010416666666666666,
      "grad_norm": 2.6721155643463135,
      "learning_rate": 9.999323662872997e-05,
      "loss": 0.9092,
      "step": 10
    },
    {
      "epoch": 0.011458333333333333,
      "grad_norm": 2.524888038635254,
      "learning_rate": 9.9990260841983e-05,
      "loss": 0.8489,
      "step": 11
    },
    {
      "epoch": 0.0125,
      "grad_norm": 2.4814159870147705,
      "learning_rate": 9.998674407921731e-05,
      "loss": 0.8187,
      "step": 12
    },
    {
      "epoch": 0.013541666666666667,
      "grad_norm": 2.0676493644714355,
      "learning_rate": 9.998268637849e-05,
      "loss": 0.8502,
      "step": 13
    },
    {
      "epoch": 0.014583333333333334,
      "grad_norm": 2.7224721908569336,
      "learning_rate": 9.997808778371196e-05,
      "loss": 0.8064,
      "step": 14
    },
    {
      "epoch": 0.015625,
      "grad_norm": 1.890153408050537,
      "learning_rate": 9.99729483446475e-05,
      "loss": 0.6713,
      "step": 15
    },
    {
      "epoch": 0.016666666666666666,
      "grad_norm": 1.9269518852233887,
      "learning_rate": 9.996726811691375e-05,
      "loss": 0.7606,
      "step": 16
    },
    {
      "epoch": 0.017708333333333333,
      "grad_norm": 2.558152437210083,
      "learning_rate": 9.996104716197996e-05,
      "loss": 0.8049,
      "step": 17
    },
    {
      "epoch": 0.01875,
      "grad_norm": 2.1918888092041016,
      "learning_rate": 9.995428554716705e-05,
      "loss": 0.7751,
      "step": 18
    },
    {
      "epoch": 0.019791666666666666,
      "grad_norm": 2.094609498977661,
      "learning_rate": 9.994698334564666e-05,
      "loss": 0.8373,
      "step": 19
    },
    {
      "epoch": 0.020833333333333332,
      "grad_norm": 2.2064154148101807,
      "learning_rate": 9.993914063644052e-05,
      "loss": 0.9063,
      "step": 20
    },
    {
      "epoch": 0.021875,
      "grad_norm": 2.315425157546997,
      "learning_rate": 9.993075750441952e-05,
      "loss": 0.8035,
      "step": 21
    },
    {
      "epoch": 0.022916666666666665,
      "grad_norm": 1.9188307523727417,
      "learning_rate": 9.992183404030277e-05,
      "loss": 0.7029,
      "step": 22
    },
    {
      "epoch": 0.023958333333333335,
      "grad_norm": 1.783411979675293,
      "learning_rate": 9.991237034065673e-05,
      "loss": 0.7527,
      "step": 23
    },
    {
      "epoch": 0.025,
      "grad_norm": 2.344759225845337,
      "learning_rate": 9.990236650789397e-05,
      "loss": 0.8031,
      "step": 24
    },
    {
      "epoch": 0.026041666666666668,
      "grad_norm": 2.0993213653564453,
      "learning_rate": 9.989182265027232e-05,
      "loss": 0.8108,
      "step": 25
    },
    {
      "epoch": 0.027083333333333334,
      "grad_norm": 2.659205913543701,
      "learning_rate": 9.988073888189344e-05,
      "loss": 0.8461,
      "step": 26
    },
    {
      "epoch": 0.028125,
      "grad_norm": 1.8281415700912476,
      "learning_rate": 9.986911532270176e-05,
      "loss": 0.7059,
      "step": 27
    },
    {
      "epoch": 0.029166666666666667,
      "grad_norm": 1.9623245000839233,
      "learning_rate": 9.985695209848313e-05,
      "loss": 0.7234,
      "step": 28
    },
    {
      "epoch": 0.030208333333333334,
      "grad_norm": 2.053891658782959,
      "learning_rate": 9.984424934086346e-05,
      "loss": 0.7011,
      "step": 29
    },
    {
      "epoch": 0.03125,
      "grad_norm": 1.9886325597763062,
      "learning_rate": 9.98310071873072e-05,
      "loss": 0.7637,
      "step": 30
    },
    {
      "epoch": 0.03229166666666667,
      "grad_norm": 10.491949081420898,
      "learning_rate": 9.981722578111609e-05,
      "loss": 0.839,
      "step": 31
    },
    {
      "epoch": 0.03333333333333333,
      "grad_norm": 7.943881988525391,
      "learning_rate": 9.980290527142734e-05,
      "loss": 0.7733,
      "step": 32
    },
    {
      "epoch": 0.034375,
      "grad_norm": 2.602108955383301,
      "learning_rate": 9.978804581321219e-05,
      "loss": 0.6808,
      "step": 33
    },
    {
      "epoch": 0.035416666666666666,
      "grad_norm": 2.1296403408050537,
      "learning_rate": 9.977264756727418e-05,
      "loss": 0.5759,
      "step": 34
    },
    {
      "epoch": 0.036458333333333336,
      "grad_norm": 2.6959056854248047,
      "learning_rate": 9.97567107002474e-05,
      "loss": 0.7861,
      "step": 35
    },
    {
      "epoch": 0.0375,
      "grad_norm": 1.9752788543701172,
      "learning_rate": 9.97402353845947e-05,
      "loss": 0.8189,
      "step": 36
    },
    {
      "epoch": 0.03854166666666667,
      "grad_norm": 2.088995933532715,
      "learning_rate": 9.972322179860583e-05,
      "loss": 0.7071,
      "step": 37
    },
    {
      "epoch": 0.03958333333333333,
      "grad_norm": 2.0158233642578125,
      "learning_rate": 9.970567012639546e-05,
      "loss": 0.5708,
      "step": 38
    },
    {
      "epoch": 0.040625,
      "grad_norm": 2.4239232540130615,
      "learning_rate": 9.968758055790132e-05,
      "loss": 0.7652,
      "step": 39
    },
    {
      "epoch": 0.041666666666666664,
      "grad_norm": 2.455787420272827,
      "learning_rate": 9.966895328888194e-05,
      "loss": 0.7408,
      "step": 40
    },
    {
      "epoch": 0.042708333333333334,
      "grad_norm": 2.0814132690429688,
      "learning_rate": 9.964978852091474e-05,
      "loss": 0.6772,
      "step": 41
    },
    {
      "epoch": 0.04375,
      "grad_norm": 2.4373435974121094,
      "learning_rate": 9.963008646139367e-05,
      "loss": 0.6243,
      "step": 42
    },
    {
      "epoch": 0.04479166666666667,
      "grad_norm": 2.3441109657287598,
      "learning_rate": 9.960984732352713e-05,
      "loss": 0.711,
      "step": 43
    },
    {
      "epoch": 0.04583333333333333,
      "grad_norm": 2.287811756134033,
      "learning_rate": 9.958907132633554e-05,
      "loss": 0.5885,
      "step": 44
    },
    {
      "epoch": 0.046875,
      "grad_norm": 2.8655076026916504,
      "learning_rate": 9.956775869464901e-05,
      "loss": 0.7893,
      "step": 45
    },
    {
      "epoch": 0.04791666666666667,
      "grad_norm": 2.881870746612549,
      "learning_rate": 9.954590965910493e-05,
      "loss": 0.7088,
      "step": 46
    },
    {
      "epoch": 0.04895833333333333,
      "grad_norm": 2.6930508613586426,
      "learning_rate": 9.952352445614541e-05,
      "loss": 0.5712,
      "step": 47
    },
    {
      "epoch": 0.05,
      "grad_norm": 2.178975820541382,
      "learning_rate": 9.950060332801485e-05,
      "loss": 0.5696,
      "step": 48
    },
    {
      "epoch": 0.051041666666666666,
      "grad_norm": 3.1573169231414795,
      "learning_rate": 9.947714652275711e-05,
      "loss": 0.705,
      "step": 49
    },
    {
      "epoch": 0.052083333333333336,
      "grad_norm": 3.3601553440093994,
      "learning_rate": 9.945315429421306e-05,
      "loss": 0.5505,
      "step": 50
    },
    {
      "epoch": 0.053125,
      "grad_norm": 4.582420349121094,
      "learning_rate": 9.942862690201768e-05,
      "loss": 1.1858,
      "step": 51
    },
    {
      "epoch": 0.05416666666666667,
      "grad_norm": 3.9910128116607666,
      "learning_rate": 9.940356461159727e-05,
      "loss": 1.0166,
      "step": 52
    },
    {
      "epoch": 0.05520833333333333,
      "grad_norm": 2.5004897117614746,
      "learning_rate": 9.937796769416663e-05,
      "loss": 0.8907,
      "step": 53
    },
    {
      "epoch": 0.05625,
      "grad_norm": 2.0037131309509277,
      "learning_rate": 9.935183642672608e-05,
      "loss": 0.8983,
      "step": 54
    },
    {
      "epoch": 0.057291666666666664,
      "grad_norm": 1.9318690299987793,
      "learning_rate": 9.932517109205849e-05,
      "loss": 0.8029,
      "step": 55
    },
    {
      "epoch": 0.058333333333333334,
      "grad_norm": 1.9894757270812988,
      "learning_rate": 9.929797197872619e-05,
      "loss": 0.8087,
      "step": 56
    },
    {
      "epoch": 0.059375,
      "grad_norm": 1.8991605043411255,
      "learning_rate": 9.927023938106788e-05,
      "loss": 0.8239,
      "step": 57
    },
    {
      "epoch": 0.06041666666666667,
      "grad_norm": 2.642719268798828,
      "learning_rate": 9.92419735991954e-05,
      "loss": 0.8338,
      "step": 58
    },
    {
      "epoch": 0.06145833333333333,
      "grad_norm": 2.018235683441162,
      "learning_rate": 9.921317493899057e-05,
      "loss": 0.7295,
      "step": 59
    },
    {
      "epoch": 0.0625,
      "grad_norm": 1.6592891216278076,
      "learning_rate": 9.918384371210176e-05,
      "loss": 0.7484,
      "step": 60
    },
    {
      "epoch": 0.06354166666666666,
      "grad_norm": 2.1405680179595947,
      "learning_rate": 9.915398023594063e-05,
      "loss": 0.7541,
      "step": 61
    },
    {
      "epoch": 0.06458333333333334,
      "grad_norm": 2.276129961013794,
      "learning_rate": 9.912358483367856e-05,
      "loss": 0.9185,
      "step": 62
    },
    {
      "epoch": 0.065625,
      "grad_norm": 2.695638418197632,
      "learning_rate": 9.909265783424337e-05,
      "loss": 0.7996,
      "step": 63
    },
    {
      "epoch": 0.06666666666666667,
      "grad_norm": 2.3187263011932373,
      "learning_rate": 9.906119957231548e-05,
      "loss": 0.811,
      "step": 64
    },
    {
      "epoch": 0.06770833333333333,
      "grad_norm": 2.0456435680389404,
      "learning_rate": 9.902921038832455e-05,
      "loss": 0.786,
      "step": 65
    },
    {
      "epoch": 0.06875,
      "grad_norm": 2.2249789237976074,
      "learning_rate": 9.899669062844563e-05,
      "loss": 0.9081,
      "step": 66
    },
    {
      "epoch": 0.06979166666666667,
      "grad_norm": 1.973425269126892,
      "learning_rate": 9.896364064459547e-05,
      "loss": 0.6911,
      "step": 67
    },
    {
      "epoch": 0.07083333333333333,
      "grad_norm": 1.6641013622283936,
      "learning_rate": 9.893006079442868e-05,
      "loss": 0.8201,
      "step": 68
    },
    {
      "epoch": 0.071875,
      "grad_norm": 3.695594549179077,
      "learning_rate": 9.889595144133397e-05,
      "loss": 0.9104,
      "step": 69
    },
    {
      "epoch": 0.07291666666666667,
      "grad_norm": 1.972715139389038,
      "learning_rate": 9.886131295443003e-05,
      "loss": 0.7935,
      "step": 70
    },
    {
      "epoch": 0.07395833333333333,
      "grad_norm": 1.976627230644226,
      "learning_rate": 9.882614570856172e-05,
      "loss": 0.8116,
      "step": 71
    },
    {
      "epoch": 0.075,
      "grad_norm": 1.9199652671813965,
      "learning_rate": 9.879045008429588e-05,
      "loss": 0.7099,
      "step": 72
    },
    {
      "epoch": 0.07604166666666666,
      "grad_norm": 1.676329255104065,
      "learning_rate": 9.87542264679173e-05,
      "loss": 0.806,
      "step": 73
    },
    {
      "epoch": 0.07708333333333334,
      "grad_norm": 1.8327699899673462,
      "learning_rate": 9.871747525142447e-05,
      "loss": 0.6798,
      "step": 74
    },
    {
      "epoch": 0.078125,
      "grad_norm": 2.0520970821380615,
      "learning_rate": 9.868019683252543e-05,
      "loss": 0.7673,
      "step": 75
    },
    {
      "epoch": 0.07916666666666666,
      "grad_norm": 2.136255979537964,
      "learning_rate": 9.864239161463334e-05,
      "loss": 0.7315,
      "step": 76
    },
    {
      "epoch": 0.08020833333333334,
      "grad_norm": 2.5858349800109863,
      "learning_rate": 9.860406000686221e-05,
      "loss": 0.7961,
      "step": 77
    },
    {
      "epoch": 0.08125,
      "grad_norm": 1.6929069757461548,
      "learning_rate": 9.856520242402248e-05,
      "loss": 0.7337,
      "step": 78
    },
    {
      "epoch": 0.08229166666666667,
      "grad_norm": 1.5802732706069946,
      "learning_rate": 9.852581928661642e-05,
      "loss": 0.5857,
      "step": 79
    },
    {
      "epoch": 0.08333333333333333,
      "grad_norm": 1.929983377456665,
      "learning_rate": 9.848591102083375e-05,
      "loss": 0.8097,
      "step": 80
    },
    {
      "epoch": 0.084375,
      "grad_norm": 1.926419973373413,
      "learning_rate": 9.844547805854687e-05,
      "loss": 0.6829,
      "step": 81
    },
    {
      "epoch": 0.08541666666666667,
      "grad_norm": 2.231621026992798,
      "learning_rate": 9.840452083730624e-05,
      "loss": 0.6391,
      "step": 82
    },
    {
      "epoch": 0.08645833333333333,
      "grad_norm": 2.233232021331787,
      "learning_rate": 9.836303980033572e-05,
      "loss": 0.6513,
      "step": 83
    },
    {
      "epoch": 0.0875,
      "grad_norm": 1.8242605924606323,
      "learning_rate": 9.832103539652766e-05,
      "loss": 0.7875,
      "step": 84
    },
    {
      "epoch": 0.08854166666666667,
      "grad_norm": 1.8912043571472168,
      "learning_rate": 9.82785080804381e-05,
      "loss": 0.689,
      "step": 85
    },
    {
      "epoch": 0.08958333333333333,
      "grad_norm": 1.8962242603302002,
      "learning_rate": 9.823545831228183e-05,
      "loss": 0.6863,
      "step": 86
    },
    {
      "epoch": 0.090625,
      "grad_norm": 2.398500442504883,
      "learning_rate": 9.819188655792746e-05,
      "loss": 0.7515,
      "step": 87
    },
    {
      "epoch": 0.09166666666666666,
      "grad_norm": 2.078723192214966,
      "learning_rate": 9.814779328889229e-05,
      "loss": 0.843,
      "step": 88
    },
    {
      "epoch": 0.09270833333333334,
      "grad_norm": 2.020238161087036,
      "learning_rate": 9.810317898233731e-05,
      "loss": 0.8008,
      "step": 89
    },
    {
      "epoch": 0.09375,
      "grad_norm": 2.178727626800537,
      "learning_rate": 9.805804412106198e-05,
      "loss": 0.8205,
      "step": 90
    },
    {
      "epoch": 0.09479166666666666,
      "grad_norm": 1.8760087490081787,
      "learning_rate": 9.801238919349894e-05,
      "loss": 0.6174,
      "step": 91
    },
    {
      "epoch": 0.09583333333333334,
      "grad_norm": 1.8878923654556274,
      "learning_rate": 9.796621469370889e-05,
      "loss": 0.6422,
      "step": 92
    },
    {
      "epoch": 0.096875,
      "grad_norm": 2.049712657928467,
      "learning_rate": 9.791952112137505e-05,
      "loss": 0.8606,
      "step": 93
    },
    {
      "epoch": 0.09791666666666667,
      "grad_norm": 2.280137300491333,
      "learning_rate": 9.787230898179794e-05,
      "loss": 0.7064,
      "step": 94
    },
    {
      "epoch": 0.09895833333333333,
      "grad_norm": 2.386488199234009,
      "learning_rate": 9.782457878588977e-05,
      "loss": 0.7416,
      "step": 95
    },
    {
      "epoch": 0.1,
      "grad_norm": 2.596226215362549,
      "learning_rate": 9.777633105016897e-05,
      "loss": 0.6648,
      "step": 96
    },
    {
      "epoch": 0.10104166666666667,
      "grad_norm": 1.9814091920852661,
      "learning_rate": 9.772756629675464e-05,
      "loss": 0.6358,
      "step": 97
    },
    {
      "epoch": 0.10208333333333333,
      "grad_norm": 2.1925013065338135,
      "learning_rate": 9.767828505336075e-05,
      "loss": 0.6378,
      "step": 98
    },
    {
      "epoch": 0.103125,
      "grad_norm": 2.372941017150879,
      "learning_rate": 9.762848785329064e-05,
      "loss": 0.4603,
      "step": 99
    },
    {
      "epoch": 0.10416666666666667,
      "grad_norm": 2.133225679397583,
      "learning_rate": 9.757817523543109e-05,
      "loss": 0.5506,
      "step": 100
    },
    {
      "epoch": 0.10520833333333333,
      "grad_norm": 1.969484806060791,
      "learning_rate": 9.752734774424653e-05,
      "loss": 0.9866,
      "step": 101
    },
    {
      "epoch": 0.10625,
      "grad_norm": 1.7341316938400269,
      "learning_rate": 9.747600592977318e-05,
      "loss": 0.8812,
      "step": 102
    },
    {
      "epoch": 0.10729166666666666,
      "grad_norm": 1.6266231536865234,
      "learning_rate": 9.742415034761308e-05,
      "loss": 0.8481,
      "step": 103
    },
    {
      "epoch": 0.10833333333333334,
      "grad_norm": 1.4822884798049927,
      "learning_rate": 9.737178155892805e-05,
      "loss": 0.8431,
      "step": 104
    },
    {
      "epoch": 0.109375,
      "grad_norm": 1.5820056200027466,
      "learning_rate": 9.731890013043368e-05,
      "loss": 0.7855,
      "step": 105
    },
    {
      "epoch": 0.11041666666666666,
      "grad_norm": 1.4592959880828857,
      "learning_rate": 9.72655066343931e-05,
      "loss": 0.769,
      "step": 106
    },
    {
      "epoch": 0.11145833333333334,
      "grad_norm": 1.7101143598556519,
      "learning_rate": 9.721160164861087e-05,
      "loss": 0.8562,
      "step": 107
    },
    {
      "epoch": 0.1125,
      "grad_norm": 1.946768045425415,
      "learning_rate": 9.715718575642674e-05,
      "loss": 0.7703,
      "step": 108
    },
    {
      "epoch": 0.11354166666666667,
      "grad_norm": 1.7165383100509644,
      "learning_rate": 9.710225954670925e-05,
      "loss": 0.824,
      "step": 109
    },
    {
      "epoch": 0.11458333333333333,
      "grad_norm": 1.8618409633636475,
      "learning_rate": 9.704682361384941e-05,
      "loss": 0.8197,
      "step": 110
    },
    {
      "epoch": 0.115625,
      "grad_norm": 2.930100679397583,
      "learning_rate": 9.699087855775429e-05,
      "loss": 0.6797,
      "step": 111
    },
    {
      "epoch": 0.11666666666666667,
      "grad_norm": 17.515884399414062,
      "learning_rate": 9.693442498384048e-05,
      "loss": 0.7555,
      "step": 112
    },
    {
      "epoch": 0.11770833333333333,
      "grad_norm": 1.614569902420044,
      "learning_rate": 9.687746350302757e-05,
      "loss": 0.8411,
      "step": 113
    },
    {
      "epoch": 0.11875,
      "grad_norm": 1.7483561038970947,
      "learning_rate": 9.681999473173155e-05,
      "loss": 0.7561,
      "step": 114
    },
    {
      "epoch": 0.11979166666666667,
      "grad_norm": 1.792314887046814,
      "learning_rate": 9.676201929185809e-05,
      "loss": 0.6711,
      "step": 115
    },
    {
      "epoch": 0.12083333333333333,
      "grad_norm": 1.8255658149719238,
      "learning_rate": 9.670353781079582e-05,
      "loss": 0.8284,
      "step": 116
    },
    {
      "epoch": 0.121875,
      "grad_norm": 1.903437852859497,
      "learning_rate": 9.664455092140963e-05,
      "loss": 0.9174,
      "step": 117
    },
    {
      "epoch": 0.12291666666666666,
      "grad_norm": 1.5207189321517944,
      "learning_rate": 9.658505926203367e-05,
      "loss": 0.7751,
      "step": 118
    },
    {
      "epoch": 0.12395833333333334,
      "grad_norm": 2.0220348834991455,
      "learning_rate": 9.652506347646459e-05,
      "loss": 0.9067,
      "step": 119
    },
    {
      "epoch": 0.125,
      "grad_norm": 1.8411701917648315,
      "learning_rate": 9.646456421395446e-05,
      "loss": 0.7233,
      "step": 120
    },
    {
      "epoch": 0.12604166666666666,
      "grad_norm": 1.6238988637924194,
      "learning_rate": 9.640356212920383e-05,
      "loss": 0.6868,
      "step": 121
    },
    {
      "epoch": 0.12708333333333333,
      "grad_norm": 1.544351577758789,
      "learning_rate": 9.634205788235456e-05,
      "loss": 0.7206,
      "step": 122
    },
    {
      "epoch": 0.128125,
      "grad_norm": 2.071779727935791,
      "learning_rate": 9.628005213898274e-05,
      "loss": 0.6462,
      "step": 123
    },
    {
      "epoch": 0.12916666666666668,
      "grad_norm": 1.5759272575378418,
      "learning_rate": 9.621754557009151e-05,
      "loss": 0.7485,
      "step": 124
    },
    {
      "epoch": 0.13020833333333334,
      "grad_norm": 1.542765736579895,
      "learning_rate": 9.615453885210369e-05,
      "loss": 0.7167,
      "step": 125
    },
    {
      "epoch": 0.13125,
      "grad_norm": 1.80550217628479,
      "learning_rate": 9.609103266685456e-05,
      "loss": 0.7768,
      "step": 126
    },
    {
      "epoch": 0.13229166666666667,
      "grad_norm": 1.5399523973464966,
      "learning_rate": 9.602702770158446e-05,
      "loss": 0.6797,
      "step": 127
    },
    {
      "epoch": 0.13333333333333333,
      "grad_norm": 2.0065791606903076,
      "learning_rate": 9.596252464893133e-05,
      "loss": 0.7057,
      "step": 128
    },
    {
      "epoch": 0.134375,
      "grad_norm": 2.507671594619751,
      "learning_rate": 9.589752420692321e-05,
      "loss": 0.6818,
      "step": 129
    },
    {
      "epoch": 0.13541666666666666,
      "grad_norm": 7.731146335601807,
      "learning_rate": 9.583202707897074e-05,
      "loss": 0.7506,
      "step": 130
    },
    {
      "epoch": 0.13645833333333332,
      "grad_norm": 2.061361789703369,
      "learning_rate": 9.576603397385948e-05,
      "loss": 0.7969,
      "step": 131
    },
    {
      "epoch": 0.1375,
      "grad_norm": 1.4545551538467407,
      "learning_rate": 9.569954560574227e-05,
      "loss": 0.6203,
      "step": 132
    },
    {
      "epoch": 0.13854166666666667,
      "grad_norm": 1.5206444263458252,
      "learning_rate": 9.563256269413155e-05,
      "loss": 0.698,
      "step": 133
    },
    {
      "epoch": 0.13958333333333334,
      "grad_norm": 2.03974986076355,
      "learning_rate": 9.556508596389144e-05,
      "loss": 0.6328,
      "step": 134
    },
    {
      "epoch": 0.140625,
      "grad_norm": 1.8613979816436768,
      "learning_rate": 9.549711614523007e-05,
      "loss": 0.7363,
      "step": 135
    },
    {
      "epoch": 0.14166666666666666,
      "grad_norm": 2.0089638233184814,
      "learning_rate": 9.542865397369152e-05,
      "loss": 0.6602,
      "step": 136
    },
    {
      "epoch": 0.14270833333333333,
      "grad_norm": 1.96244478225708,
      "learning_rate": 9.535970019014797e-05,
      "loss": 0.6621,
      "step": 137
    },
    {
      "epoch": 0.14375,
      "grad_norm": 1.8381259441375732,
      "learning_rate": 9.529025554079164e-05,
      "loss": 0.6835,
      "step": 138
    },
    {
      "epoch": 0.14479166666666668,
      "grad_norm": 2.0366594791412354,
      "learning_rate": 9.522032077712669e-05,
      "loss": 0.7131,
      "step": 139
    },
    {
      "epoch": 0.14583333333333334,
      "grad_norm": 2.140258312225342,
      "learning_rate": 9.514989665596114e-05,
      "loss": 0.6861,
      "step": 140
    },
    {
      "epoch": 0.146875,
      "grad_norm": 1.8923845291137695,
      "learning_rate": 9.507898393939868e-05,
      "loss": 0.6579,
      "step": 141
    },
    {
      "epoch": 0.14791666666666667,
      "grad_norm": 1.9693942070007324,
      "learning_rate": 9.500758339483032e-05,
      "loss": 0.5021,
      "step": 142
    },
    {
      "epoch": 0.14895833333333333,
      "grad_norm": 2.193319797515869,
      "learning_rate": 9.493569579492624e-05,
      "loss": 0.7578,
      "step": 143
    },
    {
      "epoch": 0.15,
      "grad_norm": 1.9430756568908691,
      "learning_rate": 9.486332191762731e-05,
      "loss": 0.6479,
      "step": 144
    },
    {
      "epoch": 0.15104166666666666,
      "grad_norm": 2.0702779293060303,
      "learning_rate": 9.479046254613673e-05,
      "loss": 0.6854,
      "step": 145
    },
    {
      "epoch": 0.15208333333333332,
      "grad_norm": 2.7211689949035645,
      "learning_rate": 9.471711846891151e-05,
      "loss": 0.7528,
      "step": 146
    },
    {
      "epoch": 0.153125,
      "grad_norm": 3.0110549926757812,
      "learning_rate": 9.464329047965404e-05,
      "loss": 0.6203,
      "step": 147
    },
    {
      "epoch": 0.15416666666666667,
      "grad_norm": 2.2492358684539795,
      "learning_rate": 9.456897937730332e-05,
      "loss": 0.6386,
      "step": 148
    },
    {
      "epoch": 0.15520833333333334,
      "grad_norm": 2.6757397651672363,
      "learning_rate": 9.449418596602648e-05,
      "loss": 0.6138,
      "step": 149
    },
    {
      "epoch": 0.15625,
      "grad_norm": 2.7412190437316895,
      "learning_rate": 9.441891105521006e-05,
      "loss": 0.4725,
      "step": 150
    },
    {
      "epoch": 0.15729166666666666,
      "grad_norm": 1.6710883378982544,
      "learning_rate": 9.43431554594511e-05,
      "loss": 0.9123,
      "step": 151
    },
    {
      "epoch": 0.15833333333333333,
      "grad_norm": 1.3830335140228271,
      "learning_rate": 9.426691999854853e-05,
      "loss": 0.7745,
      "step": 152
    },
    {
      "epoch": 0.159375,
      "grad_norm": 1.5382630825042725,
      "learning_rate": 9.419020549749417e-05,
      "loss": 0.7957,
      "step": 153
    },
    {
      "epoch": 0.16041666666666668,
      "grad_norm": 1.481225609779358,
      "learning_rate": 9.411301278646382e-05,
      "loss": 0.6751,
      "step": 154
    },
    {
      "epoch": 0.16145833333333334,
      "grad_norm": 1.372977614402771,
      "learning_rate": 9.403534270080829e-05,
      "loss": 0.796,
      "step": 155
    },
    {
      "epoch": 0.1625,
      "grad_norm": 1.4860180616378784,
      "learning_rate": 9.395719608104441e-05,
      "loss": 0.7453,
      "step": 156
    },
    {
      "epoch": 0.16354166666666667,
      "grad_norm": 1.3220758438110352,
      "learning_rate": 9.387857377284582e-05,
      "loss": 0.763,
      "step": 157
    },
    {
      "epoch": 0.16458333333333333,
      "grad_norm": 1.8010667562484741,
      "learning_rate": 9.37994766270339e-05,
      "loss": 0.7671,
      "step": 158
    },
    {
      "epoch": 0.165625,
      "grad_norm": 1.506685495376587,
      "learning_rate": 9.371990549956857e-05,
      "loss": 0.8321,
      "step": 159
    },
    {
      "epoch": 0.16666666666666666,
      "grad_norm": 1.5654361248016357,
      "learning_rate": 9.3639861251539e-05,
      "loss": 0.7656,
      "step": 160
    },
    {
      "epoch": 0.16770833333333332,
      "grad_norm": 1.5490511655807495,
      "learning_rate": 9.355934474915428e-05,
      "loss": 0.682,
      "step": 161
    },
    {
      "epoch": 0.16875,
      "grad_norm": 1.359991431236267,
      "learning_rate": 9.347835686373407e-05,
      "loss": 0.7185,
      "step": 162
    },
    {
      "epoch": 0.16979166666666667,
      "grad_norm": 1.7046531438827515,
      "learning_rate": 9.339689847169915e-05,
      "loss": 0.8576,
      "step": 163
    },
    {
      "epoch": 0.17083333333333334,
      "grad_norm": 1.369984745979309,
      "learning_rate": 9.331497045456195e-05,
      "loss": 0.7514,
      "step": 164
    },
    {
      "epoch": 0.171875,
      "grad_norm": 1.5297783613204956,
      "learning_rate": 9.323257369891703e-05,
      "loss": 0.7693,
      "step": 165
    },
    {
      "epoch": 0.17291666666666666,
      "grad_norm": 2.0187017917633057,
      "learning_rate": 9.314970909643143e-05,
      "loss": 0.7888,
      "step": 166
    },
    {
      "epoch": 0.17395833333333333,
      "grad_norm": 1.7571396827697754,
      "learning_rate": 9.306637754383511e-05,
      "loss": 0.8196,
      "step": 167
    },
    {
      "epoch": 0.175,
      "grad_norm": 1.5250581502914429,
      "learning_rate": 9.29825799429111e-05,
      "loss": 0.6703,
      "step": 168
    },
    {
      "epoch": 0.17604166666666668,
      "grad_norm": 1.5196141004562378,
      "learning_rate": 9.289831720048593e-05,
      "loss": 0.6638,
      "step": 169
    },
    {
      "epoch": 0.17708333333333334,
      "grad_norm": 1.5836235284805298,
      "learning_rate": 9.281359022841965e-05,
      "loss": 0.6461,
      "step": 170
    },
    {
      "epoch": 0.178125,
      "grad_norm": 1.3843772411346436,
      "learning_rate": 9.272839994359606e-05,
      "loss": 0.7191,
      "step": 171
    },
    {
      "epoch": 0.17916666666666667,
      "grad_norm": 1.5738234519958496,
      "learning_rate": 9.264274726791276e-05,
      "loss": 0.7675,
      "step": 172
    },
    {
      "epoch": 0.18020833333333333,
      "grad_norm": 1.7716032266616821,
      "learning_rate": 9.255663312827116e-05,
      "loss": 0.7056,
      "step": 173
    },
    {
      "epoch": 0.18125,
      "grad_norm": 1.524893045425415,
      "learning_rate": 9.247005845656647e-05,
      "loss": 0.7369,
      "step": 174
    },
    {
      "epoch": 0.18229166666666666,
      "grad_norm": 1.6304320096969604,
      "learning_rate": 9.238302418967756e-05,
      "loss": 0.6334,
      "step": 175
    },
    {
      "epoch": 0.18333333333333332,
      "grad_norm": 1.6756341457366943,
      "learning_rate": 9.229553126945699e-05,
      "loss": 0.7805,
      "step": 176
    },
    {
      "epoch": 0.184375,
      "grad_norm": 1.8465510606765747,
      "learning_rate": 9.220758064272054e-05,
      "loss": 0.7257,
      "step": 177
    },
    {
      "epoch": 0.18541666666666667,
      "grad_norm": 1.470868468284607,
      "learning_rate": 9.211917326123724e-05,
      "loss": 0.711,
      "step": 178
    },
    {
      "epoch": 0.18645833333333334,
      "grad_norm": 1.9779666662216187,
      "learning_rate": 9.203031008171891e-05,
      "loss": 0.7962,
      "step": 179
    },
    {
      "epoch": 0.1875,
      "grad_norm": 1.5155447721481323,
      "learning_rate": 9.194099206580982e-05,
      "loss": 0.7253,
      "step": 180
    },
    {
      "epoch": 0.18854166666666666,
      "grad_norm": 1.6814624071121216,
      "learning_rate": 9.185122018007635e-05,
      "loss": 0.718,
      "step": 181
    },
    {
      "epoch": 0.18958333333333333,
      "grad_norm": 1.8656744956970215,
      "learning_rate": 9.176099539599647e-05,
      "loss": 0.7188,
      "step": 182
    },
    {
      "epoch": 0.190625,
      "grad_norm": 1.6747164726257324,
      "learning_rate": 9.167031868994924e-05,
      "loss": 0.7856,
      "step": 183
    },
    {
      "epoch": 0.19166666666666668,
      "grad_norm": 1.5895557403564453,
      "learning_rate": 9.157919104320427e-05,
      "loss": 0.7989,
      "step": 184
    },
    {
      "epoch": 0.19270833333333334,
      "grad_norm": 1.7184622287750244,
      "learning_rate": 9.148761344191109e-05,
      "loss": 0.677,
      "step": 185
    },
    {
      "epoch": 0.19375,
      "grad_norm": 1.9188364744186401,
      "learning_rate": 9.139558687708845e-05,
      "loss": 0.6746,
      "step": 186
    },
    {
      "epoch": 0.19479166666666667,
      "grad_norm": 1.7534639835357666,
      "learning_rate": 9.130311234461362e-05,
      "loss": 0.6389,
      "step": 187
    },
    {
      "epoch": 0.19583333333333333,
      "grad_norm": 2.1047608852386475,
      "learning_rate": 9.12101908452116e-05,
      "loss": 0.6245,
      "step": 188
    },
    {
      "epoch": 0.196875,
      "grad_norm": 2.1767189502716064,
      "learning_rate": 9.111682338444431e-05,
      "loss": 0.7218,
      "step": 189
    },
    {
      "epoch": 0.19791666666666666,
      "grad_norm": 2.293118953704834,
      "learning_rate": 9.102301097269974e-05,
      "loss": 0.6994,
      "step": 190
    },
    {
      "epoch": 0.19895833333333332,
      "grad_norm": 1.8105974197387695,
      "learning_rate": 9.092875462518091e-05,
      "loss": 0.6865,
      "step": 191
    },
    {
      "epoch": 0.2,
      "grad_norm": 2.2758266925811768,
      "learning_rate": 9.083405536189498e-05,
      "loss": 0.5878,
      "step": 192
    },
    {
      "epoch": 0.20104166666666667,
      "grad_norm": 2.7756974697113037,
      "learning_rate": 9.073891420764215e-05,
      "loss": 0.7338,
      "step": 193
    },
    {
      "epoch": 0.20208333333333334,
      "grad_norm": 1.9865261316299438,
      "learning_rate": 9.064333219200464e-05,
      "loss": 0.611,
      "step": 194
    },
    {
      "epoch": 0.203125,
      "grad_norm": 1.642616629600525,
      "learning_rate": 9.054731034933549e-05,
      "loss": 0.5778,
      "step": 195
    },
    {
      "epoch": 0.20416666666666666,
      "grad_norm": 1.953162670135498,
      "learning_rate": 9.045084971874738e-05,
      "loss": 0.5745,
      "step": 196
    },
    {
      "epoch": 0.20520833333333333,
      "grad_norm": 2.0923852920532227,
      "learning_rate": 9.035395134410139e-05,
      "loss": 0.5294,
      "step": 197
    },
    {
      "epoch": 0.20625,
      "grad_norm": 1.5819649696350098,
      "learning_rate": 9.025661627399573e-05,
      "loss": 0.5277,
      "step": 198
    },
    {
      "epoch": 0.20729166666666668,
      "grad_norm": 1.8375093936920166,
      "learning_rate": 9.015884556175431e-05,
      "loss": 0.4854,
      "step": 199
    },
    {
      "epoch": 0.20833333333333334,
      "grad_norm": 2.7594127655029297,
      "learning_rate": 9.006064026541548e-05,
      "loss": 0.6309,
      "step": 200
    },
    {
      "epoch": 0.209375,
      "grad_norm": 1.5776251554489136,
      "learning_rate": 8.99620014477204e-05,
      "loss": 0.8689,
      "step": 201
    },
    {
      "epoch": 0.21041666666666667,
      "grad_norm": 1.5562249422073364,
      "learning_rate": 8.98629301761017e-05,
      "loss": 0.8683,
      "step": 202
    },
    {
      "epoch": 0.21145833333333333,
      "grad_norm": 1.446951985359192,
      "learning_rate": 8.976342752267186e-05,
      "loss": 0.8116,
      "step": 203
    },
    {
      "epoch": 0.2125,
      "grad_norm": 1.6022385358810425,
      "learning_rate": 8.966349456421159e-05,
      "loss": 0.873,
      "step": 204
    },
    {
      "epoch": 0.21354166666666666,
      "grad_norm": 1.3617318868637085,
      "learning_rate": 8.956313238215824e-05,
      "loss": 0.8467,
      "step": 205
    },
    {
      "epoch": 0.21458333333333332,
      "grad_norm": 1.7591134309768677,
      "learning_rate": 8.946234206259403e-05,
      "loss": 0.8555,
      "step": 206
    },
    {
      "epoch": 0.215625,
      "grad_norm": 1.722296118736267,
      "learning_rate": 8.93611246962343e-05,
      "loss": 0.8652,
      "step": 207
    },
    {
      "epoch": 0.21666666666666667,
      "grad_norm": 1.5404603481292725,
      "learning_rate": 8.925948137841579e-05,
      "loss": 0.8483,
      "step": 208
    },
    {
      "epoch": 0.21770833333333334,
      "grad_norm": 1.703816533088684,
      "learning_rate": 8.915741320908468e-05,
      "loss": 0.823,
      "step": 209
    },
    {
      "epoch": 0.21875,
      "grad_norm": 1.7601414918899536,
      "learning_rate": 8.905492129278478e-05,
      "loss": 0.8513,
      "step": 210
    },
    {
      "epoch": 0.21979166666666666,
      "grad_norm": 1.7160789966583252,
      "learning_rate": 8.895200673864547e-05,
      "loss": 0.819,
      "step": 211
    },
    {
      "epoch": 0.22083333333333333,
      "grad_norm": 1.6923937797546387,
      "learning_rate": 8.884867066036984e-05,
      "loss": 0.7305,
      "step": 212
    },
    {
      "epoch": 0.221875,
      "grad_norm": 1.6672377586364746,
      "learning_rate": 8.874491417622248e-05,
      "loss": 0.7434,
      "step": 213
    },
    {
      "epoch": 0.22291666666666668,
      "grad_norm": 1.4038190841674805,
      "learning_rate": 8.86407384090175e-05,
      "loss": 0.7008,
      "step": 214
    },
    {
      "epoch": 0.22395833333333334,
      "grad_norm": 1.7491308450698853,
      "learning_rate": 8.853614448610631e-05,
      "loss": 0.7553,
      "step": 215
    },
    {
      "epoch": 0.225,
      "grad_norm": 1.5492684841156006,
      "learning_rate": 8.843113353936549e-05,
      "loss": 0.7248,
      "step": 216
    },
    {
      "epoch": 0.22604166666666667,
      "grad_norm": 1.304273247718811,
      "learning_rate": 8.832570670518444e-05,
      "loss": 0.7486,
      "step": 217
    },
    {
      "epoch": 0.22708333333333333,
      "grad_norm": 1.553187370300293,
      "learning_rate": 8.82198651244532e-05,
      "loss": 0.7149,
      "step": 218
    },
    {
      "epoch": 0.228125,
      "grad_norm": 1.7741554975509644,
      "learning_rate": 8.811360994254996e-05,
      "loss": 0.6769,
      "step": 219
    },
    {
      "epoch": 0.22916666666666666,
      "grad_norm": 1.582899570465088,
      "learning_rate": 8.800694230932884e-05,
      "loss": 0.771,
      "step": 220
    },
    {
      "epoch": 0.23020833333333332,
      "grad_norm": 1.4296000003814697,
      "learning_rate": 8.78998633791073e-05,
      "loss": 0.6962,
      "step": 221
    },
    {
      "epoch": 0.23125,
      "grad_norm": 1.7563673257827759,
      "learning_rate": 8.77923743106537e-05,
      "loss": 0.733,
      "step": 222
    },
    {
      "epoch": 0.23229166666666667,
      "grad_norm": 1.4017952680587769,
      "learning_rate": 8.768447626717481e-05,
      "loss": 0.6637,
      "step": 223
    },
    {
      "epoch": 0.23333333333333334,
      "grad_norm": 1.4028128385543823,
      "learning_rate": 8.757617041630313e-05,
      "loss": 0.6207,
      "step": 224
    },
    {
      "epoch": 0.234375,
      "grad_norm": 1.2909876108169556,
      "learning_rate": 8.74674579300843e-05,
      "loss": 0.6572,
      "step": 225
    },
    {
      "epoch": 0.23541666666666666,
      "grad_norm": 1.7121574878692627,
      "learning_rate": 8.735833998496444e-05,
      "loss": 0.7566,
      "step": 226
    },
    {
      "epoch": 0.23645833333333333,
      "grad_norm": 1.7302300930023193,
      "learning_rate": 8.72488177617774e-05,
      "loss": 0.8499,
      "step": 227
    },
    {
      "epoch": 0.2375,
      "grad_norm": 1.895605206489563,
      "learning_rate": 8.713889244573197e-05,
      "loss": 0.6588,
      "step": 228
    },
    {
      "epoch": 0.23854166666666668,
      "grad_norm": 1.7216819524765015,
      "learning_rate": 8.702856522639902e-05,
      "loss": 0.7614,
      "step": 229
    },
    {
      "epoch": 0.23958333333333334,
      "grad_norm": 1.903328537940979,
      "learning_rate": 8.691783729769874e-05,
      "loss": 0.7812,
      "step": 230
    },
    {
      "epoch": 0.240625,
      "grad_norm": 1.9232820272445679,
      "learning_rate": 8.680670985788757e-05,
      "loss": 0.7435,
      "step": 231
    },
    {
      "epoch": 0.24166666666666667,
      "grad_norm": 1.4913100004196167,
      "learning_rate": 8.669518410954541e-05,
      "loss": 0.6241,
      "step": 232
    },
    {
      "epoch": 0.24270833333333333,
      "grad_norm": 1.3420971632003784,
      "learning_rate": 8.658326125956237e-05,
      "loss": 0.657,
      "step": 233
    },
    {
      "epoch": 0.24375,
      "grad_norm": 1.8332111835479736,
      "learning_rate": 8.647094251912601e-05,
      "loss": 0.7692,
      "step": 234
    },
    {
      "epoch": 0.24479166666666666,
      "grad_norm": 1.355997085571289,
      "learning_rate": 8.635822910370792e-05,
      "loss": 0.583,
      "step": 235
    },
    {
      "epoch": 0.24583333333333332,
      "grad_norm": 1.640322208404541,
      "learning_rate": 8.624512223305081e-05,
      "loss": 0.6874,
      "step": 236
    },
    {
      "epoch": 0.246875,
      "grad_norm": 1.8437845706939697,
      "learning_rate": 8.613162313115519e-05,
      "loss": 0.7437,
      "step": 237
    },
    {
      "epoch": 0.24791666666666667,
      "grad_norm": 2.5125062465667725,
      "learning_rate": 8.601773302626612e-05,
      "loss": 0.676,
      "step": 238
    },
    {
      "epoch": 0.24895833333333334,
      "grad_norm": 1.6971981525421143,
      "learning_rate": 8.590345315086e-05,
      "loss": 0.6431,
      "step": 239
    },
    {
      "epoch": 0.25,
      "grad_norm": 2.3452751636505127,
      "learning_rate": 8.578878474163115e-05,
      "loss": 0.7476,
      "step": 240
    },
    {
      "epoch": 0.25104166666666666,
      "grad_norm": 1.67476487159729,
      "learning_rate": 8.567372903947846e-05,
      "loss": 0.5422,
      "step": 241
    },
    {
      "epoch": 0.2520833333333333,
      "grad_norm": 1.6713449954986572,
      "learning_rate": 8.555828728949198e-05,
      "loss": 0.6134,
      "step": 242
    },
    {
      "epoch": 0.253125,
      "grad_norm": 1.9959745407104492,
      "learning_rate": 8.54424607409394e-05,
      "loss": 0.6515,
      "step": 243
    },
    {
      "epoch": 0.25416666666666665,
      "grad_norm": 1.3738329410552979,
      "learning_rate": 8.532625064725258e-05,
      "loss": 0.5094,
      "step": 244
    },
    {
      "epoch": 0.2552083333333333,
      "grad_norm": 1.7818231582641602,
      "learning_rate": 8.520965826601394e-05,
      "loss": 0.6483,
      "step": 245
    },
    {
      "epoch": 0.25625,
      "grad_norm": 2.0902674198150635,
      "learning_rate": 8.509268485894289e-05,
      "loss": 0.6211,
      "step": 246
    },
    {
      "epoch": 0.25729166666666664,
      "grad_norm": 1.9115201234817505,
      "learning_rate": 8.497533169188216e-05,
      "loss": 0.5059,
      "step": 247
    },
    {
      "epoch": 0.25833333333333336,
      "grad_norm": 2.3691749572753906,
      "learning_rate": 8.485760003478408e-05,
      "loss": 0.6242,
      "step": 248
    },
    {
      "epoch": 0.259375,
      "grad_norm": 1.8742573261260986,
      "learning_rate": 8.473949116169693e-05,
      "loss": 0.4181,
      "step": 249
    },
    {
      "epoch": 0.2604166666666667,
      "grad_norm": 3.028259754180908,
      "learning_rate": 8.462100635075097e-05,
      "loss": 0.6839,
      "step": 250
    },
    {
      "epoch": 0.26145833333333335,
      "grad_norm": 1.5227943658828735,
      "learning_rate": 8.450214688414478e-05,
      "loss": 0.9003,
      "step": 251
    },
    {
      "epoch": 0.2625,
      "grad_norm": 1.3464311361312866,
      "learning_rate": 8.438291404813134e-05,
      "loss": 0.8728,
      "step": 252
    },
    {
      "epoch": 0.2635416666666667,
      "grad_norm": 1.4320182800292969,
      "learning_rate": 8.426330913300408e-05,
      "loss": 0.8366,
      "step": 253
    },
    {
      "epoch": 0.26458333333333334,
      "grad_norm": 1.3683526515960693,
      "learning_rate": 8.414333343308294e-05,
      "loss": 0.7105,
      "step": 254
    },
    {
      "epoch": 0.265625,
      "grad_norm": 1.1464180946350098,
      "learning_rate": 8.40229882467003e-05,
      "loss": 0.6994,
      "step": 255
    },
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 1.3951668739318848,
      "learning_rate": 8.390227487618705e-05,
      "loss": 0.7734,
      "step": 256
    },
    {
      "epoch": 0.2677083333333333,
      "grad_norm": 1.5067147016525269,
      "learning_rate": 8.37811946278584e-05,
      "loss": 0.7539,
      "step": 257
    },
    {
      "epoch": 0.26875,
      "grad_norm": 1.4496012926101685,
      "learning_rate": 8.365974881199983e-05,
      "loss": 0.8856,
      "step": 258
    },
    {
      "epoch": 0.26979166666666665,
      "grad_norm": 1.0769821405410767,
      "learning_rate": 8.353793874285276e-05,
      "loss": 0.6995,
      "step": 259
    },
    {
      "epoch": 0.2708333333333333,
      "grad_norm": 1.1531866788864136,
      "learning_rate": 8.341576573860048e-05,
      "loss": 0.8306,
      "step": 260
    },
    {
      "epoch": 0.271875,
      "grad_norm": 1.5913180112838745,
      "learning_rate": 8.329323112135386e-05,
      "loss": 0.7837,
      "step": 261
    },
    {
      "epoch": 0.27291666666666664,
      "grad_norm": 1.7875324487686157,
      "learning_rate": 8.317033621713694e-05,
      "loss": 0.8239,
      "step": 262
    },
    {
      "epoch": 0.27395833333333336,
      "grad_norm": 1.5456501245498657,
      "learning_rate": 8.304708235587268e-05,
      "loss": 0.8049,
      "step": 263
    },
    {
      "epoch": 0.275,
      "grad_norm": 1.5592460632324219,
      "learning_rate": 8.292347087136861e-05,
      "loss": 0.7133,
      "step": 264
    },
    {
      "epoch": 0.2760416666666667,
      "grad_norm": 1.5068480968475342,
      "learning_rate": 8.279950310130217e-05,
      "loss": 0.6773,
      "step": 265
    },
    {
      "epoch": 0.27708333333333335,
      "grad_norm": 1.456343173980713,
      "learning_rate": 8.267518038720656e-05,
      "loss": 0.7212,
      "step": 266
    },
    {
      "epoch": 0.278125,
      "grad_norm": 1.341239094734192,
      "learning_rate": 8.255050407445592e-05,
      "loss": 0.8231,
      "step": 267
    },
    {
      "epoch": 0.2791666666666667,
      "grad_norm": 1.355503797531128,
      "learning_rate": 8.242547551225099e-05,
      "loss": 0.6457,
      "step": 268
    },
    {
      "epoch": 0.28020833333333334,
      "grad_norm": 1.3426177501678467,
      "learning_rate": 8.23000960536044e-05,
      "loss": 0.7159,
      "step": 269
    },
    {
      "epoch": 0.28125,
      "grad_norm": 1.59054696559906,
      "learning_rate": 8.2174367055326e-05,
      "loss": 0.7113,
      "step": 270
    },
    {
      "epoch": 0.28229166666666666,
      "grad_norm": 1.5894560813903809,
      "learning_rate": 8.20482898780083e-05,
      "loss": 0.7783,
      "step": 271
    },
    {
      "epoch": 0.2833333333333333,
      "grad_norm": 1.6065477132797241,
      "learning_rate": 8.192186588601163e-05,
      "loss": 0.6657,
      "step": 272
    },
    {
      "epoch": 0.284375,
      "grad_norm": 1.597812294960022,
      "learning_rate": 8.179509644744943e-05,
      "loss": 0.7661,
      "step": 273
    },
    {
      "epoch": 0.28541666666666665,
      "grad_norm": 1.5997090339660645,
      "learning_rate": 8.166798293417346e-05,
      "loss": 0.7136,
      "step": 274
    },
    {
      "epoch": 0.2864583333333333,
      "grad_norm": 1.5338194370269775,
      "learning_rate": 8.154052672175887e-05,
      "loss": 0.7629,
      "step": 275
    },
    {
      "epoch": 0.2875,
      "grad_norm": 1.4256912469863892,
      "learning_rate": 8.141272918948946e-05,
      "loss": 0.6589,
      "step": 276
    },
    {
      "epoch": 0.28854166666666664,
      "grad_norm": 1.3992259502410889,
      "learning_rate": 8.128459172034255e-05,
      "loss": 0.7608,
      "step": 277
    },
    {
      "epoch": 0.28958333333333336,
      "grad_norm": 1.482635736465454,
      "learning_rate": 8.115611570097424e-05,
      "loss": 0.7522,
      "step": 278
    },
    {
      "epoch": 0.290625,
      "grad_norm": 1.5981773138046265,
      "learning_rate": 8.102730252170426e-05,
      "loss": 0.6626,
      "step": 279
    },
    {
      "epoch": 0.2916666666666667,
      "grad_norm": 1.648779034614563,
      "learning_rate": 8.089815357650089e-05,
      "loss": 0.663,
      "step": 280
    },
    {
      "epoch": 0.29270833333333335,
      "grad_norm": 1.541677713394165,
      "learning_rate": 8.076867026296606e-05,
      "loss": 0.6944,
      "step": 281
    },
    {
      "epoch": 0.29375,
      "grad_norm": 1.601731300354004,
      "learning_rate": 8.063885398232002e-05,
      "loss": 0.6349,
      "step": 282
    },
    {
      "epoch": 0.2947916666666667,
      "grad_norm": 1.9010107517242432,
      "learning_rate": 8.050870613938635e-05,
      "loss": 0.571,
      "step": 283
    },
    {
      "epoch": 0.29583333333333334,
      "grad_norm": 1.8872272968292236,
      "learning_rate": 8.037822814257656e-05,
      "loss": 0.6748,
      "step": 284
    },
    {
      "epoch": 0.296875,
      "grad_norm": 1.3469544649124146,
      "learning_rate": 8.024742140387506e-05,
      "loss": 0.5642,
      "step": 285
    },
    {
      "epoch": 0.29791666666666666,
      "grad_norm": 1.5097888708114624,
      "learning_rate": 8.011628733882373e-05,
      "loss": 0.7138,
      "step": 286
    },
    {
      "epoch": 0.2989583333333333,
      "grad_norm": 1.6745128631591797,
      "learning_rate": 7.998482736650668e-05,
      "loss": 0.808,
      "step": 287
    },
    {
      "epoch": 0.3,
      "grad_norm": 1.862967848777771,
      "learning_rate": 7.985304290953488e-05,
      "loss": 0.7292,
      "step": 288
    },
    {
      "epoch": 0.30104166666666665,
      "grad_norm": 1.5629043579101562,
      "learning_rate": 7.972093539403071e-05,
      "loss": 0.6258,
      "step": 289
    },
    {
      "epoch": 0.3020833333333333,
      "grad_norm": 1.8683202266693115,
      "learning_rate": 7.95885062496126e-05,
      "loss": 0.7097,
      "step": 290
    },
    {
      "epoch": 0.303125,
      "grad_norm": 1.443791151046753,
      "learning_rate": 7.94557569093795e-05,
      "loss": 0.5643,
      "step": 291
    },
    {
      "epoch": 0.30416666666666664,
      "grad_norm": 2.3545334339141846,
      "learning_rate": 7.932268880989544e-05,
      "loss": 0.6725,
      "step": 292
    },
    {
      "epoch": 0.30520833333333336,
      "grad_norm": 1.6108016967773438,
      "learning_rate": 7.918930339117392e-05,
      "loss": 0.6135,
      "step": 293
    },
    {
      "epoch": 0.30625,
      "grad_norm": 1.575326681137085,
      "learning_rate": 7.905560209666236e-05,
      "loss": 0.5686,
      "step": 294
    },
    {
      "epoch": 0.3072916666666667,
      "grad_norm": 1.888177752494812,
      "learning_rate": 7.892158637322646e-05,
      "loss": 0.6987,
      "step": 295
    },
    {
      "epoch": 0.30833333333333335,
      "grad_norm": 1.9825135469436646,
      "learning_rate": 7.878725767113455e-05,
      "loss": 0.5863,
      "step": 296
    },
    {
      "epoch": 0.309375,
      "grad_norm": 1.5113332271575928,
      "learning_rate": 7.865261744404192e-05,
      "loss": 0.461,
      "step": 297
    },
    {
      "epoch": 0.3104166666666667,
      "grad_norm": 1.7233517169952393,
      "learning_rate": 7.851766714897504e-05,
      "loss": 0.5434,
      "step": 298
    },
    {
      "epoch": 0.31145833333333334,
      "grad_norm": 2.852379083633423,
      "learning_rate": 7.838240824631584e-05,
      "loss": 0.6008,
      "step": 299
    },
    {
      "epoch": 0.3125,
      "grad_norm": 2.0530812740325928,
      "learning_rate": 7.824684219978591e-05,
      "loss": 0.5113,
      "step": 300
    },
    {
      "epoch": 0.31354166666666666,
      "grad_norm": 1.2769593000411987,
      "learning_rate": 7.811097047643055e-05,
      "loss": 0.8783,
      "step": 301
    },
    {
      "epoch": 0.3145833333333333,
      "grad_norm": 1.2682865858078003,
      "learning_rate": 7.797479454660311e-05,
      "loss": 0.8199,
      "step": 302
    },
    {
      "epoch": 0.315625,
      "grad_norm": 1.3745115995407104,
      "learning_rate": 7.783831588394881e-05,
      "loss": 0.8021,
      "step": 303
    },
    {
      "epoch": 0.31666666666666665,
      "grad_norm": 1.1993192434310913,
      "learning_rate": 7.770153596538905e-05,
      "loss": 0.7976,
      "step": 304
    },
    {
      "epoch": 0.3177083333333333,
      "grad_norm": 1.3057044744491577,
      "learning_rate": 7.756445627110523e-05,
      "loss": 0.8048,
      "step": 305
    },
    {
      "epoch": 0.31875,
      "grad_norm": 2.9546101093292236,
      "learning_rate": 7.742707828452284e-05,
      "loss": 0.7677,
      "step": 306
    },
    {
      "epoch": 0.31979166666666664,
      "grad_norm": 1.8353341817855835,
      "learning_rate": 7.728940349229541e-05,
      "loss": 0.7361,
      "step": 307
    },
    {
      "epoch": 0.32083333333333336,
      "grad_norm": 1.2863330841064453,
      "learning_rate": 7.715143338428834e-05,
      "loss": 0.7628,
      "step": 308
    },
    {
      "epoch": 0.321875,
      "grad_norm": 1.3134502172470093,
      "learning_rate": 7.701316945356287e-05,
      "loss": 0.7956,
      "step": 309
    },
    {
      "epoch": 0.3229166666666667,
      "grad_norm": 1.3145452737808228,
      "learning_rate": 7.687461319635981e-05,
      "loss": 0.7556,
      "step": 310
    },
    {
      "epoch": 0.32395833333333335,
      "grad_norm": 1.2952512502670288,
      "learning_rate": 7.673576611208351e-05,
      "loss": 0.8069,
      "step": 311
    },
    {
      "epoch": 0.325,
      "grad_norm": 2.2411673069000244,
      "learning_rate": 7.65966297032855e-05,
      "loss": 0.8942,
      "step": 312
    },
    {
      "epoch": 0.3260416666666667,
      "grad_norm": 1.5202635526657104,
      "learning_rate": 7.645720547564823e-05,
      "loss": 0.8103,
      "step": 313
    },
    {
      "epoch": 0.32708333333333334,
      "grad_norm": 1.360971450805664,
      "learning_rate": 7.631749493796889e-05,
      "loss": 0.7021,
      "step": 314
    },
    {
      "epoch": 0.328125,
      "grad_norm": 1.8331853151321411,
      "learning_rate": 7.6177499602143e-05,
      "loss": 0.8001,
      "step": 315
    },
    {
      "epoch": 0.32916666666666666,
      "grad_norm": 1.3678276538848877,
      "learning_rate": 7.603722098314799e-05,
      "loss": 0.6905,
      "step": 316
    },
    {
      "epoch": 0.3302083333333333,
      "grad_norm": 1.397057056427002,
      "learning_rate": 7.589666059902696e-05,
      "loss": 0.7168,
      "step": 317
    },
    {
      "epoch": 0.33125,
      "grad_norm": 1.4211512804031372,
      "learning_rate": 7.575581997087213e-05,
      "loss": 0.6956,
      "step": 318
    },
    {
      "epoch": 0.33229166666666665,
      "grad_norm": 2.822244644165039,
      "learning_rate": 7.561470062280842e-05,
      "loss": 0.674,
      "step": 319
    },
    {
      "epoch": 0.3333333333333333,
      "grad_norm": 1.3778339624404907,
      "learning_rate": 7.547330408197695e-05,
      "loss": 0.7149,
      "step": 320
    },
    {
      "epoch": 0.334375,
      "grad_norm": 1.2258079051971436,
      "learning_rate": 7.53316318785185e-05,
      "loss": 0.6506,
      "step": 321
    },
    {
      "epoch": 0.33541666666666664,
      "grad_norm": 1.536863088607788,
      "learning_rate": 7.518968554555704e-05,
      "loss": 0.8471,
      "step": 322
    },
    {
      "epoch": 0.33645833333333336,
      "grad_norm": 1.4057637453079224,
      "learning_rate": 7.504746661918296e-05,
      "loss": 0.6699,
      "step": 323
    },
    {
      "epoch": 0.3375,
      "grad_norm": 1.5626870393753052,
      "learning_rate": 7.490497663843663e-05,
      "loss": 0.6532,
      "step": 324
    },
    {
      "epoch": 0.3385416666666667,
      "grad_norm": 2.031201124191284,
      "learning_rate": 7.476221714529167e-05,
      "loss": 0.7961,
      "step": 325
    },
    {
      "epoch": 0.33958333333333335,
      "grad_norm": 1.379755973815918,
      "learning_rate": 7.461918968463822e-05,
      "loss": 0.6442,
      "step": 326
    },
    {
      "epoch": 0.340625,
      "grad_norm": 1.6494927406311035,
      "learning_rate": 7.44758958042663e-05,
      "loss": 0.6853,
      "step": 327
    },
    {
      "epoch": 0.3416666666666667,
      "grad_norm": 1.4498581886291504,
      "learning_rate": 7.433233705484902e-05,
      "loss": 0.6949,
      "step": 328
    },
    {
      "epoch": 0.34270833333333334,
      "grad_norm": 1.378196358680725,
      "learning_rate": 7.418851498992576e-05,
      "loss": 0.7078,
      "step": 329
    },
    {
      "epoch": 0.34375,
      "grad_norm": 1.7512733936309814,
      "learning_rate": 7.404443116588548e-05,
      "loss": 0.647,
      "step": 330
    },
    {
      "epoch": 0.34479166666666666,
      "grad_norm": 1.4733108282089233,
      "learning_rate": 7.390008714194975e-05,
      "loss": 0.5602,
      "step": 331
    },
    {
      "epoch": 0.3458333333333333,
      "grad_norm": 2.195571184158325,
      "learning_rate": 7.375548448015592e-05,
      "loss": 0.683,
      "step": 332
    },
    {
      "epoch": 0.346875,
      "grad_norm": 1.759678602218628,
      "learning_rate": 7.361062474534027e-05,
      "loss": 0.67,
      "step": 333
    },
    {
      "epoch": 0.34791666666666665,
      "grad_norm": 1.6335177421569824,
      "learning_rate": 7.346550950512097e-05,
      "loss": 0.6889,
      "step": 334
    },
    {
      "epoch": 0.3489583333333333,
      "grad_norm": 1.2855877876281738,
      "learning_rate": 7.332014032988123e-05,
      "loss": 0.5903,
      "step": 335
    },
    {
      "epoch": 0.35,
      "grad_norm": 1.699906587600708,
      "learning_rate": 7.31745187927522e-05,
      "loss": 0.5795,
      "step": 336
    },
    {
      "epoch": 0.35104166666666664,
      "grad_norm": 1.6430363655090332,
      "learning_rate": 7.3028646469596e-05,
      "loss": 0.7406,
      "step": 337
    },
    {
      "epoch": 0.35208333333333336,
      "grad_norm": 1.9289352893829346,
      "learning_rate": 7.288252493898873e-05,
      "loss": 0.7053,
      "step": 338
    },
    {
      "epoch": 0.353125,
      "grad_norm": 1.5388866662979126,
      "learning_rate": 7.273615578220325e-05,
      "loss": 0.5708,
      "step": 339
    },
    {
      "epoch": 0.3541666666666667,
      "grad_norm": 1.7390387058258057,
      "learning_rate": 7.258954058319216e-05,
      "loss": 0.6279,
      "step": 340
    },
    {
      "epoch": 0.35520833333333335,
      "grad_norm": 1.8787782192230225,
      "learning_rate": 7.244268092857064e-05,
      "loss": 0.6763,
      "step": 341
    },
    {
      "epoch": 0.35625,
      "grad_norm": 1.402777910232544,
      "learning_rate": 7.229557840759928e-05,
      "loss": 0.5881,
      "step": 342
    },
    {
      "epoch": 0.3572916666666667,
      "grad_norm": 1.9428904056549072,
      "learning_rate": 7.214823461216688e-05,
      "loss": 0.7821,
      "step": 343
    },
    {
      "epoch": 0.35833333333333334,
      "grad_norm": 2.2975611686706543,
      "learning_rate": 7.200065113677319e-05,
      "loss": 0.7413,
      "step": 344
    },
    {
      "epoch": 0.359375,
      "grad_norm": 1.8654595613479614,
      "learning_rate": 7.185282957851175e-05,
      "loss": 0.5766,
      "step": 345
    },
    {
      "epoch": 0.36041666666666666,
      "grad_norm": 2.296947956085205,
      "learning_rate": 7.17047715370525e-05,
      "loss": 0.7338,
      "step": 346
    },
    {
      "epoch": 0.3614583333333333,
      "grad_norm": 1.8218395709991455,
      "learning_rate": 7.155647861462451e-05,
      "loss": 0.5844,
      "step": 347
    },
    {
      "epoch": 0.3625,
      "grad_norm": 2.3637070655822754,
      "learning_rate": 7.140795241599869e-05,
      "loss": 0.5402,
      "step": 348
    },
    {
      "epoch": 0.36354166666666665,
      "grad_norm": 1.6535693407058716,
      "learning_rate": 7.125919454847031e-05,
      "loss": 0.5103,
      "step": 349
    },
    {
      "epoch": 0.3645833333333333,
      "grad_norm": 2.16182541847229,
      "learning_rate": 7.111020662184174e-05,
      "loss": 0.485,
      "step": 350
    },
    {
      "epoch": 0.365625,
      "grad_norm": 1.6324716806411743,
      "learning_rate": 7.096099024840491e-05,
      "loss": 0.9206,
      "step": 351
    },
    {
      "epoch": 0.36666666666666664,
      "grad_norm": 1.496556282043457,
      "learning_rate": 7.081154704292395e-05,
      "loss": 0.8468,
      "step": 352
    },
    {
      "epoch": 0.36770833333333336,
      "grad_norm": 1.4980041980743408,
      "learning_rate": 7.066187862261769e-05,
      "loss": 0.9655,
      "step": 353
    },
    {
      "epoch": 0.36875,
      "grad_norm": 1.0911099910736084,
      "learning_rate": 7.051198660714211e-05,
      "loss": 0.7679,
      "step": 354
    },
    {
      "epoch": 0.3697916666666667,
      "grad_norm": 1.1363564729690552,
      "learning_rate": 7.036187261857289e-05,
      "loss": 0.7581,
      "step": 355
    },
    {
      "epoch": 0.37083333333333335,
      "grad_norm": 1.5361617803573608,
      "learning_rate": 7.02115382813878e-05,
      "loss": 0.7483,
      "step": 356
    },
    {
      "epoch": 0.371875,
      "grad_norm": 1.3135900497436523,
      "learning_rate": 7.006098522244919e-05,
      "loss": 0.7279,
      "step": 357
    },
    {
      "epoch": 0.3729166666666667,
      "grad_norm": 1.3339124917984009,
      "learning_rate": 6.991021507098623e-05,
      "loss": 0.7712,
      "step": 358
    },
    {
      "epoch": 0.37395833333333334,
      "grad_norm": 1.4236890077590942,
      "learning_rate": 6.975922945857749e-05,
      "loss": 0.7551,
      "step": 359
    },
    {
      "epoch": 0.375,
      "grad_norm": 1.9881914854049683,
      "learning_rate": 6.960803001913314e-05,
      "loss": 0.7562,
      "step": 360
    },
    {
      "epoch": 0.37604166666666666,
      "grad_norm": 2.0911552906036377,
      "learning_rate": 6.945661838887729e-05,
      "loss": 0.8102,
      "step": 361
    },
    {
      "epoch": 0.3770833333333333,
      "grad_norm": 1.4511587619781494,
      "learning_rate": 6.930499620633033e-05,
      "loss": 0.7324,
      "step": 362
    },
    {
      "epoch": 0.378125,
      "grad_norm": 1.1547648906707764,
      "learning_rate": 6.915316511229113e-05,
      "loss": 0.669,
      "step": 363
    },
    {
      "epoch": 0.37916666666666665,
      "grad_norm": 1.780287265777588,
      "learning_rate": 6.900112674981935e-05,
      "loss": 0.775,
      "step": 364
    },
    {
      "epoch": 0.3802083333333333,
      "grad_norm": 1.1535381078720093,
      "learning_rate": 6.884888276421766e-05,
      "loss": 0.6882,
      "step": 365
    },
    {
      "epoch": 0.38125,
      "grad_norm": 1.3222719430923462,
      "learning_rate": 6.869643480301385e-05,
      "loss": 0.6169,
      "step": 366
    },
    {
      "epoch": 0.38229166666666664,
      "grad_norm": 1.9501489400863647,
      "learning_rate": 6.854378451594308e-05,
      "loss": 0.8346,
      "step": 367
    },
    {
      "epoch": 0.38333333333333336,
      "grad_norm": 1.4693217277526855,
      "learning_rate": 6.839093355492999e-05,
      "loss": 0.7946,
      "step": 368
    },
    {
      "epoch": 0.384375,
      "grad_norm": 1.5732102394104004,
      "learning_rate": 6.823788357407091e-05,
      "loss": 0.7796,
      "step": 369
    },
    {
      "epoch": 0.3854166666666667,
      "grad_norm": 1.7239106893539429,
      "learning_rate": 6.808463622961578e-05,
      "loss": 0.627,
      "step": 370
    },
    {
      "epoch": 0.38645833333333335,
      "grad_norm": 1.4108116626739502,
      "learning_rate": 6.793119317995045e-05,
      "loss": 0.6731,
      "step": 371
    },
    {
      "epoch": 0.3875,
      "grad_norm": 1.6371006965637207,
      "learning_rate": 6.77775560855785e-05,
      "loss": 0.7374,
      "step": 372
    },
    {
      "epoch": 0.3885416666666667,
      "grad_norm": 1.4487391710281372,
      "learning_rate": 6.762372660910349e-05,
      "loss": 0.673,
      "step": 373
    },
    {
      "epoch": 0.38958333333333334,
      "grad_norm": 1.7467842102050781,
      "learning_rate": 6.74697064152108e-05,
      "loss": 0.6416,
      "step": 374
    },
    {
      "epoch": 0.390625,
      "grad_norm": 3.216686725616455,
      "learning_rate": 6.731549717064974e-05,
      "loss": 0.8277,
      "step": 375
    },
    {
      "epoch": 0.39166666666666666,
      "grad_norm": 1.4685512781143188,
      "learning_rate": 6.716110054421541e-05,
      "loss": 0.6629,
      "step": 376
    },
    {
      "epoch": 0.3927083333333333,
      "grad_norm": 1.560340404510498,
      "learning_rate": 6.700651820673072e-05,
      "loss": 0.7188,
      "step": 377
    },
    {
      "epoch": 0.39375,
      "grad_norm": 1.3856946229934692,
      "learning_rate": 6.685175183102823e-05,
      "loss": 0.5999,
      "step": 378
    },
    {
      "epoch": 0.39479166666666665,
      "grad_norm": 1.7771092653274536,
      "learning_rate": 6.669680309193213e-05,
      "loss": 0.6723,
      "step": 379
    },
    {
      "epoch": 0.3958333333333333,
      "grad_norm": 1.7798248529434204,
      "learning_rate": 6.654167366624009e-05,
      "loss": 0.6785,
      "step": 380
    },
    {
      "epoch": 0.396875,
      "grad_norm": 1.4953563213348389,
      "learning_rate": 6.638636523270507e-05,
      "loss": 0.7274,
      "step": 381
    },
    {
      "epoch": 0.39791666666666664,
      "grad_norm": 1.5641255378723145,
      "learning_rate": 6.62308794720172e-05,
      "loss": 0.6877,
      "step": 382
    },
    {
      "epoch": 0.39895833333333336,
      "grad_norm": 1.5922150611877441,
      "learning_rate": 6.607521806678561e-05,
      "loss": 0.5888,
      "step": 383
    },
    {
      "epoch": 0.4,
      "grad_norm": 1.4638631343841553,
      "learning_rate": 6.591938270152012e-05,
      "loss": 0.5776,
      "step": 384
    },
    {
      "epoch": 0.4010416666666667,
      "grad_norm": 1.8578500747680664,
      "learning_rate": 6.576337506261314e-05,
      "loss": 0.7508,
      "step": 385
    },
    {
      "epoch": 0.40208333333333335,
      "grad_norm": 1.8806198835372925,
      "learning_rate": 6.560719683832133e-05,
      "loss": 0.5879,
      "step": 386
    },
    {
      "epoch": 0.403125,
      "grad_norm": 1.3892637491226196,
      "learning_rate": 6.545084971874738e-05,
      "loss": 0.5728,
      "step": 387
    },
    {
      "epoch": 0.4041666666666667,
      "grad_norm": 1.611539363861084,
      "learning_rate": 6.52943353958217e-05,
      "loss": 0.7261,
      "step": 388
    },
    {
      "epoch": 0.40520833333333334,
      "grad_norm": 1.4979832172393799,
      "learning_rate": 6.51376555632841e-05,
      "loss": 0.5631,
      "step": 389
    },
    {
      "epoch": 0.40625,
      "grad_norm": 1.9679334163665771,
      "learning_rate": 6.498081191666548e-05,
      "loss": 0.6481,
      "step": 390
    },
    {
      "epoch": 0.40729166666666666,
      "grad_norm": 2.5167083740234375,
      "learning_rate": 6.482380615326949e-05,
      "loss": 0.5868,
      "step": 391
    },
    {
      "epoch": 0.4083333333333333,
      "grad_norm": 1.6561003923416138,
      "learning_rate": 6.466663997215412e-05,
      "loss": 0.5478,
      "step": 392
    },
    {
      "epoch": 0.409375,
      "grad_norm": 1.9576547145843506,
      "learning_rate": 6.450931507411338e-05,
      "loss": 0.6845,
      "step": 393
    },
    {
      "epoch": 0.41041666666666665,
      "grad_norm": 1.7848345041275024,
      "learning_rate": 6.435183316165879e-05,
      "loss": 0.6005,
      "step": 394
    },
    {
      "epoch": 0.4114583333333333,
      "grad_norm": 1.7713218927383423,
      "learning_rate": 6.419419593900108e-05,
      "loss": 0.5355,
      "step": 395
    },
    {
      "epoch": 0.4125,
      "grad_norm": 3.134272813796997,
      "learning_rate": 6.403640511203167e-05,
      "loss": 0.7475,
      "step": 396
    },
    {
      "epoch": 0.41354166666666664,
      "grad_norm": 2.0564942359924316,
      "learning_rate": 6.387846238830425e-05,
      "loss": 0.6513,
      "step": 397
    },
    {
      "epoch": 0.41458333333333336,
      "grad_norm": 1.7614095211029053,
      "learning_rate": 6.372036947701624e-05,
      "loss": 0.5945,
      "step": 398
    },
    {
      "epoch": 0.415625,
      "grad_norm": 1.7813928127288818,
      "learning_rate": 6.356212808899035e-05,
      "loss": 0.4981,
      "step": 399
    },
    {
      "epoch": 0.4166666666666667,
      "grad_norm": 2.432387113571167,
      "learning_rate": 6.340373993665607e-05,
      "loss": 0.5152,
      "step": 400
    },
    {
      "epoch": 0.41770833333333335,
      "grad_norm": 1.1301393508911133,
      "learning_rate": 6.32452067340311e-05,
      "loss": 0.7803,
      "step": 401
    },
    {
      "epoch": 0.41875,
      "grad_norm": 1.2930840253829956,
      "learning_rate": 6.308653019670281e-05,
      "loss": 0.8327,
      "step": 402
    },
    {
      "epoch": 0.4197916666666667,
      "grad_norm": 1.9037927389144897,
      "learning_rate": 6.29277120418097e-05,
      "loss": 0.7183,
      "step": 403
    },
    {
      "epoch": 0.42083333333333334,
      "grad_norm": 2.8599793910980225,
      "learning_rate": 6.276875398802282e-05,
      "loss": 0.8218,
      "step": 404
    },
    {
      "epoch": 0.421875,
      "grad_norm": 1.4768214225769043,
      "learning_rate": 6.260965775552712e-05,
      "loss": 0.7105,
      "step": 405
    },
    {
      "epoch": 0.42291666666666666,
      "grad_norm": 1.443000078201294,
      "learning_rate": 6.245042506600288e-05,
      "loss": 0.752,
      "step": 406
    },
    {
      "epoch": 0.4239583333333333,
      "grad_norm": 1.8004318475723267,
      "learning_rate": 6.22910576426071e-05,
      "loss": 0.7611,
      "step": 407
    },
    {
      "epoch": 0.425,
      "grad_norm": 1.4240752458572388,
      "learning_rate": 6.213155720995474e-05,
      "loss": 0.7662,
      "step": 408
    },
    {
      "epoch": 0.42604166666666665,
      "grad_norm": 1.2304953336715698,
      "learning_rate": 6.197192549410023e-05,
      "loss": 0.6733,
      "step": 409
    },
    {
      "epoch": 0.4270833333333333,
      "grad_norm": 2.1174163818359375,
      "learning_rate": 6.181216422251862e-05,
      "loss": 0.7476,
      "step": 410
    },
    {
      "epoch": 0.428125,
      "grad_norm": 1.772384762763977,
      "learning_rate": 6.165227512408703e-05,
      "loss": 0.756,
      "step": 411
    },
    {
      "epoch": 0.42916666666666664,
      "grad_norm": 2.087855815887451,
      "learning_rate": 6.149225992906583e-05,
      "loss": 0.8389,
      "step": 412
    },
    {
      "epoch": 0.43020833333333336,
      "grad_norm": 1.8541686534881592,
      "learning_rate": 6.133212036907998e-05,
      "loss": 0.7562,
      "step": 413
    },
    {
      "epoch": 0.43125,
      "grad_norm": 1.4502463340759277,
      "learning_rate": 6.117185817710027e-05,
      "loss": 0.7023,
      "step": 414
    },
    {
      "epoch": 0.4322916666666667,
      "grad_norm": 1.3988367319107056,
      "learning_rate": 6.101147508742455e-05,
      "loss": 0.6933,
      "step": 415
    },
    {
      "epoch": 0.43333333333333335,
      "grad_norm": 1.592936635017395,
      "learning_rate": 6.085097283565899e-05,
      "loss": 0.6964,
      "step": 416
    },
    {
      "epoch": 0.434375,
      "grad_norm": 1.2922818660736084,
      "learning_rate": 6.069035315869931e-05,
      "loss": 0.7022,
      "step": 417
    },
    {
      "epoch": 0.4354166666666667,
      "grad_norm": 1.5134121179580688,
      "learning_rate": 6.0529617794711916e-05,
      "loss": 0.773,
      "step": 418
    },
    {
      "epoch": 0.43645833333333334,
      "grad_norm": 1.6328691244125366,
      "learning_rate": 6.03687684831152e-05,
      "loss": 0.6848,
      "step": 419
    },
    {
      "epoch": 0.4375,
      "grad_norm": 1.4334884881973267,
      "learning_rate": 6.0207806964560584e-05,
      "loss": 0.6495,
      "step": 420
    },
    {
      "epoch": 0.43854166666666666,
      "grad_norm": 1.7224735021591187,
      "learning_rate": 6.004673498091381e-05,
      "loss": 0.7881,
      "step": 421
    },
    {
      "epoch": 0.4395833333333333,
      "grad_norm": 1.3057165145874023,
      "learning_rate": 5.9885554275235966e-05,
      "loss": 0.6771,
      "step": 422
    },
    {
      "epoch": 0.440625,
      "grad_norm": 1.5773628950119019,
      "learning_rate": 5.9724266591764776e-05,
      "loss": 0.6761,
      "step": 423
    },
    {
      "epoch": 0.44166666666666665,
      "grad_norm": 1.1697322130203247,
      "learning_rate": 5.9562873675895556e-05,
      "loss": 0.5978,
      "step": 424
    },
    {
      "epoch": 0.4427083333333333,
      "grad_norm": 1.9475479125976562,
      "learning_rate": 5.940137727416246e-05,
      "loss": 0.7593,
      "step": 425
    },
    {
      "epoch": 0.44375,
      "grad_norm": 1.3842161893844604,
      "learning_rate": 5.923977913421952e-05,
      "loss": 0.7424,
      "step": 426
    },
    {
      "epoch": 0.44479166666666664,
      "grad_norm": 1.3751561641693115,
      "learning_rate": 5.9078081004821705e-05,
      "loss": 0.6913,
      "step": 427
    },
    {
      "epoch": 0.44583333333333336,
      "grad_norm": 1.585754156112671,
      "learning_rate": 5.891628463580607e-05,
      "loss": 0.769,
      "step": 428
    },
    {
      "epoch": 0.446875,
      "grad_norm": 1.6507468223571777,
      "learning_rate": 5.875439177807278e-05,
      "loss": 0.7146,
      "step": 429
    },
    {
      "epoch": 0.4479166666666667,
      "grad_norm": 1.4327987432479858,
      "learning_rate": 5.8592404183566144e-05,
      "loss": 0.7095,
      "step": 430
    },
    {
      "epoch": 0.44895833333333335,
      "grad_norm": 1.4794992208480835,
      "learning_rate": 5.843032360525571e-05,
      "loss": 0.7012,
      "step": 431
    },
    {
      "epoch": 0.45,
      "grad_norm": 1.535662055015564,
      "learning_rate": 5.826815179711722e-05,
      "loss": 0.7944,
      "step": 432
    },
    {
      "epoch": 0.4510416666666667,
      "grad_norm": 1.5415414571762085,
      "learning_rate": 5.810589051411372e-05,
      "loss": 0.5343,
      "step": 433
    },
    {
      "epoch": 0.45208333333333334,
      "grad_norm": 1.4736878871917725,
      "learning_rate": 5.794354151217646e-05,
      "loss": 0.6587,
      "step": 434
    },
    {
      "epoch": 0.453125,
      "grad_norm": 1.5812129974365234,
      "learning_rate": 5.778110654818601e-05,
      "loss": 0.5122,
      "step": 435
    },
    {
      "epoch": 0.45416666666666666,
      "grad_norm": 1.8697389364242554,
      "learning_rate": 5.761858737995315e-05,
      "loss": 0.6123,
      "step": 436
    },
    {
      "epoch": 0.4552083333333333,
      "grad_norm": 1.6389845609664917,
      "learning_rate": 5.7455985766199915e-05,
      "loss": 0.7147,
      "step": 437
    },
    {
      "epoch": 0.45625,
      "grad_norm": 1.9499348402023315,
      "learning_rate": 5.729330346654051e-05,
      "loss": 0.8271,
      "step": 438
    },
    {
      "epoch": 0.45729166666666665,
      "grad_norm": 1.5291601419448853,
      "learning_rate": 5.713054224146231e-05,
      "loss": 0.6342,
      "step": 439
    },
    {
      "epoch": 0.4583333333333333,
      "grad_norm": 1.4782750606536865,
      "learning_rate": 5.6967703852306786e-05,
      "loss": 0.5664,
      "step": 440
    },
    {
      "epoch": 0.459375,
      "grad_norm": 1.724382758140564,
      "learning_rate": 5.6804790061250445e-05,
      "loss": 0.6268,
      "step": 441
    },
    {
      "epoch": 0.46041666666666664,
      "grad_norm": 2.0106008052825928,
      "learning_rate": 5.664180263128576e-05,
      "loss": 0.6338,
      "step": 442
    },
    {
      "epoch": 0.46145833333333336,
      "grad_norm": 1.7055580615997314,
      "learning_rate": 5.647874332620214e-05,
      "loss": 0.5167,
      "step": 443
    },
    {
      "epoch": 0.4625,
      "grad_norm": 2.4957385063171387,
      "learning_rate": 5.631561391056672e-05,
      "loss": 0.6884,
      "step": 444
    },
    {
      "epoch": 0.4635416666666667,
      "grad_norm": 2.0706067085266113,
      "learning_rate": 5.6152416149705455e-05,
      "loss": 0.6497,
      "step": 445
    },
    {
      "epoch": 0.46458333333333335,
      "grad_norm": 2.012136697769165,
      "learning_rate": 5.598915180968377e-05,
      "loss": 0.6587,
      "step": 446
    },
    {
      "epoch": 0.465625,
      "grad_norm": 1.9647603034973145,
      "learning_rate": 5.582582265728772e-05,
      "loss": 0.6102,
      "step": 447
    },
    {
      "epoch": 0.4666666666666667,
      "grad_norm": 2.5204954147338867,
      "learning_rate": 5.566243046000463e-05,
      "loss": 0.657,
      "step": 448
    },
    {
      "epoch": 0.46770833333333334,
      "grad_norm": 2.073089361190796,
      "learning_rate": 5.5498976986004145e-05,
      "loss": 0.5398,
      "step": 449
    },
    {
      "epoch": 0.46875,
      "grad_norm": 2.079371452331543,
      "learning_rate": 5.5335464004118986e-05,
      "loss": 0.4988,
      "step": 450
    },
    {
      "epoch": 0.46979166666666666,
      "grad_norm": 1.313198208808899,
      "learning_rate": 5.517189328382585e-05,
      "loss": 0.8496,
      "step": 451
    },
    {
      "epoch": 0.4708333333333333,
      "grad_norm": 1.3078936338424683,
      "learning_rate": 5.5008266595226275e-05,
      "loss": 0.7631,
      "step": 452
    },
    {
      "epoch": 0.471875,
      "grad_norm": 1.4829151630401611,
      "learning_rate": 5.484458570902746e-05,
      "loss": 0.8944,
      "step": 453
    },
    {
      "epoch": 0.47291666666666665,
      "grad_norm": 1.2272645235061646,
      "learning_rate": 5.468085239652309e-05,
      "loss": 0.7638,
      "step": 454
    },
    {
      "epoch": 0.4739583333333333,
      "grad_norm": 1.285600185394287,
      "learning_rate": 5.4517068429574215e-05,
      "loss": 0.794,
      "step": 455
    },
    {
      "epoch": 0.475,
      "grad_norm": 1.2946714162826538,
      "learning_rate": 5.435323558059002e-05,
      "loss": 0.8363,
      "step": 456
    },
    {
      "epoch": 0.47604166666666664,
      "grad_norm": 1.5172637701034546,
      "learning_rate": 5.418935562250873e-05,
      "loss": 0.8119,
      "step": 457
    },
    {
      "epoch": 0.47708333333333336,
      "grad_norm": 1.29780113697052,
      "learning_rate": 5.402543032877829e-05,
      "loss": 0.783,
      "step": 458
    },
    {
      "epoch": 0.478125,
      "grad_norm": 1.7697203159332275,
      "learning_rate": 5.386146147333732e-05,
      "loss": 0.6579,
      "step": 459
    },
    {
      "epoch": 0.4791666666666667,
      "grad_norm": 1.2867507934570312,
      "learning_rate": 5.3697450830595774e-05,
      "loss": 0.7042,
      "step": 460
    },
    {
      "epoch": 0.48020833333333335,
      "grad_norm": 1.2275581359863281,
      "learning_rate": 5.353340017541591e-05,
      "loss": 0.712,
      "step": 461
    },
    {
      "epoch": 0.48125,
      "grad_norm": 1.3110071420669556,
      "learning_rate": 5.336931128309288e-05,
      "loss": 0.7483,
      "step": 462
    },
    {
      "epoch": 0.4822916666666667,
      "grad_norm": 1.3623089790344238,
      "learning_rate": 5.320518592933572e-05,
      "loss": 0.7421,
      "step": 463
    },
    {
      "epoch": 0.48333333333333334,
      "grad_norm": 2.0022597312927246,
      "learning_rate": 5.3041025890247976e-05,
      "loss": 0.8089,
      "step": 464
    },
    {
      "epoch": 0.484375,
      "grad_norm": 1.6480062007904053,
      "learning_rate": 5.287683294230855e-05,
      "loss": 0.7204,
      "step": 465
    },
    {
      "epoch": 0.48541666666666666,
      "grad_norm": 1.5874007940292358,
      "learning_rate": 5.271260886235251e-05,
      "loss": 0.7394,
      "step": 466
    },
    {
      "epoch": 0.4864583333333333,
      "grad_norm": 1.5143760442733765,
      "learning_rate": 5.2548355427551776e-05,
      "loss": 0.7381,
      "step": 467
    },
    {
      "epoch": 0.4875,
      "grad_norm": 1.7206069231033325,
      "learning_rate": 5.238407441539597e-05,
      "loss": 0.7258,
      "step": 468
    },
    {
      "epoch": 0.48854166666666665,
      "grad_norm": 1.3696262836456299,
      "learning_rate": 5.221976760367313e-05,
      "loss": 0.7061,
      "step": 469
    },
    {
      "epoch": 0.4895833333333333,
      "grad_norm": 1.4460885524749756,
      "learning_rate": 5.205543677045049e-05,
      "loss": 0.7366,
      "step": 470
    },
    {
      "epoch": 0.490625,
      "grad_norm": 1.4412697553634644,
      "learning_rate": 5.1891083694055255e-05,
      "loss": 0.6514,
      "step": 471
    },
    {
      "epoch": 0.49166666666666664,
      "grad_norm": 1.4027307033538818,
      "learning_rate": 5.172671015305528e-05,
      "loss": 0.7192,
      "step": 472
    },
    {
      "epoch": 0.49270833333333336,
      "grad_norm": 1.4941436052322388,
      "learning_rate": 5.156231792623995e-05,
      "loss": 0.6684,
      "step": 473
    },
    {
      "epoch": 0.49375,
      "grad_norm": 1.3710178136825562,
      "learning_rate": 5.1397908792600814e-05,
      "loss": 0.5961,
      "step": 474
    },
    {
      "epoch": 0.4947916666666667,
      "grad_norm": 2.167060613632202,
      "learning_rate": 5.1233484531312414e-05,
      "loss": 0.714,
      "step": 475
    },
    {
      "epoch": 0.49583333333333335,
      "grad_norm": 1.2341890335083008,
      "learning_rate": 5.1069046921712956e-05,
      "loss": 0.6847,
      "step": 476
    },
    {
      "epoch": 0.496875,
      "grad_norm": 1.558172583580017,
      "learning_rate": 5.090459774328515e-05,
      "loss": 0.7146,
      "step": 477
    },
    {
      "epoch": 0.4979166666666667,
      "grad_norm": 1.2692986726760864,
      "learning_rate": 5.074013877563685e-05,
      "loss": 0.6542,
      "step": 478
    },
    {
      "epoch": 0.49895833333333334,
      "grad_norm": 3.2772719860076904,
      "learning_rate": 5.0575671798481864e-05,
      "loss": 0.7086,
      "step": 479
    },
    {
      "epoch": 0.5,
      "grad_norm": 1.6424407958984375,
      "learning_rate": 5.0411198591620676e-05,
      "loss": 0.6781,
      "step": 480
    },
    {
      "epoch": 0.5010416666666667,
      "grad_norm": 1.3320916891098022,
      "learning_rate": 5.0246720934921224e-05,
      "loss": 0.6097,
      "step": 481
    },
    {
      "epoch": 0.5020833333333333,
      "grad_norm": 2.749994993209839,
      "learning_rate": 5.0082240608299505e-05,
      "loss": 0.6178,
      "step": 482
    },
    {
      "epoch": 0.503125,
      "grad_norm": 1.8485661745071411,
      "learning_rate": 4.99177593917005e-05,
      "loss": 0.6313,
      "step": 483
    },
    {
      "epoch": 0.5041666666666667,
      "grad_norm": 1.9351452589035034,
      "learning_rate": 4.9753279065078794e-05,
      "loss": 0.8127,
      "step": 484
    },
    {
      "epoch": 0.5052083333333334,
      "grad_norm": 1.5958014726638794,
      "learning_rate": 4.958880140837933e-05,
      "loss": 0.7035,
      "step": 485
    },
    {
      "epoch": 0.50625,
      "grad_norm": 1.9194140434265137,
      "learning_rate": 4.9424328201518134e-05,
      "loss": 0.7673,
      "step": 486
    },
    {
      "epoch": 0.5072916666666667,
      "grad_norm": 1.536545753479004,
      "learning_rate": 4.9259861224363164e-05,
      "loss": 0.6618,
      "step": 487
    },
    {
      "epoch": 0.5083333333333333,
      "grad_norm": 1.6340911388397217,
      "learning_rate": 4.909540225671486e-05,
      "loss": 0.5915,
      "step": 488
    },
    {
      "epoch": 0.509375,
      "grad_norm": 1.8215521574020386,
      "learning_rate": 4.893095307828706e-05,
      "loss": 0.6128,
      "step": 489
    },
    {
      "epoch": 0.5104166666666666,
      "grad_norm": 1.4777960777282715,
      "learning_rate": 4.876651546868759e-05,
      "loss": 0.5856,
      "step": 490
    },
    {
      "epoch": 0.5114583333333333,
      "grad_norm": 1.6873395442962646,
      "learning_rate": 4.86020912073992e-05,
      "loss": 0.628,
      "step": 491
    },
    {
      "epoch": 0.5125,
      "grad_norm": 1.5501772165298462,
      "learning_rate": 4.8437682073760066e-05,
      "loss": 0.5924,
      "step": 492
    },
    {
      "epoch": 0.5135416666666667,
      "grad_norm": 1.907489538192749,
      "learning_rate": 4.827328984694473e-05,
      "loss": 0.6302,
      "step": 493
    },
    {
      "epoch": 0.5145833333333333,
      "grad_norm": 1.8782320022583008,
      "learning_rate": 4.8108916305944756e-05,
      "loss": 0.5745,
      "step": 494
    },
    {
      "epoch": 0.515625,
      "grad_norm": 1.7158896923065186,
      "learning_rate": 4.794456322954952e-05,
      "loss": 0.5832,
      "step": 495
    },
    {
      "epoch": 0.5166666666666667,
      "grad_norm": 1.5539783239364624,
      "learning_rate": 4.778023239632689e-05,
      "loss": 0.3879,
      "step": 496
    },
    {
      "epoch": 0.5177083333333333,
      "grad_norm": 2.0975942611694336,
      "learning_rate": 4.7615925584604035e-05,
      "loss": 0.6342,
      "step": 497
    },
    {
      "epoch": 0.51875,
      "grad_norm": 2.483288288116455,
      "learning_rate": 4.7451644572448236e-05,
      "loss": 0.6664,
      "step": 498
    },
    {
      "epoch": 0.5197916666666667,
      "grad_norm": 1.70890474319458,
      "learning_rate": 4.7287391137647515e-05,
      "loss": 0.3877,
      "step": 499
    },
    {
      "epoch": 0.5208333333333334,
      "grad_norm": 2.2702484130859375,
      "learning_rate": 4.712316705769145e-05,
      "loss": 0.475,
      "step": 500
    },
    {
      "epoch": 0.521875,
      "grad_norm": 1.4363892078399658,
      "learning_rate": 4.695897410975204e-05,
      "loss": 0.8194,
      "step": 501
    },
    {
      "epoch": 0.5229166666666667,
      "grad_norm": 1.4529703855514526,
      "learning_rate": 4.679481407066429e-05,
      "loss": 0.898,
      "step": 502
    },
    {
      "epoch": 0.5239583333333333,
      "grad_norm": 2.9720969200134277,
      "learning_rate": 4.663068871690713e-05,
      "loss": 0.7847,
      "step": 503
    },
    {
      "epoch": 0.525,
      "grad_norm": 1.3286447525024414,
      "learning_rate": 4.64665998245841e-05,
      "loss": 0.8129,
      "step": 504
    },
    {
      "epoch": 0.5260416666666666,
      "grad_norm": 1.2347368001937866,
      "learning_rate": 4.630254916940424e-05,
      "loss": 0.7873,
      "step": 505
    },
    {
      "epoch": 0.5270833333333333,
      "grad_norm": 3.5269527435302734,
      "learning_rate": 4.613853852666271e-05,
      "loss": 0.711,
      "step": 506
    },
    {
      "epoch": 0.528125,
      "grad_norm": 11.755537033081055,
      "learning_rate": 4.597456967122171e-05,
      "loss": 0.7358,
      "step": 507
    },
    {
      "epoch": 0.5291666666666667,
      "grad_norm": 1.251496434211731,
      "learning_rate": 4.581064437749128e-05,
      "loss": 0.7069,
      "step": 508
    },
    {
      "epoch": 0.5302083333333333,
      "grad_norm": 1.294297695159912,
      "learning_rate": 4.564676441940999e-05,
      "loss": 0.7369,
      "step": 509
    },
    {
      "epoch": 0.53125,
      "grad_norm": 1.5148671865463257,
      "learning_rate": 4.548293157042581e-05,
      "loss": 0.8016,
      "step": 510
    },
    {
      "epoch": 0.5322916666666667,
      "grad_norm": 1.249637484550476,
      "learning_rate": 4.531914760347692e-05,
      "loss": 0.7519,
      "step": 511
    },
    {
      "epoch": 0.5333333333333333,
      "grad_norm": 1.2481658458709717,
      "learning_rate": 4.515541429097255e-05,
      "loss": 0.6514,
      "step": 512
    },
    {
      "epoch": 0.534375,
      "grad_norm": 1.1714602708816528,
      "learning_rate": 4.4991733404773744e-05,
      "loss": 0.6051,
      "step": 513
    },
    {
      "epoch": 0.5354166666666667,
      "grad_norm": 1.6358658075332642,
      "learning_rate": 4.4828106716174145e-05,
      "loss": 0.7666,
      "step": 514
    },
    {
      "epoch": 0.5364583333333334,
      "grad_norm": 1.4844787120819092,
      "learning_rate": 4.466453599588103e-05,
      "loss": 0.7344,
      "step": 515
    },
    {
      "epoch": 0.5375,
      "grad_norm": 1.3833624124526978,
      "learning_rate": 4.450102301399587e-05,
      "loss": 0.6952,
      "step": 516
    },
    {
      "epoch": 0.5385416666666667,
      "grad_norm": 1.6700621843338013,
      "learning_rate": 4.433756953999537e-05,
      "loss": 0.7085,
      "step": 517
    },
    {
      "epoch": 0.5395833333333333,
      "grad_norm": 1.949485182762146,
      "learning_rate": 4.417417734271229e-05,
      "loss": 0.787,
      "step": 518
    },
    {
      "epoch": 0.540625,
      "grad_norm": 1.3049043416976929,
      "learning_rate": 4.401084819031624e-05,
      "loss": 0.628,
      "step": 519
    },
    {
      "epoch": 0.5416666666666666,
      "grad_norm": 1.6074107885360718,
      "learning_rate": 4.384758385029457e-05,
      "loss": 0.7217,
      "step": 520
    },
    {
      "epoch": 0.5427083333333333,
      "grad_norm": 1.271752953529358,
      "learning_rate": 4.368438608943327e-05,
      "loss": 0.7557,
      "step": 521
    },
    {
      "epoch": 0.54375,
      "grad_norm": 1.6916879415512085,
      "learning_rate": 4.352125667379787e-05,
      "loss": 0.7858,
      "step": 522
    },
    {
      "epoch": 0.5447916666666667,
      "grad_norm": 1.3595281839370728,
      "learning_rate": 4.335819736871425e-05,
      "loss": 0.6833,
      "step": 523
    },
    {
      "epoch": 0.5458333333333333,
      "grad_norm": 2.140533685684204,
      "learning_rate": 4.319520993874957e-05,
      "loss": 0.7134,
      "step": 524
    },
    {
      "epoch": 0.546875,
      "grad_norm": 1.8422695398330688,
      "learning_rate": 4.3032296147693225e-05,
      "loss": 0.6361,
      "step": 525
    },
    {
      "epoch": 0.5479166666666667,
      "grad_norm": 1.514225721359253,
      "learning_rate": 4.28694577585377e-05,
      "loss": 0.6361,
      "step": 526
    },
    {
      "epoch": 0.5489583333333333,
      "grad_norm": 1.5235326290130615,
      "learning_rate": 4.270669653345951e-05,
      "loss": 0.593,
      "step": 527
    },
    {
      "epoch": 0.55,
      "grad_norm": 1.8981701135635376,
      "learning_rate": 4.254401423380009e-05,
      "loss": 0.6264,
      "step": 528
    },
    {
      "epoch": 0.5510416666666667,
      "grad_norm": 1.6219640970230103,
      "learning_rate": 4.238141262004686e-05,
      "loss": 0.6201,
      "step": 529
    },
    {
      "epoch": 0.5520833333333334,
      "grad_norm": 1.3923754692077637,
      "learning_rate": 4.2218893451814005e-05,
      "loss": 0.6649,
      "step": 530
    },
    {
      "epoch": 0.553125,
      "grad_norm": 1.5938756465911865,
      "learning_rate": 4.2056458487823545e-05,
      "loss": 0.653,
      "step": 531
    },
    {
      "epoch": 0.5541666666666667,
      "grad_norm": 1.471276879310608,
      "learning_rate": 4.189410948588629e-05,
      "loss": 0.6469,
      "step": 532
    },
    {
      "epoch": 0.5552083333333333,
      "grad_norm": 1.4128612279891968,
      "learning_rate": 4.173184820288279e-05,
      "loss": 0.5895,
      "step": 533
    },
    {
      "epoch": 0.55625,
      "grad_norm": 2.0181548595428467,
      "learning_rate": 4.1569676394744306e-05,
      "loss": 0.6498,
      "step": 534
    },
    {
      "epoch": 0.5572916666666666,
      "grad_norm": 1.7251626253128052,
      "learning_rate": 4.140759581643386e-05,
      "loss": 0.5672,
      "step": 535
    },
    {
      "epoch": 0.5583333333333333,
      "grad_norm": 1.634743332862854,
      "learning_rate": 4.124560822192723e-05,
      "loss": 0.6144,
      "step": 536
    },
    {
      "epoch": 0.559375,
      "grad_norm": 1.3735969066619873,
      "learning_rate": 4.1083715364193954e-05,
      "loss": 0.535,
      "step": 537
    },
    {
      "epoch": 0.5604166666666667,
      "grad_norm": 1.6590137481689453,
      "learning_rate": 4.092191899517831e-05,
      "loss": 0.6687,
      "step": 538
    },
    {
      "epoch": 0.5614583333333333,
      "grad_norm": 1.3976682424545288,
      "learning_rate": 4.0760220865780495e-05,
      "loss": 0.5049,
      "step": 539
    },
    {
      "epoch": 0.5625,
      "grad_norm": 1.8116347789764404,
      "learning_rate": 4.059862272583755e-05,
      "loss": 0.5066,
      "step": 540
    },
    {
      "epoch": 0.5635416666666667,
      "grad_norm": 1.665908694267273,
      "learning_rate": 4.043712632410446e-05,
      "loss": 0.5804,
      "step": 541
    },
    {
      "epoch": 0.5645833333333333,
      "grad_norm": 1.6635602712631226,
      "learning_rate": 4.027573340823523e-05,
      "loss": 0.5862,
      "step": 542
    },
    {
      "epoch": 0.565625,
      "grad_norm": 2.0014240741729736,
      "learning_rate": 4.011444572476404e-05,
      "loss": 0.6252,
      "step": 543
    },
    {
      "epoch": 0.5666666666666667,
      "grad_norm": 2.872750997543335,
      "learning_rate": 3.9953265019086214e-05,
      "loss": 0.6537,
      "step": 544
    },
    {
      "epoch": 0.5677083333333334,
      "grad_norm": 1.7645474672317505,
      "learning_rate": 3.979219303543942e-05,
      "loss": 0.6139,
      "step": 545
    },
    {
      "epoch": 0.56875,
      "grad_norm": 2.648956775665283,
      "learning_rate": 3.9631231516884806e-05,
      "loss": 0.7026,
      "step": 546
    },
    {
      "epoch": 0.5697916666666667,
      "grad_norm": 1.947058916091919,
      "learning_rate": 3.947038220528809e-05,
      "loss": 0.6043,
      "step": 547
    },
    {
      "epoch": 0.5708333333333333,
      "grad_norm": 2.3346941471099854,
      "learning_rate": 3.930964684130071e-05,
      "loss": 0.532,
      "step": 548
    },
    {
      "epoch": 0.571875,
      "grad_norm": 1.7118197679519653,
      "learning_rate": 3.9149027164341015e-05,
      "loss": 0.4272,
      "step": 549
    },
    {
      "epoch": 0.5729166666666666,
      "grad_norm": 2.3073806762695312,
      "learning_rate": 3.898852491257546e-05,
      "loss": 0.4729,
      "step": 550
    },
    {
      "epoch": 0.5739583333333333,
      "grad_norm": 1.4564229249954224,
      "learning_rate": 3.882814182289975e-05,
      "loss": 0.8712,
      "step": 551
    },
    {
      "epoch": 0.575,
      "grad_norm": 1.7986128330230713,
      "learning_rate": 3.8667879630920025e-05,
      "loss": 0.8534,
      "step": 552
    },
    {
      "epoch": 0.5760416666666667,
      "grad_norm": 1.297637939453125,
      "learning_rate": 3.850774007093417e-05,
      "loss": 0.7873,
      "step": 553
    },
    {
      "epoch": 0.5770833333333333,
      "grad_norm": 1.4580180644989014,
      "learning_rate": 3.8347724875912974e-05,
      "loss": 0.7784,
      "step": 554
    },
    {
      "epoch": 0.578125,
      "grad_norm": 1.4000816345214844,
      "learning_rate": 3.818783577748138e-05,
      "loss": 0.7934,
      "step": 555
    },
    {
      "epoch": 0.5791666666666667,
      "grad_norm": 1.3361140489578247,
      "learning_rate": 3.802807450589978e-05,
      "loss": 0.7455,
      "step": 556
    },
    {
      "epoch": 0.5802083333333333,
      "grad_norm": 1.5139485597610474,
      "learning_rate": 3.7868442790045275e-05,
      "loss": 0.7505,
      "step": 557
    },
    {
      "epoch": 0.58125,
      "grad_norm": 1.3416706323623657,
      "learning_rate": 3.770894235739293e-05,
      "loss": 0.7747,
      "step": 558
    },
    {
      "epoch": 0.5822916666666667,
      "grad_norm": 1.4226689338684082,
      "learning_rate": 3.754957493399712e-05,
      "loss": 0.8505,
      "step": 559
    },
    {
      "epoch": 0.5833333333333334,
      "grad_norm": 1.537718415260315,
      "learning_rate": 3.739034224447289e-05,
      "loss": 0.8856,
      "step": 560
    },
    {
      "epoch": 0.584375,
      "grad_norm": 7.340727806091309,
      "learning_rate": 3.72312460119772e-05,
      "loss": 0.8249,
      "step": 561
    },
    {
      "epoch": 0.5854166666666667,
      "grad_norm": 1.5619571208953857,
      "learning_rate": 3.70722879581903e-05,
      "loss": 0.6769,
      "step": 562
    },
    {
      "epoch": 0.5864583333333333,
      "grad_norm": 1.3483173847198486,
      "learning_rate": 3.69134698032972e-05,
      "loss": 0.7313,
      "step": 563
    },
    {
      "epoch": 0.5875,
      "grad_norm": 1.4928789138793945,
      "learning_rate": 3.675479326596891e-05,
      "loss": 0.7675,
      "step": 564
    },
    {
      "epoch": 0.5885416666666666,
      "grad_norm": 1.9797329902648926,
      "learning_rate": 3.659626006334395e-05,
      "loss": 0.8374,
      "step": 565
    },
    {
      "epoch": 0.5895833333333333,
      "grad_norm": 1.3056612014770508,
      "learning_rate": 3.643787191100966e-05,
      "loss": 0.7104,
      "step": 566
    },
    {
      "epoch": 0.590625,
      "grad_norm": 1.2899731397628784,
      "learning_rate": 3.6279630522983776e-05,
      "loss": 0.6533,
      "step": 567
    },
    {
      "epoch": 0.5916666666666667,
      "grad_norm": 1.555680274963379,
      "learning_rate": 3.6121537611695764e-05,
      "loss": 0.7857,
      "step": 568
    },
    {
      "epoch": 0.5927083333333333,
      "grad_norm": 1.5036554336547852,
      "learning_rate": 3.596359488796832e-05,
      "loss": 0.8736,
      "step": 569
    },
    {
      "epoch": 0.59375,
      "grad_norm": 1.422133207321167,
      "learning_rate": 3.580580406099893e-05,
      "loss": 0.7493,
      "step": 570
    },
    {
      "epoch": 0.5947916666666667,
      "grad_norm": 1.4379973411560059,
      "learning_rate": 3.564816683834123e-05,
      "loss": 0.7224,
      "step": 571
    },
    {
      "epoch": 0.5958333333333333,
      "grad_norm": 1.2567182779312134,
      "learning_rate": 3.5490684925886644e-05,
      "loss": 0.6278,
      "step": 572
    },
    {
      "epoch": 0.596875,
      "grad_norm": 1.532312035560608,
      "learning_rate": 3.533336002784588e-05,
      "loss": 0.681,
      "step": 573
    },
    {
      "epoch": 0.5979166666666667,
      "grad_norm": 1.1209323406219482,
      "learning_rate": 3.5176193846730514e-05,
      "loss": 0.5293,
      "step": 574
    },
    {
      "epoch": 0.5989583333333334,
      "grad_norm": 1.5067025423049927,
      "learning_rate": 3.501918808333453e-05,
      "loss": 0.7759,
      "step": 575
    },
    {
      "epoch": 0.6,
      "grad_norm": 1.440869688987732,
      "learning_rate": 3.486234443671591e-05,
      "loss": 0.627,
      "step": 576
    },
    {
      "epoch": 0.6010416666666667,
      "grad_norm": 1.4321869611740112,
      "learning_rate": 3.470566460417831e-05,
      "loss": 0.7155,
      "step": 577
    },
    {
      "epoch": 0.6020833333333333,
      "grad_norm": 1.3951305150985718,
      "learning_rate": 3.4549150281252636e-05,
      "loss": 0.63,
      "step": 578
    },
    {
      "epoch": 0.603125,
      "grad_norm": 1.47622549533844,
      "learning_rate": 3.4392803161678697e-05,
      "loss": 0.6237,
      "step": 579
    },
    {
      "epoch": 0.6041666666666666,
      "grad_norm": 1.656446933746338,
      "learning_rate": 3.4236624937386876e-05,
      "loss": 0.6887,
      "step": 580
    },
    {
      "epoch": 0.6052083333333333,
      "grad_norm": 1.3823047876358032,
      "learning_rate": 3.40806172984799e-05,
      "loss": 0.6301,
      "step": 581
    },
    {
      "epoch": 0.60625,
      "grad_norm": 1.8200987577438354,
      "learning_rate": 3.392478193321441e-05,
      "loss": 0.6626,
      "step": 582
    },
    {
      "epoch": 0.6072916666666667,
      "grad_norm": 2.2826778888702393,
      "learning_rate": 3.376912052798279e-05,
      "loss": 0.6516,
      "step": 583
    },
    {
      "epoch": 0.6083333333333333,
      "grad_norm": 1.647339940071106,
      "learning_rate": 3.361363476729493e-05,
      "loss": 0.6127,
      "step": 584
    },
    {
      "epoch": 0.609375,
      "grad_norm": 1.6159588098526,
      "learning_rate": 3.3458326333759925e-05,
      "loss": 0.6683,
      "step": 585
    },
    {
      "epoch": 0.6104166666666667,
      "grad_norm": 1.3742609024047852,
      "learning_rate": 3.330319690806788e-05,
      "loss": 0.5975,
      "step": 586
    },
    {
      "epoch": 0.6114583333333333,
      "grad_norm": 1.4665132761001587,
      "learning_rate": 3.3148248168971784e-05,
      "loss": 0.5781,
      "step": 587
    },
    {
      "epoch": 0.6125,
      "grad_norm": 1.748762845993042,
      "learning_rate": 3.2993481793269296e-05,
      "loss": 0.7245,
      "step": 588
    },
    {
      "epoch": 0.6135416666666667,
      "grad_norm": 1.5355771780014038,
      "learning_rate": 3.28388994557846e-05,
      "loss": 0.4982,
      "step": 589
    },
    {
      "epoch": 0.6145833333333334,
      "grad_norm": 1.9184001684188843,
      "learning_rate": 3.268450282935026e-05,
      "loss": 0.5633,
      "step": 590
    },
    {
      "epoch": 0.615625,
      "grad_norm": 1.8262557983398438,
      "learning_rate": 3.25302935847892e-05,
      "loss": 0.6477,
      "step": 591
    },
    {
      "epoch": 0.6166666666666667,
      "grad_norm": 1.7773441076278687,
      "learning_rate": 3.237627339089652e-05,
      "loss": 0.7414,
      "step": 592
    },
    {
      "epoch": 0.6177083333333333,
      "grad_norm": 1.6170330047607422,
      "learning_rate": 3.2222443914421495e-05,
      "loss": 0.5425,
      "step": 593
    },
    {
      "epoch": 0.61875,
      "grad_norm": 1.689811110496521,
      "learning_rate": 3.206880682004956e-05,
      "loss": 0.6404,
      "step": 594
    },
    {
      "epoch": 0.6197916666666666,
      "grad_norm": 1.6835728883743286,
      "learning_rate": 3.191536377038422e-05,
      "loss": 0.52,
      "step": 595
    },
    {
      "epoch": 0.6208333333333333,
      "grad_norm": 1.5056208372116089,
      "learning_rate": 3.176211642592911e-05,
      "loss": 0.5701,
      "step": 596
    },
    {
      "epoch": 0.621875,
      "grad_norm": 1.736497402191162,
      "learning_rate": 3.160906644507001e-05,
      "loss": 0.5451,
      "step": 597
    },
    {
      "epoch": 0.6229166666666667,
      "grad_norm": 2.1240594387054443,
      "learning_rate": 3.145621548405694e-05,
      "loss": 0.7216,
      "step": 598
    },
    {
      "epoch": 0.6239583333333333,
      "grad_norm": 1.5497885942459106,
      "learning_rate": 3.130356519698617e-05,
      "loss": 0.4633,
      "step": 599
    },
    {
      "epoch": 0.625,
      "grad_norm": 1.6708025932312012,
      "learning_rate": 3.115111723578235e-05,
      "loss": 0.4109,
      "step": 600
    },
    {
      "epoch": 0.6260416666666667,
      "grad_norm": 1.5580321550369263,
      "learning_rate": 3.0998873250180646e-05,
      "loss": 0.8383,
      "step": 601
    },
    {
      "epoch": 0.6270833333333333,
      "grad_norm": 1.272809624671936,
      "learning_rate": 3.084683488770888e-05,
      "loss": 0.798,
      "step": 602
    },
    {
      "epoch": 0.628125,
      "grad_norm": 1.0793769359588623,
      "learning_rate": 3.0695003793669694e-05,
      "loss": 0.6973,
      "step": 603
    },
    {
      "epoch": 0.6291666666666667,
      "grad_norm": 1.2917262315750122,
      "learning_rate": 3.0543381611122716e-05,
      "loss": 0.734,
      "step": 604
    },
    {
      "epoch": 0.6302083333333334,
      "grad_norm": 1.163493037223816,
      "learning_rate": 3.0391969980866875e-05,
      "loss": 0.7217,
      "step": 605
    },
    {
      "epoch": 0.63125,
      "grad_norm": 1.3500217199325562,
      "learning_rate": 3.0240770541422513e-05,
      "loss": 0.7944,
      "step": 606
    },
    {
      "epoch": 0.6322916666666667,
      "grad_norm": 1.6803966760635376,
      "learning_rate": 3.0089784929013777e-05,
      "loss": 0.8068,
      "step": 607
    },
    {
      "epoch": 0.6333333333333333,
      "grad_norm": 1.3745338916778564,
      "learning_rate": 2.9939014777550822e-05,
      "loss": 0.8314,
      "step": 608
    },
    {
      "epoch": 0.634375,
      "grad_norm": 1.1966943740844727,
      "learning_rate": 2.9788461718612203e-05,
      "loss": 0.6397,
      "step": 609
    },
    {
      "epoch": 0.6354166666666666,
      "grad_norm": 1.2764579057693481,
      "learning_rate": 2.963812738142713e-05,
      "loss": 0.7373,
      "step": 610
    },
    {
      "epoch": 0.6364583333333333,
      "grad_norm": 1.9974533319473267,
      "learning_rate": 2.9488013392857904e-05,
      "loss": 0.7504,
      "step": 611
    },
    {
      "epoch": 0.6375,
      "grad_norm": 1.2013195753097534,
      "learning_rate": 2.9338121377382326e-05,
      "loss": 0.6112,
      "step": 612
    },
    {
      "epoch": 0.6385416666666667,
      "grad_norm": 1.336713433265686,
      "learning_rate": 2.918845295707606e-05,
      "loss": 0.694,
      "step": 613
    },
    {
      "epoch": 0.6395833333333333,
      "grad_norm": 1.396898627281189,
      "learning_rate": 2.903900975159509e-05,
      "loss": 0.8218,
      "step": 614
    },
    {
      "epoch": 0.640625,
      "grad_norm": 1.2082254886627197,
      "learning_rate": 2.888979337815828e-05,
      "loss": 0.6829,
      "step": 615
    },
    {
      "epoch": 0.6416666666666667,
      "grad_norm": 1.0183446407318115,
      "learning_rate": 2.8740805451529708e-05,
      "loss": 0.6046,
      "step": 616
    },
    {
      "epoch": 0.6427083333333333,
      "grad_norm": 1.32803213596344,
      "learning_rate": 2.8592047584001325e-05,
      "loss": 0.7758,
      "step": 617
    },
    {
      "epoch": 0.64375,
      "grad_norm": 1.4922325611114502,
      "learning_rate": 2.8443521385375482e-05,
      "loss": 0.7719,
      "step": 618
    },
    {
      "epoch": 0.6447916666666667,
      "grad_norm": 1.4610625505447388,
      "learning_rate": 2.8295228462947514e-05,
      "loss": 0.6497,
      "step": 619
    },
    {
      "epoch": 0.6458333333333334,
      "grad_norm": 1.6599160432815552,
      "learning_rate": 2.8147170421488272e-05,
      "loss": 0.6137,
      "step": 620
    },
    {
      "epoch": 0.646875,
      "grad_norm": 1.523785948753357,
      "learning_rate": 2.7999348863226827e-05,
      "loss": 0.6772,
      "step": 621
    },
    {
      "epoch": 0.6479166666666667,
      "grad_norm": 1.284409761428833,
      "learning_rate": 2.785176538783314e-05,
      "loss": 0.6503,
      "step": 622
    },
    {
      "epoch": 0.6489583333333333,
      "grad_norm": 1.6952437162399292,
      "learning_rate": 2.770442159240074e-05,
      "loss": 0.7822,
      "step": 623
    },
    {
      "epoch": 0.65,
      "grad_norm": 1.5551471710205078,
      "learning_rate": 2.7557319071429367e-05,
      "loss": 0.7219,
      "step": 624
    },
    {
      "epoch": 0.6510416666666666,
      "grad_norm": 1.7833805084228516,
      "learning_rate": 2.7410459416807853e-05,
      "loss": 0.687,
      "step": 625
    },
    {
      "epoch": 0.6520833333333333,
      "grad_norm": 1.3587669134140015,
      "learning_rate": 2.7263844217796757e-05,
      "loss": 0.5966,
      "step": 626
    },
    {
      "epoch": 0.653125,
      "grad_norm": 1.3390867710113525,
      "learning_rate": 2.711747506101129e-05,
      "loss": 0.6419,
      "step": 627
    },
    {
      "epoch": 0.6541666666666667,
      "grad_norm": 1.5288326740264893,
      "learning_rate": 2.6971353530403997e-05,
      "loss": 0.73,
      "step": 628
    },
    {
      "epoch": 0.6552083333333333,
      "grad_norm": 1.6075263023376465,
      "learning_rate": 2.682548120724781e-05,
      "loss": 0.6516,
      "step": 629
    },
    {
      "epoch": 0.65625,
      "grad_norm": 1.3152976036071777,
      "learning_rate": 2.6679859670118783e-05,
      "loss": 0.6222,
      "step": 630
    },
    {
      "epoch": 0.6572916666666667,
      "grad_norm": 1.2743598222732544,
      "learning_rate": 2.6534490494879027e-05,
      "loss": 0.6564,
      "step": 631
    },
    {
      "epoch": 0.6583333333333333,
      "grad_norm": 1.6585561037063599,
      "learning_rate": 2.6389375254659744e-05,
      "loss": 0.6911,
      "step": 632
    },
    {
      "epoch": 0.659375,
      "grad_norm": 1.2432022094726562,
      "learning_rate": 2.624451551984407e-05,
      "loss": 0.6065,
      "step": 633
    },
    {
      "epoch": 0.6604166666666667,
      "grad_norm": 1.5414793491363525,
      "learning_rate": 2.6099912858050268e-05,
      "loss": 0.6441,
      "step": 634
    },
    {
      "epoch": 0.6614583333333334,
      "grad_norm": 1.5178009271621704,
      "learning_rate": 2.5955568834114524e-05,
      "loss": 0.5402,
      "step": 635
    },
    {
      "epoch": 0.6625,
      "grad_norm": 1.316257357597351,
      "learning_rate": 2.5811485010074255e-05,
      "loss": 0.5019,
      "step": 636
    },
    {
      "epoch": 0.6635416666666667,
      "grad_norm": 1.2839508056640625,
      "learning_rate": 2.5667662945151e-05,
      "loss": 0.5325,
      "step": 637
    },
    {
      "epoch": 0.6645833333333333,
      "grad_norm": 1.4311492443084717,
      "learning_rate": 2.55241041957337e-05,
      "loss": 0.5931,
      "step": 638
    },
    {
      "epoch": 0.665625,
      "grad_norm": 1.8314334154129028,
      "learning_rate": 2.5380810315361788e-05,
      "loss": 0.6793,
      "step": 639
    },
    {
      "epoch": 0.6666666666666666,
      "grad_norm": 2.162665605545044,
      "learning_rate": 2.5237782854708348e-05,
      "loss": 0.6017,
      "step": 640
    },
    {
      "epoch": 0.6677083333333333,
      "grad_norm": 1.725351333618164,
      "learning_rate": 2.5095023361563375e-05,
      "loss": 0.6501,
      "step": 641
    },
    {
      "epoch": 0.66875,
      "grad_norm": 1.4947415590286255,
      "learning_rate": 2.4952533380817044e-05,
      "loss": 0.5078,
      "step": 642
    },
    {
      "epoch": 0.6697916666666667,
      "grad_norm": 2.2289884090423584,
      "learning_rate": 2.481031445444298e-05,
      "loss": 0.6497,
      "step": 643
    },
    {
      "epoch": 0.6708333333333333,
      "grad_norm": 2.2674930095672607,
      "learning_rate": 2.466836812148151e-05,
      "loss": 0.7192,
      "step": 644
    },
    {
      "epoch": 0.671875,
      "grad_norm": 2.015789270401001,
      "learning_rate": 2.452669591802307e-05,
      "loss": 0.5994,
      "step": 645
    },
    {
      "epoch": 0.6729166666666667,
      "grad_norm": 1.825859546661377,
      "learning_rate": 2.4385299377191583e-05,
      "loss": 0.5706,
      "step": 646
    },
    {
      "epoch": 0.6739583333333333,
      "grad_norm": 2.008932113647461,
      "learning_rate": 2.4244180029127877e-05,
      "loss": 0.4564,
      "step": 647
    },
    {
      "epoch": 0.675,
      "grad_norm": 2.502835750579834,
      "learning_rate": 2.410333940097304e-05,
      "loss": 0.6998,
      "step": 648
    },
    {
      "epoch": 0.6760416666666667,
      "grad_norm": 1.6366060972213745,
      "learning_rate": 2.396277901685202e-05,
      "loss": 0.4758,
      "step": 649
    },
    {
      "epoch": 0.6770833333333334,
      "grad_norm": 2.4029455184936523,
      "learning_rate": 2.3822500397857018e-05,
      "loss": 0.5232,
      "step": 650
    },
    {
      "epoch": 0.678125,
      "grad_norm": 1.4841660261154175,
      "learning_rate": 2.368250506203112e-05,
      "loss": 0.7946,
      "step": 651
    },
    {
      "epoch": 0.6791666666666667,
      "grad_norm": 1.304701566696167,
      "learning_rate": 2.354279452435178e-05,
      "loss": 0.8304,
      "step": 652
    },
    {
      "epoch": 0.6802083333333333,
      "grad_norm": 1.1640214920043945,
      "learning_rate": 2.3403370296714528e-05,
      "loss": 0.7263,
      "step": 653
    },
    {
      "epoch": 0.68125,
      "grad_norm": 1.204672932624817,
      "learning_rate": 2.3264233887916494e-05,
      "loss": 0.7169,
      "step": 654
    },
    {
      "epoch": 0.6822916666666666,
      "grad_norm": 1.882915735244751,
      "learning_rate": 2.3125386803640187e-05,
      "loss": 0.7602,
      "step": 655
    },
    {
      "epoch": 0.6833333333333333,
      "grad_norm": 1.3267548084259033,
      "learning_rate": 2.298683054643715e-05,
      "loss": 0.7717,
      "step": 656
    },
    {
      "epoch": 0.684375,
      "grad_norm": 1.3370460271835327,
      "learning_rate": 2.284856661571165e-05,
      "loss": 0.777,
      "step": 657
    },
    {
      "epoch": 0.6854166666666667,
      "grad_norm": 1.420301914215088,
      "learning_rate": 2.2710596507704594e-05,
      "loss": 0.7567,
      "step": 658
    },
    {
      "epoch": 0.6864583333333333,
      "grad_norm": 1.1992299556732178,
      "learning_rate": 2.2572921715477156e-05,
      "loss": 0.7755,
      "step": 659
    },
    {
      "epoch": 0.6875,
      "grad_norm": 1.4022406339645386,
      "learning_rate": 2.2435543728894792e-05,
      "loss": 0.8821,
      "step": 660
    },
    {
      "epoch": 0.6885416666666667,
      "grad_norm": 1.2189592123031616,
      "learning_rate": 2.2298464034610967e-05,
      "loss": 0.6677,
      "step": 661
    },
    {
      "epoch": 0.6895833333333333,
      "grad_norm": 1.3852081298828125,
      "learning_rate": 2.216168411605119e-05,
      "loss": 0.7902,
      "step": 662
    },
    {
      "epoch": 0.690625,
      "grad_norm": 1.3502624034881592,
      "learning_rate": 2.2025205453396907e-05,
      "loss": 0.7254,
      "step": 663
    },
    {
      "epoch": 0.6916666666666667,
      "grad_norm": 1.2660248279571533,
      "learning_rate": 2.1889029523569458e-05,
      "loss": 0.7416,
      "step": 664
    },
    {
      "epoch": 0.6927083333333334,
      "grad_norm": 1.336748480796814,
      "learning_rate": 2.175315780021411e-05,
      "loss": 0.7688,
      "step": 665
    },
    {
      "epoch": 0.69375,
      "grad_norm": 1.4365503787994385,
      "learning_rate": 2.1617591753684153e-05,
      "loss": 0.73,
      "step": 666
    },
    {
      "epoch": 0.6947916666666667,
      "grad_norm": 1.579880714416504,
      "learning_rate": 2.1482332851024973e-05,
      "loss": 0.7501,
      "step": 667
    },
    {
      "epoch": 0.6958333333333333,
      "grad_norm": 1.5389788150787354,
      "learning_rate": 2.1347382555958107e-05,
      "loss": 0.6861,
      "step": 668
    },
    {
      "epoch": 0.696875,
      "grad_norm": 1.1966989040374756,
      "learning_rate": 2.1212742328865464e-05,
      "loss": 0.6662,
      "step": 669
    },
    {
      "epoch": 0.6979166666666666,
      "grad_norm": 1.312809944152832,
      "learning_rate": 2.1078413626773546e-05,
      "loss": 0.6897,
      "step": 670
    },
    {
      "epoch": 0.6989583333333333,
      "grad_norm": 1.6302735805511475,
      "learning_rate": 2.0944397903337654e-05,
      "loss": 0.7243,
      "step": 671
    },
    {
      "epoch": 0.7,
      "grad_norm": 1.2824088335037231,
      "learning_rate": 2.0810696608826096e-05,
      "loss": 0.6999,
      "step": 672
    },
    {
      "epoch": 0.7010416666666667,
      "grad_norm": 1.3098829984664917,
      "learning_rate": 2.067731119010457e-05,
      "loss": 0.6817,
      "step": 673
    },
    {
      "epoch": 0.7020833333333333,
      "grad_norm": 1.4410078525543213,
      "learning_rate": 2.0544243090620508e-05,
      "loss": 0.7953,
      "step": 674
    },
    {
      "epoch": 0.703125,
      "grad_norm": 1.3275927305221558,
      "learning_rate": 2.0411493750387423e-05,
      "loss": 0.6598,
      "step": 675
    },
    {
      "epoch": 0.7041666666666667,
      "grad_norm": 1.7317752838134766,
      "learning_rate": 2.02790646059693e-05,
      "loss": 0.7804,
      "step": 676
    },
    {
      "epoch": 0.7052083333333333,
      "grad_norm": 2.1841697692871094,
      "learning_rate": 2.0146957090465136e-05,
      "loss": 0.7782,
      "step": 677
    },
    {
      "epoch": 0.70625,
      "grad_norm": 1.5672399997711182,
      "learning_rate": 2.0015172633493317e-05,
      "loss": 0.6889,
      "step": 678
    },
    {
      "epoch": 0.7072916666666667,
      "grad_norm": 1.4508048295974731,
      "learning_rate": 1.988371266117629e-05,
      "loss": 0.6238,
      "step": 679
    },
    {
      "epoch": 0.7083333333333334,
      "grad_norm": 1.4379782676696777,
      "learning_rate": 1.9752578596124954e-05,
      "loss": 0.7119,
      "step": 680
    },
    {
      "epoch": 0.709375,
      "grad_norm": 1.5638985633850098,
      "learning_rate": 1.962177185742346e-05,
      "loss": 0.6186,
      "step": 681
    },
    {
      "epoch": 0.7104166666666667,
      "grad_norm": 1.4840542078018188,
      "learning_rate": 1.949129386061367e-05,
      "loss": 0.6373,
      "step": 682
    },
    {
      "epoch": 0.7114583333333333,
      "grad_norm": 1.6275633573532104,
      "learning_rate": 1.9361146017679965e-05,
      "loss": 0.7195,
      "step": 683
    },
    {
      "epoch": 0.7125,
      "grad_norm": 1.717545747756958,
      "learning_rate": 1.9231329737033948e-05,
      "loss": 0.6727,
      "step": 684
    },
    {
      "epoch": 0.7135416666666666,
      "grad_norm": 1.4588340520858765,
      "learning_rate": 1.9101846423499116e-05,
      "loss": 0.6176,
      "step": 685
    },
    {
      "epoch": 0.7145833333333333,
      "grad_norm": 1.5071755647659302,
      "learning_rate": 1.8972697478295752e-05,
      "loss": 0.646,
      "step": 686
    },
    {
      "epoch": 0.715625,
      "grad_norm": 1.396911859512329,
      "learning_rate": 1.884388429902576e-05,
      "loss": 0.5871,
      "step": 687
    },
    {
      "epoch": 0.7166666666666667,
      "grad_norm": 1.831417202949524,
      "learning_rate": 1.8715408279657464e-05,
      "loss": 0.6977,
      "step": 688
    },
    {
      "epoch": 0.7177083333333333,
      "grad_norm": 1.48085355758667,
      "learning_rate": 1.858727081051056e-05,
      "loss": 0.6195,
      "step": 689
    },
    {
      "epoch": 0.71875,
      "grad_norm": 1.5149849653244019,
      "learning_rate": 1.8459473278241126e-05,
      "loss": 0.4907,
      "step": 690
    },
    {
      "epoch": 0.7197916666666667,
      "grad_norm": 2.180877208709717,
      "learning_rate": 1.8332017065826552e-05,
      "loss": 0.6293,
      "step": 691
    },
    {
      "epoch": 0.7208333333333333,
      "grad_norm": 1.5042057037353516,
      "learning_rate": 1.8204903552550583e-05,
      "loss": 0.5509,
      "step": 692
    },
    {
      "epoch": 0.721875,
      "grad_norm": 1.5925581455230713,
      "learning_rate": 1.8078134113988387e-05,
      "loss": 0.5607,
      "step": 693
    },
    {
      "epoch": 0.7229166666666667,
      "grad_norm": 1.4938063621520996,
      "learning_rate": 1.795171012199171e-05,
      "loss": 0.4602,
      "step": 694
    },
    {
      "epoch": 0.7239583333333334,
      "grad_norm": 1.5530134439468384,
      "learning_rate": 1.7825632944674015e-05,
      "loss": 0.4858,
      "step": 695
    },
    {
      "epoch": 0.725,
      "grad_norm": 1.5484873056411743,
      "learning_rate": 1.769990394639563e-05,
      "loss": 0.5023,
      "step": 696
    },
    {
      "epoch": 0.7260416666666667,
      "grad_norm": 2.468700647354126,
      "learning_rate": 1.7574524487749016e-05,
      "loss": 0.7157,
      "step": 697
    },
    {
      "epoch": 0.7270833333333333,
      "grad_norm": 1.9478298425674438,
      "learning_rate": 1.7449495925544078e-05,
      "loss": 0.549,
      "step": 698
    },
    {
      "epoch": 0.728125,
      "grad_norm": 2.0440175533294678,
      "learning_rate": 1.7324819612793462e-05,
      "loss": 0.5546,
      "step": 699
    },
    {
      "epoch": 0.7291666666666666,
      "grad_norm": 2.3669347763061523,
      "learning_rate": 1.7200496898697832e-05,
      "loss": 0.5619,
      "step": 700
    },
    {
      "epoch": 0.7302083333333333,
      "grad_norm": 1.3816217184066772,
      "learning_rate": 1.707652912863142e-05,
      "loss": 0.9319,
      "step": 701
    },
    {
      "epoch": 0.73125,
      "grad_norm": 1.0774331092834473,
      "learning_rate": 1.6952917644127314e-05,
      "loss": 0.7769,
      "step": 702
    },
    {
      "epoch": 0.7322916666666667,
      "grad_norm": 1.2312700748443604,
      "learning_rate": 1.682966378286308e-05,
      "loss": 0.7831,
      "step": 703
    },
    {
      "epoch": 0.7333333333333333,
      "grad_norm": 1.3390649557113647,
      "learning_rate": 1.6706768878646155e-05,
      "loss": 0.753,
      "step": 704
    },
    {
      "epoch": 0.734375,
      "grad_norm": 1.3976539373397827,
      "learning_rate": 1.6584234261399534e-05,
      "loss": 0.7684,
      "step": 705
    },
    {
      "epoch": 0.7354166666666667,
      "grad_norm": 1.5387693643569946,
      "learning_rate": 1.646206125714726e-05,
      "loss": 0.7535,
      "step": 706
    },
    {
      "epoch": 0.7364583333333333,
      "grad_norm": 1.1761369705200195,
      "learning_rate": 1.6340251188000182e-05,
      "loss": 0.7277,
      "step": 707
    },
    {
      "epoch": 0.7375,
      "grad_norm": 1.0468343496322632,
      "learning_rate": 1.6218805372141603e-05,
      "loss": 0.572,
      "step": 708
    },
    {
      "epoch": 0.7385416666666667,
      "grad_norm": 1.415216088294983,
      "learning_rate": 1.609772512381298e-05,
      "loss": 0.7284,
      "step": 709
    },
    {
      "epoch": 0.7395833333333334,
      "grad_norm": 1.245348334312439,
      "learning_rate": 1.5977011753299725e-05,
      "loss": 0.675,
      "step": 710
    },
    {
      "epoch": 0.740625,
      "grad_norm": 1.3192644119262695,
      "learning_rate": 1.585666656691708e-05,
      "loss": 0.7536,
      "step": 711
    },
    {
      "epoch": 0.7416666666666667,
      "grad_norm": 1.2952287197113037,
      "learning_rate": 1.573669086699593e-05,
      "loss": 0.6708,
      "step": 712
    },
    {
      "epoch": 0.7427083333333333,
      "grad_norm": 1.2197072505950928,
      "learning_rate": 1.561708595186866e-05,
      "loss": 0.7577,
      "step": 713
    },
    {
      "epoch": 0.74375,
      "grad_norm": 1.2741856575012207,
      "learning_rate": 1.549785311585522e-05,
      "loss": 0.7615,
      "step": 714
    },
    {
      "epoch": 0.7447916666666666,
      "grad_norm": 2.370837450027466,
      "learning_rate": 1.537899364924905e-05,
      "loss": 0.7289,
      "step": 715
    },
    {
      "epoch": 0.7458333333333333,
      "grad_norm": 1.3511823415756226,
      "learning_rate": 1.5260508838303096e-05,
      "loss": 0.6794,
      "step": 716
    },
    {
      "epoch": 0.746875,
      "grad_norm": 1.5212794542312622,
      "learning_rate": 1.5142399965215914e-05,
      "loss": 0.6464,
      "step": 717
    },
    {
      "epoch": 0.7479166666666667,
      "grad_norm": 1.212865948677063,
      "learning_rate": 1.5024668308117844e-05,
      "loss": 0.6998,
      "step": 718
    },
    {
      "epoch": 0.7489583333333333,
      "grad_norm": 1.1772823333740234,
      "learning_rate": 1.4907315141057122e-05,
      "loss": 0.6228,
      "step": 719
    },
    {
      "epoch": 0.75,
      "grad_norm": 1.1575666666030884,
      "learning_rate": 1.4790341733986085e-05,
      "loss": 0.6034,
      "step": 720
    },
    {
      "epoch": 0.7510416666666667,
      "grad_norm": 2.0014498233795166,
      "learning_rate": 1.4673749352747434e-05,
      "loss": 0.6872,
      "step": 721
    },
    {
      "epoch": 0.7520833333333333,
      "grad_norm": 1.3855669498443604,
      "learning_rate": 1.4557539259060605e-05,
      "loss": 0.6931,
      "step": 722
    },
    {
      "epoch": 0.753125,
      "grad_norm": 1.3407278060913086,
      "learning_rate": 1.4441712710508032e-05,
      "loss": 0.719,
      "step": 723
    },
    {
      "epoch": 0.7541666666666667,
      "grad_norm": 1.440765142440796,
      "learning_rate": 1.4326270960521544e-05,
      "loss": 0.5434,
      "step": 724
    },
    {
      "epoch": 0.7552083333333334,
      "grad_norm": 1.3421037197113037,
      "learning_rate": 1.4211215258368866e-05,
      "loss": 0.68,
      "step": 725
    },
    {
      "epoch": 0.75625,
      "grad_norm": 1.8224077224731445,
      "learning_rate": 1.4096546849140008e-05,
      "loss": 0.7144,
      "step": 726
    },
    {
      "epoch": 0.7572916666666667,
      "grad_norm": 1.2033274173736572,
      "learning_rate": 1.3982266973733893e-05,
      "loss": 0.6674,
      "step": 727
    },
    {
      "epoch": 0.7583333333333333,
      "grad_norm": 1.4809401035308838,
      "learning_rate": 1.3868376868844823e-05,
      "loss": 0.6617,
      "step": 728
    },
    {
      "epoch": 0.759375,
      "grad_norm": 1.7149503231048584,
      "learning_rate": 1.3754877766949197e-05,
      "loss": 0.7941,
      "step": 729
    },
    {
      "epoch": 0.7604166666666666,
      "grad_norm": 1.4038870334625244,
      "learning_rate": 1.3641770896292084e-05,
      "loss": 0.6182,
      "step": 730
    },
    {
      "epoch": 0.7614583333333333,
      "grad_norm": 1.6729142665863037,
      "learning_rate": 1.3529057480873992e-05,
      "loss": 0.6302,
      "step": 731
    },
    {
      "epoch": 0.7625,
      "grad_norm": 1.5424391031265259,
      "learning_rate": 1.3416738740437629e-05,
      "loss": 0.6846,
      "step": 732
    },
    {
      "epoch": 0.7635416666666667,
      "grad_norm": 1.408805012702942,
      "learning_rate": 1.3304815890454619e-05,
      "loss": 0.5941,
      "step": 733
    },
    {
      "epoch": 0.7645833333333333,
      "grad_norm": 1.536403775215149,
      "learning_rate": 1.3193290142112436e-05,
      "loss": 0.521,
      "step": 734
    },
    {
      "epoch": 0.765625,
      "grad_norm": 1.4793987274169922,
      "learning_rate": 1.3082162702301276e-05,
      "loss": 0.5733,
      "step": 735
    },
    {
      "epoch": 0.7666666666666667,
      "grad_norm": 1.9462858438491821,
      "learning_rate": 1.2971434773600993e-05,
      "loss": 0.6331,
      "step": 736
    },
    {
      "epoch": 0.7677083333333333,
      "grad_norm": 2.2049920558929443,
      "learning_rate": 1.286110755426806e-05,
      "loss": 0.6786,
      "step": 737
    },
    {
      "epoch": 0.76875,
      "grad_norm": 1.541314959526062,
      "learning_rate": 1.2751182238222592e-05,
      "loss": 0.626,
      "step": 738
    },
    {
      "epoch": 0.7697916666666667,
      "grad_norm": 1.6435222625732422,
      "learning_rate": 1.2641660015035562e-05,
      "loss": 0.5939,
      "step": 739
    },
    {
      "epoch": 0.7708333333333334,
      "grad_norm": 1.262977957725525,
      "learning_rate": 1.253254206991572e-05,
      "loss": 0.4793,
      "step": 740
    },
    {
      "epoch": 0.771875,
      "grad_norm": 1.598171591758728,
      "learning_rate": 1.242382958369689e-05,
      "loss": 0.493,
      "step": 741
    },
    {
      "epoch": 0.7729166666666667,
      "grad_norm": 1.6530565023422241,
      "learning_rate": 1.2315523732825197e-05,
      "loss": 0.6378,
      "step": 742
    },
    {
      "epoch": 0.7739583333333333,
      "grad_norm": 1.8897305727005005,
      "learning_rate": 1.2207625689346302e-05,
      "loss": 0.712,
      "step": 743
    },
    {
      "epoch": 0.775,
      "grad_norm": 1.9432270526885986,
      "learning_rate": 1.2100136620892721e-05,
      "loss": 0.7039,
      "step": 744
    },
    {
      "epoch": 0.7760416666666666,
      "grad_norm": 1.2570652961730957,
      "learning_rate": 1.1993057690671173e-05,
      "loss": 0.3578,
      "step": 745
    },
    {
      "epoch": 0.7770833333333333,
      "grad_norm": 1.8464231491088867,
      "learning_rate": 1.1886390057450041e-05,
      "loss": 0.628,
      "step": 746
    },
    {
      "epoch": 0.778125,
      "grad_norm": 2.309607982635498,
      "learning_rate": 1.1780134875546823e-05,
      "loss": 0.5623,
      "step": 747
    },
    {
      "epoch": 0.7791666666666667,
      "grad_norm": 1.852329969406128,
      "learning_rate": 1.1674293294815564e-05,
      "loss": 0.4916,
      "step": 748
    },
    {
      "epoch": 0.7802083333333333,
      "grad_norm": 2.2181556224823,
      "learning_rate": 1.1568866460634525e-05,
      "loss": 0.5659,
      "step": 749
    },
    {
      "epoch": 0.78125,
      "grad_norm": 1.5435380935668945,
      "learning_rate": 1.1463855513893695e-05,
      "loss": 0.4443,
      "step": 750
    },
    {
      "epoch": 0.7822916666666667,
      "grad_norm": 1.6792867183685303,
      "learning_rate": 1.1359261590982522e-05,
      "loss": 0.9077,
      "step": 751
    },
    {
      "epoch": 0.7833333333333333,
      "grad_norm": 1.3204892873764038,
      "learning_rate": 1.1255085823777533e-05,
      "loss": 0.8378,
      "step": 752
    },
    {
      "epoch": 0.784375,
      "grad_norm": 1.207353115081787,
      "learning_rate": 1.1151329339630173e-05,
      "loss": 0.7125,
      "step": 753
    },
    {
      "epoch": 0.7854166666666667,
      "grad_norm": 1.2478076219558716,
      "learning_rate": 1.1047993261354527e-05,
      "loss": 0.7218,
      "step": 754
    },
    {
      "epoch": 0.7864583333333334,
      "grad_norm": 1.2405811548233032,
      "learning_rate": 1.0945078707215222e-05,
      "loss": 0.7424,
      "step": 755
    },
    {
      "epoch": 0.7875,
      "grad_norm": 1.3956084251403809,
      "learning_rate": 1.084258679091532e-05,
      "loss": 0.7898,
      "step": 756
    },
    {
      "epoch": 0.7885416666666667,
      "grad_norm": 1.3465582132339478,
      "learning_rate": 1.0740518621584228e-05,
      "loss": 0.7956,
      "step": 757
    },
    {
      "epoch": 0.7895833333333333,
      "grad_norm": 1.2803372144699097,
      "learning_rate": 1.063887530376571e-05,
      "loss": 0.8162,
      "step": 758
    },
    {
      "epoch": 0.790625,
      "grad_norm": 1.2639515399932861,
      "learning_rate": 1.0537657937405982e-05,
      "loss": 0.6269,
      "step": 759
    },
    {
      "epoch": 0.7916666666666666,
      "grad_norm": 2.4814131259918213,
      "learning_rate": 1.0436867617841768e-05,
      "loss": 0.7502,
      "step": 760
    },
    {
      "epoch": 0.7927083333333333,
      "grad_norm": 1.3985823392868042,
      "learning_rate": 1.0336505435788418e-05,
      "loss": 0.69,
      "step": 761
    },
    {
      "epoch": 0.79375,
      "grad_norm": 1.1685116291046143,
      "learning_rate": 1.0236572477328144e-05,
      "loss": 0.6912,
      "step": 762
    },
    {
      "epoch": 0.7947916666666667,
      "grad_norm": 1.652747631072998,
      "learning_rate": 1.013706982389831e-05,
      "loss": 0.745,
      "step": 763
    },
    {
      "epoch": 0.7958333333333333,
      "grad_norm": 1.3861443996429443,
      "learning_rate": 1.0037998552279621e-05,
      "loss": 0.7401,
      "step": 764
    },
    {
      "epoch": 0.796875,
      "grad_norm": 1.2634680271148682,
      "learning_rate": 9.939359734584553e-06,
      "loss": 0.6867,
      "step": 765
    },
    {
      "epoch": 0.7979166666666667,
      "grad_norm": 1.37790048122406,
      "learning_rate": 9.841154438245681e-06,
      "loss": 0.7907,
      "step": 766
    },
    {
      "epoch": 0.7989583333333333,
      "grad_norm": 1.561474084854126,
      "learning_rate": 9.74338372600428e-06,
      "loss": 0.7016,
      "step": 767
    },
    {
      "epoch": 0.8,
      "grad_norm": 2.0454294681549072,
      "learning_rate": 9.646048655898621e-06,
      "loss": 0.7361,
      "step": 768
    },
    {
      "epoch": 0.8010416666666667,
      "grad_norm": 1.2678831815719604,
      "learning_rate": 9.549150281252633e-06,
      "loss": 0.6869,
      "step": 769
    },
    {
      "epoch": 0.8020833333333334,
      "grad_norm": 1.4655107259750366,
      "learning_rate": 9.452689650664515e-06,
      "loss": 0.7516,
      "step": 770
    },
    {
      "epoch": 0.803125,
      "grad_norm": 1.5071277618408203,
      "learning_rate": 9.356667807995373e-06,
      "loss": 0.5991,
      "step": 771
    },
    {
      "epoch": 0.8041666666666667,
      "grad_norm": 1.4115749597549438,
      "learning_rate": 9.261085792357871e-06,
      "loss": 0.6354,
      "step": 772
    },
    {
      "epoch": 0.8052083333333333,
      "grad_norm": 1.2929874658584595,
      "learning_rate": 9.165944638105039e-06,
      "loss": 0.6632,
      "step": 773
    },
    {
      "epoch": 0.80625,
      "grad_norm": 1.5789275169372559,
      "learning_rate": 9.071245374819093e-06,
      "loss": 0.7945,
      "step": 774
    },
    {
      "epoch": 0.8072916666666666,
      "grad_norm": 1.5048911571502686,
      "learning_rate": 8.976989027300264e-06,
      "loss": 0.5816,
      "step": 775
    },
    {
      "epoch": 0.8083333333333333,
      "grad_norm": 1.5114694833755493,
      "learning_rate": 8.883176615555683e-06,
      "loss": 0.7232,
      "step": 776
    },
    {
      "epoch": 0.809375,
      "grad_norm": 2.10318660736084,
      "learning_rate": 8.78980915478842e-06,
      "loss": 0.6938,
      "step": 777
    },
    {
      "epoch": 0.8104166666666667,
      "grad_norm": 1.4141818284988403,
      "learning_rate": 8.696887655386399e-06,
      "loss": 0.6433,
      "step": 778
    },
    {
      "epoch": 0.8114583333333333,
      "grad_norm": 1.4442367553710938,
      "learning_rate": 8.60441312291156e-06,
      "loss": 0.6952,
      "step": 779
    },
    {
      "epoch": 0.8125,
      "grad_norm": 1.511153221130371,
      "learning_rate": 8.51238655808892e-06,
      "loss": 0.6315,
      "step": 780
    },
    {
      "epoch": 0.8135416666666667,
      "grad_norm": 1.3375447988510132,
      "learning_rate": 8.42080895679574e-06,
      "loss": 0.6089,
      "step": 781
    },
    {
      "epoch": 0.8145833333333333,
      "grad_norm": 3.3998982906341553,
      "learning_rate": 8.329681310050775e-06,
      "loss": 0.7102,
      "step": 782
    },
    {
      "epoch": 0.815625,
      "grad_norm": 1.6483834981918335,
      "learning_rate": 8.239004604003541e-06,
      "loss": 0.655,
      "step": 783
    },
    {
      "epoch": 0.8166666666666667,
      "grad_norm": 1.4618431329727173,
      "learning_rate": 8.148779819923663e-06,
      "loss": 0.5167,
      "step": 784
    },
    {
      "epoch": 0.8177083333333334,
      "grad_norm": 1.9766703844070435,
      "learning_rate": 8.059007934190194e-06,
      "loss": 0.5226,
      "step": 785
    },
    {
      "epoch": 0.81875,
      "grad_norm": 1.4614447355270386,
      "learning_rate": 7.969689918281087e-06,
      "loss": 0.5662,
      "step": 786
    },
    {
      "epoch": 0.8197916666666667,
      "grad_norm": 1.4560445547103882,
      "learning_rate": 7.880826738762753e-06,
      "loss": 0.6233,
      "step": 787
    },
    {
      "epoch": 0.8208333333333333,
      "grad_norm": 1.7317410707473755,
      "learning_rate": 7.792419357279468e-06,
      "loss": 0.5471,
      "step": 788
    },
    {
      "epoch": 0.821875,
      "grad_norm": 1.5399142503738403,
      "learning_rate": 7.704468730543035e-06,
      "loss": 0.5854,
      "step": 789
    },
    {
      "epoch": 0.8229166666666666,
      "grad_norm": 1.5779551267623901,
      "learning_rate": 7.61697581032243e-06,
      "loss": 0.588,
      "step": 790
    },
    {
      "epoch": 0.8239583333333333,
      "grad_norm": 1.515321969985962,
      "learning_rate": 7.52994154343355e-06,
      "loss": 0.6577,
      "step": 791
    },
    {
      "epoch": 0.825,
      "grad_norm": 2.0192766189575195,
      "learning_rate": 7.443366871728852e-06,
      "loss": 0.639,
      "step": 792
    },
    {
      "epoch": 0.8260416666666667,
      "grad_norm": 2.0062878131866455,
      "learning_rate": 7.357252732087244e-06,
      "loss": 0.619,
      "step": 793
    },
    {
      "epoch": 0.8270833333333333,
      "grad_norm": 1.9654890298843384,
      "learning_rate": 7.271600056403932e-06,
      "loss": 0.5759,
      "step": 794
    },
    {
      "epoch": 0.828125,
      "grad_norm": 1.4525485038757324,
      "learning_rate": 7.186409771580354e-06,
      "loss": 0.4072,
      "step": 795
    },
    {
      "epoch": 0.8291666666666667,
      "grad_norm": 2.271631956100464,
      "learning_rate": 7.101682799514081e-06,
      "loss": 0.5993,
      "step": 796
    },
    {
      "epoch": 0.8302083333333333,
      "grad_norm": 2.3547263145446777,
      "learning_rate": 7.017420057088902e-06,
      "loss": 0.5969,
      "step": 797
    },
    {
      "epoch": 0.83125,
      "grad_norm": 2.249467372894287,
      "learning_rate": 6.933622456164901e-06,
      "loss": 0.5879,
      "step": 798
    },
    {
      "epoch": 0.8322916666666667,
      "grad_norm": 1.6056324243545532,
      "learning_rate": 6.850290903568573e-06,
      "loss": 0.4014,
      "step": 799
    },
    {
      "epoch": 0.8333333333333334,
      "grad_norm": 2.3218955993652344,
      "learning_rate": 6.76742630108298e-06,
      "loss": 0.4666,
      "step": 800
    },
    {
      "epoch": 0.834375,
      "grad_norm": 1.190539836883545,
      "learning_rate": 6.685029545438065e-06,
      "loss": 0.8457,
      "step": 801
    },
    {
      "epoch": 0.8354166666666667,
      "grad_norm": 1.2094305753707886,
      "learning_rate": 6.603101528300864e-06,
      "loss": 0.7446,
      "step": 802
    },
    {
      "epoch": 0.8364583333333333,
      "grad_norm": 1.723471760749817,
      "learning_rate": 6.521643136265948e-06,
      "loss": 0.7429,
      "step": 803
    },
    {
      "epoch": 0.8375,
      "grad_norm": 1.0769903659820557,
      "learning_rate": 6.440655250845729e-06,
      "loss": 0.7249,
      "step": 804
    },
    {
      "epoch": 0.8385416666666666,
      "grad_norm": 1.2417173385620117,
      "learning_rate": 6.3601387484610145e-06,
      "loss": 0.7909,
      "step": 805
    },
    {
      "epoch": 0.8395833333333333,
      "grad_norm": 1.304469108581543,
      "learning_rate": 6.280094500431438e-06,
      "loss": 0.7477,
      "step": 806
    },
    {
      "epoch": 0.840625,
      "grad_norm": 1.0696971416473389,
      "learning_rate": 6.20052337296611e-06,
      "loss": 0.6823,
      "step": 807
    },
    {
      "epoch": 0.8416666666666667,
      "grad_norm": 1.2922405004501343,
      "learning_rate": 6.121426227154203e-06,
      "loss": 0.7049,
      "step": 808
    },
    {
      "epoch": 0.8427083333333333,
      "grad_norm": 1.2797906398773193,
      "learning_rate": 6.042803918955608e-06,
      "loss": 0.7306,
      "step": 809
    },
    {
      "epoch": 0.84375,
      "grad_norm": 1.3310950994491577,
      "learning_rate": 5.9646572991917116e-06,
      "loss": 0.7577,
      "step": 810
    },
    {
      "epoch": 0.8447916666666667,
      "grad_norm": 1.2615668773651123,
      "learning_rate": 5.886987213536183e-06,
      "loss": 0.6685,
      "step": 811
    },
    {
      "epoch": 0.8458333333333333,
      "grad_norm": 1.3765071630477905,
      "learning_rate": 5.809794502505838e-06,
      "loss": 0.6437,
      "step": 812
    },
    {
      "epoch": 0.846875,
      "grad_norm": 1.944855809211731,
      "learning_rate": 5.7330800014514796e-06,
      "loss": 0.7718,
      "step": 813
    },
    {
      "epoch": 0.8479166666666667,
      "grad_norm": 1.376603364944458,
      "learning_rate": 5.656844540548894e-06,
      "loss": 0.7657,
      "step": 814
    },
    {
      "epoch": 0.8489583333333334,
      "grad_norm": 1.4778352975845337,
      "learning_rate": 5.581088944789953e-06,
      "loss": 0.765,
      "step": 815
    },
    {
      "epoch": 0.85,
      "grad_norm": 1.3192706108093262,
      "learning_rate": 5.505814033973522e-06,
      "loss": 0.7469,
      "step": 816
    },
    {
      "epoch": 0.8510416666666667,
      "grad_norm": 1.5508555173873901,
      "learning_rate": 5.431020622696697e-06,
      "loss": 0.7347,
      "step": 817
    },
    {
      "epoch": 0.8520833333333333,
      "grad_norm": 1.9636070728302002,
      "learning_rate": 5.35670952034597e-06,
      "loss": 0.774,
      "step": 818
    },
    {
      "epoch": 0.853125,
      "grad_norm": 1.3412758111953735,
      "learning_rate": 5.28288153108849e-06,
      "loss": 0.6714,
      "step": 819
    },
    {
      "epoch": 0.8541666666666666,
      "grad_norm": 1.4357577562332153,
      "learning_rate": 5.209537453863289e-06,
      "loss": 0.5973,
      "step": 820
    },
    {
      "epoch": 0.8552083333333333,
      "grad_norm": 1.458638072013855,
      "learning_rate": 5.136678082372698e-06,
      "loss": 0.631,
      "step": 821
    },
    {
      "epoch": 0.85625,
      "grad_norm": 1.5523080825805664,
      "learning_rate": 5.064304205073761e-06,
      "loss": 0.7198,
      "step": 822
    },
    {
      "epoch": 0.8572916666666667,
      "grad_norm": 1.5850015878677368,
      "learning_rate": 4.992416605169681e-06,
      "loss": 0.5728,
      "step": 823
    },
    {
      "epoch": 0.8583333333333333,
      "grad_norm": 1.5397354364395142,
      "learning_rate": 4.921016060601324e-06,
      "loss": 0.6035,
      "step": 824
    },
    {
      "epoch": 0.859375,
      "grad_norm": 1.3237143754959106,
      "learning_rate": 4.850103344038853e-06,
      "loss": 0.715,
      "step": 825
    },
    {
      "epoch": 0.8604166666666667,
      "grad_norm": 1.3808507919311523,
      "learning_rate": 4.7796792228733125e-06,
      "loss": 0.7082,
      "step": 826
    },
    {
      "epoch": 0.8614583333333333,
      "grad_norm": 1.6843879222869873,
      "learning_rate": 4.7097444592083705e-06,
      "loss": 0.6737,
      "step": 827
    },
    {
      "epoch": 0.8625,
      "grad_norm": 1.2097063064575195,
      "learning_rate": 4.640299809852034e-06,
      "loss": 0.5829,
      "step": 828
    },
    {
      "epoch": 0.8635416666666667,
      "grad_norm": 1.5696980953216553,
      "learning_rate": 4.571346026308487e-06,
      "loss": 0.6242,
      "step": 829
    },
    {
      "epoch": 0.8645833333333334,
      "grad_norm": 1.363450288772583,
      "learning_rate": 4.502883854769935e-06,
      "loss": 0.5263,
      "step": 830
    },
    {
      "epoch": 0.865625,
      "grad_norm": 1.5194668769836426,
      "learning_rate": 4.434914036108551e-06,
      "loss": 0.5647,
      "step": 831
    },
    {
      "epoch": 0.8666666666666667,
      "grad_norm": 1.4994497299194336,
      "learning_rate": 4.367437305868454e-06,
      "loss": 0.5729,
      "step": 832
    },
    {
      "epoch": 0.8677083333333333,
      "grad_norm": 1.9129706621170044,
      "learning_rate": 4.300454394257724e-06,
      "loss": 0.5771,
      "step": 833
    },
    {
      "epoch": 0.86875,
      "grad_norm": 1.3618898391723633,
      "learning_rate": 4.2339660261405234e-06,
      "loss": 0.669,
      "step": 834
    },
    {
      "epoch": 0.8697916666666666,
      "grad_norm": 1.574756145477295,
      "learning_rate": 4.167972921029262e-06,
      "loss": 0.5221,
      "step": 835
    },
    {
      "epoch": 0.8708333333333333,
      "grad_norm": 1.6220293045043945,
      "learning_rate": 4.1024757930767936e-06,
      "loss": 0.5937,
      "step": 836
    },
    {
      "epoch": 0.871875,
      "grad_norm": 1.5367552042007446,
      "learning_rate": 4.037475351068687e-06,
      "loss": 0.5844,
      "step": 837
    },
    {
      "epoch": 0.8729166666666667,
      "grad_norm": 1.8342727422714233,
      "learning_rate": 3.972972298415539e-06,
      "loss": 0.7158,
      "step": 838
    },
    {
      "epoch": 0.8739583333333333,
      "grad_norm": 1.5321928262710571,
      "learning_rate": 3.908967333145442e-06,
      "loss": 0.5961,
      "step": 839
    },
    {
      "epoch": 0.875,
      "grad_norm": 1.545090675354004,
      "learning_rate": 3.845461147896323e-06,
      "loss": 0.5282,
      "step": 840
    },
    {
      "epoch": 0.8760416666666667,
      "grad_norm": 1.9991534948349,
      "learning_rate": 3.782454429908505e-06,
      "loss": 0.6681,
      "step": 841
    },
    {
      "epoch": 0.8770833333333333,
      "grad_norm": 2.1054189205169678,
      "learning_rate": 3.7199478610172532e-06,
      "loss": 0.7065,
      "step": 842
    },
    {
      "epoch": 0.878125,
      "grad_norm": 1.300785779953003,
      "learning_rate": 3.6579421176454467e-06,
      "loss": 0.4675,
      "step": 843
    },
    {
      "epoch": 0.8791666666666667,
      "grad_norm": 2.0671403408050537,
      "learning_rate": 3.596437870796182e-06,
      "loss": 0.7172,
      "step": 844
    },
    {
      "epoch": 0.8802083333333334,
      "grad_norm": 1.8184969425201416,
      "learning_rate": 3.535435786045538e-06,
      "loss": 0.5556,
      "step": 845
    },
    {
      "epoch": 0.88125,
      "grad_norm": 1.8221582174301147,
      "learning_rate": 3.474936523535405e-06,
      "loss": 0.5021,
      "step": 846
    },
    {
      "epoch": 0.8822916666666667,
      "grad_norm": 1.6786510944366455,
      "learning_rate": 3.4149407379663324e-06,
      "loss": 0.424,
      "step": 847
    },
    {
      "epoch": 0.8833333333333333,
      "grad_norm": 1.775560736656189,
      "learning_rate": 3.355449078590378e-06,
      "loss": 0.4957,
      "step": 848
    },
    {
      "epoch": 0.884375,
      "grad_norm": 1.3155971765518188,
      "learning_rate": 3.2964621892041803e-06,
      "loss": 0.3245,
      "step": 849
    },
    {
      "epoch": 0.8854166666666666,
      "grad_norm": 2.2386832237243652,
      "learning_rate": 3.2379807081419187e-06,
      "loss": 0.5412,
      "step": 850
    },
    {
      "epoch": 0.8864583333333333,
      "grad_norm": 1.2349215745925903,
      "learning_rate": 3.1800052682684545e-06,
      "loss": 0.8474,
      "step": 851
    },
    {
      "epoch": 0.8875,
      "grad_norm": 1.372209072113037,
      "learning_rate": 3.122536496972428e-06,
      "loss": 0.7768,
      "step": 852
    },
    {
      "epoch": 0.8885416666666667,
      "grad_norm": 1.3876405954360962,
      "learning_rate": 3.065575016159533e-06,
      "loss": 0.7263,
      "step": 853
    },
    {
      "epoch": 0.8895833333333333,
      "grad_norm": 1.2499477863311768,
      "learning_rate": 3.0091214422457215e-06,
      "loss": 0.7784,
      "step": 854
    },
    {
      "epoch": 0.890625,
      "grad_norm": 1.0674387216567993,
      "learning_rate": 2.9531763861505966e-06,
      "loss": 0.6825,
      "step": 855
    },
    {
      "epoch": 0.8916666666666667,
      "grad_norm": 1.4572900533676147,
      "learning_rate": 2.897740453290759e-06,
      "loss": 0.6837,
      "step": 856
    },
    {
      "epoch": 0.8927083333333333,
      "grad_norm": 1.1978811025619507,
      "learning_rate": 2.842814243573266e-06,
      "loss": 0.7524,
      "step": 857
    },
    {
      "epoch": 0.89375,
      "grad_norm": 1.8166097402572632,
      "learning_rate": 2.7883983513891264e-06,
      "loss": 0.7587,
      "step": 858
    },
    {
      "epoch": 0.8947916666666667,
      "grad_norm": 1.4484285116195679,
      "learning_rate": 2.734493365606905e-06,
      "loss": 0.6963,
      "step": 859
    },
    {
      "epoch": 0.8958333333333334,
      "grad_norm": 1.2361994981765747,
      "learning_rate": 2.6810998695663282e-06,
      "loss": 0.7012,
      "step": 860
    },
    {
      "epoch": 0.896875,
      "grad_norm": 1.4270638227462769,
      "learning_rate": 2.6282184410719503e-06,
      "loss": 0.7743,
      "step": 861
    },
    {
      "epoch": 0.8979166666666667,
      "grad_norm": 1.3147835731506348,
      "learning_rate": 2.5758496523869247e-06,
      "loss": 0.7107,
      "step": 862
    },
    {
      "epoch": 0.8989583333333333,
      "grad_norm": 1.3492549657821655,
      "learning_rate": 2.5239940702268204e-06,
      "loss": 0.7872,
      "step": 863
    },
    {
      "epoch": 0.9,
      "grad_norm": 1.4398722648620605,
      "learning_rate": 2.4726522557534826e-06,
      "loss": 0.714,
      "step": 864
    },
    {
      "epoch": 0.9010416666666666,
      "grad_norm": 3.151320219039917,
      "learning_rate": 2.4218247645689307e-06,
      "loss": 0.6958,
      "step": 865
    },
    {
      "epoch": 0.9020833333333333,
      "grad_norm": 1.253701090812683,
      "learning_rate": 2.371512146709365e-06,
      "loss": 0.6191,
      "step": 866
    },
    {
      "epoch": 0.903125,
      "grad_norm": 1.3737211227416992,
      "learning_rate": 2.3217149466392527e-06,
      "loss": 0.6633,
      "step": 867
    },
    {
      "epoch": 0.9041666666666667,
      "grad_norm": 1.2215206623077393,
      "learning_rate": 2.2724337032453804e-06,
      "loss": 0.7163,
      "step": 868
    },
    {
      "epoch": 0.9052083333333333,
      "grad_norm": 1.304250955581665,
      "learning_rate": 2.223668949831026e-06,
      "loss": 0.6947,
      "step": 869
    },
    {
      "epoch": 0.90625,
      "grad_norm": 1.3805179595947266,
      "learning_rate": 2.1754212141102346e-06,
      "loss": 0.763,
      "step": 870
    },
    {
      "epoch": 0.9072916666666667,
      "grad_norm": 1.366702914237976,
      "learning_rate": 2.1276910182020714e-06,
      "loss": 0.6854,
      "step": 871
    },
    {
      "epoch": 0.9083333333333333,
      "grad_norm": 3.1948471069335938,
      "learning_rate": 2.080478878624964e-06,
      "loss": 0.6967,
      "step": 872
    },
    {
      "epoch": 0.909375,
      "grad_norm": 1.3241915702819824,
      "learning_rate": 2.0337853062911305e-06,
      "loss": 0.6998,
      "step": 873
    },
    {
      "epoch": 0.9104166666666667,
      "grad_norm": 1.2728943824768066,
      "learning_rate": 1.9876108065010613e-06,
      "loss": 0.6432,
      "step": 874
    },
    {
      "epoch": 0.9114583333333334,
      "grad_norm": 1.7453768253326416,
      "learning_rate": 1.941955878938029e-06,
      "loss": 0.7215,
      "step": 875
    },
    {
      "epoch": 0.9125,
      "grad_norm": 1.7339726686477661,
      "learning_rate": 1.896821017662681e-06,
      "loss": 0.6988,
      "step": 876
    },
    {
      "epoch": 0.9135416666666667,
      "grad_norm": 1.4364110231399536,
      "learning_rate": 1.8522067111077124e-06,
      "loss": 0.6659,
      "step": 877
    },
    {
      "epoch": 0.9145833333333333,
      "grad_norm": 1.7166552543640137,
      "learning_rate": 1.8081134420725509e-06,
      "loss": 0.581,
      "step": 878
    },
    {
      "epoch": 0.915625,
      "grad_norm": 6.623744487762451,
      "learning_rate": 1.7645416877181742e-06,
      "loss": 0.6601,
      "step": 879
    },
    {
      "epoch": 0.9166666666666666,
      "grad_norm": 1.7193689346313477,
      "learning_rate": 1.7214919195619127e-06,
      "loss": 0.7517,
      "step": 880
    },
    {
      "epoch": 0.9177083333333333,
      "grad_norm": 1.6687999963760376,
      "learning_rate": 1.6789646034723494e-06,
      "loss": 0.6461,
      "step": 881
    },
    {
      "epoch": 0.91875,
      "grad_norm": 1.391282081604004,
      "learning_rate": 1.6369601996642836e-06,
      "loss": 0.6312,
      "step": 882
    },
    {
      "epoch": 0.9197916666666667,
      "grad_norm": 1.5121153593063354,
      "learning_rate": 1.5954791626937581e-06,
      "loss": 0.6771,
      "step": 883
    },
    {
      "epoch": 0.9208333333333333,
      "grad_norm": 2.1496245861053467,
      "learning_rate": 1.5545219414531465e-06,
      "loss": 0.615,
      "step": 884
    },
    {
      "epoch": 0.921875,
      "grad_norm": 1.6022069454193115,
      "learning_rate": 1.514088979166256e-06,
      "loss": 0.6017,
      "step": 885
    },
    {
      "epoch": 0.9229166666666667,
      "grad_norm": 1.6399716138839722,
      "learning_rate": 1.4741807133835827e-06,
      "loss": 0.6407,
      "step": 886
    },
    {
      "epoch": 0.9239583333333333,
      "grad_norm": 1.6855573654174805,
      "learning_rate": 1.4347975759775368e-06,
      "loss": 0.4983,
      "step": 887
    },
    {
      "epoch": 0.925,
      "grad_norm": 1.800221562385559,
      "learning_rate": 1.395939993137796e-06,
      "loss": 0.629,
      "step": 888
    },
    {
      "epoch": 0.9260416666666667,
      "grad_norm": 1.4813508987426758,
      "learning_rate": 1.3576083853666765e-06,
      "loss": 0.5124,
      "step": 889
    },
    {
      "epoch": 0.9270833333333334,
      "grad_norm": 2.047701358795166,
      "learning_rate": 1.3198031674745813e-06,
      "loss": 0.7606,
      "step": 890
    },
    {
      "epoch": 0.928125,
      "grad_norm": 2.0055010318756104,
      "learning_rate": 1.282524748575531e-06,
      "loss": 0.6432,
      "step": 891
    },
    {
      "epoch": 0.9291666666666667,
      "grad_norm": 1.5645192861557007,
      "learning_rate": 1.2457735320827112e-06,
      "loss": 0.5869,
      "step": 892
    },
    {
      "epoch": 0.9302083333333333,
      "grad_norm": 2.028947114944458,
      "learning_rate": 1.2095499157041278e-06,
      "loss": 0.5532,
      "step": 893
    },
    {
      "epoch": 0.93125,
      "grad_norm": 1.7239904403686523,
      "learning_rate": 1.1738542914382866e-06,
      "loss": 0.593,
      "step": 894
    },
    {
      "epoch": 0.9322916666666666,
      "grad_norm": 1.598003625869751,
      "learning_rate": 1.138687045569975e-06,
      "loss": 0.5707,
      "step": 895
    },
    {
      "epoch": 0.9333333333333333,
      "grad_norm": 1.4587632417678833,
      "learning_rate": 1.104048558666043e-06,
      "loss": 0.4956,
      "step": 896
    },
    {
      "epoch": 0.934375,
      "grad_norm": 2.3102867603302,
      "learning_rate": 1.0699392055713186e-06,
      "loss": 0.6993,
      "step": 897
    },
    {
      "epoch": 0.9354166666666667,
      "grad_norm": 2.0169904232025146,
      "learning_rate": 1.0363593554045425e-06,
      "loss": 0.6012,
      "step": 898
    },
    {
      "epoch": 0.9364583333333333,
      "grad_norm": 1.9407933950424194,
      "learning_rate": 1.0033093715543784e-06,
      "loss": 0.4169,
      "step": 899
    },
    {
      "epoch": 0.9375,
      "grad_norm": 2.094684600830078,
      "learning_rate": 9.707896116754488e-07,
      "loss": 0.5148,
      "step": 900
    },
    {
      "epoch": 0.9385416666666667,
      "grad_norm": 2.871554374694824,
      "learning_rate": 9.388004276845219e-07,
      "loss": 0.9082,
      "step": 901
    },
    {
      "epoch": 0.9395833333333333,
      "grad_norm": 1.418456792831421,
      "learning_rate": 9.073421657566417e-07,
      "loss": 0.7948,
      "step": 902
    },
    {
      "epoch": 0.940625,
      "grad_norm": 1.2604620456695557,
      "learning_rate": 8.764151663214371e-07,
      "loss": 0.7165,
      "step": 903
    },
    {
      "epoch": 0.9416666666666667,
      "grad_norm": 1.858747124671936,
      "learning_rate": 8.460197640593858e-07,
      "loss": 0.8235,
      "step": 904
    },
    {
      "epoch": 0.9427083333333334,
      "grad_norm": 1.3510496616363525,
      "learning_rate": 8.161562878982398e-07,
      "loss": 0.7742,
      "step": 905
    },
    {
      "epoch": 0.94375,
      "grad_norm": 1.0752278566360474,
      "learning_rate": 7.86825061009433e-07,
      "loss": 0.7238,
      "step": 906
    },
    {
      "epoch": 0.9447916666666667,
      "grad_norm": 1.1927000284194946,
      "learning_rate": 7.580264008045957e-07,
      "loss": 0.6564,
      "step": 907
    },
    {
      "epoch": 0.9458333333333333,
      "grad_norm": 1.1954543590545654,
      "learning_rate": 7.297606189321348e-07,
      "loss": 0.7801,
      "step": 908
    },
    {
      "epoch": 0.946875,
      "grad_norm": 1.4886962175369263,
      "learning_rate": 7.020280212738206e-07,
      "loss": 0.7419,
      "step": 909
    },
    {
      "epoch": 0.9479166666666666,
      "grad_norm": 1.5824549198150635,
      "learning_rate": 6.74828907941516e-07,
      "loss": 0.642,
      "step": 910
    },
    {
      "epoch": 0.9489583333333333,
      "grad_norm": 1.1151862144470215,
      "learning_rate": 6.481635732739244e-07,
      "loss": 0.6839,
      "step": 911
    },
    {
      "epoch": 0.95,
      "grad_norm": 1.2042837142944336,
      "learning_rate": 6.220323058333755e-07,
      "loss": 0.654,
      "step": 912
    },
    {
      "epoch": 0.9510416666666667,
      "grad_norm": 1.4970898628234863,
      "learning_rate": 5.964353884027329e-07,
      "loss": 0.7011,
      "step": 913
    },
    {
      "epoch": 0.9520833333333333,
      "grad_norm": 1.3504347801208496,
      "learning_rate": 5.71373097982325e-07,
      "loss": 0.6432,
      "step": 914
    },
    {
      "epoch": 0.953125,
      "grad_norm": 1.2419986724853516,
      "learning_rate": 5.468457057869358e-07,
      "loss": 0.6838,
      "step": 915
    },
    {
      "epoch": 0.9541666666666667,
      "grad_norm": 1.3935805559158325,
      "learning_rate": 5.228534772428906e-07,
      "loss": 0.6862,
      "step": 916
    },
    {
      "epoch": 0.9552083333333333,
      "grad_norm": 1.2772287130355835,
      "learning_rate": 4.993966719851639e-07,
      "loss": 0.68,
      "step": 917
    },
    {
      "epoch": 0.95625,
      "grad_norm": 1.7918976545333862,
      "learning_rate": 4.764755438545876e-07,
      "loss": 0.7239,
      "step": 918
    },
    {
      "epoch": 0.9572916666666667,
      "grad_norm": 1.5818259716033936,
      "learning_rate": 4.540903408950803e-07,
      "loss": 0.6318,
      "step": 919
    },
    {
      "epoch": 0.9583333333333334,
      "grad_norm": 1.7107816934585571,
      "learning_rate": 4.322413053509944e-07,
      "loss": 0.786,
      "step": 920
    },
    {
      "epoch": 0.959375,
      "grad_norm": 2.537219524383545,
      "learning_rate": 4.1092867366446796e-07,
      "loss": 0.7273,
      "step": 921
    },
    {
      "epoch": 0.9604166666666667,
      "grad_norm": 1.6066709756851196,
      "learning_rate": 3.901526764728769e-07,
      "loss": 0.7885,
      "step": 922
    },
    {
      "epoch": 0.9614583333333333,
      "grad_norm": 1.3211185932159424,
      "learning_rate": 3.699135386063368e-07,
      "loss": 0.6415,
      "step": 923
    },
    {
      "epoch": 0.9625,
      "grad_norm": 1.5359432697296143,
      "learning_rate": 3.502114790852773e-07,
      "loss": 0.5866,
      "step": 924
    },
    {
      "epoch": 0.9635416666666666,
      "grad_norm": 1.6286778450012207,
      "learning_rate": 3.3104671111806593e-07,
      "loss": 0.6248,
      "step": 925
    },
    {
      "epoch": 0.9645833333333333,
      "grad_norm": 2.8611228466033936,
      "learning_rate": 3.124194420986881e-07,
      "loss": 0.6285,
      "step": 926
    },
    {
      "epoch": 0.965625,
      "grad_norm": 1.4953234195709229,
      "learning_rate": 2.943298736045319e-07,
      "loss": 0.7665,
      "step": 927
    },
    {
      "epoch": 0.9666666666666667,
      "grad_norm": 1.9792791604995728,
      "learning_rate": 2.7677820139417886e-07,
      "loss": 0.8144,
      "step": 928
    },
    {
      "epoch": 0.9677083333333333,
      "grad_norm": 1.5854568481445312,
      "learning_rate": 2.5976461540530575e-07,
      "loss": 0.803,
      "step": 929
    },
    {
      "epoch": 0.96875,
      "grad_norm": 1.4701118469238281,
      "learning_rate": 2.432892997526026e-07,
      "loss": 0.6619,
      "step": 930
    },
    {
      "epoch": 0.9697916666666667,
      "grad_norm": 1.7433825731277466,
      "learning_rate": 2.2735243272582474e-07,
      "loss": 0.6016,
      "step": 931
    },
    {
      "epoch": 0.9708333333333333,
      "grad_norm": 1.4306029081344604,
      "learning_rate": 2.1195418678781609e-07,
      "loss": 0.6096,
      "step": 932
    },
    {
      "epoch": 0.971875,
      "grad_norm": 1.9267367124557495,
      "learning_rate": 1.970947285726721e-07,
      "loss": 0.5502,
      "step": 933
    },
    {
      "epoch": 0.9729166666666667,
      "grad_norm": 1.598412275314331,
      "learning_rate": 1.8277421888391876e-07,
      "loss": 0.6941,
      "step": 934
    },
    {
      "epoch": 0.9739583333333334,
      "grad_norm": 1.2245068550109863,
      "learning_rate": 1.6899281269279755e-07,
      "loss": 0.57,
      "step": 935
    },
    {
      "epoch": 0.975,
      "grad_norm": 1.329172134399414,
      "learning_rate": 1.5575065913656094e-07,
      "loss": 0.5169,
      "step": 936
    },
    {
      "epoch": 0.9760416666666667,
      "grad_norm": 1.6064246892929077,
      "learning_rate": 1.430479015168684e-07,
      "loss": 0.7288,
      "step": 937
    },
    {
      "epoch": 0.9770833333333333,
      "grad_norm": 1.7906218767166138,
      "learning_rate": 1.308846772982375e-07,
      "loss": 0.7277,
      "step": 938
    },
    {
      "epoch": 0.978125,
      "grad_norm": 1.6558927297592163,
      "learning_rate": 1.1926111810656726e-07,
      "loss": 0.5351,
      "step": 939
    },
    {
      "epoch": 0.9791666666666666,
      "grad_norm": 1.5473381280899048,
      "learning_rate": 1.0817734972768944e-07,
      "loss": 0.5763,
      "step": 940
    },
    {
      "epoch": 0.9802083333333333,
      "grad_norm": 1.6375536918640137,
      "learning_rate": 9.763349210603068e-08,
      "loss": 0.5922,
      "step": 941
    },
    {
      "epoch": 0.98125,
      "grad_norm": 1.7909072637557983,
      "learning_rate": 8.76296593432857e-08,
      "loss": 0.588,
      "step": 942
    },
    {
      "epoch": 0.9822916666666667,
      "grad_norm": 1.499716877937317,
      "learning_rate": 7.816595969722396e-08,
      "loss": 0.5261,
      "step": 943
    },
    {
      "epoch": 0.9833333333333333,
      "grad_norm": 1.803849220275879,
      "learning_rate": 6.924249558049045e-08,
      "loss": 0.5873,
      "step": 944
    },
    {
      "epoch": 0.984375,
      "grad_norm": 1.760467290878296,
      "learning_rate": 6.085936355947897e-08,
      "loss": 0.601,
      "step": 945
    },
    {
      "epoch": 0.9854166666666667,
      "grad_norm": 1.9750155210494995,
      "learning_rate": 5.301665435334391e-08,
      "loss": 0.5245,
      "step": 946
    },
    {
      "epoch": 0.9864583333333333,
      "grad_norm": 2.0399997234344482,
      "learning_rate": 4.571445283295672e-08,
      "loss": 0.5317,
      "step": 947
    },
    {
      "epoch": 0.9875,
      "grad_norm": 1.8308573961257935,
      "learning_rate": 3.8952838020039906e-08,
      "loss": 0.4552,
      "step": 948
    },
    {
      "epoch": 0.9885416666666667,
      "grad_norm": 1.914959192276001,
      "learning_rate": 3.2731883086262183e-08,
      "loss": 0.398,
      "step": 949
    },
    {
      "epoch": 0.9895833333333334,
      "grad_norm": 2.6196017265319824,
      "learning_rate": 2.7051655352494652e-08,
      "loss": 0.6494,
      "step": 950
    },
    {
      "epoch": 0.990625,
      "grad_norm": 1.9856860637664795,
      "learning_rate": 2.191221628805029e-08,
      "loss": 0.8483,
      "step": 951
    },
    {
      "epoch": 0.9916666666666667,
      "grad_norm": 1.3660496473312378,
      "learning_rate": 1.7313621510017808e-08,
      "loss": 0.7299,
      "step": 952
    },
    {
      "epoch": 0.9927083333333333,
      "grad_norm": 1.372843861579895,
      "learning_rate": 1.325592078269544e-08,
      "loss": 0.7177,
      "step": 953
    },
    {
      "epoch": 0.99375,
      "grad_norm": 1.6214337348937988,
      "learning_rate": 9.739158016996986e-09,
      "loss": 0.7146,
      "step": 954
    },
    {
      "epoch": 0.9947916666666666,
      "grad_norm": 1.493476152420044,
      "learning_rate": 6.763371270035457e-09,
      "loss": 0.7908,
      "step": 955
    },
    {
      "epoch": 0.9958333333333333,
      "grad_norm": 1.4688129425048828,
      "learning_rate": 4.328592744656801e-09,
      "loss": 0.7135,
      "step": 956
    },
    {
      "epoch": 0.996875,
      "grad_norm": 1.4443378448486328,
      "learning_rate": 2.4348487891345804e-09,
      "loss": 0.5553,
      "step": 957
    },
    {
      "epoch": 0.9979166666666667,
      "grad_norm": 1.8546984195709229,
      "learning_rate": 1.082159896864665e-09,
      "loss": 0.6594,
      "step": 958
    },
    {
      "epoch": 0.9989583333333333,
      "grad_norm": 1.4984159469604492,
      "learning_rate": 2.705407061376342e-10,
      "loss": 0.5918,
      "step": 959
    },
    {
      "epoch": 1.0,
      "grad_norm": 1.6980849504470825,
      "learning_rate": 0.0,
      "loss": 0.5013,
      "step": 960
    }
  ],
  "logging_steps": 1,
  "max_steps": 960,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 1,
  "save_steps": 240,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 1.012172161328087e+18,
  "train_batch_size": 4,
  "trial_name": null,
  "trial_params": null
}