| { |
| "best_global_step": null, |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 1.0, |
| "eval_steps": 500, |
| "global_step": 9375, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.0010666666666666667, |
| "grad_norm": 19.19351951833338, |
| "learning_rate": 2.8784648187633266e-08, |
| "loss": 2.4684, |
| "step": 10 |
| }, |
| { |
| "epoch": 0.0021333333333333334, |
| "grad_norm": 18.92337376379854, |
| "learning_rate": 6.076759061833688e-08, |
| "loss": 2.4692, |
| "step": 20 |
| }, |
| { |
| "epoch": 0.0032, |
| "grad_norm": 18.39070081725417, |
| "learning_rate": 9.275053304904052e-08, |
| "loss": 2.4531, |
| "step": 30 |
| }, |
| { |
| "epoch": 0.004266666666666667, |
| "grad_norm": 18.110623469581412, |
| "learning_rate": 1.2473347547974415e-07, |
| "loss": 2.4457, |
| "step": 40 |
| }, |
| { |
| "epoch": 0.005333333333333333, |
| "grad_norm": 16.829744812640254, |
| "learning_rate": 1.5671641791044775e-07, |
| "loss": 2.4302, |
| "step": 50 |
| }, |
| { |
| "epoch": 0.0064, |
| "grad_norm": 14.086095074710766, |
| "learning_rate": 1.886993603411514e-07, |
| "loss": 2.3449, |
| "step": 60 |
| }, |
| { |
| "epoch": 0.007466666666666667, |
| "grad_norm": 9.841110946936624, |
| "learning_rate": 2.20682302771855e-07, |
| "loss": 2.3078, |
| "step": 70 |
| }, |
| { |
| "epoch": 0.008533333333333334, |
| "grad_norm": 6.78430988197192, |
| "learning_rate": 2.526652452025586e-07, |
| "loss": 2.1706, |
| "step": 80 |
| }, |
| { |
| "epoch": 0.0096, |
| "grad_norm": 4.333514177750633, |
| "learning_rate": 2.846481876332623e-07, |
| "loss": 2.1272, |
| "step": 90 |
| }, |
| { |
| "epoch": 0.010666666666666666, |
| "grad_norm": 3.1732519039552036, |
| "learning_rate": 3.166311300639659e-07, |
| "loss": 2.0568, |
| "step": 100 |
| }, |
| { |
| "epoch": 0.011733333333333333, |
| "grad_norm": 2.3810508874010594, |
| "learning_rate": 3.486140724946695e-07, |
| "loss": 2.0246, |
| "step": 110 |
| }, |
| { |
| "epoch": 0.0128, |
| "grad_norm": 1.9179100694443678, |
| "learning_rate": 3.8059701492537315e-07, |
| "loss": 1.9983, |
| "step": 120 |
| }, |
| { |
| "epoch": 0.013866666666666666, |
| "grad_norm": 2.3349329486093096, |
| "learning_rate": 4.125799573560768e-07, |
| "loss": 1.942, |
| "step": 130 |
| }, |
| { |
| "epoch": 0.014933333333333333, |
| "grad_norm": 1.4296519104353067, |
| "learning_rate": 4.4456289978678036e-07, |
| "loss": 1.9013, |
| "step": 140 |
| }, |
| { |
| "epoch": 0.016, |
| "grad_norm": 1.2824426730595104, |
| "learning_rate": 4.7654584221748404e-07, |
| "loss": 1.8814, |
| "step": 150 |
| }, |
| { |
| "epoch": 0.017066666666666667, |
| "grad_norm": 1.1216154194528924, |
| "learning_rate": 5.085287846481876e-07, |
| "loss": 1.8666, |
| "step": 160 |
| }, |
| { |
| "epoch": 0.018133333333333335, |
| "grad_norm": 1.2059667866990331, |
| "learning_rate": 5.405117270788912e-07, |
| "loss": 1.8533, |
| "step": 170 |
| }, |
| { |
| "epoch": 0.0192, |
| "grad_norm": 1.1493902678337349, |
| "learning_rate": 5.724946695095949e-07, |
| "loss": 1.8506, |
| "step": 180 |
| }, |
| { |
| "epoch": 0.020266666666666665, |
| "grad_norm": 1.0836891008436758, |
| "learning_rate": 6.044776119402986e-07, |
| "loss": 1.8418, |
| "step": 190 |
| }, |
| { |
| "epoch": 0.021333333333333333, |
| "grad_norm": 1.0951533998987484, |
| "learning_rate": 6.364605543710021e-07, |
| "loss": 1.8254, |
| "step": 200 |
| }, |
| { |
| "epoch": 0.0224, |
| "grad_norm": 1.2099775250080314, |
| "learning_rate": 6.684434968017058e-07, |
| "loss": 1.8277, |
| "step": 210 |
| }, |
| { |
| "epoch": 0.023466666666666667, |
| "grad_norm": 1.1296459421981933, |
| "learning_rate": 7.004264392324094e-07, |
| "loss": 1.8267, |
| "step": 220 |
| }, |
| { |
| "epoch": 0.024533333333333334, |
| "grad_norm": 1.0670615871346485, |
| "learning_rate": 7.32409381663113e-07, |
| "loss": 1.8124, |
| "step": 230 |
| }, |
| { |
| "epoch": 0.0256, |
| "grad_norm": 1.0760214545568452, |
| "learning_rate": 7.643923240938166e-07, |
| "loss": 1.8295, |
| "step": 240 |
| }, |
| { |
| "epoch": 0.02666666666666667, |
| "grad_norm": 0.9894101666354408, |
| "learning_rate": 7.963752665245201e-07, |
| "loss": 1.814, |
| "step": 250 |
| }, |
| { |
| "epoch": 0.027733333333333332, |
| "grad_norm": 1.1287464355221322, |
| "learning_rate": 8.283582089552239e-07, |
| "loss": 1.8124, |
| "step": 260 |
| }, |
| { |
| "epoch": 0.0288, |
| "grad_norm": 1.1348862317797481, |
| "learning_rate": 8.603411513859275e-07, |
| "loss": 1.8022, |
| "step": 270 |
| }, |
| { |
| "epoch": 0.029866666666666666, |
| "grad_norm": 0.9761919582313725, |
| "learning_rate": 8.923240938166312e-07, |
| "loss": 1.7992, |
| "step": 280 |
| }, |
| { |
| "epoch": 0.030933333333333334, |
| "grad_norm": 1.014871042008999, |
| "learning_rate": 9.243070362473348e-07, |
| "loss": 1.8102, |
| "step": 290 |
| }, |
| { |
| "epoch": 0.032, |
| "grad_norm": 1.0301862866806937, |
| "learning_rate": 9.562899786780384e-07, |
| "loss": 1.8032, |
| "step": 300 |
| }, |
| { |
| "epoch": 0.03306666666666667, |
| "grad_norm": 1.0048214186154454, |
| "learning_rate": 9.88272921108742e-07, |
| "loss": 1.7852, |
| "step": 310 |
| }, |
| { |
| "epoch": 0.034133333333333335, |
| "grad_norm": 1.0376114136346828, |
| "learning_rate": 1.0202558635394457e-06, |
| "loss": 1.8005, |
| "step": 320 |
| }, |
| { |
| "epoch": 0.0352, |
| "grad_norm": 0.9815201183737711, |
| "learning_rate": 1.0522388059701493e-06, |
| "loss": 1.7907, |
| "step": 330 |
| }, |
| { |
| "epoch": 0.03626666666666667, |
| "grad_norm": 1.077177807922214, |
| "learning_rate": 1.0842217484008529e-06, |
| "loss": 1.7872, |
| "step": 340 |
| }, |
| { |
| "epoch": 0.037333333333333336, |
| "grad_norm": 1.0062114274919118, |
| "learning_rate": 1.1162046908315565e-06, |
| "loss": 1.79, |
| "step": 350 |
| }, |
| { |
| "epoch": 0.0384, |
| "grad_norm": 1.011677603731489, |
| "learning_rate": 1.14818763326226e-06, |
| "loss": 1.7717, |
| "step": 360 |
| }, |
| { |
| "epoch": 0.039466666666666664, |
| "grad_norm": 1.0171488180098203, |
| "learning_rate": 1.1801705756929636e-06, |
| "loss": 1.7956, |
| "step": 370 |
| }, |
| { |
| "epoch": 0.04053333333333333, |
| "grad_norm": 0.9888992252428204, |
| "learning_rate": 1.2121535181236674e-06, |
| "loss": 1.7864, |
| "step": 380 |
| }, |
| { |
| "epoch": 0.0416, |
| "grad_norm": 0.9859184795384529, |
| "learning_rate": 1.244136460554371e-06, |
| "loss": 1.7823, |
| "step": 390 |
| }, |
| { |
| "epoch": 0.042666666666666665, |
| "grad_norm": 1.0304450709466717, |
| "learning_rate": 1.2761194029850748e-06, |
| "loss": 1.7789, |
| "step": 400 |
| }, |
| { |
| "epoch": 0.04373333333333333, |
| "grad_norm": 0.9930226616060509, |
| "learning_rate": 1.3081023454157784e-06, |
| "loss": 1.7789, |
| "step": 410 |
| }, |
| { |
| "epoch": 0.0448, |
| "grad_norm": 1.0049945685138113, |
| "learning_rate": 1.340085287846482e-06, |
| "loss": 1.7859, |
| "step": 420 |
| }, |
| { |
| "epoch": 0.04586666666666667, |
| "grad_norm": 0.9986856887017783, |
| "learning_rate": 1.3720682302771855e-06, |
| "loss": 1.7706, |
| "step": 430 |
| }, |
| { |
| "epoch": 0.046933333333333334, |
| "grad_norm": 0.96632533926388, |
| "learning_rate": 1.4040511727078893e-06, |
| "loss": 1.765, |
| "step": 440 |
| }, |
| { |
| "epoch": 0.048, |
| "grad_norm": 0.9946011180675964, |
| "learning_rate": 1.4360341151385929e-06, |
| "loss": 1.7802, |
| "step": 450 |
| }, |
| { |
| "epoch": 0.04906666666666667, |
| "grad_norm": 1.0219829758585637, |
| "learning_rate": 1.4680170575692965e-06, |
| "loss": 1.7595, |
| "step": 460 |
| }, |
| { |
| "epoch": 0.050133333333333335, |
| "grad_norm": 1.0050257648331358, |
| "learning_rate": 1.5e-06, |
| "loss": 1.7779, |
| "step": 470 |
| }, |
| { |
| "epoch": 0.0512, |
| "grad_norm": 1.0173955839633826, |
| "learning_rate": 1.5319829424307038e-06, |
| "loss": 1.7662, |
| "step": 480 |
| }, |
| { |
| "epoch": 0.05226666666666667, |
| "grad_norm": 1.0058087072458008, |
| "learning_rate": 1.5639658848614072e-06, |
| "loss": 1.7662, |
| "step": 490 |
| }, |
| { |
| "epoch": 0.05333333333333334, |
| "grad_norm": 1.009772740192404, |
| "learning_rate": 1.595948827292111e-06, |
| "loss": 1.7629, |
| "step": 500 |
| }, |
| { |
| "epoch": 0.0544, |
| "grad_norm": 1.0091539437017147, |
| "learning_rate": 1.6279317697228144e-06, |
| "loss": 1.7625, |
| "step": 510 |
| }, |
| { |
| "epoch": 0.055466666666666664, |
| "grad_norm": 0.9766386913719629, |
| "learning_rate": 1.6599147121535181e-06, |
| "loss": 1.7651, |
| "step": 520 |
| }, |
| { |
| "epoch": 0.05653333333333333, |
| "grad_norm": 0.9948665771860978, |
| "learning_rate": 1.6918976545842217e-06, |
| "loss": 1.7575, |
| "step": 530 |
| }, |
| { |
| "epoch": 0.0576, |
| "grad_norm": 1.015137004488529, |
| "learning_rate": 1.7238805970149253e-06, |
| "loss": 1.7522, |
| "step": 540 |
| }, |
| { |
| "epoch": 0.058666666666666666, |
| "grad_norm": 0.979130851624477, |
| "learning_rate": 1.755863539445629e-06, |
| "loss": 1.7491, |
| "step": 550 |
| }, |
| { |
| "epoch": 0.05973333333333333, |
| "grad_norm": 1.028286956478857, |
| "learning_rate": 1.7878464818763327e-06, |
| "loss": 1.7601, |
| "step": 560 |
| }, |
| { |
| "epoch": 0.0608, |
| "grad_norm": 1.0021135232260054, |
| "learning_rate": 1.8198294243070365e-06, |
| "loss": 1.7503, |
| "step": 570 |
| }, |
| { |
| "epoch": 0.06186666666666667, |
| "grad_norm": 0.9849872333104093, |
| "learning_rate": 1.8518123667377398e-06, |
| "loss": 1.7567, |
| "step": 580 |
| }, |
| { |
| "epoch": 0.06293333333333333, |
| "grad_norm": 0.966018699377993, |
| "learning_rate": 1.8837953091684436e-06, |
| "loss": 1.7532, |
| "step": 590 |
| }, |
| { |
| "epoch": 0.064, |
| "grad_norm": 0.9834875314263131, |
| "learning_rate": 1.9157782515991474e-06, |
| "loss": 1.7527, |
| "step": 600 |
| }, |
| { |
| "epoch": 0.06506666666666666, |
| "grad_norm": 0.9857718624604849, |
| "learning_rate": 1.9477611940298506e-06, |
| "loss": 1.7478, |
| "step": 610 |
| }, |
| { |
| "epoch": 0.06613333333333334, |
| "grad_norm": 0.9750320080314833, |
| "learning_rate": 1.9797441364605546e-06, |
| "loss": 1.7567, |
| "step": 620 |
| }, |
| { |
| "epoch": 0.0672, |
| "grad_norm": 0.986251223038516, |
| "learning_rate": 2.011727078891258e-06, |
| "loss": 1.7537, |
| "step": 630 |
| }, |
| { |
| "epoch": 0.06826666666666667, |
| "grad_norm": 1.0589652983354991, |
| "learning_rate": 2.0437100213219617e-06, |
| "loss": 1.7479, |
| "step": 640 |
| }, |
| { |
| "epoch": 0.06933333333333333, |
| "grad_norm": 0.966603804583492, |
| "learning_rate": 2.0756929637526653e-06, |
| "loss": 1.7553, |
| "step": 650 |
| }, |
| { |
| "epoch": 0.0704, |
| "grad_norm": 0.9937104599025618, |
| "learning_rate": 2.107675906183369e-06, |
| "loss": 1.7396, |
| "step": 660 |
| }, |
| { |
| "epoch": 0.07146666666666666, |
| "grad_norm": 0.9729344211017412, |
| "learning_rate": 2.139658848614073e-06, |
| "loss": 1.749, |
| "step": 670 |
| }, |
| { |
| "epoch": 0.07253333333333334, |
| "grad_norm": 0.9684440081773728, |
| "learning_rate": 2.171641791044776e-06, |
| "loss": 1.7448, |
| "step": 680 |
| }, |
| { |
| "epoch": 0.0736, |
| "grad_norm": 1.0315595656282452, |
| "learning_rate": 2.20362473347548e-06, |
| "loss": 1.7413, |
| "step": 690 |
| }, |
| { |
| "epoch": 0.07466666666666667, |
| "grad_norm": 0.956255201496986, |
| "learning_rate": 2.235607675906183e-06, |
| "loss": 1.7343, |
| "step": 700 |
| }, |
| { |
| "epoch": 0.07573333333333333, |
| "grad_norm": 1.0099473897982345, |
| "learning_rate": 2.267590618336887e-06, |
| "loss": 1.7476, |
| "step": 710 |
| }, |
| { |
| "epoch": 0.0768, |
| "grad_norm": 0.9918013311593525, |
| "learning_rate": 2.2995735607675903e-06, |
| "loss": 1.7447, |
| "step": 720 |
| }, |
| { |
| "epoch": 0.07786666666666667, |
| "grad_norm": 0.9607779066124419, |
| "learning_rate": 2.3315565031982944e-06, |
| "loss": 1.7461, |
| "step": 730 |
| }, |
| { |
| "epoch": 0.07893333333333333, |
| "grad_norm": 0.9300821752164984, |
| "learning_rate": 2.363539445628998e-06, |
| "loss": 1.7459, |
| "step": 740 |
| }, |
| { |
| "epoch": 0.08, |
| "grad_norm": 0.9802865773994389, |
| "learning_rate": 2.3955223880597015e-06, |
| "loss": 1.7289, |
| "step": 750 |
| }, |
| { |
| "epoch": 0.08106666666666666, |
| "grad_norm": 0.968861406929428, |
| "learning_rate": 2.427505330490405e-06, |
| "loss": 1.734, |
| "step": 760 |
| }, |
| { |
| "epoch": 0.08213333333333334, |
| "grad_norm": 0.931168411910361, |
| "learning_rate": 2.4594882729211087e-06, |
| "loss": 1.7378, |
| "step": 770 |
| }, |
| { |
| "epoch": 0.0832, |
| "grad_norm": 0.9349432879520486, |
| "learning_rate": 2.4914712153518122e-06, |
| "loss": 1.7458, |
| "step": 780 |
| }, |
| { |
| "epoch": 0.08426666666666667, |
| "grad_norm": 0.9572777712374823, |
| "learning_rate": 2.5234541577825162e-06, |
| "loss": 1.7299, |
| "step": 790 |
| }, |
| { |
| "epoch": 0.08533333333333333, |
| "grad_norm": 0.9673644326074168, |
| "learning_rate": 2.55543710021322e-06, |
| "loss": 1.7338, |
| "step": 800 |
| }, |
| { |
| "epoch": 0.0864, |
| "grad_norm": 0.9341236623596115, |
| "learning_rate": 2.5874200426439234e-06, |
| "loss": 1.7368, |
| "step": 810 |
| }, |
| { |
| "epoch": 0.08746666666666666, |
| "grad_norm": 1.0169214342659523, |
| "learning_rate": 2.619402985074627e-06, |
| "loss": 1.73, |
| "step": 820 |
| }, |
| { |
| "epoch": 0.08853333333333334, |
| "grad_norm": 0.9677599182909125, |
| "learning_rate": 2.6513859275053306e-06, |
| "loss": 1.7313, |
| "step": 830 |
| }, |
| { |
| "epoch": 0.0896, |
| "grad_norm": 0.9660202276249766, |
| "learning_rate": 2.683368869936034e-06, |
| "loss": 1.7347, |
| "step": 840 |
| }, |
| { |
| "epoch": 0.09066666666666667, |
| "grad_norm": 0.9689227185392472, |
| "learning_rate": 2.7153518123667377e-06, |
| "loss": 1.7331, |
| "step": 850 |
| }, |
| { |
| "epoch": 0.09173333333333333, |
| "grad_norm": 1.0445222338763358, |
| "learning_rate": 2.7473347547974417e-06, |
| "loss": 1.7406, |
| "step": 860 |
| }, |
| { |
| "epoch": 0.0928, |
| "grad_norm": 0.9732698184797995, |
| "learning_rate": 2.779317697228145e-06, |
| "loss": 1.7372, |
| "step": 870 |
| }, |
| { |
| "epoch": 0.09386666666666667, |
| "grad_norm": 0.9397504123684303, |
| "learning_rate": 2.811300639658849e-06, |
| "loss": 1.7368, |
| "step": 880 |
| }, |
| { |
| "epoch": 0.09493333333333333, |
| "grad_norm": 0.9636532387138392, |
| "learning_rate": 2.843283582089552e-06, |
| "loss": 1.7336, |
| "step": 890 |
| }, |
| { |
| "epoch": 0.096, |
| "grad_norm": 0.9787282267170603, |
| "learning_rate": 2.875266524520256e-06, |
| "loss": 1.7395, |
| "step": 900 |
| }, |
| { |
| "epoch": 0.09706666666666666, |
| "grad_norm": 0.9731100393389104, |
| "learning_rate": 2.9072494669509596e-06, |
| "loss": 1.7233, |
| "step": 910 |
| }, |
| { |
| "epoch": 0.09813333333333334, |
| "grad_norm": 1.0218327091088006, |
| "learning_rate": 2.939232409381663e-06, |
| "loss": 1.7199, |
| "step": 920 |
| }, |
| { |
| "epoch": 0.0992, |
| "grad_norm": 0.9279354105013138, |
| "learning_rate": 2.9712153518123668e-06, |
| "loss": 1.7351, |
| "step": 930 |
| }, |
| { |
| "epoch": 0.10026666666666667, |
| "grad_norm": 0.9797482853345897, |
| "learning_rate": 2.9999998960115977e-06, |
| "loss": 1.7235, |
| "step": 940 |
| }, |
| { |
| "epoch": 0.10133333333333333, |
| "grad_norm": 0.9693839730900363, |
| "learning_rate": 2.999987417420771e-06, |
| "loss": 1.7249, |
| "step": 950 |
| }, |
| { |
| "epoch": 0.1024, |
| "grad_norm": 0.9934769517676881, |
| "learning_rate": 2.9999541413477384e-06, |
| "loss": 1.7214, |
| "step": 960 |
| }, |
| { |
| "epoch": 0.10346666666666667, |
| "grad_norm": 0.9260717773699929, |
| "learning_rate": 2.9999000682538766e-06, |
| "loss": 1.7214, |
| "step": 970 |
| }, |
| { |
| "epoch": 0.10453333333333334, |
| "grad_norm": 0.9590505556253277, |
| "learning_rate": 2.9998251988889143e-06, |
| "loss": 1.7181, |
| "step": 980 |
| }, |
| { |
| "epoch": 0.1056, |
| "grad_norm": 0.9738157745852473, |
| "learning_rate": 2.999729534290923e-06, |
| "loss": 1.7284, |
| "step": 990 |
| }, |
| { |
| "epoch": 0.10666666666666667, |
| "grad_norm": 1.0010285106665302, |
| "learning_rate": 2.9996130757863025e-06, |
| "loss": 1.7287, |
| "step": 1000 |
| }, |
| { |
| "epoch": 0.10773333333333333, |
| "grad_norm": 0.9726401774081405, |
| "learning_rate": 2.9994758249897616e-06, |
| "loss": 1.714, |
| "step": 1010 |
| }, |
| { |
| "epoch": 0.1088, |
| "grad_norm": 0.9704109486266078, |
| "learning_rate": 2.9993177838042985e-06, |
| "loss": 1.7255, |
| "step": 1020 |
| }, |
| { |
| "epoch": 0.10986666666666667, |
| "grad_norm": 0.9343959879441444, |
| "learning_rate": 2.9991389544211688e-06, |
| "loss": 1.7259, |
| "step": 1030 |
| }, |
| { |
| "epoch": 0.11093333333333333, |
| "grad_norm": 0.9412581833815676, |
| "learning_rate": 2.998939339319862e-06, |
| "loss": 1.712, |
| "step": 1040 |
| }, |
| { |
| "epoch": 0.112, |
| "grad_norm": 0.9319765147324208, |
| "learning_rate": 2.9987189412680615e-06, |
| "loss": 1.7311, |
| "step": 1050 |
| }, |
| { |
| "epoch": 0.11306666666666666, |
| "grad_norm": 0.9182490196452511, |
| "learning_rate": 2.9984777633216096e-06, |
| "loss": 1.7188, |
| "step": 1060 |
| }, |
| { |
| "epoch": 0.11413333333333334, |
| "grad_norm": 0.9406223896042467, |
| "learning_rate": 2.998215808824464e-06, |
| "loss": 1.7197, |
| "step": 1070 |
| }, |
| { |
| "epoch": 0.1152, |
| "grad_norm": 0.9791936853352362, |
| "learning_rate": 2.9979330814086504e-06, |
| "loss": 1.7095, |
| "step": 1080 |
| }, |
| { |
| "epoch": 0.11626666666666667, |
| "grad_norm": 0.9378156358079694, |
| "learning_rate": 2.9976295849942147e-06, |
| "loss": 1.7191, |
| "step": 1090 |
| }, |
| { |
| "epoch": 0.11733333333333333, |
| "grad_norm": 0.9828063083933306, |
| "learning_rate": 2.997305323789166e-06, |
| "loss": 1.7179, |
| "step": 1100 |
| }, |
| { |
| "epoch": 0.1184, |
| "grad_norm": 0.9370575824674827, |
| "learning_rate": 2.9969603022894198e-06, |
| "loss": 1.7174, |
| "step": 1110 |
| }, |
| { |
| "epoch": 0.11946666666666667, |
| "grad_norm": 0.9382352010977533, |
| "learning_rate": 2.9965945252787354e-06, |
| "loss": 1.7212, |
| "step": 1120 |
| }, |
| { |
| "epoch": 0.12053333333333334, |
| "grad_norm": 1.0023541537096632, |
| "learning_rate": 2.9962079978286493e-06, |
| "loss": 1.7176, |
| "step": 1130 |
| }, |
| { |
| "epoch": 0.1216, |
| "grad_norm": 0.9898668773320954, |
| "learning_rate": 2.9958007252984044e-06, |
| "loss": 1.706, |
| "step": 1140 |
| }, |
| { |
| "epoch": 0.12266666666666666, |
| "grad_norm": 0.9465088451952217, |
| "learning_rate": 2.995372713334878e-06, |
| "loss": 1.7153, |
| "step": 1150 |
| }, |
| { |
| "epoch": 0.12373333333333333, |
| "grad_norm": 0.9226258198430934, |
| "learning_rate": 2.9949239678724995e-06, |
| "loss": 1.7164, |
| "step": 1160 |
| }, |
| { |
| "epoch": 0.1248, |
| "grad_norm": 0.9684110743028738, |
| "learning_rate": 2.994454495133172e-06, |
| "loss": 1.6988, |
| "step": 1170 |
| }, |
| { |
| "epoch": 0.12586666666666665, |
| "grad_norm": 0.9304996292448394, |
| "learning_rate": 2.9939643016261844e-06, |
| "loss": 1.7109, |
| "step": 1180 |
| }, |
| { |
| "epoch": 0.12693333333333334, |
| "grad_norm": 0.9846707376440544, |
| "learning_rate": 2.9934533941481206e-06, |
| "loss": 1.7095, |
| "step": 1190 |
| }, |
| { |
| "epoch": 0.128, |
| "grad_norm": 0.9207516513964573, |
| "learning_rate": 2.992921779782766e-06, |
| "loss": 1.7191, |
| "step": 1200 |
| }, |
| { |
| "epoch": 0.12906666666666666, |
| "grad_norm": 0.9423153994235445, |
| "learning_rate": 2.9923694659010097e-06, |
| "loss": 1.7059, |
| "step": 1210 |
| }, |
| { |
| "epoch": 0.13013333333333332, |
| "grad_norm": 0.9884755675217244, |
| "learning_rate": 2.9917964601607408e-06, |
| "loss": 1.7188, |
| "step": 1220 |
| }, |
| { |
| "epoch": 0.1312, |
| "grad_norm": 0.9454494428121172, |
| "learning_rate": 2.9912027705067446e-06, |
| "loss": 1.7074, |
| "step": 1230 |
| }, |
| { |
| "epoch": 0.13226666666666667, |
| "grad_norm": 0.9714914541488381, |
| "learning_rate": 2.990588405170589e-06, |
| "loss": 1.7054, |
| "step": 1240 |
| }, |
| { |
| "epoch": 0.13333333333333333, |
| "grad_norm": 0.9861325998085162, |
| "learning_rate": 2.9899533726705143e-06, |
| "loss": 1.7049, |
| "step": 1250 |
| }, |
| { |
| "epoch": 0.1344, |
| "grad_norm": 0.9605966245230434, |
| "learning_rate": 2.989297681811312e-06, |
| "loss": 1.7031, |
| "step": 1260 |
| }, |
| { |
| "epoch": 0.13546666666666668, |
| "grad_norm": 0.9997792673477949, |
| "learning_rate": 2.9886213416842056e-06, |
| "loss": 1.7243, |
| "step": 1270 |
| }, |
| { |
| "epoch": 0.13653333333333334, |
| "grad_norm": 0.9586231880245414, |
| "learning_rate": 2.98792436166672e-06, |
| "loss": 1.7044, |
| "step": 1280 |
| }, |
| { |
| "epoch": 0.1376, |
| "grad_norm": 0.9223749615597475, |
| "learning_rate": 2.9872067514225564e-06, |
| "loss": 1.7119, |
| "step": 1290 |
| }, |
| { |
| "epoch": 0.13866666666666666, |
| "grad_norm": 0.9131094948499283, |
| "learning_rate": 2.9864685209014564e-06, |
| "loss": 1.7095, |
| "step": 1300 |
| }, |
| { |
| "epoch": 0.13973333333333332, |
| "grad_norm": 0.9511212409402893, |
| "learning_rate": 2.9857096803390627e-06, |
| "loss": 1.706, |
| "step": 1310 |
| }, |
| { |
| "epoch": 0.1408, |
| "grad_norm": 0.9401739920451759, |
| "learning_rate": 2.984930240256779e-06, |
| "loss": 1.7108, |
| "step": 1320 |
| }, |
| { |
| "epoch": 0.14186666666666667, |
| "grad_norm": 1.0222197807634763, |
| "learning_rate": 2.9841302114616236e-06, |
| "loss": 1.7145, |
| "step": 1330 |
| }, |
| { |
| "epoch": 0.14293333333333333, |
| "grad_norm": 0.9293793978889431, |
| "learning_rate": 2.983309605046079e-06, |
| "loss": 1.7086, |
| "step": 1340 |
| }, |
| { |
| "epoch": 0.144, |
| "grad_norm": 0.9895898454227201, |
| "learning_rate": 2.9824684323879395e-06, |
| "loss": 1.709, |
| "step": 1350 |
| }, |
| { |
| "epoch": 0.14506666666666668, |
| "grad_norm": 0.921571607810168, |
| "learning_rate": 2.9816067051501515e-06, |
| "loss": 1.6925, |
| "step": 1360 |
| }, |
| { |
| "epoch": 0.14613333333333334, |
| "grad_norm": 0.9315562929482916, |
| "learning_rate": 2.9807244352806533e-06, |
| "loss": 1.6997, |
| "step": 1370 |
| }, |
| { |
| "epoch": 0.1472, |
| "grad_norm": 0.9462850086043854, |
| "learning_rate": 2.979821635012208e-06, |
| "loss": 1.7031, |
| "step": 1380 |
| }, |
| { |
| "epoch": 0.14826666666666666, |
| "grad_norm": 0.9764987893367897, |
| "learning_rate": 2.9788983168622366e-06, |
| "loss": 1.722, |
| "step": 1390 |
| }, |
| { |
| "epoch": 0.14933333333333335, |
| "grad_norm": 0.9217362345589152, |
| "learning_rate": 2.977954493632641e-06, |
| "loss": 1.7024, |
| "step": 1400 |
| }, |
| { |
| "epoch": 0.1504, |
| "grad_norm": 0.9638648863337116, |
| "learning_rate": 2.976990178409629e-06, |
| "loss": 1.7043, |
| "step": 1410 |
| }, |
| { |
| "epoch": 0.15146666666666667, |
| "grad_norm": 0.9848845093876835, |
| "learning_rate": 2.9760053845635323e-06, |
| "loss": 1.6924, |
| "step": 1420 |
| }, |
| { |
| "epoch": 0.15253333333333333, |
| "grad_norm": 0.9705918106114978, |
| "learning_rate": 2.9750001257486202e-06, |
| "loss": 1.7036, |
| "step": 1430 |
| }, |
| { |
| "epoch": 0.1536, |
| "grad_norm": 1.0476395789667885, |
| "learning_rate": 2.9739744159029116e-06, |
| "loss": 1.7033, |
| "step": 1440 |
| }, |
| { |
| "epoch": 0.15466666666666667, |
| "grad_norm": 0.9954028904161399, |
| "learning_rate": 2.9729282692479794e-06, |
| "loss": 1.6979, |
| "step": 1450 |
| }, |
| { |
| "epoch": 0.15573333333333333, |
| "grad_norm": 0.9407021781934388, |
| "learning_rate": 2.9718617002887576e-06, |
| "loss": 1.698, |
| "step": 1460 |
| }, |
| { |
| "epoch": 0.1568, |
| "grad_norm": 1.0164192697269847, |
| "learning_rate": 2.9707747238133358e-06, |
| "loss": 1.7029, |
| "step": 1470 |
| }, |
| { |
| "epoch": 0.15786666666666666, |
| "grad_norm": 0.9377253239645678, |
| "learning_rate": 2.9696673548927554e-06, |
| "loss": 1.6937, |
| "step": 1480 |
| }, |
| { |
| "epoch": 0.15893333333333334, |
| "grad_norm": 0.9514182069218455, |
| "learning_rate": 2.9685396088808034e-06, |
| "loss": 1.6945, |
| "step": 1490 |
| }, |
| { |
| "epoch": 0.16, |
| "grad_norm": 1.011813239662003, |
| "learning_rate": 2.9673915014137956e-06, |
| "loss": 1.6914, |
| "step": 1500 |
| }, |
| { |
| "epoch": 0.16106666666666666, |
| "grad_norm": 0.9567612096372408, |
| "learning_rate": 2.9662230484103615e-06, |
| "loss": 1.6952, |
| "step": 1510 |
| }, |
| { |
| "epoch": 0.16213333333333332, |
| "grad_norm": 0.9396961373132289, |
| "learning_rate": 2.9650342660712244e-06, |
| "loss": 1.6951, |
| "step": 1520 |
| }, |
| { |
| "epoch": 0.1632, |
| "grad_norm": 0.9770905317926912, |
| "learning_rate": 2.963825170878976e-06, |
| "loss": 1.702, |
| "step": 1530 |
| }, |
| { |
| "epoch": 0.16426666666666667, |
| "grad_norm": 0.92979333185733, |
| "learning_rate": 2.962595779597847e-06, |
| "loss": 1.6798, |
| "step": 1540 |
| }, |
| { |
| "epoch": 0.16533333333333333, |
| "grad_norm": 0.9405613280971572, |
| "learning_rate": 2.9613461092734762e-06, |
| "loss": 1.7138, |
| "step": 1550 |
| }, |
| { |
| "epoch": 0.1664, |
| "grad_norm": 1.0202704121758501, |
| "learning_rate": 2.9600761772326725e-06, |
| "loss": 1.7004, |
| "step": 1560 |
| }, |
| { |
| "epoch": 0.16746666666666668, |
| "grad_norm": 0.9688455606036914, |
| "learning_rate": 2.958786001083177e-06, |
| "loss": 1.6965, |
| "step": 1570 |
| }, |
| { |
| "epoch": 0.16853333333333334, |
| "grad_norm": 0.9950840697611869, |
| "learning_rate": 2.9574755987134163e-06, |
| "loss": 1.6966, |
| "step": 1580 |
| }, |
| { |
| "epoch": 0.1696, |
| "grad_norm": 0.954539049770782, |
| "learning_rate": 2.956144988292256e-06, |
| "loss": 1.693, |
| "step": 1590 |
| }, |
| { |
| "epoch": 0.17066666666666666, |
| "grad_norm": 0.9937387363616697, |
| "learning_rate": 2.9547941882687493e-06, |
| "loss": 1.6974, |
| "step": 1600 |
| }, |
| { |
| "epoch": 0.17173333333333332, |
| "grad_norm": 0.9649222658603489, |
| "learning_rate": 2.953423217371879e-06, |
| "loss": 1.6988, |
| "step": 1610 |
| }, |
| { |
| "epoch": 0.1728, |
| "grad_norm": 0.9795557846153786, |
| "learning_rate": 2.9520320946103e-06, |
| "loss": 1.686, |
| "step": 1620 |
| }, |
| { |
| "epoch": 0.17386666666666667, |
| "grad_norm": 0.9268977839435429, |
| "learning_rate": 2.9506208392720747e-06, |
| "loss": 1.6898, |
| "step": 1630 |
| }, |
| { |
| "epoch": 0.17493333333333333, |
| "grad_norm": 0.9633986836898336, |
| "learning_rate": 2.9491894709244054e-06, |
| "loss": 1.6937, |
| "step": 1640 |
| }, |
| { |
| "epoch": 0.176, |
| "grad_norm": 0.9465351110713693, |
| "learning_rate": 2.947738009413364e-06, |
| "loss": 1.6911, |
| "step": 1650 |
| }, |
| { |
| "epoch": 0.17706666666666668, |
| "grad_norm": 0.9786963124481838, |
| "learning_rate": 2.9462664748636164e-06, |
| "loss": 1.69, |
| "step": 1660 |
| }, |
| { |
| "epoch": 0.17813333333333334, |
| "grad_norm": 0.9729437237094272, |
| "learning_rate": 2.944774887678142e-06, |
| "loss": 1.6902, |
| "step": 1670 |
| }, |
| { |
| "epoch": 0.1792, |
| "grad_norm": 0.9725804632703692, |
| "learning_rate": 2.943263268537953e-06, |
| "loss": 1.6903, |
| "step": 1680 |
| }, |
| { |
| "epoch": 0.18026666666666666, |
| "grad_norm": 0.9492404386501866, |
| "learning_rate": 2.941731638401808e-06, |
| "loss": 1.6937, |
| "step": 1690 |
| }, |
| { |
| "epoch": 0.18133333333333335, |
| "grad_norm": 0.9570347565215679, |
| "learning_rate": 2.9401800185059167e-06, |
| "loss": 1.6967, |
| "step": 1700 |
| }, |
| { |
| "epoch": 0.1824, |
| "grad_norm": 0.9559226069159008, |
| "learning_rate": 2.9386084303636524e-06, |
| "loss": 1.6809, |
| "step": 1710 |
| }, |
| { |
| "epoch": 0.18346666666666667, |
| "grad_norm": 1.0046152228862981, |
| "learning_rate": 2.9370168957652485e-06, |
| "loss": 1.699, |
| "step": 1720 |
| }, |
| { |
| "epoch": 0.18453333333333333, |
| "grad_norm": 1.0287846864777574, |
| "learning_rate": 2.935405436777499e-06, |
| "loss": 1.6914, |
| "step": 1730 |
| }, |
| { |
| "epoch": 0.1856, |
| "grad_norm": 0.9499657448606992, |
| "learning_rate": 2.9337740757434496e-06, |
| "loss": 1.6899, |
| "step": 1740 |
| }, |
| { |
| "epoch": 0.18666666666666668, |
| "grad_norm": 0.965538829889218, |
| "learning_rate": 2.9321228352820927e-06, |
| "loss": 1.7062, |
| "step": 1750 |
| }, |
| { |
| "epoch": 0.18773333333333334, |
| "grad_norm": 0.9622526488232813, |
| "learning_rate": 2.9304517382880494e-06, |
| "loss": 1.6922, |
| "step": 1760 |
| }, |
| { |
| "epoch": 0.1888, |
| "grad_norm": 0.9650628440768041, |
| "learning_rate": 2.9287608079312543e-06, |
| "loss": 1.6808, |
| "step": 1770 |
| }, |
| { |
| "epoch": 0.18986666666666666, |
| "grad_norm": 0.9282815046777251, |
| "learning_rate": 2.9270500676566328e-06, |
| "loss": 1.6969, |
| "step": 1780 |
| }, |
| { |
| "epoch": 0.19093333333333334, |
| "grad_norm": 0.9659267189086952, |
| "learning_rate": 2.925319541183778e-06, |
| "loss": 1.6879, |
| "step": 1790 |
| }, |
| { |
| "epoch": 0.192, |
| "grad_norm": 1.027207156209701, |
| "learning_rate": 2.92356925250662e-06, |
| "loss": 1.6968, |
| "step": 1800 |
| }, |
| { |
| "epoch": 0.19306666666666666, |
| "grad_norm": 0.9912095201776828, |
| "learning_rate": 2.921799225893094e-06, |
| "loss": 1.6894, |
| "step": 1810 |
| }, |
| { |
| "epoch": 0.19413333333333332, |
| "grad_norm": 0.9168893165374763, |
| "learning_rate": 2.920009485884804e-06, |
| "loss": 1.6859, |
| "step": 1820 |
| }, |
| { |
| "epoch": 0.1952, |
| "grad_norm": 0.9476689755019561, |
| "learning_rate": 2.918200057296682e-06, |
| "loss": 1.6898, |
| "step": 1830 |
| }, |
| { |
| "epoch": 0.19626666666666667, |
| "grad_norm": 1.0363217943805423, |
| "learning_rate": 2.916370965216645e-06, |
| "loss": 1.691, |
| "step": 1840 |
| }, |
| { |
| "epoch": 0.19733333333333333, |
| "grad_norm": 1.018339423593827, |
| "learning_rate": 2.914522235005245e-06, |
| "loss": 1.6871, |
| "step": 1850 |
| }, |
| { |
| "epoch": 0.1984, |
| "grad_norm": 0.9422092936258663, |
| "learning_rate": 2.9126538922953194e-06, |
| "loss": 1.6897, |
| "step": 1860 |
| }, |
| { |
| "epoch": 0.19946666666666665, |
| "grad_norm": 0.9958834353591612, |
| "learning_rate": 2.9107659629916356e-06, |
| "loss": 1.687, |
| "step": 1870 |
| }, |
| { |
| "epoch": 0.20053333333333334, |
| "grad_norm": 0.9226968417639375, |
| "learning_rate": 2.90885847327053e-06, |
| "loss": 1.6973, |
| "step": 1880 |
| }, |
| { |
| "epoch": 0.2016, |
| "grad_norm": 0.993872559179678, |
| "learning_rate": 2.9069314495795473e-06, |
| "loss": 1.6889, |
| "step": 1890 |
| }, |
| { |
| "epoch": 0.20266666666666666, |
| "grad_norm": 0.9751830683307856, |
| "learning_rate": 2.904984918637072e-06, |
| "loss": 1.6928, |
| "step": 1900 |
| }, |
| { |
| "epoch": 0.20373333333333332, |
| "grad_norm": 0.9717638999834981, |
| "learning_rate": 2.903018907431959e-06, |
| "loss": 1.7012, |
| "step": 1910 |
| }, |
| { |
| "epoch": 0.2048, |
| "grad_norm": 0.9684433892926837, |
| "learning_rate": 2.9010334432231586e-06, |
| "loss": 1.692, |
| "step": 1920 |
| }, |
| { |
| "epoch": 0.20586666666666667, |
| "grad_norm": 0.9634212930019094, |
| "learning_rate": 2.89902855353934e-06, |
| "loss": 1.6908, |
| "step": 1930 |
| }, |
| { |
| "epoch": 0.20693333333333333, |
| "grad_norm": 0.9762445180982307, |
| "learning_rate": 2.897004266178508e-06, |
| "loss": 1.6841, |
| "step": 1940 |
| }, |
| { |
| "epoch": 0.208, |
| "grad_norm": 0.9063361096635529, |
| "learning_rate": 2.894960609207618e-06, |
| "loss": 1.6929, |
| "step": 1950 |
| }, |
| { |
| "epoch": 0.20906666666666668, |
| "grad_norm": 0.9916857293203556, |
| "learning_rate": 2.892897610962187e-06, |
| "loss": 1.6826, |
| "step": 1960 |
| }, |
| { |
| "epoch": 0.21013333333333334, |
| "grad_norm": 0.9098063977127645, |
| "learning_rate": 2.8908153000459015e-06, |
| "loss": 1.6888, |
| "step": 1970 |
| }, |
| { |
| "epoch": 0.2112, |
| "grad_norm": 0.9253645914734241, |
| "learning_rate": 2.8887137053302205e-06, |
| "loss": 1.6962, |
| "step": 1980 |
| }, |
| { |
| "epoch": 0.21226666666666666, |
| "grad_norm": 0.9413440169743281, |
| "learning_rate": 2.886592855953974e-06, |
| "loss": 1.698, |
| "step": 1990 |
| }, |
| { |
| "epoch": 0.21333333333333335, |
| "grad_norm": 0.9283779660159788, |
| "learning_rate": 2.8844527813229586e-06, |
| "loss": 1.6931, |
| "step": 2000 |
| }, |
| { |
| "epoch": 0.2144, |
| "grad_norm": 0.9621495489577391, |
| "learning_rate": 2.8822935111095347e-06, |
| "loss": 1.6936, |
| "step": 2010 |
| }, |
| { |
| "epoch": 0.21546666666666667, |
| "grad_norm": 0.9244473657406035, |
| "learning_rate": 2.8801150752522078e-06, |
| "loss": 1.6805, |
| "step": 2020 |
| }, |
| { |
| "epoch": 0.21653333333333333, |
| "grad_norm": 0.9818176829968719, |
| "learning_rate": 2.8779175039552195e-06, |
| "loss": 1.6937, |
| "step": 2030 |
| }, |
| { |
| "epoch": 0.2176, |
| "grad_norm": 0.9344946484100746, |
| "learning_rate": 2.875700827688125e-06, |
| "loss": 1.6915, |
| "step": 2040 |
| }, |
| { |
| "epoch": 0.21866666666666668, |
| "grad_norm": 0.9323152655731969, |
| "learning_rate": 2.873465077185372e-06, |
| "loss": 1.6852, |
| "step": 2050 |
| }, |
| { |
| "epoch": 0.21973333333333334, |
| "grad_norm": 0.9671138914963243, |
| "learning_rate": 2.871210283445875e-06, |
| "loss": 1.6877, |
| "step": 2060 |
| }, |
| { |
| "epoch": 0.2208, |
| "grad_norm": 0.9376647062497248, |
| "learning_rate": 2.8689364777325847e-06, |
| "loss": 1.7023, |
| "step": 2070 |
| }, |
| { |
| "epoch": 0.22186666666666666, |
| "grad_norm": 0.9651018289075455, |
| "learning_rate": 2.866643691572055e-06, |
| "loss": 1.6843, |
| "step": 2080 |
| }, |
| { |
| "epoch": 0.22293333333333334, |
| "grad_norm": 0.9334826541514025, |
| "learning_rate": 2.864331956754005e-06, |
| "loss": 1.6876, |
| "step": 2090 |
| }, |
| { |
| "epoch": 0.224, |
| "grad_norm": 0.9647694470615409, |
| "learning_rate": 2.86200130533088e-06, |
| "loss": 1.6924, |
| "step": 2100 |
| }, |
| { |
| "epoch": 0.22506666666666666, |
| "grad_norm": 0.973949157923878, |
| "learning_rate": 2.8596517696174046e-06, |
| "loss": 1.6878, |
| "step": 2110 |
| }, |
| { |
| "epoch": 0.22613333333333333, |
| "grad_norm": 0.9825030352122315, |
| "learning_rate": 2.8572833821901375e-06, |
| "loss": 1.6969, |
| "step": 2120 |
| }, |
| { |
| "epoch": 0.2272, |
| "grad_norm": 1.0062961911233603, |
| "learning_rate": 2.8548961758870177e-06, |
| "loss": 1.6864, |
| "step": 2130 |
| }, |
| { |
| "epoch": 0.22826666666666667, |
| "grad_norm": 0.9981598126892428, |
| "learning_rate": 2.85249018380691e-06, |
| "loss": 1.6739, |
| "step": 2140 |
| }, |
| { |
| "epoch": 0.22933333333333333, |
| "grad_norm": 0.9378616658810501, |
| "learning_rate": 2.8500654393091456e-06, |
| "loss": 1.6748, |
| "step": 2150 |
| }, |
| { |
| "epoch": 0.2304, |
| "grad_norm": 0.9377810112291182, |
| "learning_rate": 2.8476219760130597e-06, |
| "loss": 1.6828, |
| "step": 2160 |
| }, |
| { |
| "epoch": 0.23146666666666665, |
| "grad_norm": 0.9742496689830766, |
| "learning_rate": 2.845159827797527e-06, |
| "loss": 1.6804, |
| "step": 2170 |
| }, |
| { |
| "epoch": 0.23253333333333334, |
| "grad_norm": 0.9437932101694276, |
| "learning_rate": 2.8426790288004894e-06, |
| "loss": 1.6894, |
| "step": 2180 |
| }, |
| { |
| "epoch": 0.2336, |
| "grad_norm": 0.9876632127111694, |
| "learning_rate": 2.8401796134184842e-06, |
| "loss": 1.678, |
| "step": 2190 |
| }, |
| { |
| "epoch": 0.23466666666666666, |
| "grad_norm": 0.9569257673632822, |
| "learning_rate": 2.8376616163061665e-06, |
| "loss": 1.6893, |
| "step": 2200 |
| }, |
| { |
| "epoch": 0.23573333333333332, |
| "grad_norm": 0.9568838255096077, |
| "learning_rate": 2.835125072375829e-06, |
| "loss": 1.6781, |
| "step": 2210 |
| }, |
| { |
| "epoch": 0.2368, |
| "grad_norm": 0.9085275995738579, |
| "learning_rate": 2.8325700167969185e-06, |
| "loss": 1.6927, |
| "step": 2220 |
| }, |
| { |
| "epoch": 0.23786666666666667, |
| "grad_norm": 0.9440165945493646, |
| "learning_rate": 2.8299964849955474e-06, |
| "loss": 1.6908, |
| "step": 2230 |
| }, |
| { |
| "epoch": 0.23893333333333333, |
| "grad_norm": 0.9299468654580177, |
| "learning_rate": 2.8274045126540035e-06, |
| "loss": 1.6787, |
| "step": 2240 |
| }, |
| { |
| "epoch": 0.24, |
| "grad_norm": 0.9564973207072164, |
| "learning_rate": 2.8247941357102533e-06, |
| "loss": 1.6771, |
| "step": 2250 |
| }, |
| { |
| "epoch": 0.24106666666666668, |
| "grad_norm": 1.0068019553448377, |
| "learning_rate": 2.8221653903574457e-06, |
| "loss": 1.6833, |
| "step": 2260 |
| }, |
| { |
| "epoch": 0.24213333333333334, |
| "grad_norm": 0.9187725145774673, |
| "learning_rate": 2.8195183130434106e-06, |
| "loss": 1.685, |
| "step": 2270 |
| }, |
| { |
| "epoch": 0.2432, |
| "grad_norm": 0.9405491373411125, |
| "learning_rate": 2.81685294047015e-06, |
| "loss": 1.6646, |
| "step": 2280 |
| }, |
| { |
| "epoch": 0.24426666666666666, |
| "grad_norm": 0.9803755997190594, |
| "learning_rate": 2.814169309593334e-06, |
| "loss": 1.6924, |
| "step": 2290 |
| }, |
| { |
| "epoch": 0.24533333333333332, |
| "grad_norm": 0.9031553792551361, |
| "learning_rate": 2.8114674576217845e-06, |
| "loss": 1.6782, |
| "step": 2300 |
| }, |
| { |
| "epoch": 0.2464, |
| "grad_norm": 0.9616324782378027, |
| "learning_rate": 2.808747422016961e-06, |
| "loss": 1.6791, |
| "step": 2310 |
| }, |
| { |
| "epoch": 0.24746666666666667, |
| "grad_norm": 0.9689622968063254, |
| "learning_rate": 2.8060092404924425e-06, |
| "loss": 1.6827, |
| "step": 2320 |
| }, |
| { |
| "epoch": 0.24853333333333333, |
| "grad_norm": 0.9103916728377786, |
| "learning_rate": 2.803252951013401e-06, |
| "loss": 1.673, |
| "step": 2330 |
| }, |
| { |
| "epoch": 0.2496, |
| "grad_norm": 0.9966753348303548, |
| "learning_rate": 2.8004785917960776e-06, |
| "loss": 1.6718, |
| "step": 2340 |
| }, |
| { |
| "epoch": 0.25066666666666665, |
| "grad_norm": 0.9320106534534991, |
| "learning_rate": 2.7976862013072533e-06, |
| "loss": 1.6797, |
| "step": 2350 |
| }, |
| { |
| "epoch": 0.2517333333333333, |
| "grad_norm": 0.9836380538426814, |
| "learning_rate": 2.7948758182637134e-06, |
| "loss": 1.6691, |
| "step": 2360 |
| }, |
| { |
| "epoch": 0.2528, |
| "grad_norm": 0.982733481739216, |
| "learning_rate": 2.792047481631713e-06, |
| "loss": 1.6715, |
| "step": 2370 |
| }, |
| { |
| "epoch": 0.2538666666666667, |
| "grad_norm": 0.9687610073423567, |
| "learning_rate": 2.7892012306264337e-06, |
| "loss": 1.682, |
| "step": 2380 |
| }, |
| { |
| "epoch": 0.25493333333333335, |
| "grad_norm": 0.9605226768136803, |
| "learning_rate": 2.7863371047114444e-06, |
| "loss": 1.687, |
| "step": 2390 |
| }, |
| { |
| "epoch": 0.256, |
| "grad_norm": 0.9721317861816063, |
| "learning_rate": 2.7834551435981485e-06, |
| "loss": 1.6786, |
| "step": 2400 |
| }, |
| { |
| "epoch": 0.25706666666666667, |
| "grad_norm": 0.9555715027751217, |
| "learning_rate": 2.7805553872452395e-06, |
| "loss": 1.6813, |
| "step": 2410 |
| }, |
| { |
| "epoch": 0.2581333333333333, |
| "grad_norm": 0.9261368860432231, |
| "learning_rate": 2.777637875858141e-06, |
| "loss": 1.6808, |
| "step": 2420 |
| }, |
| { |
| "epoch": 0.2592, |
| "grad_norm": 1.004072918675185, |
| "learning_rate": 2.7747026498884538e-06, |
| "loss": 1.6782, |
| "step": 2430 |
| }, |
| { |
| "epoch": 0.26026666666666665, |
| "grad_norm": 0.9636076501096617, |
| "learning_rate": 2.7717497500333912e-06, |
| "loss": 1.6809, |
| "step": 2440 |
| }, |
| { |
| "epoch": 0.2613333333333333, |
| "grad_norm": 0.9420586899875296, |
| "learning_rate": 2.7687792172352197e-06, |
| "loss": 1.6757, |
| "step": 2450 |
| }, |
| { |
| "epoch": 0.2624, |
| "grad_norm": 0.9705519212298509, |
| "learning_rate": 2.7657910926806856e-06, |
| "loss": 1.6738, |
| "step": 2460 |
| }, |
| { |
| "epoch": 0.2634666666666667, |
| "grad_norm": 0.9443740627719142, |
| "learning_rate": 2.762785417800449e-06, |
| "loss": 1.6661, |
| "step": 2470 |
| }, |
| { |
| "epoch": 0.26453333333333334, |
| "grad_norm": 0.9280026449893723, |
| "learning_rate": 2.759762234268505e-06, |
| "loss": 1.6745, |
| "step": 2480 |
| }, |
| { |
| "epoch": 0.2656, |
| "grad_norm": 0.9332088171991123, |
| "learning_rate": 2.75672158400161e-06, |
| "loss": 1.6634, |
| "step": 2490 |
| }, |
| { |
| "epoch": 0.26666666666666666, |
| "grad_norm": 0.9260756797146239, |
| "learning_rate": 2.7536635091586968e-06, |
| "loss": 1.6698, |
| "step": 2500 |
| }, |
| { |
| "epoch": 0.2677333333333333, |
| "grad_norm": 0.9522638482173366, |
| "learning_rate": 2.7505880521402926e-06, |
| "loss": 1.683, |
| "step": 2510 |
| }, |
| { |
| "epoch": 0.2688, |
| "grad_norm": 0.9194105429410604, |
| "learning_rate": 2.74749525558793e-06, |
| "loss": 1.674, |
| "step": 2520 |
| }, |
| { |
| "epoch": 0.26986666666666664, |
| "grad_norm": 0.9244965754821771, |
| "learning_rate": 2.744385162383557e-06, |
| "loss": 1.6727, |
| "step": 2530 |
| }, |
| { |
| "epoch": 0.27093333333333336, |
| "grad_norm": 0.9703948464521073, |
| "learning_rate": 2.74125781564894e-06, |
| "loss": 1.6714, |
| "step": 2540 |
| }, |
| { |
| "epoch": 0.272, |
| "grad_norm": 0.9550773075287746, |
| "learning_rate": 2.7381132587450685e-06, |
| "loss": 1.6717, |
| "step": 2550 |
| }, |
| { |
| "epoch": 0.2730666666666667, |
| "grad_norm": 0.9522791886803353, |
| "learning_rate": 2.734951535271552e-06, |
| "loss": 1.675, |
| "step": 2560 |
| }, |
| { |
| "epoch": 0.27413333333333334, |
| "grad_norm": 0.9492894480374988, |
| "learning_rate": 2.731772689066017e-06, |
| "loss": 1.6713, |
| "step": 2570 |
| }, |
| { |
| "epoch": 0.2752, |
| "grad_norm": 0.9610311825502869, |
| "learning_rate": 2.728576764203498e-06, |
| "loss": 1.6826, |
| "step": 2580 |
| }, |
| { |
| "epoch": 0.27626666666666666, |
| "grad_norm": 0.9849494230785885, |
| "learning_rate": 2.725363804995827e-06, |
| "loss": 1.69, |
| "step": 2590 |
| }, |
| { |
| "epoch": 0.2773333333333333, |
| "grad_norm": 0.9431659843820906, |
| "learning_rate": 2.7221338559910195e-06, |
| "loss": 1.6733, |
| "step": 2600 |
| }, |
| { |
| "epoch": 0.2784, |
| "grad_norm": 0.9796210561747851, |
| "learning_rate": 2.7188869619726547e-06, |
| "loss": 1.6752, |
| "step": 2610 |
| }, |
| { |
| "epoch": 0.27946666666666664, |
| "grad_norm": 0.934917472845763, |
| "learning_rate": 2.7156231679592586e-06, |
| "loss": 1.678, |
| "step": 2620 |
| }, |
| { |
| "epoch": 0.28053333333333336, |
| "grad_norm": 0.9490174835011432, |
| "learning_rate": 2.7123425192036746e-06, |
| "loss": 1.6842, |
| "step": 2630 |
| }, |
| { |
| "epoch": 0.2816, |
| "grad_norm": 0.9443529132975703, |
| "learning_rate": 2.7090450611924418e-06, |
| "loss": 1.6807, |
| "step": 2640 |
| }, |
| { |
| "epoch": 0.2826666666666667, |
| "grad_norm": 0.9115384803443461, |
| "learning_rate": 2.7057308396451587e-06, |
| "loss": 1.6654, |
| "step": 2650 |
| }, |
| { |
| "epoch": 0.28373333333333334, |
| "grad_norm": 0.9696075777810633, |
| "learning_rate": 2.702399900513854e-06, |
| "loss": 1.6701, |
| "step": 2660 |
| }, |
| { |
| "epoch": 0.2848, |
| "grad_norm": 0.9689138887330382, |
| "learning_rate": 2.6990522899823466e-06, |
| "loss": 1.6739, |
| "step": 2670 |
| }, |
| { |
| "epoch": 0.28586666666666666, |
| "grad_norm": 0.9104129289703732, |
| "learning_rate": 2.6956880544656055e-06, |
| "loss": 1.6636, |
| "step": 2680 |
| }, |
| { |
| "epoch": 0.2869333333333333, |
| "grad_norm": 0.9796258881712162, |
| "learning_rate": 2.6923072406091082e-06, |
| "loss": 1.6818, |
| "step": 2690 |
| }, |
| { |
| "epoch": 0.288, |
| "grad_norm": 0.9590136218069022, |
| "learning_rate": 2.6889098952881917e-06, |
| "loss": 1.6838, |
| "step": 2700 |
| }, |
| { |
| "epoch": 0.2890666666666667, |
| "grad_norm": 0.9424280518197954, |
| "learning_rate": 2.685496065607404e-06, |
| "loss": 1.6701, |
| "step": 2710 |
| }, |
| { |
| "epoch": 0.29013333333333335, |
| "grad_norm": 0.9463594770044005, |
| "learning_rate": 2.6820657988998496e-06, |
| "loss": 1.682, |
| "step": 2720 |
| }, |
| { |
| "epoch": 0.2912, |
| "grad_norm": 0.937820302148928, |
| "learning_rate": 2.6786191427265347e-06, |
| "loss": 1.6777, |
| "step": 2730 |
| }, |
| { |
| "epoch": 0.2922666666666667, |
| "grad_norm": 0.9781602988747731, |
| "learning_rate": 2.675156144875708e-06, |
| "loss": 1.6775, |
| "step": 2740 |
| }, |
| { |
| "epoch": 0.29333333333333333, |
| "grad_norm": 0.9807006119595277, |
| "learning_rate": 2.671676853362195e-06, |
| "loss": 1.6775, |
| "step": 2750 |
| }, |
| { |
| "epoch": 0.2944, |
| "grad_norm": 0.9210609958471703, |
| "learning_rate": 2.668181316426737e-06, |
| "loss": 1.6644, |
| "step": 2760 |
| }, |
| { |
| "epoch": 0.29546666666666666, |
| "grad_norm": 0.9536343231926293, |
| "learning_rate": 2.6646695825353185e-06, |
| "loss": 1.6667, |
| "step": 2770 |
| }, |
| { |
| "epoch": 0.2965333333333333, |
| "grad_norm": 0.9707143300975725, |
| "learning_rate": 2.6611417003784966e-06, |
| "loss": 1.6757, |
| "step": 2780 |
| }, |
| { |
| "epoch": 0.2976, |
| "grad_norm": 0.9797043455938097, |
| "learning_rate": 2.6575977188707255e-06, |
| "loss": 1.6745, |
| "step": 2790 |
| }, |
| { |
| "epoch": 0.2986666666666667, |
| "grad_norm": 0.9240894072405273, |
| "learning_rate": 2.654037687149679e-06, |
| "loss": 1.6652, |
| "step": 2800 |
| }, |
| { |
| "epoch": 0.29973333333333335, |
| "grad_norm": 0.9479211087300785, |
| "learning_rate": 2.6504616545755694e-06, |
| "loss": 1.6687, |
| "step": 2810 |
| }, |
| { |
| "epoch": 0.3008, |
| "grad_norm": 0.9847799255549, |
| "learning_rate": 2.6468696707304616e-06, |
| "loss": 1.671, |
| "step": 2820 |
| }, |
| { |
| "epoch": 0.30186666666666667, |
| "grad_norm": 0.9666136398493494, |
| "learning_rate": 2.6432617854175867e-06, |
| "loss": 1.6764, |
| "step": 2830 |
| }, |
| { |
| "epoch": 0.30293333333333333, |
| "grad_norm": 0.9252577689779522, |
| "learning_rate": 2.6396380486606506e-06, |
| "loss": 1.67, |
| "step": 2840 |
| }, |
| { |
| "epoch": 0.304, |
| "grad_norm": 0.9365753697312256, |
| "learning_rate": 2.635998510703143e-06, |
| "loss": 1.6815, |
| "step": 2850 |
| }, |
| { |
| "epoch": 0.30506666666666665, |
| "grad_norm": 0.9521191635640937, |
| "learning_rate": 2.6323432220076378e-06, |
| "loss": 1.6748, |
| "step": 2860 |
| }, |
| { |
| "epoch": 0.3061333333333333, |
| "grad_norm": 1.004950619135525, |
| "learning_rate": 2.628672233255093e-06, |
| "loss": 1.6722, |
| "step": 2870 |
| }, |
| { |
| "epoch": 0.3072, |
| "grad_norm": 0.9417169134415545, |
| "learning_rate": 2.624985595344153e-06, |
| "loss": 1.6754, |
| "step": 2880 |
| }, |
| { |
| "epoch": 0.3082666666666667, |
| "grad_norm": 0.9642637394872404, |
| "learning_rate": 2.621283359390437e-06, |
| "loss": 1.6706, |
| "step": 2890 |
| }, |
| { |
| "epoch": 0.30933333333333335, |
| "grad_norm": 0.977706265601939, |
| "learning_rate": 2.617565576725832e-06, |
| "loss": 1.6663, |
| "step": 2900 |
| }, |
| { |
| "epoch": 0.3104, |
| "grad_norm": 0.9621224050350746, |
| "learning_rate": 2.613832298897784e-06, |
| "loss": 1.6733, |
| "step": 2910 |
| }, |
| { |
| "epoch": 0.31146666666666667, |
| "grad_norm": 0.9743652661553531, |
| "learning_rate": 2.61008357766858e-06, |
| "loss": 1.6693, |
| "step": 2920 |
| }, |
| { |
| "epoch": 0.31253333333333333, |
| "grad_norm": 0.9440143245728431, |
| "learning_rate": 2.606319465014631e-06, |
| "loss": 1.67, |
| "step": 2930 |
| }, |
| { |
| "epoch": 0.3136, |
| "grad_norm": 0.9508265927943546, |
| "learning_rate": 2.6025400131257525e-06, |
| "loss": 1.6675, |
| "step": 2940 |
| }, |
| { |
| "epoch": 0.31466666666666665, |
| "grad_norm": 0.9351205106789015, |
| "learning_rate": 2.598745274404439e-06, |
| "loss": 1.6786, |
| "step": 2950 |
| }, |
| { |
| "epoch": 0.3157333333333333, |
| "grad_norm": 0.9704863356322765, |
| "learning_rate": 2.5949353014651396e-06, |
| "loss": 1.6718, |
| "step": 2960 |
| }, |
| { |
| "epoch": 0.3168, |
| "grad_norm": 0.9744660485839736, |
| "learning_rate": 2.5911101471335277e-06, |
| "loss": 1.6694, |
| "step": 2970 |
| }, |
| { |
| "epoch": 0.3178666666666667, |
| "grad_norm": 0.9419499107254994, |
| "learning_rate": 2.587269864445766e-06, |
| "loss": 1.6602, |
| "step": 2980 |
| }, |
| { |
| "epoch": 0.31893333333333335, |
| "grad_norm": 0.9580169597960767, |
| "learning_rate": 2.583414506647777e-06, |
| "loss": 1.6721, |
| "step": 2990 |
| }, |
| { |
| "epoch": 0.32, |
| "grad_norm": 0.9248908538299617, |
| "learning_rate": 2.5795441271944975e-06, |
| "loss": 1.6699, |
| "step": 3000 |
| }, |
| { |
| "epoch": 0.32106666666666667, |
| "grad_norm": 0.9628754761012314, |
| "learning_rate": 2.5756587797491437e-06, |
| "loss": 1.6629, |
| "step": 3010 |
| }, |
| { |
| "epoch": 0.3221333333333333, |
| "grad_norm": 0.9881339619626787, |
| "learning_rate": 2.5717585181824638e-06, |
| "loss": 1.6793, |
| "step": 3020 |
| }, |
| { |
| "epoch": 0.3232, |
| "grad_norm": 0.9675342156952531, |
| "learning_rate": 2.5678433965719917e-06, |
| "loss": 1.666, |
| "step": 3030 |
| }, |
| { |
| "epoch": 0.32426666666666665, |
| "grad_norm": 0.9267795503338048, |
| "learning_rate": 2.5639134692012976e-06, |
| "loss": 1.6756, |
| "step": 3040 |
| }, |
| { |
| "epoch": 0.3253333333333333, |
| "grad_norm": 0.9969697191465468, |
| "learning_rate": 2.559968790559234e-06, |
| "loss": 1.6688, |
| "step": 3050 |
| }, |
| { |
| "epoch": 0.3264, |
| "grad_norm": 0.9552631058916634, |
| "learning_rate": 2.5560094153391835e-06, |
| "loss": 1.668, |
| "step": 3060 |
| }, |
| { |
| "epoch": 0.3274666666666667, |
| "grad_norm": 0.9528815268636649, |
| "learning_rate": 2.552035398438296e-06, |
| "loss": 1.6734, |
| "step": 3070 |
| }, |
| { |
| "epoch": 0.32853333333333334, |
| "grad_norm": 0.9387963678604124, |
| "learning_rate": 2.548046794956732e-06, |
| "loss": 1.659, |
| "step": 3080 |
| }, |
| { |
| "epoch": 0.3296, |
| "grad_norm": 0.9908832081608542, |
| "learning_rate": 2.544043660196894e-06, |
| "loss": 1.6631, |
| "step": 3090 |
| }, |
| { |
| "epoch": 0.33066666666666666, |
| "grad_norm": 0.9394796214951054, |
| "learning_rate": 2.540026049662665e-06, |
| "loss": 1.6662, |
| "step": 3100 |
| }, |
| { |
| "epoch": 0.3317333333333333, |
| "grad_norm": 0.9636157529774373, |
| "learning_rate": 2.5359940190586337e-06, |
| "loss": 1.6594, |
| "step": 3110 |
| }, |
| { |
| "epoch": 0.3328, |
| "grad_norm": 0.9166497883042384, |
| "learning_rate": 2.531947624289326e-06, |
| "loss": 1.6632, |
| "step": 3120 |
| }, |
| { |
| "epoch": 0.33386666666666664, |
| "grad_norm": 0.9496972498502697, |
| "learning_rate": 2.5278869214584276e-06, |
| "loss": 1.6616, |
| "step": 3130 |
| }, |
| { |
| "epoch": 0.33493333333333336, |
| "grad_norm": 0.9595434384314239, |
| "learning_rate": 2.523811966868008e-06, |
| "loss": 1.6656, |
| "step": 3140 |
| }, |
| { |
| "epoch": 0.336, |
| "grad_norm": 0.9171711486912808, |
| "learning_rate": 2.5197228170177367e-06, |
| "loss": 1.6631, |
| "step": 3150 |
| }, |
| { |
| "epoch": 0.3370666666666667, |
| "grad_norm": 0.9696647774804794, |
| "learning_rate": 2.515619528604106e-06, |
| "loss": 1.6679, |
| "step": 3160 |
| }, |
| { |
| "epoch": 0.33813333333333334, |
| "grad_norm": 0.9579805476488836, |
| "learning_rate": 2.5115021585196357e-06, |
| "loss": 1.674, |
| "step": 3170 |
| }, |
| { |
| "epoch": 0.3392, |
| "grad_norm": 0.9372934344380602, |
| "learning_rate": 2.5073707638520934e-06, |
| "loss": 1.659, |
| "step": 3180 |
| }, |
| { |
| "epoch": 0.34026666666666666, |
| "grad_norm": 0.9652052342102219, |
| "learning_rate": 2.5032254018836978e-06, |
| "loss": 1.672, |
| "step": 3190 |
| }, |
| { |
| "epoch": 0.3413333333333333, |
| "grad_norm": 0.9536831437250712, |
| "learning_rate": 2.4990661300903247e-06, |
| "loss": 1.6689, |
| "step": 3200 |
| }, |
| { |
| "epoch": 0.3424, |
| "grad_norm": 0.9549311066683952, |
| "learning_rate": 2.4948930061407128e-06, |
| "loss": 1.6629, |
| "step": 3210 |
| }, |
| { |
| "epoch": 0.34346666666666664, |
| "grad_norm": 0.9948254976343271, |
| "learning_rate": 2.490706087895661e-06, |
| "loss": 1.6654, |
| "step": 3220 |
| }, |
| { |
| "epoch": 0.34453333333333336, |
| "grad_norm": 0.9322272643648966, |
| "learning_rate": 2.486505433407228e-06, |
| "loss": 1.6616, |
| "step": 3230 |
| }, |
| { |
| "epoch": 0.3456, |
| "grad_norm": 0.9880727100809659, |
| "learning_rate": 2.4822911009179277e-06, |
| "loss": 1.6703, |
| "step": 3240 |
| }, |
| { |
| "epoch": 0.3466666666666667, |
| "grad_norm": 0.9318527493275489, |
| "learning_rate": 2.4780631488599195e-06, |
| "loss": 1.6794, |
| "step": 3250 |
| }, |
| { |
| "epoch": 0.34773333333333334, |
| "grad_norm": 0.9882452577899534, |
| "learning_rate": 2.4738216358542003e-06, |
| "loss": 1.6653, |
| "step": 3260 |
| }, |
| { |
| "epoch": 0.3488, |
| "grad_norm": 0.9604553555113544, |
| "learning_rate": 2.4695666207097912e-06, |
| "loss": 1.6594, |
| "step": 3270 |
| }, |
| { |
| "epoch": 0.34986666666666666, |
| "grad_norm": 0.9552000465276516, |
| "learning_rate": 2.4652981624229217e-06, |
| "loss": 1.6615, |
| "step": 3280 |
| }, |
| { |
| "epoch": 0.3509333333333333, |
| "grad_norm": 0.974790478141602, |
| "learning_rate": 2.4610163201762114e-06, |
| "loss": 1.6631, |
| "step": 3290 |
| }, |
| { |
| "epoch": 0.352, |
| "grad_norm": 0.9564895708856161, |
| "learning_rate": 2.4567211533378506e-06, |
| "loss": 1.6615, |
| "step": 3300 |
| }, |
| { |
| "epoch": 0.35306666666666664, |
| "grad_norm": 0.9544282080008821, |
| "learning_rate": 2.4524127214607757e-06, |
| "loss": 1.6536, |
| "step": 3310 |
| }, |
| { |
| "epoch": 0.35413333333333336, |
| "grad_norm": 0.9384084572688003, |
| "learning_rate": 2.448091084281845e-06, |
| "loss": 1.6552, |
| "step": 3320 |
| }, |
| { |
| "epoch": 0.3552, |
| "grad_norm": 0.9956987596855376, |
| "learning_rate": 2.4437563017210093e-06, |
| "loss": 1.6558, |
| "step": 3330 |
| }, |
| { |
| "epoch": 0.3562666666666667, |
| "grad_norm": 0.9682948371820439, |
| "learning_rate": 2.4394084338804813e-06, |
| "loss": 1.6546, |
| "step": 3340 |
| }, |
| { |
| "epoch": 0.35733333333333334, |
| "grad_norm": 0.943475234843819, |
| "learning_rate": 2.4350475410439025e-06, |
| "loss": 1.6574, |
| "step": 3350 |
| }, |
| { |
| "epoch": 0.3584, |
| "grad_norm": 0.9174418157290677, |
| "learning_rate": 2.4306736836755086e-06, |
| "loss": 1.6576, |
| "step": 3360 |
| }, |
| { |
| "epoch": 0.35946666666666666, |
| "grad_norm": 0.9303792721449003, |
| "learning_rate": 2.426286922419288e-06, |
| "loss": 1.6595, |
| "step": 3370 |
| }, |
| { |
| "epoch": 0.3605333333333333, |
| "grad_norm": 0.9614814883452739, |
| "learning_rate": 2.4218873180981436e-06, |
| "loss": 1.6645, |
| "step": 3380 |
| }, |
| { |
| "epoch": 0.3616, |
| "grad_norm": 0.9379683035581231, |
| "learning_rate": 2.4174749317130492e-06, |
| "loss": 1.6481, |
| "step": 3390 |
| }, |
| { |
| "epoch": 0.3626666666666667, |
| "grad_norm": 0.957267352688115, |
| "learning_rate": 2.413049824442203e-06, |
| "loss": 1.6701, |
| "step": 3400 |
| }, |
| { |
| "epoch": 0.36373333333333335, |
| "grad_norm": 0.9313578199784238, |
| "learning_rate": 2.408612057640179e-06, |
| "loss": 1.6728, |
| "step": 3410 |
| }, |
| { |
| "epoch": 0.3648, |
| "grad_norm": 0.9328479610451201, |
| "learning_rate": 2.404161692837078e-06, |
| "loss": 1.6526, |
| "step": 3420 |
| }, |
| { |
| "epoch": 0.3658666666666667, |
| "grad_norm": 0.9453343749724737, |
| "learning_rate": 2.399698791737672e-06, |
| "loss": 1.6607, |
| "step": 3430 |
| }, |
| { |
| "epoch": 0.36693333333333333, |
| "grad_norm": 0.9161758996018701, |
| "learning_rate": 2.3952234162205515e-06, |
| "loss": 1.6544, |
| "step": 3440 |
| }, |
| { |
| "epoch": 0.368, |
| "grad_norm": 0.9200352874501438, |
| "learning_rate": 2.390735628337265e-06, |
| "loss": 1.6659, |
| "step": 3450 |
| }, |
| { |
| "epoch": 0.36906666666666665, |
| "grad_norm": 0.9722664695130872, |
| "learning_rate": 2.3862354903114607e-06, |
| "loss": 1.6677, |
| "step": 3460 |
| }, |
| { |
| "epoch": 0.3701333333333333, |
| "grad_norm": 0.932361941429065, |
| "learning_rate": 2.3817230645380224e-06, |
| "loss": 1.6536, |
| "step": 3470 |
| }, |
| { |
| "epoch": 0.3712, |
| "grad_norm": 0.8921273743250909, |
| "learning_rate": 2.3771984135822042e-06, |
| "loss": 1.6668, |
| "step": 3480 |
| }, |
| { |
| "epoch": 0.3722666666666667, |
| "grad_norm": 0.94957141578939, |
| "learning_rate": 2.3726616001787644e-06, |
| "loss": 1.6594, |
| "step": 3490 |
| }, |
| { |
| "epoch": 0.37333333333333335, |
| "grad_norm": 0.9730724473270143, |
| "learning_rate": 2.368112687231095e-06, |
| "loss": 1.6508, |
| "step": 3500 |
| }, |
| { |
| "epoch": 0.3744, |
| "grad_norm": 0.9500947191938394, |
| "learning_rate": 2.3635517378103487e-06, |
| "loss": 1.6596, |
| "step": 3510 |
| }, |
| { |
| "epoch": 0.37546666666666667, |
| "grad_norm": 0.9363069985088942, |
| "learning_rate": 2.358978815154565e-06, |
| "loss": 1.6625, |
| "step": 3520 |
| }, |
| { |
| "epoch": 0.37653333333333333, |
| "grad_norm": 0.9384038854458382, |
| "learning_rate": 2.3543939826677955e-06, |
| "loss": 1.6559, |
| "step": 3530 |
| }, |
| { |
| "epoch": 0.3776, |
| "grad_norm": 0.9399571115427959, |
| "learning_rate": 2.349797303919221e-06, |
| "loss": 1.6686, |
| "step": 3540 |
| }, |
| { |
| "epoch": 0.37866666666666665, |
| "grad_norm": 0.9455419129400207, |
| "learning_rate": 2.345188842642272e-06, |
| "loss": 1.6676, |
| "step": 3550 |
| }, |
| { |
| "epoch": 0.3797333333333333, |
| "grad_norm": 0.9437875806498135, |
| "learning_rate": 2.3405686627337454e-06, |
| "loss": 1.659, |
| "step": 3560 |
| }, |
| { |
| "epoch": 0.3808, |
| "grad_norm": 0.9359587651770698, |
| "learning_rate": 2.335936828252919e-06, |
| "loss": 1.6488, |
| "step": 3570 |
| }, |
| { |
| "epoch": 0.3818666666666667, |
| "grad_norm": 0.9762790605247785, |
| "learning_rate": 2.331293403420661e-06, |
| "loss": 1.6526, |
| "step": 3580 |
| }, |
| { |
| "epoch": 0.38293333333333335, |
| "grad_norm": 0.9101049676264759, |
| "learning_rate": 2.3266384526185416e-06, |
| "loss": 1.6528, |
| "step": 3590 |
| }, |
| { |
| "epoch": 0.384, |
| "grad_norm": 0.995265075181166, |
| "learning_rate": 2.3219720403879404e-06, |
| "loss": 1.6555, |
| "step": 3600 |
| }, |
| { |
| "epoch": 0.38506666666666667, |
| "grad_norm": 0.9765860006603786, |
| "learning_rate": 2.3172942314291494e-06, |
| "loss": 1.6658, |
| "step": 3610 |
| }, |
| { |
| "epoch": 0.38613333333333333, |
| "grad_norm": 0.9548271356960308, |
| "learning_rate": 2.312605090600479e-06, |
| "loss": 1.6602, |
| "step": 3620 |
| }, |
| { |
| "epoch": 0.3872, |
| "grad_norm": 0.9226815998587018, |
| "learning_rate": 2.307904682917357e-06, |
| "loss": 1.6582, |
| "step": 3630 |
| }, |
| { |
| "epoch": 0.38826666666666665, |
| "grad_norm": 0.9095641481656311, |
| "learning_rate": 2.303193073551426e-06, |
| "loss": 1.655, |
| "step": 3640 |
| }, |
| { |
| "epoch": 0.3893333333333333, |
| "grad_norm": 0.9548114254808908, |
| "learning_rate": 2.2984703278296427e-06, |
| "loss": 1.6696, |
| "step": 3650 |
| }, |
| { |
| "epoch": 0.3904, |
| "grad_norm": 0.9152119917213367, |
| "learning_rate": 2.293736511233369e-06, |
| "loss": 1.6537, |
| "step": 3660 |
| }, |
| { |
| "epoch": 0.3914666666666667, |
| "grad_norm": 0.975112589653614, |
| "learning_rate": 2.288991689397467e-06, |
| "loss": 1.6627, |
| "step": 3670 |
| }, |
| { |
| "epoch": 0.39253333333333335, |
| "grad_norm": 0.9641058640590225, |
| "learning_rate": 2.2842359281093867e-06, |
| "loss": 1.6529, |
| "step": 3680 |
| }, |
| { |
| "epoch": 0.3936, |
| "grad_norm": 0.9663032157417576, |
| "learning_rate": 2.2794692933082555e-06, |
| "loss": 1.66, |
| "step": 3690 |
| }, |
| { |
| "epoch": 0.39466666666666667, |
| "grad_norm": 0.9686318255583821, |
| "learning_rate": 2.274691851083962e-06, |
| "loss": 1.6703, |
| "step": 3700 |
| }, |
| { |
| "epoch": 0.3957333333333333, |
| "grad_norm": 0.9169717419968539, |
| "learning_rate": 2.269903667676242e-06, |
| "loss": 1.6521, |
| "step": 3710 |
| }, |
| { |
| "epoch": 0.3968, |
| "grad_norm": 0.9190591125148927, |
| "learning_rate": 2.2651048094737588e-06, |
| "loss": 1.6543, |
| "step": 3720 |
| }, |
| { |
| "epoch": 0.39786666666666665, |
| "grad_norm": 0.9355598196341346, |
| "learning_rate": 2.2602953430131827e-06, |
| "loss": 1.6642, |
| "step": 3730 |
| }, |
| { |
| "epoch": 0.3989333333333333, |
| "grad_norm": 0.8982064426983682, |
| "learning_rate": 2.255475334978268e-06, |
| "loss": 1.6653, |
| "step": 3740 |
| }, |
| { |
| "epoch": 0.4, |
| "grad_norm": 0.952802472269549, |
| "learning_rate": 2.2506448521989297e-06, |
| "loss": 1.6631, |
| "step": 3750 |
| }, |
| { |
| "epoch": 0.4010666666666667, |
| "grad_norm": 0.9657197267159207, |
| "learning_rate": 2.245803961650316e-06, |
| "loss": 1.6493, |
| "step": 3760 |
| }, |
| { |
| "epoch": 0.40213333333333334, |
| "grad_norm": 0.8983372935487061, |
| "learning_rate": 2.24095273045188e-06, |
| "loss": 1.6617, |
| "step": 3770 |
| }, |
| { |
| "epoch": 0.4032, |
| "grad_norm": 0.9603016841935108, |
| "learning_rate": 2.236091225866449e-06, |
| "loss": 1.6524, |
| "step": 3780 |
| }, |
| { |
| "epoch": 0.40426666666666666, |
| "grad_norm": 0.9474430719749842, |
| "learning_rate": 2.2312195152992916e-06, |
| "loss": 1.6605, |
| "step": 3790 |
| }, |
| { |
| "epoch": 0.4053333333333333, |
| "grad_norm": 0.9248886042202865, |
| "learning_rate": 2.2263376662971834e-06, |
| "loss": 1.6574, |
| "step": 3800 |
| }, |
| { |
| "epoch": 0.4064, |
| "grad_norm": 0.9457662542135901, |
| "learning_rate": 2.221445746547472e-06, |
| "loss": 1.6517, |
| "step": 3810 |
| }, |
| { |
| "epoch": 0.40746666666666664, |
| "grad_norm": 0.9446775892114924, |
| "learning_rate": 2.216543823877134e-06, |
| "loss": 1.6622, |
| "step": 3820 |
| }, |
| { |
| "epoch": 0.40853333333333336, |
| "grad_norm": 0.9413793457808942, |
| "learning_rate": 2.2116319662518405e-06, |
| "loss": 1.6551, |
| "step": 3830 |
| }, |
| { |
| "epoch": 0.4096, |
| "grad_norm": 0.9984380094017942, |
| "learning_rate": 2.20671024177501e-06, |
| "loss": 1.6484, |
| "step": 3840 |
| }, |
| { |
| "epoch": 0.4106666666666667, |
| "grad_norm": 0.9078816191712434, |
| "learning_rate": 2.201778718686866e-06, |
| "loss": 1.6587, |
| "step": 3850 |
| }, |
| { |
| "epoch": 0.41173333333333334, |
| "grad_norm": 0.9349798025328844, |
| "learning_rate": 2.1968374653634916e-06, |
| "loss": 1.6439, |
| "step": 3860 |
| }, |
| { |
| "epoch": 0.4128, |
| "grad_norm": 0.9292522453262922, |
| "learning_rate": 2.19188655031588e-06, |
| "loss": 1.6451, |
| "step": 3870 |
| }, |
| { |
| "epoch": 0.41386666666666666, |
| "grad_norm": 0.926897325440478, |
| "learning_rate": 2.1869260421889858e-06, |
| "loss": 1.6603, |
| "step": 3880 |
| }, |
| { |
| "epoch": 0.4149333333333333, |
| "grad_norm": 0.9221756270285103, |
| "learning_rate": 2.1819560097607715e-06, |
| "loss": 1.6607, |
| "step": 3890 |
| }, |
| { |
| "epoch": 0.416, |
| "grad_norm": 0.9691599046087757, |
| "learning_rate": 2.176976521941257e-06, |
| "loss": 1.6527, |
| "step": 3900 |
| }, |
| { |
| "epoch": 0.41706666666666664, |
| "grad_norm": 0.9570839892025014, |
| "learning_rate": 2.17198764777156e-06, |
| "loss": 1.6569, |
| "step": 3910 |
| }, |
| { |
| "epoch": 0.41813333333333336, |
| "grad_norm": 0.9449951479893506, |
| "learning_rate": 2.1669894564229422e-06, |
| "loss": 1.6492, |
| "step": 3920 |
| }, |
| { |
| "epoch": 0.4192, |
| "grad_norm": 0.9444569418021482, |
| "learning_rate": 2.161982017195849e-06, |
| "loss": 1.6621, |
| "step": 3930 |
| }, |
| { |
| "epoch": 0.4202666666666667, |
| "grad_norm": 0.9365441196661743, |
| "learning_rate": 2.156965399518948e-06, |
| "loss": 1.6581, |
| "step": 3940 |
| }, |
| { |
| "epoch": 0.42133333333333334, |
| "grad_norm": 0.947840272738102, |
| "learning_rate": 2.151939672948167e-06, |
| "loss": 1.6691, |
| "step": 3950 |
| }, |
| { |
| "epoch": 0.4224, |
| "grad_norm": 0.9335887149525096, |
| "learning_rate": 2.14690490716573e-06, |
| "loss": 1.6569, |
| "step": 3960 |
| }, |
| { |
| "epoch": 0.42346666666666666, |
| "grad_norm": 0.9395886794512877, |
| "learning_rate": 2.14186117197919e-06, |
| "loss": 1.6486, |
| "step": 3970 |
| }, |
| { |
| "epoch": 0.4245333333333333, |
| "grad_norm": 0.9175950571981922, |
| "learning_rate": 2.136808537320463e-06, |
| "loss": 1.6476, |
| "step": 3980 |
| }, |
| { |
| "epoch": 0.4256, |
| "grad_norm": 0.9348127013959826, |
| "learning_rate": 2.131747073244856e-06, |
| "loss": 1.6581, |
| "step": 3990 |
| }, |
| { |
| "epoch": 0.4266666666666667, |
| "grad_norm": 0.9849178608409963, |
| "learning_rate": 2.126676849930097e-06, |
| "loss": 1.6563, |
| "step": 4000 |
| }, |
| { |
| "epoch": 0.42773333333333335, |
| "grad_norm": 0.9798982928207111, |
| "learning_rate": 2.121597937675361e-06, |
| "loss": 1.6635, |
| "step": 4010 |
| }, |
| { |
| "epoch": 0.4288, |
| "grad_norm": 0.9070961373294885, |
| "learning_rate": 2.1165104069002984e-06, |
| "loss": 1.6664, |
| "step": 4020 |
| }, |
| { |
| "epoch": 0.4298666666666667, |
| "grad_norm": 0.9322708184201282, |
| "learning_rate": 2.1114143281440537e-06, |
| "loss": 1.6417, |
| "step": 4030 |
| }, |
| { |
| "epoch": 0.43093333333333333, |
| "grad_norm": 0.9134718167458606, |
| "learning_rate": 2.106309772064291e-06, |
| "loss": 1.6528, |
| "step": 4040 |
| }, |
| { |
| "epoch": 0.432, |
| "grad_norm": 0.9146979558939554, |
| "learning_rate": 2.101196809436214e-06, |
| "loss": 1.6597, |
| "step": 4050 |
| }, |
| { |
| "epoch": 0.43306666666666666, |
| "grad_norm": 0.9303172486502048, |
| "learning_rate": 2.0960755111515833e-06, |
| "loss": 1.6449, |
| "step": 4060 |
| }, |
| { |
| "epoch": 0.4341333333333333, |
| "grad_norm": 0.9473729401572349, |
| "learning_rate": 2.0909459482177345e-06, |
| "loss": 1.6495, |
| "step": 4070 |
| }, |
| { |
| "epoch": 0.4352, |
| "grad_norm": 0.9796625075867424, |
| "learning_rate": 2.0858081917565937e-06, |
| "loss": 1.6598, |
| "step": 4080 |
| }, |
| { |
| "epoch": 0.4362666666666667, |
| "grad_norm": 0.9477728413378161, |
| "learning_rate": 2.0806623130036908e-06, |
| "loss": 1.654, |
| "step": 4090 |
| }, |
| { |
| "epoch": 0.43733333333333335, |
| "grad_norm": 0.9088480488279257, |
| "learning_rate": 2.0755083833071713e-06, |
| "loss": 1.6569, |
| "step": 4100 |
| }, |
| { |
| "epoch": 0.4384, |
| "grad_norm": 0.9590991645935932, |
| "learning_rate": 2.0703464741268103e-06, |
| "loss": 1.6447, |
| "step": 4110 |
| }, |
| { |
| "epoch": 0.43946666666666667, |
| "grad_norm": 0.9465727964674131, |
| "learning_rate": 2.065176657033016e-06, |
| "loss": 1.6409, |
| "step": 4120 |
| }, |
| { |
| "epoch": 0.44053333333333333, |
| "grad_norm": 0.9087278706800614, |
| "learning_rate": 2.0599990037058436e-06, |
| "loss": 1.6568, |
| "step": 4130 |
| }, |
| { |
| "epoch": 0.4416, |
| "grad_norm": 0.9195751959866, |
| "learning_rate": 2.054813585933997e-06, |
| "loss": 1.6411, |
| "step": 4140 |
| }, |
| { |
| "epoch": 0.44266666666666665, |
| "grad_norm": 0.9544634331775946, |
| "learning_rate": 2.0496204756138347e-06, |
| "loss": 1.649, |
| "step": 4150 |
| }, |
| { |
| "epoch": 0.4437333333333333, |
| "grad_norm": 0.9277411240486287, |
| "learning_rate": 2.044419744748374e-06, |
| "loss": 1.6559, |
| "step": 4160 |
| }, |
| { |
| "epoch": 0.4448, |
| "grad_norm": 0.9495135350767198, |
| "learning_rate": 2.0392114654462914e-06, |
| "loss": 1.6489, |
| "step": 4170 |
| }, |
| { |
| "epoch": 0.4458666666666667, |
| "grad_norm": 0.9566408663089474, |
| "learning_rate": 2.0339957099209238e-06, |
| "loss": 1.6419, |
| "step": 4180 |
| }, |
| { |
| "epoch": 0.44693333333333335, |
| "grad_norm": 0.9073842589947186, |
| "learning_rate": 2.028772550489266e-06, |
| "loss": 1.6482, |
| "step": 4190 |
| }, |
| { |
| "epoch": 0.448, |
| "grad_norm": 0.9666429520321589, |
| "learning_rate": 2.0235420595709692e-06, |
| "loss": 1.6635, |
| "step": 4200 |
| }, |
| { |
| "epoch": 0.44906666666666667, |
| "grad_norm": 0.9371170335680823, |
| "learning_rate": 2.018304309687336e-06, |
| "loss": 1.6501, |
| "step": 4210 |
| }, |
| { |
| "epoch": 0.45013333333333333, |
| "grad_norm": 0.9991180434598096, |
| "learning_rate": 2.013059373460315e-06, |
| "loss": 1.6639, |
| "step": 4220 |
| }, |
| { |
| "epoch": 0.4512, |
| "grad_norm": 0.9171794471735982, |
| "learning_rate": 2.0078073236114964e-06, |
| "loss": 1.6623, |
| "step": 4230 |
| }, |
| { |
| "epoch": 0.45226666666666665, |
| "grad_norm": 0.9501990561925769, |
| "learning_rate": 2.002548232961099e-06, |
| "loss": 1.6435, |
| "step": 4240 |
| }, |
| { |
| "epoch": 0.4533333333333333, |
| "grad_norm": 0.9233048063998548, |
| "learning_rate": 1.9972821744269637e-06, |
| "loss": 1.655, |
| "step": 4250 |
| }, |
| { |
| "epoch": 0.4544, |
| "grad_norm": 0.9519005136157185, |
| "learning_rate": 1.992009221023542e-06, |
| "loss": 1.6547, |
| "step": 4260 |
| }, |
| { |
| "epoch": 0.4554666666666667, |
| "grad_norm": 0.9552313025893657, |
| "learning_rate": 1.9867294458608844e-06, |
| "loss": 1.6492, |
| "step": 4270 |
| }, |
| { |
| "epoch": 0.45653333333333335, |
| "grad_norm": 0.9199662725995568, |
| "learning_rate": 1.9814429221436244e-06, |
| "loss": 1.6538, |
| "step": 4280 |
| }, |
| { |
| "epoch": 0.4576, |
| "grad_norm": 0.89696353195843, |
| "learning_rate": 1.976149723169965e-06, |
| "loss": 1.6583, |
| "step": 4290 |
| }, |
| { |
| "epoch": 0.45866666666666667, |
| "grad_norm": 0.9340926664670772, |
| "learning_rate": 1.9708499223306633e-06, |
| "loss": 1.6587, |
| "step": 4300 |
| }, |
| { |
| "epoch": 0.4597333333333333, |
| "grad_norm": 0.9189723996632275, |
| "learning_rate": 1.965543593108012e-06, |
| "loss": 1.6534, |
| "step": 4310 |
| }, |
| { |
| "epoch": 0.4608, |
| "grad_norm": 0.9396243052925816, |
| "learning_rate": 1.96023080907482e-06, |
| "loss": 1.6413, |
| "step": 4320 |
| }, |
| { |
| "epoch": 0.46186666666666665, |
| "grad_norm": 0.9702228501509886, |
| "learning_rate": 1.9549116438933916e-06, |
| "loss": 1.6503, |
| "step": 4330 |
| }, |
| { |
| "epoch": 0.4629333333333333, |
| "grad_norm": 0.9066840578417386, |
| "learning_rate": 1.9495861713145083e-06, |
| "loss": 1.6502, |
| "step": 4340 |
| }, |
| { |
| "epoch": 0.464, |
| "grad_norm": 0.9151212819069134, |
| "learning_rate": 1.9442544651764036e-06, |
| "loss": 1.659, |
| "step": 4350 |
| }, |
| { |
| "epoch": 0.4650666666666667, |
| "grad_norm": 0.9476053207849485, |
| "learning_rate": 1.9389165994037395e-06, |
| "loss": 1.6525, |
| "step": 4360 |
| }, |
| { |
| "epoch": 0.46613333333333334, |
| "grad_norm": 0.9511450393907537, |
| "learning_rate": 1.9335726480065835e-06, |
| "loss": 1.6473, |
| "step": 4370 |
| }, |
| { |
| "epoch": 0.4672, |
| "grad_norm": 0.9242939318777355, |
| "learning_rate": 1.9282226850793793e-06, |
| "loss": 1.6515, |
| "step": 4380 |
| }, |
| { |
| "epoch": 0.46826666666666666, |
| "grad_norm": 0.9027003684402543, |
| "learning_rate": 1.9228667847999214e-06, |
| "loss": 1.654, |
| "step": 4390 |
| }, |
| { |
| "epoch": 0.4693333333333333, |
| "grad_norm": 0.9632054314980718, |
| "learning_rate": 1.917505021428327e-06, |
| "loss": 1.658, |
| "step": 4400 |
| }, |
| { |
| "epoch": 0.4704, |
| "grad_norm": 0.9491990992567905, |
| "learning_rate": 1.9121374693060044e-06, |
| "loss": 1.6518, |
| "step": 4410 |
| }, |
| { |
| "epoch": 0.47146666666666665, |
| "grad_norm": 0.9179144139326458, |
| "learning_rate": 1.9067642028546256e-06, |
| "loss": 1.6515, |
| "step": 4420 |
| }, |
| { |
| "epoch": 0.47253333333333336, |
| "grad_norm": 0.9347533255773524, |
| "learning_rate": 1.9013852965750902e-06, |
| "loss": 1.651, |
| "step": 4430 |
| }, |
| { |
| "epoch": 0.4736, |
| "grad_norm": 0.9152822869880609, |
| "learning_rate": 1.8960008250464962e-06, |
| "loss": 1.6433, |
| "step": 4440 |
| }, |
| { |
| "epoch": 0.4746666666666667, |
| "grad_norm": 0.9694583452493872, |
| "learning_rate": 1.890610862925103e-06, |
| "loss": 1.6551, |
| "step": 4450 |
| }, |
| { |
| "epoch": 0.47573333333333334, |
| "grad_norm": 0.9507836920978959, |
| "learning_rate": 1.8852154849432991e-06, |
| "loss": 1.642, |
| "step": 4460 |
| }, |
| { |
| "epoch": 0.4768, |
| "grad_norm": 0.9253114724103457, |
| "learning_rate": 1.8798147659085634e-06, |
| "loss": 1.6347, |
| "step": 4470 |
| }, |
| { |
| "epoch": 0.47786666666666666, |
| "grad_norm": 0.9497959031788862, |
| "learning_rate": 1.8744087807024293e-06, |
| "loss": 1.6487, |
| "step": 4480 |
| }, |
| { |
| "epoch": 0.4789333333333333, |
| "grad_norm": 0.9885199094836411, |
| "learning_rate": 1.8689976042794463e-06, |
| "loss": 1.6477, |
| "step": 4490 |
| }, |
| { |
| "epoch": 0.48, |
| "grad_norm": 0.9550202944435284, |
| "learning_rate": 1.8635813116661405e-06, |
| "loss": 1.6507, |
| "step": 4500 |
| }, |
| { |
| "epoch": 0.48106666666666664, |
| "grad_norm": 0.9531489223060156, |
| "learning_rate": 1.8581599779599755e-06, |
| "loss": 1.6535, |
| "step": 4510 |
| }, |
| { |
| "epoch": 0.48213333333333336, |
| "grad_norm": 0.9418556827643321, |
| "learning_rate": 1.8527336783283087e-06, |
| "loss": 1.6485, |
| "step": 4520 |
| }, |
| { |
| "epoch": 0.4832, |
| "grad_norm": 0.9160185936422113, |
| "learning_rate": 1.847302488007351e-06, |
| "loss": 1.6487, |
| "step": 4530 |
| }, |
| { |
| "epoch": 0.4842666666666667, |
| "grad_norm": 0.9497067863179137, |
| "learning_rate": 1.8418664823011239e-06, |
| "loss": 1.6517, |
| "step": 4540 |
| }, |
| { |
| "epoch": 0.48533333333333334, |
| "grad_norm": 0.9188806450898334, |
| "learning_rate": 1.8364257365804142e-06, |
| "loss": 1.6417, |
| "step": 4550 |
| }, |
| { |
| "epoch": 0.4864, |
| "grad_norm": 0.9581449915075984, |
| "learning_rate": 1.8309803262817294e-06, |
| "loss": 1.6581, |
| "step": 4560 |
| }, |
| { |
| "epoch": 0.48746666666666666, |
| "grad_norm": 0.9116662116433364, |
| "learning_rate": 1.825530326906252e-06, |
| "loss": 1.6482, |
| "step": 4570 |
| }, |
| { |
| "epoch": 0.4885333333333333, |
| "grad_norm": 0.9714529376329947, |
| "learning_rate": 1.820075814018793e-06, |
| "loss": 1.6478, |
| "step": 4580 |
| }, |
| { |
| "epoch": 0.4896, |
| "grad_norm": 0.9210973111389842, |
| "learning_rate": 1.8146168632467424e-06, |
| "loss": 1.6471, |
| "step": 4590 |
| }, |
| { |
| "epoch": 0.49066666666666664, |
| "grad_norm": 0.9602862009294374, |
| "learning_rate": 1.8091535502790237e-06, |
| "loss": 1.6546, |
| "step": 4600 |
| }, |
| { |
| "epoch": 0.49173333333333336, |
| "grad_norm": 0.9707453168109123, |
| "learning_rate": 1.8036859508650416e-06, |
| "loss": 1.6452, |
| "step": 4610 |
| }, |
| { |
| "epoch": 0.4928, |
| "grad_norm": 0.9448173376637843, |
| "learning_rate": 1.7982141408136326e-06, |
| "loss": 1.6543, |
| "step": 4620 |
| }, |
| { |
| "epoch": 0.4938666666666667, |
| "grad_norm": 0.9717427380698243, |
| "learning_rate": 1.792738195992015e-06, |
| "loss": 1.6592, |
| "step": 4630 |
| }, |
| { |
| "epoch": 0.49493333333333334, |
| "grad_norm": 0.996799247570999, |
| "learning_rate": 1.7872581923247353e-06, |
| "loss": 1.6652, |
| "step": 4640 |
| }, |
| { |
| "epoch": 0.496, |
| "grad_norm": 0.9321127711436916, |
| "learning_rate": 1.7817742057926174e-06, |
| "loss": 1.6328, |
| "step": 4650 |
| }, |
| { |
| "epoch": 0.49706666666666666, |
| "grad_norm": 0.9376120923556164, |
| "learning_rate": 1.7762863124317064e-06, |
| "loss": 1.6456, |
| "step": 4660 |
| }, |
| { |
| "epoch": 0.4981333333333333, |
| "grad_norm": 0.9371209888480494, |
| "learning_rate": 1.7707945883322177e-06, |
| "loss": 1.6476, |
| "step": 4670 |
| }, |
| { |
| "epoch": 0.4992, |
| "grad_norm": 0.9846043466828673, |
| "learning_rate": 1.7652991096374784e-06, |
| "loss": 1.6642, |
| "step": 4680 |
| }, |
| { |
| "epoch": 0.5002666666666666, |
| "grad_norm": 0.9216437552084045, |
| "learning_rate": 1.7597999525428758e-06, |
| "loss": 1.6565, |
| "step": 4690 |
| }, |
| { |
| "epoch": 0.5013333333333333, |
| "grad_norm": 0.9281691196973773, |
| "learning_rate": 1.754297193294797e-06, |
| "loss": 1.6458, |
| "step": 4700 |
| }, |
| { |
| "epoch": 0.5024, |
| "grad_norm": 0.9327920802985391, |
| "learning_rate": 1.7487909081895737e-06, |
| "loss": 1.6439, |
| "step": 4710 |
| }, |
| { |
| "epoch": 0.5034666666666666, |
| "grad_norm": 0.9207286534115989, |
| "learning_rate": 1.743281173572424e-06, |
| "loss": 1.6478, |
| "step": 4720 |
| }, |
| { |
| "epoch": 0.5045333333333333, |
| "grad_norm": 0.950362978137184, |
| "learning_rate": 1.7377680658363934e-06, |
| "loss": 1.6586, |
| "step": 4730 |
| }, |
| { |
| "epoch": 0.5056, |
| "grad_norm": 0.9408256784492793, |
| "learning_rate": 1.732251661421297e-06, |
| "loss": 1.6474, |
| "step": 4740 |
| }, |
| { |
| "epoch": 0.5066666666666667, |
| "grad_norm": 0.9306800552688193, |
| "learning_rate": 1.7267320368126579e-06, |
| "loss": 1.6465, |
| "step": 4750 |
| }, |
| { |
| "epoch": 0.5077333333333334, |
| "grad_norm": 0.8886899231377126, |
| "learning_rate": 1.721209268540647e-06, |
| "loss": 1.6592, |
| "step": 4760 |
| }, |
| { |
| "epoch": 0.5088, |
| "grad_norm": 0.9598193129429311, |
| "learning_rate": 1.715683433179025e-06, |
| "loss": 1.6409, |
| "step": 4770 |
| }, |
| { |
| "epoch": 0.5098666666666667, |
| "grad_norm": 0.879303588729933, |
| "learning_rate": 1.7101546073440749e-06, |
| "loss": 1.6447, |
| "step": 4780 |
| }, |
| { |
| "epoch": 0.5109333333333334, |
| "grad_norm": 0.9542795365754219, |
| "learning_rate": 1.7046228676935449e-06, |
| "loss": 1.6366, |
| "step": 4790 |
| }, |
| { |
| "epoch": 0.512, |
| "grad_norm": 0.9277059446108725, |
| "learning_rate": 1.699088290925583e-06, |
| "loss": 1.6377, |
| "step": 4800 |
| }, |
| { |
| "epoch": 0.5130666666666667, |
| "grad_norm": 0.9545444610136414, |
| "learning_rate": 1.693550953777674e-06, |
| "loss": 1.6452, |
| "step": 4810 |
| }, |
| { |
| "epoch": 0.5141333333333333, |
| "grad_norm": 0.9839302414311039, |
| "learning_rate": 1.6880109330255759e-06, |
| "loss": 1.6547, |
| "step": 4820 |
| }, |
| { |
| "epoch": 0.5152, |
| "grad_norm": 0.9604114638793624, |
| "learning_rate": 1.682468305482255e-06, |
| "loss": 1.6419, |
| "step": 4830 |
| }, |
| { |
| "epoch": 0.5162666666666667, |
| "grad_norm": 0.9333134889491346, |
| "learning_rate": 1.676923147996821e-06, |
| "loss": 1.6452, |
| "step": 4840 |
| }, |
| { |
| "epoch": 0.5173333333333333, |
| "grad_norm": 0.9872821743552691, |
| "learning_rate": 1.671375537453461e-06, |
| "loss": 1.6372, |
| "step": 4850 |
| }, |
| { |
| "epoch": 0.5184, |
| "grad_norm": 0.9711480253942462, |
| "learning_rate": 1.665825550770376e-06, |
| "loss": 1.6503, |
| "step": 4860 |
| }, |
| { |
| "epoch": 0.5194666666666666, |
| "grad_norm": 0.9625223079063302, |
| "learning_rate": 1.6602732648987098e-06, |
| "loss": 1.6383, |
| "step": 4870 |
| }, |
| { |
| "epoch": 0.5205333333333333, |
| "grad_norm": 0.9346557878361372, |
| "learning_rate": 1.6547187568214867e-06, |
| "loss": 1.6489, |
| "step": 4880 |
| }, |
| { |
| "epoch": 0.5216, |
| "grad_norm": 0.938832982275646, |
| "learning_rate": 1.6491621035525409e-06, |
| "loss": 1.6492, |
| "step": 4890 |
| }, |
| { |
| "epoch": 0.5226666666666666, |
| "grad_norm": 0.9438038086918349, |
| "learning_rate": 1.6436033821354503e-06, |
| "loss": 1.6507, |
| "step": 4900 |
| }, |
| { |
| "epoch": 0.5237333333333334, |
| "grad_norm": 0.9460597775148187, |
| "learning_rate": 1.6380426696424683e-06, |
| "loss": 1.6513, |
| "step": 4910 |
| }, |
| { |
| "epoch": 0.5248, |
| "grad_norm": 0.958546094826626, |
| "learning_rate": 1.6324800431734539e-06, |
| "loss": 1.6512, |
| "step": 4920 |
| }, |
| { |
| "epoch": 0.5258666666666667, |
| "grad_norm": 0.927861698661494, |
| "learning_rate": 1.6269155798548044e-06, |
| "loss": 1.6536, |
| "step": 4930 |
| }, |
| { |
| "epoch": 0.5269333333333334, |
| "grad_norm": 0.9136999478889338, |
| "learning_rate": 1.621349356838384e-06, |
| "loss": 1.6492, |
| "step": 4940 |
| }, |
| { |
| "epoch": 0.528, |
| "grad_norm": 0.9719509217716726, |
| "learning_rate": 1.6157814513004576e-06, |
| "loss": 1.647, |
| "step": 4950 |
| }, |
| { |
| "epoch": 0.5290666666666667, |
| "grad_norm": 0.9410390348841198, |
| "learning_rate": 1.6102119404406165e-06, |
| "loss": 1.6452, |
| "step": 4960 |
| }, |
| { |
| "epoch": 0.5301333333333333, |
| "grad_norm": 0.9404883067410926, |
| "learning_rate": 1.6046409014807101e-06, |
| "loss": 1.6441, |
| "step": 4970 |
| }, |
| { |
| "epoch": 0.5312, |
| "grad_norm": 0.9241815771688953, |
| "learning_rate": 1.5990684116637756e-06, |
| "loss": 1.6446, |
| "step": 4980 |
| }, |
| { |
| "epoch": 0.5322666666666667, |
| "grad_norm": 0.9256672557316625, |
| "learning_rate": 1.593494548252967e-06, |
| "loss": 1.6522, |
| "step": 4990 |
| }, |
| { |
| "epoch": 0.5333333333333333, |
| "grad_norm": 0.9246108850041412, |
| "learning_rate": 1.5879193885304814e-06, |
| "loss": 1.6392, |
| "step": 5000 |
| }, |
| { |
| "epoch": 0.5344, |
| "grad_norm": 0.942194383370598, |
| "learning_rate": 1.5823430097964913e-06, |
| "loss": 1.6537, |
| "step": 5010 |
| }, |
| { |
| "epoch": 0.5354666666666666, |
| "grad_norm": 0.9156367803282325, |
| "learning_rate": 1.5767654893680705e-06, |
| "loss": 1.6461, |
| "step": 5020 |
| }, |
| { |
| "epoch": 0.5365333333333333, |
| "grad_norm": 0.940672239969546, |
| "learning_rate": 1.5711869045781214e-06, |
| "loss": 1.6481, |
| "step": 5030 |
| }, |
| { |
| "epoch": 0.5376, |
| "grad_norm": 0.9061456345002042, |
| "learning_rate": 1.5656073327743059e-06, |
| "loss": 1.6444, |
| "step": 5040 |
| }, |
| { |
| "epoch": 0.5386666666666666, |
| "grad_norm": 0.97763256942112, |
| "learning_rate": 1.560026851317969e-06, |
| "loss": 1.6482, |
| "step": 5050 |
| }, |
| { |
| "epoch": 0.5397333333333333, |
| "grad_norm": 0.9598055913116468, |
| "learning_rate": 1.5544455375830693e-06, |
| "loss": 1.6446, |
| "step": 5060 |
| }, |
| { |
| "epoch": 0.5408, |
| "grad_norm": 1.0052635989756642, |
| "learning_rate": 1.5488634689551046e-06, |
| "loss": 1.6529, |
| "step": 5070 |
| }, |
| { |
| "epoch": 0.5418666666666667, |
| "grad_norm": 0.9517105092635382, |
| "learning_rate": 1.5432807228300392e-06, |
| "loss": 1.6473, |
| "step": 5080 |
| }, |
| { |
| "epoch": 0.5429333333333334, |
| "grad_norm": 0.8905539394435706, |
| "learning_rate": 1.5376973766132317e-06, |
| "loss": 1.6499, |
| "step": 5090 |
| }, |
| { |
| "epoch": 0.544, |
| "grad_norm": 0.9123057864528198, |
| "learning_rate": 1.53211350771836e-06, |
| "loss": 1.6503, |
| "step": 5100 |
| }, |
| { |
| "epoch": 0.5450666666666667, |
| "grad_norm": 0.9653409477209125, |
| "learning_rate": 1.5265291935663502e-06, |
| "loss": 1.6561, |
| "step": 5110 |
| }, |
| { |
| "epoch": 0.5461333333333334, |
| "grad_norm": 0.9251744902735615, |
| "learning_rate": 1.5209445115842998e-06, |
| "loss": 1.6508, |
| "step": 5120 |
| }, |
| { |
| "epoch": 0.5472, |
| "grad_norm": 0.9366916012307703, |
| "learning_rate": 1.5153595392044094e-06, |
| "loss": 1.6494, |
| "step": 5130 |
| }, |
| { |
| "epoch": 0.5482666666666667, |
| "grad_norm": 0.9447081853537513, |
| "learning_rate": 1.509774353862904e-06, |
| "loss": 1.6383, |
| "step": 5140 |
| }, |
| { |
| "epoch": 0.5493333333333333, |
| "grad_norm": 0.8886994480186915, |
| "learning_rate": 1.504189032998961e-06, |
| "loss": 1.6562, |
| "step": 5150 |
| }, |
| { |
| "epoch": 0.5504, |
| "grad_norm": 0.989438237647426, |
| "learning_rate": 1.4986036540536382e-06, |
| "loss": 1.6501, |
| "step": 5160 |
| }, |
| { |
| "epoch": 0.5514666666666667, |
| "grad_norm": 0.9592524368391265, |
| "learning_rate": 1.4930182944687976e-06, |
| "loss": 1.6551, |
| "step": 5170 |
| }, |
| { |
| "epoch": 0.5525333333333333, |
| "grad_norm": 0.9335871562479809, |
| "learning_rate": 1.4874330316860336e-06, |
| "loss": 1.6406, |
| "step": 5180 |
| }, |
| { |
| "epoch": 0.5536, |
| "grad_norm": 0.926910208271037, |
| "learning_rate": 1.4818479431455977e-06, |
| "loss": 1.6516, |
| "step": 5190 |
| }, |
| { |
| "epoch": 0.5546666666666666, |
| "grad_norm": 0.966527959372197, |
| "learning_rate": 1.476263106285326e-06, |
| "loss": 1.6491, |
| "step": 5200 |
| }, |
| { |
| "epoch": 0.5557333333333333, |
| "grad_norm": 0.9346249629066673, |
| "learning_rate": 1.4706785985395647e-06, |
| "loss": 1.6479, |
| "step": 5210 |
| }, |
| { |
| "epoch": 0.5568, |
| "grad_norm": 0.9378886124750219, |
| "learning_rate": 1.4650944973380972e-06, |
| "loss": 1.6346, |
| "step": 5220 |
| }, |
| { |
| "epoch": 0.5578666666666666, |
| "grad_norm": 0.9107356409157437, |
| "learning_rate": 1.4595108801050698e-06, |
| "loss": 1.6558, |
| "step": 5230 |
| }, |
| { |
| "epoch": 0.5589333333333333, |
| "grad_norm": 0.9447516262457282, |
| "learning_rate": 1.4539278242579182e-06, |
| "loss": 1.6455, |
| "step": 5240 |
| }, |
| { |
| "epoch": 0.56, |
| "grad_norm": 0.9240813989302032, |
| "learning_rate": 1.448345407206295e-06, |
| "loss": 1.6365, |
| "step": 5250 |
| }, |
| { |
| "epoch": 0.5610666666666667, |
| "grad_norm": 0.9384959493426096, |
| "learning_rate": 1.442763706350996e-06, |
| "loss": 1.6479, |
| "step": 5260 |
| }, |
| { |
| "epoch": 0.5621333333333334, |
| "grad_norm": 0.9628307533598938, |
| "learning_rate": 1.4371827990828868e-06, |
| "loss": 1.6324, |
| "step": 5270 |
| }, |
| { |
| "epoch": 0.5632, |
| "grad_norm": 0.9202574539474218, |
| "learning_rate": 1.4316027627818288e-06, |
| "loss": 1.6462, |
| "step": 5280 |
| }, |
| { |
| "epoch": 0.5642666666666667, |
| "grad_norm": 0.9517027346541544, |
| "learning_rate": 1.4260236748156085e-06, |
| "loss": 1.654, |
| "step": 5290 |
| }, |
| { |
| "epoch": 0.5653333333333334, |
| "grad_norm": 0.932652543344005, |
| "learning_rate": 1.4204456125388636e-06, |
| "loss": 1.6481, |
| "step": 5300 |
| }, |
| { |
| "epoch": 0.5664, |
| "grad_norm": 0.9243403254175224, |
| "learning_rate": 1.4148686532920094e-06, |
| "loss": 1.6396, |
| "step": 5310 |
| }, |
| { |
| "epoch": 0.5674666666666667, |
| "grad_norm": 0.9345629944472951, |
| "learning_rate": 1.4092928744001686e-06, |
| "loss": 1.653, |
| "step": 5320 |
| }, |
| { |
| "epoch": 0.5685333333333333, |
| "grad_norm": 0.8890220158328246, |
| "learning_rate": 1.4037183531720982e-06, |
| "loss": 1.6574, |
| "step": 5330 |
| }, |
| { |
| "epoch": 0.5696, |
| "grad_norm": 0.9582706614516528, |
| "learning_rate": 1.398145166899117e-06, |
| "loss": 1.6504, |
| "step": 5340 |
| }, |
| { |
| "epoch": 0.5706666666666667, |
| "grad_norm": 0.926064768004215, |
| "learning_rate": 1.3925733928540346e-06, |
| "loss": 1.6409, |
| "step": 5350 |
| }, |
| { |
| "epoch": 0.5717333333333333, |
| "grad_norm": 0.9293239699597686, |
| "learning_rate": 1.3870031082900803e-06, |
| "loss": 1.6434, |
| "step": 5360 |
| }, |
| { |
| "epoch": 0.5728, |
| "grad_norm": 0.9190136126360794, |
| "learning_rate": 1.3814343904398314e-06, |
| "loss": 1.6442, |
| "step": 5370 |
| }, |
| { |
| "epoch": 0.5738666666666666, |
| "grad_norm": 0.9816775386873235, |
| "learning_rate": 1.375867316514142e-06, |
| "loss": 1.6477, |
| "step": 5380 |
| }, |
| { |
| "epoch": 0.5749333333333333, |
| "grad_norm": 0.9573922299728442, |
| "learning_rate": 1.3703019637010744e-06, |
| "loss": 1.6327, |
| "step": 5390 |
| }, |
| { |
| "epoch": 0.576, |
| "grad_norm": 0.9168254588614905, |
| "learning_rate": 1.364738409164826e-06, |
| "loss": 1.6511, |
| "step": 5400 |
| }, |
| { |
| "epoch": 0.5770666666666666, |
| "grad_norm": 0.9267845862889881, |
| "learning_rate": 1.3591767300446616e-06, |
| "loss": 1.6431, |
| "step": 5410 |
| }, |
| { |
| "epoch": 0.5781333333333334, |
| "grad_norm": 0.9191958476482912, |
| "learning_rate": 1.353617003453843e-06, |
| "loss": 1.6422, |
| "step": 5420 |
| }, |
| { |
| "epoch": 0.5792, |
| "grad_norm": 0.9397046357630816, |
| "learning_rate": 1.3480593064785599e-06, |
| "loss": 1.6395, |
| "step": 5430 |
| }, |
| { |
| "epoch": 0.5802666666666667, |
| "grad_norm": 0.8938984721287658, |
| "learning_rate": 1.3425037161768622e-06, |
| "loss": 1.6492, |
| "step": 5440 |
| }, |
| { |
| "epoch": 0.5813333333333334, |
| "grad_norm": 0.9450279981653136, |
| "learning_rate": 1.336950309577589e-06, |
| "loss": 1.6395, |
| "step": 5450 |
| }, |
| { |
| "epoch": 0.5824, |
| "grad_norm": 0.9239482448933554, |
| "learning_rate": 1.3313991636793027e-06, |
| "loss": 1.6479, |
| "step": 5460 |
| }, |
| { |
| "epoch": 0.5834666666666667, |
| "grad_norm": 0.9251470424167806, |
| "learning_rate": 1.3258503554492213e-06, |
| "loss": 1.6387, |
| "step": 5470 |
| }, |
| { |
| "epoch": 0.5845333333333333, |
| "grad_norm": 0.908081306532349, |
| "learning_rate": 1.3203039618221505e-06, |
| "loss": 1.6405, |
| "step": 5480 |
| }, |
| { |
| "epoch": 0.5856, |
| "grad_norm": 0.9025867747737822, |
| "learning_rate": 1.3147600596994169e-06, |
| "loss": 1.6355, |
| "step": 5490 |
| }, |
| { |
| "epoch": 0.5866666666666667, |
| "grad_norm": 0.9588359293934582, |
| "learning_rate": 1.3092187259478025e-06, |
| "loss": 1.6525, |
| "step": 5500 |
| }, |
| { |
| "epoch": 0.5877333333333333, |
| "grad_norm": 0.9555006859984778, |
| "learning_rate": 1.3036800373984786e-06, |
| "loss": 1.6392, |
| "step": 5510 |
| }, |
| { |
| "epoch": 0.5888, |
| "grad_norm": 0.9311384464314543, |
| "learning_rate": 1.2981440708459406e-06, |
| "loss": 1.635, |
| "step": 5520 |
| }, |
| { |
| "epoch": 0.5898666666666667, |
| "grad_norm": 0.9734499397095102, |
| "learning_rate": 1.2926109030469427e-06, |
| "loss": 1.6441, |
| "step": 5530 |
| }, |
| { |
| "epoch": 0.5909333333333333, |
| "grad_norm": 0.9326692902405276, |
| "learning_rate": 1.2870806107194343e-06, |
| "loss": 1.6282, |
| "step": 5540 |
| }, |
| { |
| "epoch": 0.592, |
| "grad_norm": 0.9544926011413847, |
| "learning_rate": 1.2815532705414963e-06, |
| "loss": 1.6492, |
| "step": 5550 |
| }, |
| { |
| "epoch": 0.5930666666666666, |
| "grad_norm": 0.9415503041502752, |
| "learning_rate": 1.2760289591502775e-06, |
| "loss": 1.6488, |
| "step": 5560 |
| }, |
| { |
| "epoch": 0.5941333333333333, |
| "grad_norm": 0.9661561294596271, |
| "learning_rate": 1.2705077531409323e-06, |
| "loss": 1.6504, |
| "step": 5570 |
| }, |
| { |
| "epoch": 0.5952, |
| "grad_norm": 0.9484084568517012, |
| "learning_rate": 1.2649897290655585e-06, |
| "loss": 1.6478, |
| "step": 5580 |
| }, |
| { |
| "epoch": 0.5962666666666666, |
| "grad_norm": 0.9296767705309394, |
| "learning_rate": 1.2594749634321366e-06, |
| "loss": 1.6477, |
| "step": 5590 |
| }, |
| { |
| "epoch": 0.5973333333333334, |
| "grad_norm": 0.9251762882728181, |
| "learning_rate": 1.2539635327034677e-06, |
| "loss": 1.6428, |
| "step": 5600 |
| }, |
| { |
| "epoch": 0.5984, |
| "grad_norm": 0.9500555909233835, |
| "learning_rate": 1.2484555132961141e-06, |
| "loss": 1.644, |
| "step": 5610 |
| }, |
| { |
| "epoch": 0.5994666666666667, |
| "grad_norm": 0.982866027047646, |
| "learning_rate": 1.2429509815793413e-06, |
| "loss": 1.6359, |
| "step": 5620 |
| }, |
| { |
| "epoch": 0.6005333333333334, |
| "grad_norm": 0.9571068827192319, |
| "learning_rate": 1.2374500138740559e-06, |
| "loss": 1.6359, |
| "step": 5630 |
| }, |
| { |
| "epoch": 0.6016, |
| "grad_norm": 0.927882779336132, |
| "learning_rate": 1.23195268645175e-06, |
| "loss": 1.6491, |
| "step": 5640 |
| }, |
| { |
| "epoch": 0.6026666666666667, |
| "grad_norm": 0.9654855244119447, |
| "learning_rate": 1.2264590755334416e-06, |
| "loss": 1.6473, |
| "step": 5650 |
| }, |
| { |
| "epoch": 0.6037333333333333, |
| "grad_norm": 0.9433010159775556, |
| "learning_rate": 1.2209692572886206e-06, |
| "loss": 1.6388, |
| "step": 5660 |
| }, |
| { |
| "epoch": 0.6048, |
| "grad_norm": 0.9095948576720422, |
| "learning_rate": 1.21548330783419e-06, |
| "loss": 1.6442, |
| "step": 5670 |
| }, |
| { |
| "epoch": 0.6058666666666667, |
| "grad_norm": 0.9222050812897559, |
| "learning_rate": 1.2100013032334122e-06, |
| "loss": 1.6394, |
| "step": 5680 |
| }, |
| { |
| "epoch": 0.6069333333333333, |
| "grad_norm": 1.0024937862794003, |
| "learning_rate": 1.2045233194948532e-06, |
| "loss": 1.6354, |
| "step": 5690 |
| }, |
| { |
| "epoch": 0.608, |
| "grad_norm": 0.9696703833628154, |
| "learning_rate": 1.19904943257133e-06, |
| "loss": 1.6455, |
| "step": 5700 |
| }, |
| { |
| "epoch": 0.6090666666666666, |
| "grad_norm": 0.9521962731752988, |
| "learning_rate": 1.1935797183588565e-06, |
| "loss": 1.6435, |
| "step": 5710 |
| }, |
| { |
| "epoch": 0.6101333333333333, |
| "grad_norm": 0.9649261761199126, |
| "learning_rate": 1.1881142526955912e-06, |
| "loss": 1.6318, |
| "step": 5720 |
| }, |
| { |
| "epoch": 0.6112, |
| "grad_norm": 1.0056557989470312, |
| "learning_rate": 1.1826531113607867e-06, |
| "loss": 1.6406, |
| "step": 5730 |
| }, |
| { |
| "epoch": 0.6122666666666666, |
| "grad_norm": 0.9565854640409046, |
| "learning_rate": 1.177196370073738e-06, |
| "loss": 1.6318, |
| "step": 5740 |
| }, |
| { |
| "epoch": 0.6133333333333333, |
| "grad_norm": 0.9257455465648255, |
| "learning_rate": 1.1717441044927322e-06, |
| "loss": 1.6456, |
| "step": 5750 |
| }, |
| { |
| "epoch": 0.6144, |
| "grad_norm": 0.9172969869603425, |
| "learning_rate": 1.166296390214002e-06, |
| "loss": 1.6398, |
| "step": 5760 |
| }, |
| { |
| "epoch": 0.6154666666666667, |
| "grad_norm": 0.9512453587571212, |
| "learning_rate": 1.1608533027706746e-06, |
| "loss": 1.6398, |
| "step": 5770 |
| }, |
| { |
| "epoch": 0.6165333333333334, |
| "grad_norm": 0.9286767101053063, |
| "learning_rate": 1.1554149176317254e-06, |
| "loss": 1.632, |
| "step": 5780 |
| }, |
| { |
| "epoch": 0.6176, |
| "grad_norm": 0.9395625997522168, |
| "learning_rate": 1.1499813102009331e-06, |
| "loss": 1.6427, |
| "step": 5790 |
| }, |
| { |
| "epoch": 0.6186666666666667, |
| "grad_norm": 0.9174904578128065, |
| "learning_rate": 1.1445525558158318e-06, |
| "loss": 1.6344, |
| "step": 5800 |
| }, |
| { |
| "epoch": 0.6197333333333334, |
| "grad_norm": 0.9400636953549242, |
| "learning_rate": 1.1391287297466684e-06, |
| "loss": 1.6259, |
| "step": 5810 |
| }, |
| { |
| "epoch": 0.6208, |
| "grad_norm": 0.9618846525927467, |
| "learning_rate": 1.1337099071953572e-06, |
| "loss": 1.6376, |
| "step": 5820 |
| }, |
| { |
| "epoch": 0.6218666666666667, |
| "grad_norm": 0.9695152057383372, |
| "learning_rate": 1.1282961632944395e-06, |
| "loss": 1.6476, |
| "step": 5830 |
| }, |
| { |
| "epoch": 0.6229333333333333, |
| "grad_norm": 0.9073538822553481, |
| "learning_rate": 1.1228875731060394e-06, |
| "loss": 1.6412, |
| "step": 5840 |
| }, |
| { |
| "epoch": 0.624, |
| "grad_norm": 0.9243184083175984, |
| "learning_rate": 1.1174842116208249e-06, |
| "loss": 1.6537, |
| "step": 5850 |
| }, |
| { |
| "epoch": 0.6250666666666667, |
| "grad_norm": 0.9311818624737883, |
| "learning_rate": 1.1120861537569673e-06, |
| "loss": 1.6318, |
| "step": 5860 |
| }, |
| { |
| "epoch": 0.6261333333333333, |
| "grad_norm": 0.9558573300672806, |
| "learning_rate": 1.106693474359103e-06, |
| "loss": 1.6328, |
| "step": 5870 |
| }, |
| { |
| "epoch": 0.6272, |
| "grad_norm": 0.9296624232819808, |
| "learning_rate": 1.1013062481972947e-06, |
| "loss": 1.6336, |
| "step": 5880 |
| }, |
| { |
| "epoch": 0.6282666666666666, |
| "grad_norm": 0.9498411311821265, |
| "learning_rate": 1.0959245499659957e-06, |
| "loss": 1.6457, |
| "step": 5890 |
| }, |
| { |
| "epoch": 0.6293333333333333, |
| "grad_norm": 0.9777947074995257, |
| "learning_rate": 1.0905484542830144e-06, |
| "loss": 1.6392, |
| "step": 5900 |
| }, |
| { |
| "epoch": 0.6304, |
| "grad_norm": 1.0004634436141713, |
| "learning_rate": 1.0851780356884788e-06, |
| "loss": 1.6357, |
| "step": 5910 |
| }, |
| { |
| "epoch": 0.6314666666666666, |
| "grad_norm": 0.963160829464813, |
| "learning_rate": 1.079813368643804e-06, |
| "loss": 1.641, |
| "step": 5920 |
| }, |
| { |
| "epoch": 0.6325333333333333, |
| "grad_norm": 0.980303517969504, |
| "learning_rate": 1.0744545275306583e-06, |
| "loss": 1.6494, |
| "step": 5930 |
| }, |
| { |
| "epoch": 0.6336, |
| "grad_norm": 0.9109598027868125, |
| "learning_rate": 1.0691015866499336e-06, |
| "loss": 1.6423, |
| "step": 5940 |
| }, |
| { |
| "epoch": 0.6346666666666667, |
| "grad_norm": 0.9258371169728175, |
| "learning_rate": 1.0637546202207143e-06, |
| "loss": 1.6334, |
| "step": 5950 |
| }, |
| { |
| "epoch": 0.6357333333333334, |
| "grad_norm": 0.9711106615869038, |
| "learning_rate": 1.0584137023792483e-06, |
| "loss": 1.6421, |
| "step": 5960 |
| }, |
| { |
| "epoch": 0.6368, |
| "grad_norm": 0.9491371788519555, |
| "learning_rate": 1.0530789071779194e-06, |
| "loss": 1.6377, |
| "step": 5970 |
| }, |
| { |
| "epoch": 0.6378666666666667, |
| "grad_norm": 0.9284511744288078, |
| "learning_rate": 1.0477503085842205e-06, |
| "loss": 1.6419, |
| "step": 5980 |
| }, |
| { |
| "epoch": 0.6389333333333334, |
| "grad_norm": 0.8952139474631282, |
| "learning_rate": 1.0424279804797273e-06, |
| "loss": 1.6357, |
| "step": 5990 |
| }, |
| { |
| "epoch": 0.64, |
| "grad_norm": 0.9648287519926048, |
| "learning_rate": 1.0371119966590752e-06, |
| "loss": 1.6407, |
| "step": 6000 |
| }, |
| { |
| "epoch": 0.6410666666666667, |
| "grad_norm": 0.9557165036552002, |
| "learning_rate": 1.0318024308289345e-06, |
| "loss": 1.6329, |
| "step": 6010 |
| }, |
| { |
| "epoch": 0.6421333333333333, |
| "grad_norm": 0.9668832043992088, |
| "learning_rate": 1.0264993566069906e-06, |
| "loss": 1.6455, |
| "step": 6020 |
| }, |
| { |
| "epoch": 0.6432, |
| "grad_norm": 0.9813428813401812, |
| "learning_rate": 1.0212028475209207e-06, |
| "loss": 1.6305, |
| "step": 6030 |
| }, |
| { |
| "epoch": 0.6442666666666667, |
| "grad_norm": 0.9664448211976283, |
| "learning_rate": 1.0159129770073775e-06, |
| "loss": 1.6468, |
| "step": 6040 |
| }, |
| { |
| "epoch": 0.6453333333333333, |
| "grad_norm": 0.9369228206952753, |
| "learning_rate": 1.0106298184109671e-06, |
| "loss": 1.634, |
| "step": 6050 |
| }, |
| { |
| "epoch": 0.6464, |
| "grad_norm": 0.9552735098202143, |
| "learning_rate": 1.0053534449832363e-06, |
| "loss": 1.6381, |
| "step": 6060 |
| }, |
| { |
| "epoch": 0.6474666666666666, |
| "grad_norm": 0.9440131809910416, |
| "learning_rate": 1.0000839298816527e-06, |
| "loss": 1.6497, |
| "step": 6070 |
| }, |
| { |
| "epoch": 0.6485333333333333, |
| "grad_norm": 0.9201581263547279, |
| "learning_rate": 9.948213461685944e-07, |
| "loss": 1.634, |
| "step": 6080 |
| }, |
| { |
| "epoch": 0.6496, |
| "grad_norm": 0.9033039097399416, |
| "learning_rate": 9.895657668103337e-07, |
| "loss": 1.6459, |
| "step": 6090 |
| }, |
| { |
| "epoch": 0.6506666666666666, |
| "grad_norm": 0.9507971786885266, |
| "learning_rate": 9.843172646760274e-07, |
| "loss": 1.6374, |
| "step": 6100 |
| }, |
| { |
| "epoch": 0.6517333333333334, |
| "grad_norm": 0.9138073936936818, |
| "learning_rate": 9.790759125367059e-07, |
| "loss": 1.6351, |
| "step": 6110 |
| }, |
| { |
| "epoch": 0.6528, |
| "grad_norm": 0.9707248222137546, |
| "learning_rate": 9.73841783064264e-07, |
| "loss": 1.6516, |
| "step": 6120 |
| }, |
| { |
| "epoch": 0.6538666666666667, |
| "grad_norm": 0.9370225022575949, |
| "learning_rate": 9.686149488304535e-07, |
| "loss": 1.6396, |
| "step": 6130 |
| }, |
| { |
| "epoch": 0.6549333333333334, |
| "grad_norm": 0.953541564612593, |
| "learning_rate": 9.633954823058764e-07, |
| "loss": 1.6263, |
| "step": 6140 |
| }, |
| { |
| "epoch": 0.656, |
| "grad_norm": 0.9186408662137342, |
| "learning_rate": 9.581834558589823e-07, |
| "loss": 1.6362, |
| "step": 6150 |
| }, |
| { |
| "epoch": 0.6570666666666667, |
| "grad_norm": 0.9376259337254916, |
| "learning_rate": 9.529789417550616e-07, |
| "loss": 1.638, |
| "step": 6160 |
| }, |
| { |
| "epoch": 0.6581333333333333, |
| "grad_norm": 0.9167224812554682, |
| "learning_rate": 9.477820121552455e-07, |
| "loss": 1.6458, |
| "step": 6170 |
| }, |
| { |
| "epoch": 0.6592, |
| "grad_norm": 0.941453752408149, |
| "learning_rate": 9.425927391155066e-07, |
| "loss": 1.637, |
| "step": 6180 |
| }, |
| { |
| "epoch": 0.6602666666666667, |
| "grad_norm": 0.9577682303073832, |
| "learning_rate": 9.374111945856572e-07, |
| "loss": 1.6334, |
| "step": 6190 |
| }, |
| { |
| "epoch": 0.6613333333333333, |
| "grad_norm": 0.9466239394767838, |
| "learning_rate": 9.322374504083534e-07, |
| "loss": 1.6343, |
| "step": 6200 |
| }, |
| { |
| "epoch": 0.6624, |
| "grad_norm": 0.9290964682344081, |
| "learning_rate": 9.270715783180984e-07, |
| "loss": 1.6498, |
| "step": 6210 |
| }, |
| { |
| "epoch": 0.6634666666666666, |
| "grad_norm": 0.9629443900334983, |
| "learning_rate": 9.219136499402484e-07, |
| "loss": 1.6388, |
| "step": 6220 |
| }, |
| { |
| "epoch": 0.6645333333333333, |
| "grad_norm": 0.9483334295734468, |
| "learning_rate": 9.167637367900192e-07, |
| "loss": 1.6369, |
| "step": 6230 |
| }, |
| { |
| "epoch": 0.6656, |
| "grad_norm": 0.9538512462369768, |
| "learning_rate": 9.116219102714941e-07, |
| "loss": 1.6255, |
| "step": 6240 |
| }, |
| { |
| "epoch": 0.6666666666666666, |
| "grad_norm": 0.9916209252628216, |
| "learning_rate": 9.064882416766353e-07, |
| "loss": 1.6433, |
| "step": 6250 |
| }, |
| { |
| "epoch": 0.6677333333333333, |
| "grad_norm": 0.936952152129854, |
| "learning_rate": 9.013628021842936e-07, |
| "loss": 1.6369, |
| "step": 6260 |
| }, |
| { |
| "epoch": 0.6688, |
| "grad_norm": 0.9651446619573912, |
| "learning_rate": 8.962456628592234e-07, |
| "loss": 1.632, |
| "step": 6270 |
| }, |
| { |
| "epoch": 0.6698666666666667, |
| "grad_norm": 0.948618245086087, |
| "learning_rate": 8.911368946510954e-07, |
| "loss": 1.6443, |
| "step": 6280 |
| }, |
| { |
| "epoch": 0.6709333333333334, |
| "grad_norm": 0.9050682976685079, |
| "learning_rate": 8.860365683935145e-07, |
| "loss": 1.64, |
| "step": 6290 |
| }, |
| { |
| "epoch": 0.672, |
| "grad_norm": 0.9698836847007473, |
| "learning_rate": 8.809447548030371e-07, |
| "loss": 1.6307, |
| "step": 6300 |
| }, |
| { |
| "epoch": 0.6730666666666667, |
| "grad_norm": 0.9432863539008417, |
| "learning_rate": 8.758615244781899e-07, |
| "loss": 1.6368, |
| "step": 6310 |
| }, |
| { |
| "epoch": 0.6741333333333334, |
| "grad_norm": 0.9429546436121419, |
| "learning_rate": 8.707869478984929e-07, |
| "loss": 1.6428, |
| "step": 6320 |
| }, |
| { |
| "epoch": 0.6752, |
| "grad_norm": 0.9163994467182309, |
| "learning_rate": 8.657210954234805e-07, |
| "loss": 1.6415, |
| "step": 6330 |
| }, |
| { |
| "epoch": 0.6762666666666667, |
| "grad_norm": 0.9160826549384001, |
| "learning_rate": 8.606640372917259e-07, |
| "loss": 1.6406, |
| "step": 6340 |
| }, |
| { |
| "epoch": 0.6773333333333333, |
| "grad_norm": 0.9940339188596266, |
| "learning_rate": 8.556158436198688e-07, |
| "loss": 1.6349, |
| "step": 6350 |
| }, |
| { |
| "epoch": 0.6784, |
| "grad_norm": 0.9416509210499009, |
| "learning_rate": 8.50576584401641e-07, |
| "loss": 1.6346, |
| "step": 6360 |
| }, |
| { |
| "epoch": 0.6794666666666667, |
| "grad_norm": 0.9468646810234849, |
| "learning_rate": 8.455463295068982e-07, |
| "loss": 1.6414, |
| "step": 6370 |
| }, |
| { |
| "epoch": 0.6805333333333333, |
| "grad_norm": 0.9855189455541102, |
| "learning_rate": 8.4052514868065e-07, |
| "loss": 1.6465, |
| "step": 6380 |
| }, |
| { |
| "epoch": 0.6816, |
| "grad_norm": 0.9048504332610046, |
| "learning_rate": 8.355131115420929e-07, |
| "loss": 1.6362, |
| "step": 6390 |
| }, |
| { |
| "epoch": 0.6826666666666666, |
| "grad_norm": 0.9292137464329728, |
| "learning_rate": 8.305102875836451e-07, |
| "loss": 1.6353, |
| "step": 6400 |
| }, |
| { |
| "epoch": 0.6837333333333333, |
| "grad_norm": 0.9871194545670592, |
| "learning_rate": 8.255167461699838e-07, |
| "loss": 1.6425, |
| "step": 6410 |
| }, |
| { |
| "epoch": 0.6848, |
| "grad_norm": 0.9247541801550003, |
| "learning_rate": 8.205325565370818e-07, |
| "loss": 1.6478, |
| "step": 6420 |
| }, |
| { |
| "epoch": 0.6858666666666666, |
| "grad_norm": 0.9400873616044685, |
| "learning_rate": 8.15557787791249e-07, |
| "loss": 1.6322, |
| "step": 6430 |
| }, |
| { |
| "epoch": 0.6869333333333333, |
| "grad_norm": 0.9370470337804653, |
| "learning_rate": 8.105925089081735e-07, |
| "loss": 1.6391, |
| "step": 6440 |
| }, |
| { |
| "epoch": 0.688, |
| "grad_norm": 0.9452425538615635, |
| "learning_rate": 8.05636788731966e-07, |
| "loss": 1.6395, |
| "step": 6450 |
| }, |
| { |
| "epoch": 0.6890666666666667, |
| "grad_norm": 0.8668952820400583, |
| "learning_rate": 8.006906959742042e-07, |
| "loss": 1.6528, |
| "step": 6460 |
| }, |
| { |
| "epoch": 0.6901333333333334, |
| "grad_norm": 0.963697404798933, |
| "learning_rate": 7.957542992129806e-07, |
| "loss": 1.6342, |
| "step": 6470 |
| }, |
| { |
| "epoch": 0.6912, |
| "grad_norm": 0.9111364974626629, |
| "learning_rate": 7.908276668919518e-07, |
| "loss": 1.6314, |
| "step": 6480 |
| }, |
| { |
| "epoch": 0.6922666666666667, |
| "grad_norm": 0.9582060092542287, |
| "learning_rate": 7.859108673193891e-07, |
| "loss": 1.6379, |
| "step": 6490 |
| }, |
| { |
| "epoch": 0.6933333333333334, |
| "grad_norm": 0.9585224485507772, |
| "learning_rate": 7.810039686672335e-07, |
| "loss": 1.6349, |
| "step": 6500 |
| }, |
| { |
| "epoch": 0.6944, |
| "grad_norm": 0.9695616000602741, |
| "learning_rate": 7.761070389701462e-07, |
| "loss": 1.6394, |
| "step": 6510 |
| }, |
| { |
| "epoch": 0.6954666666666667, |
| "grad_norm": 0.9125111123508771, |
| "learning_rate": 7.712201461245693e-07, |
| "loss": 1.6316, |
| "step": 6520 |
| }, |
| { |
| "epoch": 0.6965333333333333, |
| "grad_norm": 0.8986469424653175, |
| "learning_rate": 7.66343357887782e-07, |
| "loss": 1.6418, |
| "step": 6530 |
| }, |
| { |
| "epoch": 0.6976, |
| "grad_norm": 0.9456854442967882, |
| "learning_rate": 7.614767418769632e-07, |
| "loss": 1.6415, |
| "step": 6540 |
| }, |
| { |
| "epoch": 0.6986666666666667, |
| "grad_norm": 0.9820515792440034, |
| "learning_rate": 7.566203655682518e-07, |
| "loss": 1.6323, |
| "step": 6550 |
| }, |
| { |
| "epoch": 0.6997333333333333, |
| "grad_norm": 0.961061445601208, |
| "learning_rate": 7.517742962958127e-07, |
| "loss": 1.6314, |
| "step": 6560 |
| }, |
| { |
| "epoch": 0.7008, |
| "grad_norm": 0.9221450649915671, |
| "learning_rate": 7.469386012509022e-07, |
| "loss": 1.6381, |
| "step": 6570 |
| }, |
| { |
| "epoch": 0.7018666666666666, |
| "grad_norm": 0.9663512127492091, |
| "learning_rate": 7.421133474809376e-07, |
| "loss": 1.6339, |
| "step": 6580 |
| }, |
| { |
| "epoch": 0.7029333333333333, |
| "grad_norm": 0.9550764059119128, |
| "learning_rate": 7.37298601888566e-07, |
| "loss": 1.6376, |
| "step": 6590 |
| }, |
| { |
| "epoch": 0.704, |
| "grad_norm": 0.9343040461736298, |
| "learning_rate": 7.32494431230738e-07, |
| "loss": 1.6321, |
| "step": 6600 |
| }, |
| { |
| "epoch": 0.7050666666666666, |
| "grad_norm": 0.9580526787683631, |
| "learning_rate": 7.277009021177818e-07, |
| "loss": 1.6285, |
| "step": 6610 |
| }, |
| { |
| "epoch": 0.7061333333333333, |
| "grad_norm": 0.95301604205055, |
| "learning_rate": 7.22918081012479e-07, |
| "loss": 1.6368, |
| "step": 6620 |
| }, |
| { |
| "epoch": 0.7072, |
| "grad_norm": 0.9643773214782704, |
| "learning_rate": 7.181460342291435e-07, |
| "loss": 1.6325, |
| "step": 6630 |
| }, |
| { |
| "epoch": 0.7082666666666667, |
| "grad_norm": 0.9630196538548305, |
| "learning_rate": 7.133848279327027e-07, |
| "loss": 1.6285, |
| "step": 6640 |
| }, |
| { |
| "epoch": 0.7093333333333334, |
| "grad_norm": 0.9347893738558876, |
| "learning_rate": 7.08634528137779e-07, |
| "loss": 1.6373, |
| "step": 6650 |
| }, |
| { |
| "epoch": 0.7104, |
| "grad_norm": 0.929259402016409, |
| "learning_rate": 7.038952007077753e-07, |
| "loss": 1.6336, |
| "step": 6660 |
| }, |
| { |
| "epoch": 0.7114666666666667, |
| "grad_norm": 0.8969883013011185, |
| "learning_rate": 6.991669113539608e-07, |
| "loss": 1.6366, |
| "step": 6670 |
| }, |
| { |
| "epoch": 0.7125333333333334, |
| "grad_norm": 0.9739170725799922, |
| "learning_rate": 6.944497256345624e-07, |
| "loss": 1.6325, |
| "step": 6680 |
| }, |
| { |
| "epoch": 0.7136, |
| "grad_norm": 0.9484132890244585, |
| "learning_rate": 6.897437089538523e-07, |
| "loss": 1.6394, |
| "step": 6690 |
| }, |
| { |
| "epoch": 0.7146666666666667, |
| "grad_norm": 0.9195963372091024, |
| "learning_rate": 6.85048926561243e-07, |
| "loss": 1.6386, |
| "step": 6700 |
| }, |
| { |
| "epoch": 0.7157333333333333, |
| "grad_norm": 0.9080040123775354, |
| "learning_rate": 6.80365443550383e-07, |
| "loss": 1.6373, |
| "step": 6710 |
| }, |
| { |
| "epoch": 0.7168, |
| "grad_norm": 0.9435414926867148, |
| "learning_rate": 6.756933248582531e-07, |
| "loss": 1.6304, |
| "step": 6720 |
| }, |
| { |
| "epoch": 0.7178666666666667, |
| "grad_norm": 0.9555202890118606, |
| "learning_rate": 6.710326352642674e-07, |
| "loss": 1.6364, |
| "step": 6730 |
| }, |
| { |
| "epoch": 0.7189333333333333, |
| "grad_norm": 0.9273989093685991, |
| "learning_rate": 6.663834393893734e-07, |
| "loss": 1.6374, |
| "step": 6740 |
| }, |
| { |
| "epoch": 0.72, |
| "grad_norm": 0.9098939728870024, |
| "learning_rate": 6.617458016951577e-07, |
| "loss": 1.6395, |
| "step": 6750 |
| }, |
| { |
| "epoch": 0.7210666666666666, |
| "grad_norm": 0.9308729875511774, |
| "learning_rate": 6.571197864829513e-07, |
| "loss": 1.6413, |
| "step": 6760 |
| }, |
| { |
| "epoch": 0.7221333333333333, |
| "grad_norm": 0.9625108469831195, |
| "learning_rate": 6.525054578929383e-07, |
| "loss": 1.6368, |
| "step": 6770 |
| }, |
| { |
| "epoch": 0.7232, |
| "grad_norm": 0.9570791895644976, |
| "learning_rate": 6.479028799032664e-07, |
| "loss": 1.6478, |
| "step": 6780 |
| }, |
| { |
| "epoch": 0.7242666666666666, |
| "grad_norm": 0.9126504256985644, |
| "learning_rate": 6.433121163291605e-07, |
| "loss": 1.6399, |
| "step": 6790 |
| }, |
| { |
| "epoch": 0.7253333333333334, |
| "grad_norm": 0.8998213147969775, |
| "learning_rate": 6.387332308220365e-07, |
| "loss": 1.6407, |
| "step": 6800 |
| }, |
| { |
| "epoch": 0.7264, |
| "grad_norm": 0.9199798284254918, |
| "learning_rate": 6.341662868686205e-07, |
| "loss": 1.6477, |
| "step": 6810 |
| }, |
| { |
| "epoch": 0.7274666666666667, |
| "grad_norm": 0.9571499289329001, |
| "learning_rate": 6.296113477900674e-07, |
| "loss": 1.6416, |
| "step": 6820 |
| }, |
| { |
| "epoch": 0.7285333333333334, |
| "grad_norm": 0.9565916576683874, |
| "learning_rate": 6.250684767410833e-07, |
| "loss": 1.6529, |
| "step": 6830 |
| }, |
| { |
| "epoch": 0.7296, |
| "grad_norm": 0.9521359194288211, |
| "learning_rate": 6.205377367090496e-07, |
| "loss": 1.6332, |
| "step": 6840 |
| }, |
| { |
| "epoch": 0.7306666666666667, |
| "grad_norm": 0.9601323342642837, |
| "learning_rate": 6.160191905131496e-07, |
| "loss": 1.6296, |
| "step": 6850 |
| }, |
| { |
| "epoch": 0.7317333333333333, |
| "grad_norm": 0.9095615878733004, |
| "learning_rate": 6.11512900803499e-07, |
| "loss": 1.6462, |
| "step": 6860 |
| }, |
| { |
| "epoch": 0.7328, |
| "grad_norm": 0.9819000863818711, |
| "learning_rate": 6.070189300602754e-07, |
| "loss": 1.641, |
| "step": 6870 |
| }, |
| { |
| "epoch": 0.7338666666666667, |
| "grad_norm": 0.9183065188989321, |
| "learning_rate": 6.02537340592852e-07, |
| "loss": 1.6365, |
| "step": 6880 |
| }, |
| { |
| "epoch": 0.7349333333333333, |
| "grad_norm": 0.9222259081738321, |
| "learning_rate": 5.980681945389351e-07, |
| "loss": 1.6273, |
| "step": 6890 |
| }, |
| { |
| "epoch": 0.736, |
| "grad_norm": 0.9266979061673322, |
| "learning_rate": 5.936115538637014e-07, |
| "loss": 1.6331, |
| "step": 6900 |
| }, |
| { |
| "epoch": 0.7370666666666666, |
| "grad_norm": 0.9506937700531672, |
| "learning_rate": 5.891674803589391e-07, |
| "loss": 1.6399, |
| "step": 6910 |
| }, |
| { |
| "epoch": 0.7381333333333333, |
| "grad_norm": 0.9363077943402218, |
| "learning_rate": 5.84736035642192e-07, |
| "loss": 1.6296, |
| "step": 6920 |
| }, |
| { |
| "epoch": 0.7392, |
| "grad_norm": 0.9696127739829316, |
| "learning_rate": 5.803172811559035e-07, |
| "loss": 1.6278, |
| "step": 6930 |
| }, |
| { |
| "epoch": 0.7402666666666666, |
| "grad_norm": 0.9255209647747278, |
| "learning_rate": 5.759112781665662e-07, |
| "loss": 1.6336, |
| "step": 6940 |
| }, |
| { |
| "epoch": 0.7413333333333333, |
| "grad_norm": 0.9695328338250578, |
| "learning_rate": 5.715180877638717e-07, |
| "loss": 1.6422, |
| "step": 6950 |
| }, |
| { |
| "epoch": 0.7424, |
| "grad_norm": 0.9375099139188835, |
| "learning_rate": 5.67137770859864e-07, |
| "loss": 1.6419, |
| "step": 6960 |
| }, |
| { |
| "epoch": 0.7434666666666667, |
| "grad_norm": 0.965483827222725, |
| "learning_rate": 5.627703881880939e-07, |
| "loss": 1.6278, |
| "step": 6970 |
| }, |
| { |
| "epoch": 0.7445333333333334, |
| "grad_norm": 0.9247903745568583, |
| "learning_rate": 5.58416000302779e-07, |
| "loss": 1.6255, |
| "step": 6980 |
| }, |
| { |
| "epoch": 0.7456, |
| "grad_norm": 0.8913872455321827, |
| "learning_rate": 5.540746675779617e-07, |
| "loss": 1.6444, |
| "step": 6990 |
| }, |
| { |
| "epoch": 0.7466666666666667, |
| "grad_norm": 0.930364581066195, |
| "learning_rate": 5.497464502066737e-07, |
| "loss": 1.6442, |
| "step": 7000 |
| }, |
| { |
| "epoch": 0.7477333333333334, |
| "grad_norm": 0.9275239099938487, |
| "learning_rate": 5.45431408200101e-07, |
| "loss": 1.6442, |
| "step": 7010 |
| }, |
| { |
| "epoch": 0.7488, |
| "grad_norm": 0.9120385652859035, |
| "learning_rate": 5.41129601386751e-07, |
| "loss": 1.6322, |
| "step": 7020 |
| }, |
| { |
| "epoch": 0.7498666666666667, |
| "grad_norm": 0.9336079965796837, |
| "learning_rate": 5.368410894116257e-07, |
| "loss": 1.639, |
| "step": 7030 |
| }, |
| { |
| "epoch": 0.7509333333333333, |
| "grad_norm": 0.9652458261692217, |
| "learning_rate": 5.325659317353908e-07, |
| "loss": 1.6285, |
| "step": 7040 |
| }, |
| { |
| "epoch": 0.752, |
| "grad_norm": 0.9498370193515251, |
| "learning_rate": 5.283041876335542e-07, |
| "loss": 1.6383, |
| "step": 7050 |
| }, |
| { |
| "epoch": 0.7530666666666667, |
| "grad_norm": 0.9266144378194191, |
| "learning_rate": 5.240559161956428e-07, |
| "loss": 1.6377, |
| "step": 7060 |
| }, |
| { |
| "epoch": 0.7541333333333333, |
| "grad_norm": 0.9401023327507796, |
| "learning_rate": 5.198211763243841e-07, |
| "loss": 1.6271, |
| "step": 7070 |
| }, |
| { |
| "epoch": 0.7552, |
| "grad_norm": 0.9249799174934747, |
| "learning_rate": 5.156000267348883e-07, |
| "loss": 1.6344, |
| "step": 7080 |
| }, |
| { |
| "epoch": 0.7562666666666666, |
| "grad_norm": 0.9202412771278142, |
| "learning_rate": 5.113925259538356e-07, |
| "loss": 1.6266, |
| "step": 7090 |
| }, |
| { |
| "epoch": 0.7573333333333333, |
| "grad_norm": 0.987412833454678, |
| "learning_rate": 5.071987323186637e-07, |
| "loss": 1.6312, |
| "step": 7100 |
| }, |
| { |
| "epoch": 0.7584, |
| "grad_norm": 0.9554539541625356, |
| "learning_rate": 5.030187039767595e-07, |
| "loss": 1.6498, |
| "step": 7110 |
| }, |
| { |
| "epoch": 0.7594666666666666, |
| "grad_norm": 0.9124642558830346, |
| "learning_rate": 4.988524988846523e-07, |
| "loss": 1.6345, |
| "step": 7120 |
| }, |
| { |
| "epoch": 0.7605333333333333, |
| "grad_norm": 0.9706510717552278, |
| "learning_rate": 4.947001748072109e-07, |
| "loss": 1.6422, |
| "step": 7130 |
| }, |
| { |
| "epoch": 0.7616, |
| "grad_norm": 0.9773088306200184, |
| "learning_rate": 4.905617893168422e-07, |
| "loss": 1.6347, |
| "step": 7140 |
| }, |
| { |
| "epoch": 0.7626666666666667, |
| "grad_norm": 0.9438516354685057, |
| "learning_rate": 4.864373997926935e-07, |
| "loss": 1.6254, |
| "step": 7150 |
| }, |
| { |
| "epoch": 0.7637333333333334, |
| "grad_norm": 0.9615412629990119, |
| "learning_rate": 4.823270634198563e-07, |
| "loss": 1.6275, |
| "step": 7160 |
| }, |
| { |
| "epoch": 0.7648, |
| "grad_norm": 0.9466143641191075, |
| "learning_rate": 4.782308371885737e-07, |
| "loss": 1.6359, |
| "step": 7170 |
| }, |
| { |
| "epoch": 0.7658666666666667, |
| "grad_norm": 0.9565229196514186, |
| "learning_rate": 4.7414877789344993e-07, |
| "loss": 1.6357, |
| "step": 7180 |
| }, |
| { |
| "epoch": 0.7669333333333334, |
| "grad_norm": 0.9692475896301669, |
| "learning_rate": 4.7008094213266364e-07, |
| "loss": 1.6389, |
| "step": 7190 |
| }, |
| { |
| "epoch": 0.768, |
| "grad_norm": 0.9705293257414547, |
| "learning_rate": 4.6602738630718215e-07, |
| "loss": 1.6473, |
| "step": 7200 |
| }, |
| { |
| "epoch": 0.7690666666666667, |
| "grad_norm": 0.9400857110588353, |
| "learning_rate": 4.619881666199812e-07, |
| "loss": 1.6315, |
| "step": 7210 |
| }, |
| { |
| "epoch": 0.7701333333333333, |
| "grad_norm": 0.9385785515686702, |
| "learning_rate": 4.579633390752632e-07, |
| "loss": 1.6421, |
| "step": 7220 |
| }, |
| { |
| "epoch": 0.7712, |
| "grad_norm": 0.94077217840519, |
| "learning_rate": 4.539529594776822e-07, |
| "loss": 1.6319, |
| "step": 7230 |
| }, |
| { |
| "epoch": 0.7722666666666667, |
| "grad_norm": 0.9633340290036088, |
| "learning_rate": 4.4995708343157053e-07, |
| "loss": 1.6296, |
| "step": 7240 |
| }, |
| { |
| "epoch": 0.7733333333333333, |
| "grad_norm": 0.9210413897122895, |
| "learning_rate": 4.459757663401667e-07, |
| "loss": 1.6382, |
| "step": 7250 |
| }, |
| { |
| "epoch": 0.7744, |
| "grad_norm": 0.9503245793070393, |
| "learning_rate": 4.420090634048481e-07, |
| "loss": 1.655, |
| "step": 7260 |
| }, |
| { |
| "epoch": 0.7754666666666666, |
| "grad_norm": 0.9324687541186071, |
| "learning_rate": 4.38057029624365e-07, |
| "loss": 1.6329, |
| "step": 7270 |
| }, |
| { |
| "epoch": 0.7765333333333333, |
| "grad_norm": 0.9659077101139498, |
| "learning_rate": 4.341197197940787e-07, |
| "loss": 1.6288, |
| "step": 7280 |
| }, |
| { |
| "epoch": 0.7776, |
| "grad_norm": 0.9241567283236445, |
| "learning_rate": 4.301971885052013e-07, |
| "loss": 1.6289, |
| "step": 7290 |
| }, |
| { |
| "epoch": 0.7786666666666666, |
| "grad_norm": 0.9266596819967082, |
| "learning_rate": 4.262894901440387e-07, |
| "loss": 1.6274, |
| "step": 7300 |
| }, |
| { |
| "epoch": 0.7797333333333333, |
| "grad_norm": 0.9329220518880238, |
| "learning_rate": 4.223966788912368e-07, |
| "loss": 1.6382, |
| "step": 7310 |
| }, |
| { |
| "epoch": 0.7808, |
| "grad_norm": 0.9301328037917151, |
| "learning_rate": 4.185188087210302e-07, |
| "loss": 1.6354, |
| "step": 7320 |
| }, |
| { |
| "epoch": 0.7818666666666667, |
| "grad_norm": 0.9288888551556477, |
| "learning_rate": 4.1465593340049375e-07, |
| "loss": 1.6346, |
| "step": 7330 |
| }, |
| { |
| "epoch": 0.7829333333333334, |
| "grad_norm": 0.9304622658009046, |
| "learning_rate": 4.108081064887975e-07, |
| "loss": 1.6361, |
| "step": 7340 |
| }, |
| { |
| "epoch": 0.784, |
| "grad_norm": 0.9138184910557465, |
| "learning_rate": 4.0697538133646307e-07, |
| "loss": 1.6357, |
| "step": 7350 |
| }, |
| { |
| "epoch": 0.7850666666666667, |
| "grad_norm": 0.8958272422587126, |
| "learning_rate": 4.0315781108462533e-07, |
| "loss": 1.637, |
| "step": 7360 |
| }, |
| { |
| "epoch": 0.7861333333333334, |
| "grad_norm": 0.9316947783445204, |
| "learning_rate": 3.9935544866429443e-07, |
| "loss": 1.6359, |
| "step": 7370 |
| }, |
| { |
| "epoch": 0.7872, |
| "grad_norm": 0.9505150995539887, |
| "learning_rate": 3.9556834679562183e-07, |
| "loss": 1.6288, |
| "step": 7380 |
| }, |
| { |
| "epoch": 0.7882666666666667, |
| "grad_norm": 0.9240867992047288, |
| "learning_rate": 3.9179655798717175e-07, |
| "loss": 1.624, |
| "step": 7390 |
| }, |
| { |
| "epoch": 0.7893333333333333, |
| "grad_norm": 0.9431123649950629, |
| "learning_rate": 3.880401345351892e-07, |
| "loss": 1.6218, |
| "step": 7400 |
| }, |
| { |
| "epoch": 0.7904, |
| "grad_norm": 0.9554551473346031, |
| "learning_rate": 3.842991285228777e-07, |
| "loss": 1.6363, |
| "step": 7410 |
| }, |
| { |
| "epoch": 0.7914666666666667, |
| "grad_norm": 0.9442988318036241, |
| "learning_rate": 3.805735918196764e-07, |
| "loss": 1.6298, |
| "step": 7420 |
| }, |
| { |
| "epoch": 0.7925333333333333, |
| "grad_norm": 0.9062157861896426, |
| "learning_rate": 3.768635760805407e-07, |
| "loss": 1.6354, |
| "step": 7430 |
| }, |
| { |
| "epoch": 0.7936, |
| "grad_norm": 0.9473752542449635, |
| "learning_rate": 3.731691327452265e-07, |
| "loss": 1.6224, |
| "step": 7440 |
| }, |
| { |
| "epoch": 0.7946666666666666, |
| "grad_norm": 0.8994022779724736, |
| "learning_rate": 3.694903130375766e-07, |
| "loss": 1.6397, |
| "step": 7450 |
| }, |
| { |
| "epoch": 0.7957333333333333, |
| "grad_norm": 0.9167992210911745, |
| "learning_rate": 3.6582716796481005e-07, |
| "loss": 1.6234, |
| "step": 7460 |
| }, |
| { |
| "epoch": 0.7968, |
| "grad_norm": 0.917921323326918, |
| "learning_rate": 3.621797483168162e-07, |
| "loss": 1.6371, |
| "step": 7470 |
| }, |
| { |
| "epoch": 0.7978666666666666, |
| "grad_norm": 0.9265675887086849, |
| "learning_rate": 3.585481046654492e-07, |
| "loss": 1.6191, |
| "step": 7480 |
| }, |
| { |
| "epoch": 0.7989333333333334, |
| "grad_norm": 0.9093254131588525, |
| "learning_rate": 3.5493228736382776e-07, |
| "loss": 1.639, |
| "step": 7490 |
| }, |
| { |
| "epoch": 0.8, |
| "grad_norm": 0.9200227121315805, |
| "learning_rate": 3.513323465456363e-07, |
| "loss": 1.6383, |
| "step": 7500 |
| }, |
| { |
| "epoch": 0.8010666666666667, |
| "grad_norm": 0.8911005006586421, |
| "learning_rate": 3.4774833212443037e-07, |
| "loss": 1.6373, |
| "step": 7510 |
| }, |
| { |
| "epoch": 0.8021333333333334, |
| "grad_norm": 0.919935396042663, |
| "learning_rate": 3.441802937929441e-07, |
| "loss": 1.6273, |
| "step": 7520 |
| }, |
| { |
| "epoch": 0.8032, |
| "grad_norm": 0.9621170924769545, |
| "learning_rate": 3.4062828102240176e-07, |
| "loss": 1.6278, |
| "step": 7530 |
| }, |
| { |
| "epoch": 0.8042666666666667, |
| "grad_norm": 0.95839489298772, |
| "learning_rate": 3.370923430618313e-07, |
| "loss": 1.6354, |
| "step": 7540 |
| }, |
| { |
| "epoch": 0.8053333333333333, |
| "grad_norm": 0.9373064433068705, |
| "learning_rate": 3.335725289373819e-07, |
| "loss": 1.6305, |
| "step": 7550 |
| }, |
| { |
| "epoch": 0.8064, |
| "grad_norm": 0.9912108465813826, |
| "learning_rate": 3.300688874516435e-07, |
| "loss": 1.631, |
| "step": 7560 |
| }, |
| { |
| "epoch": 0.8074666666666667, |
| "grad_norm": 0.9502362150615156, |
| "learning_rate": 3.2658146718297217e-07, |
| "loss": 1.6248, |
| "step": 7570 |
| }, |
| { |
| "epoch": 0.8085333333333333, |
| "grad_norm": 0.970146416194715, |
| "learning_rate": 3.2311031648481383e-07, |
| "loss": 1.6401, |
| "step": 7580 |
| }, |
| { |
| "epoch": 0.8096, |
| "grad_norm": 0.949427549138697, |
| "learning_rate": 3.1965548348503517e-07, |
| "loss": 1.6373, |
| "step": 7590 |
| }, |
| { |
| "epoch": 0.8106666666666666, |
| "grad_norm": 0.922262208080072, |
| "learning_rate": 3.162170160852568e-07, |
| "loss": 1.6333, |
| "step": 7600 |
| }, |
| { |
| "epoch": 0.8117333333333333, |
| "grad_norm": 0.951466469655738, |
| "learning_rate": 3.127949619601882e-07, |
| "loss": 1.6338, |
| "step": 7610 |
| }, |
| { |
| "epoch": 0.8128, |
| "grad_norm": 0.9383740481805073, |
| "learning_rate": 3.093893685569673e-07, |
| "loss": 1.6332, |
| "step": 7620 |
| }, |
| { |
| "epoch": 0.8138666666666666, |
| "grad_norm": 0.9517968897517326, |
| "learning_rate": 3.0600028309450244e-07, |
| "loss": 1.6394, |
| "step": 7630 |
| }, |
| { |
| "epoch": 0.8149333333333333, |
| "grad_norm": 0.9225749115806651, |
| "learning_rate": 3.0262775256281734e-07, |
| "loss": 1.6425, |
| "step": 7640 |
| }, |
| { |
| "epoch": 0.816, |
| "grad_norm": 0.9045869971456002, |
| "learning_rate": 2.9927182372240026e-07, |
| "loss": 1.6274, |
| "step": 7650 |
| }, |
| { |
| "epoch": 0.8170666666666667, |
| "grad_norm": 0.9108497632797171, |
| "learning_rate": 2.9593254310355485e-07, |
| "loss": 1.631, |
| "step": 7660 |
| }, |
| { |
| "epoch": 0.8181333333333334, |
| "grad_norm": 0.9443817941450723, |
| "learning_rate": 2.9260995700575567e-07, |
| "loss": 1.6353, |
| "step": 7670 |
| }, |
| { |
| "epoch": 0.8192, |
| "grad_norm": 0.8908721230764877, |
| "learning_rate": 2.893041114970061e-07, |
| "loss": 1.6332, |
| "step": 7680 |
| }, |
| { |
| "epoch": 0.8202666666666667, |
| "grad_norm": 0.9826092712379958, |
| "learning_rate": 2.8601505241319936e-07, |
| "loss": 1.6316, |
| "step": 7690 |
| }, |
| { |
| "epoch": 0.8213333333333334, |
| "grad_norm": 0.9168545979194416, |
| "learning_rate": 2.827428253574831e-07, |
| "loss": 1.6267, |
| "step": 7700 |
| }, |
| { |
| "epoch": 0.8224, |
| "grad_norm": 0.9932310399979936, |
| "learning_rate": 2.794874756996274e-07, |
| "loss": 1.6296, |
| "step": 7710 |
| }, |
| { |
| "epoch": 0.8234666666666667, |
| "grad_norm": 0.9397829594789183, |
| "learning_rate": 2.76249048575395e-07, |
| "loss": 1.6467, |
| "step": 7720 |
| }, |
| { |
| "epoch": 0.8245333333333333, |
| "grad_norm": 0.9735157929884529, |
| "learning_rate": 2.7302758888591604e-07, |
| "loss": 1.627, |
| "step": 7730 |
| }, |
| { |
| "epoch": 0.8256, |
| "grad_norm": 0.9123895077723198, |
| "learning_rate": 2.698231412970662e-07, |
| "loss": 1.6394, |
| "step": 7740 |
| }, |
| { |
| "epoch": 0.8266666666666667, |
| "grad_norm": 0.9185805304649873, |
| "learning_rate": 2.666357502388457e-07, |
| "loss": 1.6336, |
| "step": 7750 |
| }, |
| { |
| "epoch": 0.8277333333333333, |
| "grad_norm": 0.908905821983014, |
| "learning_rate": 2.634654599047645e-07, |
| "loss": 1.6382, |
| "step": 7760 |
| }, |
| { |
| "epoch": 0.8288, |
| "grad_norm": 0.9442900385322206, |
| "learning_rate": 2.6031231425122903e-07, |
| "loss": 1.636, |
| "step": 7770 |
| }, |
| { |
| "epoch": 0.8298666666666666, |
| "grad_norm": 0.9373968223376723, |
| "learning_rate": 2.571763569969333e-07, |
| "loss": 1.6228, |
| "step": 7780 |
| }, |
| { |
| "epoch": 0.8309333333333333, |
| "grad_norm": 0.9444135274894447, |
| "learning_rate": 2.540576316222518e-07, |
| "loss": 1.6339, |
| "step": 7790 |
| }, |
| { |
| "epoch": 0.832, |
| "grad_norm": 0.9092133369600184, |
| "learning_rate": 2.5095618136863814e-07, |
| "loss": 1.6353, |
| "step": 7800 |
| }, |
| { |
| "epoch": 0.8330666666666666, |
| "grad_norm": 0.9339731045588681, |
| "learning_rate": 2.478720492380236e-07, |
| "loss": 1.6349, |
| "step": 7810 |
| }, |
| { |
| "epoch": 0.8341333333333333, |
| "grad_norm": 0.9303757022561053, |
| "learning_rate": 2.448052779922223e-07, |
| "loss": 1.6264, |
| "step": 7820 |
| }, |
| { |
| "epoch": 0.8352, |
| "grad_norm": 0.950336992075915, |
| "learning_rate": 2.4175591015233803e-07, |
| "loss": 1.6368, |
| "step": 7830 |
| }, |
| { |
| "epoch": 0.8362666666666667, |
| "grad_norm": 0.9425330014264532, |
| "learning_rate": 2.3872398799817435e-07, |
| "loss": 1.6425, |
| "step": 7840 |
| }, |
| { |
| "epoch": 0.8373333333333334, |
| "grad_norm": 0.920713028366846, |
| "learning_rate": 2.357095535676485e-07, |
| "loss": 1.6218, |
| "step": 7850 |
| }, |
| { |
| "epoch": 0.8384, |
| "grad_norm": 0.9528277667430787, |
| "learning_rate": 2.3271264865620862e-07, |
| "loss": 1.6314, |
| "step": 7860 |
| }, |
| { |
| "epoch": 0.8394666666666667, |
| "grad_norm": 0.9487241448208892, |
| "learning_rate": 2.2973331481625453e-07, |
| "loss": 1.6309, |
| "step": 7870 |
| }, |
| { |
| "epoch": 0.8405333333333334, |
| "grad_norm": 0.9590571612013499, |
| "learning_rate": 2.2677159335656116e-07, |
| "loss": 1.6339, |
| "step": 7880 |
| }, |
| { |
| "epoch": 0.8416, |
| "grad_norm": 0.9034427640858408, |
| "learning_rate": 2.238275253417056e-07, |
| "loss": 1.6366, |
| "step": 7890 |
| }, |
| { |
| "epoch": 0.8426666666666667, |
| "grad_norm": 0.9251614092449272, |
| "learning_rate": 2.2090115159149832e-07, |
| "loss": 1.6372, |
| "step": 7900 |
| }, |
| { |
| "epoch": 0.8437333333333333, |
| "grad_norm": 0.9216256993570315, |
| "learning_rate": 2.1799251268041698e-07, |
| "loss": 1.6236, |
| "step": 7910 |
| }, |
| { |
| "epoch": 0.8448, |
| "grad_norm": 0.9440649919276951, |
| "learning_rate": 2.1510164893704437e-07, |
| "loss": 1.6404, |
| "step": 7920 |
| }, |
| { |
| "epoch": 0.8458666666666667, |
| "grad_norm": 0.9366940634736978, |
| "learning_rate": 2.1222860044350795e-07, |
| "loss": 1.6351, |
| "step": 7930 |
| }, |
| { |
| "epoch": 0.8469333333333333, |
| "grad_norm": 0.9767847956913959, |
| "learning_rate": 2.0937340703492507e-07, |
| "loss": 1.6383, |
| "step": 7940 |
| }, |
| { |
| "epoch": 0.848, |
| "grad_norm": 0.9574502805577444, |
| "learning_rate": 2.0653610829885068e-07, |
| "loss": 1.6288, |
| "step": 7950 |
| }, |
| { |
| "epoch": 0.8490666666666666, |
| "grad_norm": 0.9319496625095137, |
| "learning_rate": 2.037167435747279e-07, |
| "loss": 1.6219, |
| "step": 7960 |
| }, |
| { |
| "epoch": 0.8501333333333333, |
| "grad_norm": 0.8974365852827743, |
| "learning_rate": 2.009153519533431e-07, |
| "loss": 1.6291, |
| "step": 7970 |
| }, |
| { |
| "epoch": 0.8512, |
| "grad_norm": 0.9637622480076687, |
| "learning_rate": 1.9813197227628398e-07, |
| "loss": 1.6409, |
| "step": 7980 |
| }, |
| { |
| "epoch": 0.8522666666666666, |
| "grad_norm": 0.9203410627694265, |
| "learning_rate": 1.9536664313540016e-07, |
| "loss": 1.6345, |
| "step": 7990 |
| }, |
| { |
| "epoch": 0.8533333333333334, |
| "grad_norm": 0.9694554468121922, |
| "learning_rate": 1.9261940287226914e-07, |
| "loss": 1.6356, |
| "step": 8000 |
| }, |
| { |
| "epoch": 0.8544, |
| "grad_norm": 0.9326338915130443, |
| "learning_rate": 1.8989028957766403e-07, |
| "loss": 1.6343, |
| "step": 8010 |
| }, |
| { |
| "epoch": 0.8554666666666667, |
| "grad_norm": 0.9750275421703326, |
| "learning_rate": 1.8717934109102569e-07, |
| "loss": 1.6339, |
| "step": 8020 |
| }, |
| { |
| "epoch": 0.8565333333333334, |
| "grad_norm": 0.9647846948988279, |
| "learning_rate": 1.844865949999382e-07, |
| "loss": 1.6346, |
| "step": 8030 |
| }, |
| { |
| "epoch": 0.8576, |
| "grad_norm": 0.9364313641955433, |
| "learning_rate": 1.8181208863960714e-07, |
| "loss": 1.6297, |
| "step": 8040 |
| }, |
| { |
| "epoch": 0.8586666666666667, |
| "grad_norm": 0.8894450543624204, |
| "learning_rate": 1.7915585909234272e-07, |
| "loss": 1.6394, |
| "step": 8050 |
| }, |
| { |
| "epoch": 0.8597333333333333, |
| "grad_norm": 0.9189009723613017, |
| "learning_rate": 1.7651794318704488e-07, |
| "loss": 1.6369, |
| "step": 8060 |
| }, |
| { |
| "epoch": 0.8608, |
| "grad_norm": 0.9327727882036184, |
| "learning_rate": 1.738983774986932e-07, |
| "loss": 1.6439, |
| "step": 8070 |
| }, |
| { |
| "epoch": 0.8618666666666667, |
| "grad_norm": 0.9560063788833466, |
| "learning_rate": 1.712971983478392e-07, |
| "loss": 1.638, |
| "step": 8080 |
| }, |
| { |
| "epoch": 0.8629333333333333, |
| "grad_norm": 0.9284045907656194, |
| "learning_rate": 1.687144418001042e-07, |
| "loss": 1.6319, |
| "step": 8090 |
| }, |
| { |
| "epoch": 0.864, |
| "grad_norm": 0.9258210414288431, |
| "learning_rate": 1.6615014366567706e-07, |
| "loss": 1.6349, |
| "step": 8100 |
| }, |
| { |
| "epoch": 0.8650666666666667, |
| "grad_norm": 0.9328876015497495, |
| "learning_rate": 1.6360433949881926e-07, |
| "loss": 1.6404, |
| "step": 8110 |
| }, |
| { |
| "epoch": 0.8661333333333333, |
| "grad_norm": 0.9414493897754301, |
| "learning_rate": 1.6107706459737165e-07, |
| "loss": 1.6496, |
| "step": 8120 |
| }, |
| { |
| "epoch": 0.8672, |
| "grad_norm": 0.9399309066335874, |
| "learning_rate": 1.585683540022644e-07, |
| "loss": 1.6278, |
| "step": 8130 |
| }, |
| { |
| "epoch": 0.8682666666666666, |
| "grad_norm": 0.9947616164939124, |
| "learning_rate": 1.5607824249703216e-07, |
| "loss": 1.6358, |
| "step": 8140 |
| }, |
| { |
| "epoch": 0.8693333333333333, |
| "grad_norm": 0.9351085397634457, |
| "learning_rate": 1.5360676460733104e-07, |
| "loss": 1.6293, |
| "step": 8150 |
| }, |
| { |
| "epoch": 0.8704, |
| "grad_norm": 0.9789991844840864, |
| "learning_rate": 1.5115395460045977e-07, |
| "loss": 1.6344, |
| "step": 8160 |
| }, |
| { |
| "epoch": 0.8714666666666666, |
| "grad_norm": 0.936241368303234, |
| "learning_rate": 1.4871984648488578e-07, |
| "loss": 1.6434, |
| "step": 8170 |
| }, |
| { |
| "epoch": 0.8725333333333334, |
| "grad_norm": 0.9138860297657939, |
| "learning_rate": 1.4630447400977186e-07, |
| "loss": 1.6299, |
| "step": 8180 |
| }, |
| { |
| "epoch": 0.8736, |
| "grad_norm": 0.9305116284362921, |
| "learning_rate": 1.4390787066450995e-07, |
| "loss": 1.6346, |
| "step": 8190 |
| }, |
| { |
| "epoch": 0.8746666666666667, |
| "grad_norm": 0.9526791811727968, |
| "learning_rate": 1.415300696782556e-07, |
| "loss": 1.6411, |
| "step": 8200 |
| }, |
| { |
| "epoch": 0.8757333333333334, |
| "grad_norm": 0.9676298507893502, |
| "learning_rate": 1.391711040194678e-07, |
| "loss": 1.6339, |
| "step": 8210 |
| }, |
| { |
| "epoch": 0.8768, |
| "grad_norm": 0.9646382807970393, |
| "learning_rate": 1.3683100639545158e-07, |
| "loss": 1.6244, |
| "step": 8220 |
| }, |
| { |
| "epoch": 0.8778666666666667, |
| "grad_norm": 0.9580683560055407, |
| "learning_rate": 1.3450980925190543e-07, |
| "loss": 1.6332, |
| "step": 8230 |
| }, |
| { |
| "epoch": 0.8789333333333333, |
| "grad_norm": 0.9449983374469059, |
| "learning_rate": 1.3220754477247004e-07, |
| "loss": 1.6289, |
| "step": 8240 |
| }, |
| { |
| "epoch": 0.88, |
| "grad_norm": 0.9222011635859387, |
| "learning_rate": 1.2992424487828254e-07, |
| "loss": 1.6379, |
| "step": 8250 |
| }, |
| { |
| "epoch": 0.8810666666666667, |
| "grad_norm": 0.9308080847148651, |
| "learning_rate": 1.2765994122753477e-07, |
| "loss": 1.6303, |
| "step": 8260 |
| }, |
| { |
| "epoch": 0.8821333333333333, |
| "grad_norm": 0.9365570375379065, |
| "learning_rate": 1.2541466521503336e-07, |
| "loss": 1.6381, |
| "step": 8270 |
| }, |
| { |
| "epoch": 0.8832, |
| "grad_norm": 0.9324156522745984, |
| "learning_rate": 1.2318844797176444e-07, |
| "loss": 1.6292, |
| "step": 8280 |
| }, |
| { |
| "epoch": 0.8842666666666666, |
| "grad_norm": 0.9267614943548819, |
| "learning_rate": 1.2098132036446265e-07, |
| "loss": 1.6179, |
| "step": 8290 |
| }, |
| { |
| "epoch": 0.8853333333333333, |
| "grad_norm": 0.9311544354974329, |
| "learning_rate": 1.1879331299518304e-07, |
| "loss": 1.635, |
| "step": 8300 |
| }, |
| { |
| "epoch": 0.8864, |
| "grad_norm": 0.932075965813922, |
| "learning_rate": 1.1662445620087609e-07, |
| "loss": 1.6369, |
| "step": 8310 |
| }, |
| { |
| "epoch": 0.8874666666666666, |
| "grad_norm": 0.9317147942454577, |
| "learning_rate": 1.144747800529678e-07, |
| "loss": 1.6308, |
| "step": 8320 |
| }, |
| { |
| "epoch": 0.8885333333333333, |
| "grad_norm": 0.9515029226341447, |
| "learning_rate": 1.1234431435694243e-07, |
| "loss": 1.6333, |
| "step": 8330 |
| }, |
| { |
| "epoch": 0.8896, |
| "grad_norm": 0.9350942810393381, |
| "learning_rate": 1.1023308865192961e-07, |
| "loss": 1.6308, |
| "step": 8340 |
| }, |
| { |
| "epoch": 0.8906666666666667, |
| "grad_norm": 0.9491761877335818, |
| "learning_rate": 1.0814113221029404e-07, |
| "loss": 1.6253, |
| "step": 8350 |
| }, |
| { |
| "epoch": 0.8917333333333334, |
| "grad_norm": 0.9266677015384425, |
| "learning_rate": 1.0606847403722996e-07, |
| "loss": 1.629, |
| "step": 8360 |
| }, |
| { |
| "epoch": 0.8928, |
| "grad_norm": 0.9366880385575693, |
| "learning_rate": 1.0401514287036018e-07, |
| "loss": 1.62, |
| "step": 8370 |
| }, |
| { |
| "epoch": 0.8938666666666667, |
| "grad_norm": 0.9381857415312465, |
| "learning_rate": 1.0198116717933531e-07, |
| "loss": 1.6332, |
| "step": 8380 |
| }, |
| { |
| "epoch": 0.8949333333333334, |
| "grad_norm": 0.9220783699127031, |
| "learning_rate": 9.996657516544067e-08, |
| "loss": 1.6263, |
| "step": 8390 |
| }, |
| { |
| "epoch": 0.896, |
| "grad_norm": 0.9470301487792465, |
| "learning_rate": 9.79713947612052e-08, |
| "loss": 1.6333, |
| "step": 8400 |
| }, |
| { |
| "epoch": 0.8970666666666667, |
| "grad_norm": 0.9352120366980349, |
| "learning_rate": 9.59956536300135e-08, |
| "loss": 1.6389, |
| "step": 8410 |
| }, |
| { |
| "epoch": 0.8981333333333333, |
| "grad_norm": 0.9113947996942928, |
| "learning_rate": 9.403937916572259e-08, |
| "loss": 1.6429, |
| "step": 8420 |
| }, |
| { |
| "epoch": 0.8992, |
| "grad_norm": 0.8925131049642812, |
| "learning_rate": 9.210259849228237e-08, |
| "loss": 1.6387, |
| "step": 8430 |
| }, |
| { |
| "epoch": 0.9002666666666667, |
| "grad_norm": 0.9600996952948123, |
| "learning_rate": 9.018533846335896e-08, |
| "loss": 1.6267, |
| "step": 8440 |
| }, |
| { |
| "epoch": 0.9013333333333333, |
| "grad_norm": 0.9232966558571415, |
| "learning_rate": 8.828762566196319e-08, |
| "loss": 1.6279, |
| "step": 8450 |
| }, |
| { |
| "epoch": 0.9024, |
| "grad_norm": 0.9560911929646494, |
| "learning_rate": 8.640948640008112e-08, |
| "loss": 1.633, |
| "step": 8460 |
| }, |
| { |
| "epoch": 0.9034666666666666, |
| "grad_norm": 0.9501293649139604, |
| "learning_rate": 8.455094671830976e-08, |
| "loss": 1.6373, |
| "step": 8470 |
| }, |
| { |
| "epoch": 0.9045333333333333, |
| "grad_norm": 0.9095732752853755, |
| "learning_rate": 8.271203238549585e-08, |
| "loss": 1.6329, |
| "step": 8480 |
| }, |
| { |
| "epoch": 0.9056, |
| "grad_norm": 0.9202893558936088, |
| "learning_rate": 8.089276889837893e-08, |
| "loss": 1.6302, |
| "step": 8490 |
| }, |
| { |
| "epoch": 0.9066666666666666, |
| "grad_norm": 1.0176712647143167, |
| "learning_rate": 7.909318148123685e-08, |
| "loss": 1.6354, |
| "step": 8500 |
| }, |
| { |
| "epoch": 0.9077333333333333, |
| "grad_norm": 0.9692221815470302, |
| "learning_rate": 7.73132950855373e-08, |
| "loss": 1.6328, |
| "step": 8510 |
| }, |
| { |
| "epoch": 0.9088, |
| "grad_norm": 0.9576308199080018, |
| "learning_rate": 7.555313438959121e-08, |
| "loss": 1.6272, |
| "step": 8520 |
| }, |
| { |
| "epoch": 0.9098666666666667, |
| "grad_norm": 0.9128999367042134, |
| "learning_rate": 7.381272379821025e-08, |
| "loss": 1.6282, |
| "step": 8530 |
| }, |
| { |
| "epoch": 0.9109333333333334, |
| "grad_norm": 0.9333943437345787, |
| "learning_rate": 7.209208744236928e-08, |
| "loss": 1.6415, |
| "step": 8540 |
| }, |
| { |
| "epoch": 0.912, |
| "grad_norm": 0.9433897251073365, |
| "learning_rate": 7.039124917887085e-08, |
| "loss": 1.6352, |
| "step": 8550 |
| }, |
| { |
| "epoch": 0.9130666666666667, |
| "grad_norm": 0.9659053748946873, |
| "learning_rate": 6.871023259001507e-08, |
| "loss": 1.6379, |
| "step": 8560 |
| }, |
| { |
| "epoch": 0.9141333333333334, |
| "grad_norm": 0.9615236346909984, |
| "learning_rate": 6.70490609832729e-08, |
| "loss": 1.6352, |
| "step": 8570 |
| }, |
| { |
| "epoch": 0.9152, |
| "grad_norm": 0.9519049666328206, |
| "learning_rate": 6.540775739096172e-08, |
| "loss": 1.6443, |
| "step": 8580 |
| }, |
| { |
| "epoch": 0.9162666666666667, |
| "grad_norm": 0.9474855204667592, |
| "learning_rate": 6.37863445699276e-08, |
| "loss": 1.6215, |
| "step": 8590 |
| }, |
| { |
| "epoch": 0.9173333333333333, |
| "grad_norm": 0.9161593103822747, |
| "learning_rate": 6.21848450012284e-08, |
| "loss": 1.6258, |
| "step": 8600 |
| }, |
| { |
| "epoch": 0.9184, |
| "grad_norm": 0.9309047031192346, |
| "learning_rate": 6.060328088982315e-08, |
| "loss": 1.6326, |
| "step": 8610 |
| }, |
| { |
| "epoch": 0.9194666666666667, |
| "grad_norm": 0.9681785505992061, |
| "learning_rate": 5.904167416426315e-08, |
| "loss": 1.6312, |
| "step": 8620 |
| }, |
| { |
| "epoch": 0.9205333333333333, |
| "grad_norm": 0.9428849907311279, |
| "learning_rate": 5.75000464763889e-08, |
| "loss": 1.6388, |
| "step": 8630 |
| }, |
| { |
| "epoch": 0.9216, |
| "grad_norm": 0.9489322476820965, |
| "learning_rate": 5.597841920102947e-08, |
| "loss": 1.6404, |
| "step": 8640 |
| }, |
| { |
| "epoch": 0.9226666666666666, |
| "grad_norm": 0.970305859948567, |
| "learning_rate": 5.447681343570543e-08, |
| "loss": 1.6361, |
| "step": 8650 |
| }, |
| { |
| "epoch": 0.9237333333333333, |
| "grad_norm": 0.9595081156420191, |
| "learning_rate": 5.2995250000338224e-08, |
| "loss": 1.6219, |
| "step": 8660 |
| }, |
| { |
| "epoch": 0.9248, |
| "grad_norm": 0.9485522118690562, |
| "learning_rate": 5.15337494369591e-08, |
| "loss": 1.6356, |
| "step": 8670 |
| }, |
| { |
| "epoch": 0.9258666666666666, |
| "grad_norm": 0.9382811704721642, |
| "learning_rate": 5.009233200942648e-08, |
| "loss": 1.6343, |
| "step": 8680 |
| }, |
| { |
| "epoch": 0.9269333333333334, |
| "grad_norm": 0.9777015886162362, |
| "learning_rate": 4.867101770314303e-08, |
| "loss": 1.6347, |
| "step": 8690 |
| }, |
| { |
| "epoch": 0.928, |
| "grad_norm": 0.9858586484940944, |
| "learning_rate": 4.726982622478038e-08, |
| "loss": 1.6338, |
| "step": 8700 |
| }, |
| { |
| "epoch": 0.9290666666666667, |
| "grad_norm": 0.9482608855123564, |
| "learning_rate": 4.5888777002004834e-08, |
| "loss": 1.6379, |
| "step": 8710 |
| }, |
| { |
| "epoch": 0.9301333333333334, |
| "grad_norm": 0.9258622637875238, |
| "learning_rate": 4.452788918320777e-08, |
| "loss": 1.6235, |
| "step": 8720 |
| }, |
| { |
| "epoch": 0.9312, |
| "grad_norm": 0.9689013795231691, |
| "learning_rate": 4.3187181637241e-08, |
| "loss": 1.6406, |
| "step": 8730 |
| }, |
| { |
| "epoch": 0.9322666666666667, |
| "grad_norm": 0.9352149102818589, |
| "learning_rate": 4.186667295315483e-08, |
| "loss": 1.6304, |
| "step": 8740 |
| }, |
| { |
| "epoch": 0.9333333333333333, |
| "grad_norm": 0.9497368079567347, |
| "learning_rate": 4.056638143994007e-08, |
| "loss": 1.6443, |
| "step": 8750 |
| }, |
| { |
| "epoch": 0.9344, |
| "grad_norm": 0.9280402103217801, |
| "learning_rate": 3.9286325126274116e-08, |
| "loss": 1.6282, |
| "step": 8760 |
| }, |
| { |
| "epoch": 0.9354666666666667, |
| "grad_norm": 0.9278284934121408, |
| "learning_rate": 3.802652176027177e-08, |
| "loss": 1.6323, |
| "step": 8770 |
| }, |
| { |
| "epoch": 0.9365333333333333, |
| "grad_norm": 0.940694244353313, |
| "learning_rate": 3.6786988809238145e-08, |
| "loss": 1.641, |
| "step": 8780 |
| }, |
| { |
| "epoch": 0.9376, |
| "grad_norm": 0.9579364265963041, |
| "learning_rate": 3.5567743459426983e-08, |
| "loss": 1.6319, |
| "step": 8790 |
| }, |
| { |
| "epoch": 0.9386666666666666, |
| "grad_norm": 0.9323896548734771, |
| "learning_rate": 3.436880261580239e-08, |
| "loss": 1.6333, |
| "step": 8800 |
| }, |
| { |
| "epoch": 0.9397333333333333, |
| "grad_norm": 0.9107131542488688, |
| "learning_rate": 3.3190182901804645e-08, |
| "loss": 1.624, |
| "step": 8810 |
| }, |
| { |
| "epoch": 0.9408, |
| "grad_norm": 0.9122602488087281, |
| "learning_rate": 3.2031900659118926e-08, |
| "loss": 1.6297, |
| "step": 8820 |
| }, |
| { |
| "epoch": 0.9418666666666666, |
| "grad_norm": 0.9264648930574754, |
| "learning_rate": 3.089397194744964e-08, |
| "loss": 1.6334, |
| "step": 8830 |
| }, |
| { |
| "epoch": 0.9429333333333333, |
| "grad_norm": 0.9502832962203557, |
| "learning_rate": 2.9776412544297248e-08, |
| "loss": 1.6275, |
| "step": 8840 |
| }, |
| { |
| "epoch": 0.944, |
| "grad_norm": 0.951435670056853, |
| "learning_rate": 2.867923794473931e-08, |
| "loss": 1.6396, |
| "step": 8850 |
| }, |
| { |
| "epoch": 0.9450666666666667, |
| "grad_norm": 0.9487271240519581, |
| "learning_rate": 2.7602463361216635e-08, |
| "loss": 1.6354, |
| "step": 8860 |
| }, |
| { |
| "epoch": 0.9461333333333334, |
| "grad_norm": 0.9398160578682724, |
| "learning_rate": 2.6546103723320948e-08, |
| "loss": 1.636, |
| "step": 8870 |
| }, |
| { |
| "epoch": 0.9472, |
| "grad_norm": 0.9371233663931642, |
| "learning_rate": 2.551017367758923e-08, |
| "loss": 1.6336, |
| "step": 8880 |
| }, |
| { |
| "epoch": 0.9482666666666667, |
| "grad_norm": 0.9339462150836423, |
| "learning_rate": 2.4494687587299557e-08, |
| "loss": 1.6348, |
| "step": 8890 |
| }, |
| { |
| "epoch": 0.9493333333333334, |
| "grad_norm": 0.8961585299434538, |
| "learning_rate": 2.3499659532272734e-08, |
| "loss": 1.6392, |
| "step": 8900 |
| }, |
| { |
| "epoch": 0.9504, |
| "grad_norm": 0.9475292681399808, |
| "learning_rate": 2.252510330867663e-08, |
| "loss": 1.6279, |
| "step": 8910 |
| }, |
| { |
| "epoch": 0.9514666666666667, |
| "grad_norm": 0.9276791810945861, |
| "learning_rate": 2.157103242883518e-08, |
| "loss": 1.6332, |
| "step": 8920 |
| }, |
| { |
| "epoch": 0.9525333333333333, |
| "grad_norm": 0.9219578806810178, |
| "learning_rate": 2.0637460121040508e-08, |
| "loss": 1.6313, |
| "step": 8930 |
| }, |
| { |
| "epoch": 0.9536, |
| "grad_norm": 0.9569383594988456, |
| "learning_rate": 1.972439932937059e-08, |
| "loss": 1.6263, |
| "step": 8940 |
| }, |
| { |
| "epoch": 0.9546666666666667, |
| "grad_norm": 0.930427255076047, |
| "learning_rate": 1.883186271350823e-08, |
| "loss": 1.6261, |
| "step": 8950 |
| }, |
| { |
| "epoch": 0.9557333333333333, |
| "grad_norm": 0.9324332154723478, |
| "learning_rate": 1.7959862648567025e-08, |
| "loss": 1.6387, |
| "step": 8960 |
| }, |
| { |
| "epoch": 0.9568, |
| "grad_norm": 0.9201294027416077, |
| "learning_rate": 1.710841122491885e-08, |
| "loss": 1.632, |
| "step": 8970 |
| }, |
| { |
| "epoch": 0.9578666666666666, |
| "grad_norm": 0.9464995644879638, |
| "learning_rate": 1.6277520248026978e-08, |
| "loss": 1.6316, |
| "step": 8980 |
| }, |
| { |
| "epoch": 0.9589333333333333, |
| "grad_norm": 0.9395066915769571, |
| "learning_rate": 1.546720123828105e-08, |
| "loss": 1.6369, |
| "step": 8990 |
| }, |
| { |
| "epoch": 0.96, |
| "grad_norm": 0.9433874788486356, |
| "learning_rate": 1.4677465430839198e-08, |
| "loss": 1.6354, |
| "step": 9000 |
| }, |
| { |
| "epoch": 0.9610666666666666, |
| "grad_norm": 0.9415014511795468, |
| "learning_rate": 1.3908323775470689e-08, |
| "loss": 1.625, |
| "step": 9010 |
| }, |
| { |
| "epoch": 0.9621333333333333, |
| "grad_norm": 0.8864833148590212, |
| "learning_rate": 1.3159786936405016e-08, |
| "loss": 1.6239, |
| "step": 9020 |
| }, |
| { |
| "epoch": 0.9632, |
| "grad_norm": 0.9261157313988163, |
| "learning_rate": 1.2431865292183375e-08, |
| "loss": 1.6406, |
| "step": 9030 |
| }, |
| { |
| "epoch": 0.9642666666666667, |
| "grad_norm": 0.9617086010062447, |
| "learning_rate": 1.17245689355156e-08, |
| "loss": 1.6325, |
| "step": 9040 |
| }, |
| { |
| "epoch": 0.9653333333333334, |
| "grad_norm": 0.9243457951979348, |
| "learning_rate": 1.1037907673139614e-08, |
| "loss": 1.6284, |
| "step": 9050 |
| }, |
| { |
| "epoch": 0.9664, |
| "grad_norm": 0.9655422606805738, |
| "learning_rate": 1.0371891025685364e-08, |
| "loss": 1.6333, |
| "step": 9060 |
| }, |
| { |
| "epoch": 0.9674666666666667, |
| "grad_norm": 1.0009551957956027, |
| "learning_rate": 9.726528227543275e-09, |
| "loss": 1.6213, |
| "step": 9070 |
| }, |
| { |
| "epoch": 0.9685333333333334, |
| "grad_norm": 0.9727380854894494, |
| "learning_rate": 9.101828226735997e-09, |
| "loss": 1.632, |
| "step": 9080 |
| }, |
| { |
| "epoch": 0.9696, |
| "grad_norm": 0.9576261690535406, |
| "learning_rate": 8.49779968479436e-09, |
| "loss": 1.6458, |
| "step": 9090 |
| }, |
| { |
| "epoch": 0.9706666666666667, |
| "grad_norm": 0.9321334175175461, |
| "learning_rate": 7.914450976636956e-09, |
| "loss": 1.6394, |
| "step": 9100 |
| }, |
| { |
| "epoch": 0.9717333333333333, |
| "grad_norm": 0.9362305889549292, |
| "learning_rate": 7.351790190454732e-09, |
| "loss": 1.6338, |
| "step": 9110 |
| }, |
| { |
| "epoch": 0.9728, |
| "grad_norm": 0.9464941846758462, |
| "learning_rate": 6.80982512759809e-09, |
| "loss": 1.6384, |
| "step": 9120 |
| }, |
| { |
| "epoch": 0.9738666666666667, |
| "grad_norm": 0.96604353018059, |
| "learning_rate": 6.288563302469463e-09, |
| "loss": 1.6343, |
| "step": 9130 |
| }, |
| { |
| "epoch": 0.9749333333333333, |
| "grad_norm": 0.9334970167408375, |
| "learning_rate": 5.788011942418236e-09, |
| "loss": 1.6334, |
| "step": 9140 |
| }, |
| { |
| "epoch": 0.976, |
| "grad_norm": 0.9588561708099547, |
| "learning_rate": 5.308177987641494e-09, |
| "loss": 1.6276, |
| "step": 9150 |
| }, |
| { |
| "epoch": 0.9770666666666666, |
| "grad_norm": 0.9642393589354289, |
| "learning_rate": 4.8490680910870945e-09, |
| "loss": 1.6286, |
| "step": 9160 |
| }, |
| { |
| "epoch": 0.9781333333333333, |
| "grad_norm": 0.9386074607286888, |
| "learning_rate": 4.410688618361747e-09, |
| "loss": 1.6343, |
| "step": 9170 |
| }, |
| { |
| "epoch": 0.9792, |
| "grad_norm": 0.9869238073293529, |
| "learning_rate": 3.993045647642579e-09, |
| "loss": 1.6257, |
| "step": 9180 |
| }, |
| { |
| "epoch": 0.9802666666666666, |
| "grad_norm": 0.9123442625224786, |
| "learning_rate": 3.5961449695928737e-09, |
| "loss": 1.6261, |
| "step": 9190 |
| }, |
| { |
| "epoch": 0.9813333333333333, |
| "grad_norm": 0.9782673976452867, |
| "learning_rate": 3.2199920872821308e-09, |
| "loss": 1.6411, |
| "step": 9200 |
| }, |
| { |
| "epoch": 0.9824, |
| "grad_norm": 0.9411930295828181, |
| "learning_rate": 2.8645922161092963e-09, |
| "loss": 1.6279, |
| "step": 9210 |
| }, |
| { |
| "epoch": 0.9834666666666667, |
| "grad_norm": 0.9841652547201047, |
| "learning_rate": 2.52995028373082e-09, |
| "loss": 1.6443, |
| "step": 9220 |
| }, |
| { |
| "epoch": 0.9845333333333334, |
| "grad_norm": 0.9070051272958216, |
| "learning_rate": 2.216070929991876e-09, |
| "loss": 1.635, |
| "step": 9230 |
| }, |
| { |
| "epoch": 0.9856, |
| "grad_norm": 0.9258258864356878, |
| "learning_rate": 1.922958506862582e-09, |
| "loss": 1.6301, |
| "step": 9240 |
| }, |
| { |
| "epoch": 0.9866666666666667, |
| "grad_norm": 0.9197003736023448, |
| "learning_rate": 1.650617078377381e-09, |
| "loss": 1.6274, |
| "step": 9250 |
| }, |
| { |
| "epoch": 0.9877333333333334, |
| "grad_norm": 0.9194979063676701, |
| "learning_rate": 1.3990504205782516e-09, |
| "loss": 1.6315, |
| "step": 9260 |
| }, |
| { |
| "epoch": 0.9888, |
| "grad_norm": 0.9632920760204665, |
| "learning_rate": 1.1682620214637506e-09, |
| "loss": 1.6363, |
| "step": 9270 |
| }, |
| { |
| "epoch": 0.9898666666666667, |
| "grad_norm": 0.9590108938487516, |
| "learning_rate": 9.582550809385526e-10, |
| "loss": 1.6355, |
| "step": 9280 |
| }, |
| { |
| "epoch": 0.9909333333333333, |
| "grad_norm": 0.9011137657084308, |
| "learning_rate": 7.69032510771317e-10, |
| "loss": 1.6358, |
| "step": 9290 |
| }, |
| { |
| "epoch": 0.992, |
| "grad_norm": 0.9596435749379726, |
| "learning_rate": 6.005969345523888e-10, |
| "loss": 1.6348, |
| "step": 9300 |
| }, |
| { |
| "epoch": 0.9930666666666667, |
| "grad_norm": 0.9231085063304528, |
| "learning_rate": 4.529506876588263e-10, |
| "loss": 1.635, |
| "step": 9310 |
| }, |
| { |
| "epoch": 0.9941333333333333, |
| "grad_norm": 0.9061587181921975, |
| "learning_rate": 3.2609581722109483e-10, |
| "loss": 1.6287, |
| "step": 9320 |
| }, |
| { |
| "epoch": 0.9952, |
| "grad_norm": 0.9645007935557943, |
| "learning_rate": 2.2003408209542165e-10, |
| "loss": 1.6305, |
| "step": 9330 |
| }, |
| { |
| "epoch": 0.9962666666666666, |
| "grad_norm": 0.996481296275473, |
| "learning_rate": 1.3476695283881624e-10, |
| "loss": 1.6346, |
| "step": 9340 |
| }, |
| { |
| "epoch": 0.9973333333333333, |
| "grad_norm": 0.9345739738178087, |
| "learning_rate": 7.02956116887532e-11, |
| "loss": 1.6291, |
| "step": 9350 |
| }, |
| { |
| "epoch": 0.9984, |
| "grad_norm": 0.9569806836560619, |
| "learning_rate": 2.6620952547184994e-11, |
| "loss": 1.6236, |
| "step": 9360 |
| }, |
| { |
| "epoch": 0.9994666666666666, |
| "grad_norm": 0.9508786461938172, |
| "learning_rate": 3.743580967885407e-12, |
| "loss": 1.6365, |
| "step": 9370 |
| } |
| ], |
| "logging_steps": 10, |
| "max_steps": 9375, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 1, |
| "save_steps": 1000, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": true |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 859560710701056.0, |
| "train_batch_size": 4, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
