| { |
| "best_global_step": null, |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 4.0, |
| "eval_steps": 500, |
| "global_step": 60, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.06666666666666667, |
| "grad_norm": 7.0487847328186035, |
| "learning_rate": 0.0002, |
| "loss": 37.2997, |
| "step": 1 |
| }, |
| { |
| "epoch": 0.13333333333333333, |
| "grad_norm": 6.3391313552856445, |
| "learning_rate": 0.00019666666666666666, |
| "loss": 36.8893, |
| "step": 2 |
| }, |
| { |
| "epoch": 0.2, |
| "grad_norm": 7.697636604309082, |
| "learning_rate": 0.00019333333333333333, |
| "loss": 36.2045, |
| "step": 3 |
| }, |
| { |
| "epoch": 0.26666666666666666, |
| "grad_norm": 9.431214332580566, |
| "learning_rate": 0.00019, |
| "loss": 34.4645, |
| "step": 4 |
| }, |
| { |
| "epoch": 0.3333333333333333, |
| "grad_norm": 8.90378189086914, |
| "learning_rate": 0.0001866666666666667, |
| "loss": 33.3201, |
| "step": 5 |
| }, |
| { |
| "epoch": 0.4, |
| "grad_norm": 7.977746963500977, |
| "learning_rate": 0.00018333333333333334, |
| "loss": 32.8811, |
| "step": 6 |
| }, |
| { |
| "epoch": 0.4666666666666667, |
| "grad_norm": 10.125911712646484, |
| "learning_rate": 0.00018, |
| "loss": 29.6532, |
| "step": 7 |
| }, |
| { |
| "epoch": 0.5333333333333333, |
| "grad_norm": 11.629433631896973, |
| "learning_rate": 0.00017666666666666666, |
| "loss": 28.7909, |
| "step": 8 |
| }, |
| { |
| "epoch": 0.6, |
| "grad_norm": 8.613866806030273, |
| "learning_rate": 0.00017333333333333334, |
| "loss": 28.8749, |
| "step": 9 |
| }, |
| { |
| "epoch": 0.6666666666666666, |
| "grad_norm": 10.464777946472168, |
| "learning_rate": 0.00017, |
| "loss": 29.0281, |
| "step": 10 |
| }, |
| { |
| "epoch": 0.7333333333333333, |
| "grad_norm": 11.631125450134277, |
| "learning_rate": 0.0001666666666666667, |
| "loss": 29.6809, |
| "step": 11 |
| }, |
| { |
| "epoch": 0.8, |
| "grad_norm": 8.291204452514648, |
| "learning_rate": 0.00016333333333333334, |
| "loss": 28.7067, |
| "step": 12 |
| }, |
| { |
| "epoch": 0.8666666666666667, |
| "grad_norm": 7.526920795440674, |
| "learning_rate": 0.00016, |
| "loss": 26.862, |
| "step": 13 |
| }, |
| { |
| "epoch": 0.9333333333333333, |
| "grad_norm": 7.516753196716309, |
| "learning_rate": 0.00015666666666666666, |
| "loss": 26.7884, |
| "step": 14 |
| }, |
| { |
| "epoch": 1.0, |
| "grad_norm": 8.111933708190918, |
| "learning_rate": 0.00015333333333333334, |
| "loss": 26.1527, |
| "step": 15 |
| }, |
| { |
| "epoch": 1.0666666666666667, |
| "grad_norm": 6.923421859741211, |
| "learning_rate": 0.00015000000000000001, |
| "loss": 25.942, |
| "step": 16 |
| }, |
| { |
| "epoch": 1.1333333333333333, |
| "grad_norm": 5.48105525970459, |
| "learning_rate": 0.00014666666666666666, |
| "loss": 27.6074, |
| "step": 17 |
| }, |
| { |
| "epoch": 1.2, |
| "grad_norm": 4.518235206604004, |
| "learning_rate": 0.00014333333333333334, |
| "loss": 25.56, |
| "step": 18 |
| }, |
| { |
| "epoch": 1.2666666666666666, |
| "grad_norm": 4.425319194793701, |
| "learning_rate": 0.00014, |
| "loss": 25.5684, |
| "step": 19 |
| }, |
| { |
| "epoch": 1.3333333333333333, |
| "grad_norm": 4.668209075927734, |
| "learning_rate": 0.00013666666666666666, |
| "loss": 25.5646, |
| "step": 20 |
| }, |
| { |
| "epoch": 1.4, |
| "grad_norm": 3.7781641483306885, |
| "learning_rate": 0.00013333333333333334, |
| "loss": 25.7137, |
| "step": 21 |
| }, |
| { |
| "epoch": 1.4666666666666668, |
| "grad_norm": 3.97507905960083, |
| "learning_rate": 0.00013000000000000002, |
| "loss": 25.3347, |
| "step": 22 |
| }, |
| { |
| "epoch": 1.5333333333333332, |
| "grad_norm": 3.9588353633880615, |
| "learning_rate": 0.00012666666666666666, |
| "loss": 26.0531, |
| "step": 23 |
| }, |
| { |
| "epoch": 1.6, |
| "grad_norm": 7.222775459289551, |
| "learning_rate": 0.00012333333333333334, |
| "loss": 24.1834, |
| "step": 24 |
| }, |
| { |
| "epoch": 1.6666666666666665, |
| "grad_norm": 4.957325458526611, |
| "learning_rate": 0.00012, |
| "loss": 26.375, |
| "step": 25 |
| }, |
| { |
| "epoch": 1.7333333333333334, |
| "grad_norm": 4.3661322593688965, |
| "learning_rate": 0.00011666666666666668, |
| "loss": 25.6129, |
| "step": 26 |
| }, |
| { |
| "epoch": 1.8, |
| "grad_norm": 3.8196957111358643, |
| "learning_rate": 0.00011333333333333334, |
| "loss": 26.3737, |
| "step": 27 |
| }, |
| { |
| "epoch": 1.8666666666666667, |
| "grad_norm": 3.5492942333221436, |
| "learning_rate": 0.00011000000000000002, |
| "loss": 26.0268, |
| "step": 28 |
| }, |
| { |
| "epoch": 1.9333333333333333, |
| "grad_norm": 4.847752094268799, |
| "learning_rate": 0.00010666666666666667, |
| "loss": 26.5211, |
| "step": 29 |
| }, |
| { |
| "epoch": 2.0, |
| "grad_norm": 5.659700870513916, |
| "learning_rate": 0.00010333333333333334, |
| "loss": 25.2665, |
| "step": 30 |
| }, |
| { |
| "epoch": 2.066666666666667, |
| "grad_norm": 5.158875465393066, |
| "learning_rate": 0.0001, |
| "loss": 26.4247, |
| "step": 31 |
| }, |
| { |
| "epoch": 2.1333333333333333, |
| "grad_norm": 3.735711097717285, |
| "learning_rate": 9.666666666666667e-05, |
| "loss": 25.9311, |
| "step": 32 |
| }, |
| { |
| "epoch": 2.2, |
| "grad_norm": 6.87683629989624, |
| "learning_rate": 9.333333333333334e-05, |
| "loss": 25.0459, |
| "step": 33 |
| }, |
| { |
| "epoch": 2.2666666666666666, |
| "grad_norm": 3.6876368522644043, |
| "learning_rate": 9e-05, |
| "loss": 26.5104, |
| "step": 34 |
| }, |
| { |
| "epoch": 2.3333333333333335, |
| "grad_norm": 5.84995174407959, |
| "learning_rate": 8.666666666666667e-05, |
| "loss": 25.0424, |
| "step": 35 |
| }, |
| { |
| "epoch": 2.4, |
| "grad_norm": 2.932936668395996, |
| "learning_rate": 8.333333333333334e-05, |
| "loss": 25.227, |
| "step": 36 |
| }, |
| { |
| "epoch": 2.466666666666667, |
| "grad_norm": 4.279041767120361, |
| "learning_rate": 8e-05, |
| "loss": 26.0303, |
| "step": 37 |
| }, |
| { |
| "epoch": 2.533333333333333, |
| "grad_norm": 3.6640841960906982, |
| "learning_rate": 7.666666666666667e-05, |
| "loss": 25.8099, |
| "step": 38 |
| }, |
| { |
| "epoch": 2.6, |
| "grad_norm": 3.072996139526367, |
| "learning_rate": 7.333333333333333e-05, |
| "loss": 25.2541, |
| "step": 39 |
| }, |
| { |
| "epoch": 2.6666666666666665, |
| "grad_norm": 3.2900872230529785, |
| "learning_rate": 7e-05, |
| "loss": 25.0835, |
| "step": 40 |
| }, |
| { |
| "epoch": 2.7333333333333334, |
| "grad_norm": 3.655827760696411, |
| "learning_rate": 6.666666666666667e-05, |
| "loss": 24.7541, |
| "step": 41 |
| }, |
| { |
| "epoch": 2.8, |
| "grad_norm": 3.6535208225250244, |
| "learning_rate": 6.333333333333333e-05, |
| "loss": 23.9274, |
| "step": 42 |
| }, |
| { |
| "epoch": 2.8666666666666667, |
| "grad_norm": 3.990771532058716, |
| "learning_rate": 6e-05, |
| "loss": 25.6867, |
| "step": 43 |
| }, |
| { |
| "epoch": 2.9333333333333336, |
| "grad_norm": 2.9685566425323486, |
| "learning_rate": 5.666666666666667e-05, |
| "loss": 25.0421, |
| "step": 44 |
| }, |
| { |
| "epoch": 3.0, |
| "grad_norm": 5.329381942749023, |
| "learning_rate": 5.333333333333333e-05, |
| "loss": 24.0831, |
| "step": 45 |
| }, |
| { |
| "epoch": 3.066666666666667, |
| "grad_norm": 3.64381742477417, |
| "learning_rate": 5e-05, |
| "loss": 25.1672, |
| "step": 46 |
| }, |
| { |
| "epoch": 3.1333333333333333, |
| "grad_norm": 2.907846212387085, |
| "learning_rate": 4.666666666666667e-05, |
| "loss": 25.1122, |
| "step": 47 |
| }, |
| { |
| "epoch": 3.2, |
| "grad_norm": 4.985435485839844, |
| "learning_rate": 4.3333333333333334e-05, |
| "loss": 25.901, |
| "step": 48 |
| }, |
| { |
| "epoch": 3.2666666666666666, |
| "grad_norm": 4.573557376861572, |
| "learning_rate": 4e-05, |
| "loss": 25.4726, |
| "step": 49 |
| }, |
| { |
| "epoch": 3.3333333333333335, |
| "grad_norm": 3.2705178260803223, |
| "learning_rate": 3.6666666666666666e-05, |
| "loss": 25.6008, |
| "step": 50 |
| }, |
| { |
| "epoch": 3.4, |
| "grad_norm": 3.2119994163513184, |
| "learning_rate": 3.3333333333333335e-05, |
| "loss": 25.5629, |
| "step": 51 |
| }, |
| { |
| "epoch": 3.466666666666667, |
| "grad_norm": 3.0146422386169434, |
| "learning_rate": 3e-05, |
| "loss": 24.8216, |
| "step": 52 |
| }, |
| { |
| "epoch": 3.533333333333333, |
| "grad_norm": 4.433594703674316, |
| "learning_rate": 2.6666666666666667e-05, |
| "loss": 24.5842, |
| "step": 53 |
| }, |
| { |
| "epoch": 3.6, |
| "grad_norm": 5.254716396331787, |
| "learning_rate": 2.3333333333333336e-05, |
| "loss": 24.6559, |
| "step": 54 |
| }, |
| { |
| "epoch": 3.6666666666666665, |
| "grad_norm": 3.860445499420166, |
| "learning_rate": 2e-05, |
| "loss": 25.0339, |
| "step": 55 |
| }, |
| { |
| "epoch": 3.7333333333333334, |
| "grad_norm": 3.0151867866516113, |
| "learning_rate": 1.6666666666666667e-05, |
| "loss": 25.4809, |
| "step": 56 |
| }, |
| { |
| "epoch": 3.8, |
| "grad_norm": 5.753190040588379, |
| "learning_rate": 1.3333333333333333e-05, |
| "loss": 25.0477, |
| "step": 57 |
| }, |
| { |
| "epoch": 3.8666666666666667, |
| "grad_norm": 2.6901626586914062, |
| "learning_rate": 1e-05, |
| "loss": 25.6063, |
| "step": 58 |
| }, |
| { |
| "epoch": 3.9333333333333336, |
| "grad_norm": 4.7213969230651855, |
| "learning_rate": 6.666666666666667e-06, |
| "loss": 24.6293, |
| "step": 59 |
| }, |
| { |
| "epoch": 4.0, |
| "grad_norm": 4.438478469848633, |
| "learning_rate": 3.3333333333333333e-06, |
| "loss": 24.8478, |
| "step": 60 |
| }, |
| { |
| "epoch": 4.0, |
| "step": 60, |
| "total_flos": 119884735833348.0, |
| "train_loss": 26.84462372461955, |
| "train_runtime": 1655.1695, |
| "train_samples_per_second": 0.578, |
| "train_steps_per_second": 0.036 |
| } |
| ], |
| "logging_steps": 1.0, |
| "max_steps": 60, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 4, |
| "save_steps": 500, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": true |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 119884735833348.0, |
| "train_batch_size": 4, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
