| { |
| "best_global_step": null, |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 3.0, |
| "eval_steps": 500, |
| "global_step": 24, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.13333333333333333, |
| "grad_norm": 5.56486701965332, |
| "learning_rate": 0.0002, |
| "loss": 38.3533, |
| "step": 1 |
| }, |
| { |
| "epoch": 0.26666666666666666, |
| "grad_norm": 6.651921272277832, |
| "learning_rate": 0.00019166666666666667, |
| "loss": 36.8912, |
| "step": 2 |
| }, |
| { |
| "epoch": 0.4, |
| "grad_norm": 8.944223403930664, |
| "learning_rate": 0.00018333333333333334, |
| "loss": 35.8779, |
| "step": 3 |
| }, |
| { |
| "epoch": 0.5333333333333333, |
| "grad_norm": 8.79480266571045, |
| "learning_rate": 0.000175, |
| "loss": 34.9511, |
| "step": 4 |
| }, |
| { |
| "epoch": 0.6666666666666666, |
| "grad_norm": 10.800246238708496, |
| "learning_rate": 0.0001666666666666667, |
| "loss": 32.9909, |
| "step": 5 |
| }, |
| { |
| "epoch": 0.8, |
| "grad_norm": 8.01695442199707, |
| "learning_rate": 0.00015833333333333332, |
| "loss": 32.5083, |
| "step": 6 |
| }, |
| { |
| "epoch": 0.9333333333333333, |
| "grad_norm": 8.307640075683594, |
| "learning_rate": 0.00015000000000000001, |
| "loss": 31.4153, |
| "step": 7 |
| }, |
| { |
| "epoch": 1.0, |
| "grad_norm": 7.08075475692749, |
| "learning_rate": 0.00014166666666666668, |
| "loss": 15.999, |
| "step": 8 |
| }, |
| { |
| "epoch": 1.1333333333333333, |
| "grad_norm": 9.917808532714844, |
| "learning_rate": 0.00013333333333333334, |
| "loss": 28.7986, |
| "step": 9 |
| }, |
| { |
| "epoch": 1.2666666666666666, |
| "grad_norm": 10.226347923278809, |
| "learning_rate": 0.000125, |
| "loss": 29.6019, |
| "step": 10 |
| }, |
| { |
| "epoch": 1.4, |
| "grad_norm": 9.522478103637695, |
| "learning_rate": 0.00011666666666666668, |
| "loss": 28.3856, |
| "step": 11 |
| }, |
| { |
| "epoch": 1.5333333333333332, |
| "grad_norm": 9.76523208618164, |
| "learning_rate": 0.00010833333333333333, |
| "loss": 28.2537, |
| "step": 12 |
| }, |
| { |
| "epoch": 1.6666666666666665, |
| "grad_norm": 6.195432186126709, |
| "learning_rate": 0.0001, |
| "loss": 27.6475, |
| "step": 13 |
| }, |
| { |
| "epoch": 1.8, |
| "grad_norm": 7.892975807189941, |
| "learning_rate": 9.166666666666667e-05, |
| "loss": 27.1004, |
| "step": 14 |
| }, |
| { |
| "epoch": 1.9333333333333333, |
| "grad_norm": 9.260358810424805, |
| "learning_rate": 8.333333333333334e-05, |
| "loss": 28.3018, |
| "step": 15 |
| }, |
| { |
| "epoch": 2.0, |
| "grad_norm": 3.782254695892334, |
| "learning_rate": 7.500000000000001e-05, |
| "loss": 13.5816, |
| "step": 16 |
| }, |
| { |
| "epoch": 2.1333333333333333, |
| "grad_norm": 6.108007907867432, |
| "learning_rate": 6.666666666666667e-05, |
| "loss": 26.4921, |
| "step": 17 |
| }, |
| { |
| "epoch": 2.2666666666666666, |
| "grad_norm": 11.83798885345459, |
| "learning_rate": 5.833333333333334e-05, |
| "loss": 25.9269, |
| "step": 18 |
| }, |
| { |
| "epoch": 2.4, |
| "grad_norm": 7.73467493057251, |
| "learning_rate": 5e-05, |
| "loss": 27.8886, |
| "step": 19 |
| }, |
| { |
| "epoch": 2.533333333333333, |
| "grad_norm": 4.977690696716309, |
| "learning_rate": 4.166666666666667e-05, |
| "loss": 27.2834, |
| "step": 20 |
| }, |
| { |
| "epoch": 2.6666666666666665, |
| "grad_norm": 9.394918441772461, |
| "learning_rate": 3.3333333333333335e-05, |
| "loss": 25.2599, |
| "step": 21 |
| }, |
| { |
| "epoch": 2.8, |
| "grad_norm": 6.224085807800293, |
| "learning_rate": 2.5e-05, |
| "loss": 25.6994, |
| "step": 22 |
| }, |
| { |
| "epoch": 2.9333333333333336, |
| "grad_norm": 4.654765605926514, |
| "learning_rate": 1.6666666666666667e-05, |
| "loss": 26.9324, |
| "step": 23 |
| }, |
| { |
| "epoch": 3.0, |
| "grad_norm": 4.106358051300049, |
| "learning_rate": 8.333333333333334e-06, |
| "loss": 13.4846, |
| "step": 24 |
| }, |
| { |
| "epoch": 3.0, |
| "step": 24, |
| "total_flos": 44771227963296.0, |
| "train_loss": 27.90105402469635, |
| "train_runtime": 632.9329, |
| "train_samples_per_second": 0.564, |
| "train_steps_per_second": 0.038 |
| } |
| ], |
| "logging_steps": 1.0, |
| "max_steps": 24, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 3, |
| "save_steps": 500, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": true |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 44771227963296.0, |
| "train_batch_size": 4, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
