{ "checkpoint": "math_ink_06_candidate.pt", "bytes": 8821786, "seed": 17, "device": "cuda", "training_source_ids": [ "hwrt", "uci-pendigits", "uci-uji-pen-v2" ], "training_independent_source_groups": [ "hwrt-2015", "uci-pendigits-81", "uji-pen-family" ], "source_registry_sha256": "c03ebc21a796109c70e200d96ee8e01ce465578ee891467ef1f08aeb93baefed", "train_samples": 15829, "source_count": 3, "baseline_validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9466666666666667, "online_top5": 1.0, "raster_top1": 0.37, "raster_top5": 0.6566666666666666 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.7666666666666667, "online_top5": 0.9666666666666667, "raster_top1": 0.43333333333333335, "raster_top5": 0.73 }, "hwrt": { "samples": 261, "online_top1": 0.9042145593869731, "online_top5": 1.0, "raster_top1": 0.789272030651341, "raster_top5": 0.9731800766283525 } }, "selected_validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9566666666666667, "online_top5": 1.0, "raster_top1": 0.45666666666666667, "raster_top5": 0.7766666666666666 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.8, "online_top5": 0.9733333333333334, "raster_top1": 0.48333333333333334, "raster_top5": 0.76 }, "hwrt": { "samples": 261, "online_top1": 0.9003831417624522, "online_top5": 1.0, "raster_top1": 0.7816091954022989, "raster_top5": 0.9770114942528736 } }, "selected_epoch": 2, "selected_interpolation_alpha": 1.0, "baseline_test": { "uci-pendigits": { "samples": 500, "online_top1": 0.902, "online_top5": 0.992, "raster_top1": 0.366, "raster_top5": 0.646 }, "uci-uji-pen-v2": { "samples": 500, "online_top1": 0.696, "online_top5": 0.93, "raster_top1": 0.378, "raster_top5": 0.698 }, "hwrt": { "samples": 500, "online_top1": 0.832, "online_top5": 0.99, "raster_top1": 0.756, "raster_top5": 0.944 } }, "test": { "uci-pendigits": { "samples": 500, "online_top1": 0.932, "online_top5": 0.994, "raster_top1": 0.428, "raster_top5": 0.726 }, "uci-uji-pen-v2": { "samples": 500, "online_top1": 0.718, "online_top5": 0.938, "raster_top1": 0.41, "raster_top5": 0.724 }, "hwrt": { "samples": 500, "online_top1": 0.84, "online_top5": 0.99, "raster_top1": 0.744, "raster_top5": 0.946 } }, "test_delta": { "uci-pendigits": { "online_top1": 0.030000000000000027, "online_top5": 0.0020000000000000018, "raster_top1": 0.062, "raster_top5": 0.07999999999999996 }, "uci-uji-pen-v2": { "online_top1": 0.02200000000000002, "online_top5": 0.007999999999999896, "raster_top1": 0.03199999999999997, "raster_top5": 0.026000000000000023 }, "hwrt": { "online_top1": 0.008000000000000007, "online_top5": 0.0, "raster_top1": -0.01200000000000001, "raster_top5": 0.0020000000000000018 } }, "history": [ { "epoch": 0, "macro_online_top1": 0.8725159642401022, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9466666666666667, "online_top5": 1.0, "raster_top1": 0.37, "raster_top5": 0.6566666666666666 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.7666666666666667, "online_top5": 0.9666666666666667, "raster_top1": 0.43333333333333335, "raster_top5": 0.73 }, "hwrt": { "samples": 261, "online_top1": 0.9042145593869731, "online_top5": 1.0, "raster_top1": 0.789272030651341, "raster_top5": 0.9731800766283525 } } }, { "epoch": 1, "loss": 1.6376518031728269, "macro_online_top1": 0.8801277139208175, "hwrt_gate": true, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9533333333333334, "online_top5": 1.0, "raster_top1": 0.43, "raster_top5": 0.7366666666666667 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.7866666666666666, "online_top5": 0.9733333333333334, "raster_top1": 0.47333333333333333, "raster_top5": 0.75 }, "hwrt": { "samples": 261, "online_top1": 0.9003831417624522, "online_top5": 1.0, "raster_top1": 0.7816091954022989, "raster_top5": 0.9770114942528736 } }, "interpolation": [ { "alpha": 0.25, "macro_online_top1": 0.874904214559387, "hwrt_gate": true, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9466666666666667, "online_top5": 1.0, "raster_top1": 0.38666666666666666, "raster_top5": 0.68 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.77, "online_top5": 0.9666666666666667, "raster_top1": 0.44666666666666666, "raster_top5": 0.73 }, "hwrt": { "samples": 261, "online_top1": 0.9080459770114943, "online_top5": 1.0, "raster_top1": 0.7816091954022989, "raster_top5": 0.9731800766283525 } } }, { "alpha": 0.5, "macro_online_top1": 0.8747381864623244, "hwrt_gate": true, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.95, "online_top5": 1.0, "raster_top1": 0.39666666666666667, "raster_top5": 0.7 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.77, "online_top5": 0.9666666666666667, "raster_top1": 0.4633333333333333, "raster_top5": 0.7366666666666667 }, "hwrt": { "samples": 261, "online_top1": 0.9042145593869731, "online_top5": 1.0, "raster_top1": 0.7816091954022989, "raster_top5": 0.9770114942528736 } } }, { "alpha": 0.75, "macro_online_top1": 0.8780715197956578, "hwrt_gate": false, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9533333333333334, "online_top5": 1.0, "raster_top1": 0.4166666666666667, "raster_top5": 0.7133333333333334 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.7766666666666666, "online_top5": 0.9733333333333334, "raster_top1": 0.4666666666666667, "raster_top5": 0.7466666666666667 }, "hwrt": { "samples": 261, "online_top1": 0.9042145593869731, "online_top5": 1.0, "raster_top1": 0.7777777777777778, "raster_top5": 0.9770114942528736 } } }, { "alpha": 1.0, "macro_online_top1": 0.8801277139208175, "hwrt_gate": true, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9533333333333334, "online_top5": 1.0, "raster_top1": 0.43, "raster_top5": 0.7366666666666667 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.7866666666666666, "online_top5": 0.9733333333333334, "raster_top1": 0.47333333333333333, "raster_top5": 0.75 }, "hwrt": { "samples": 261, "online_top1": 0.9003831417624522, "online_top5": 1.0, "raster_top1": 0.7816091954022989, "raster_top5": 0.9770114942528736 } } } ] }, { "epoch": 2, "loss": 1.6048133649575416, "macro_online_top1": 0.885683269476373, "hwrt_gate": true, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9566666666666667, "online_top5": 1.0, "raster_top1": 0.45666666666666667, "raster_top5": 0.7766666666666666 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.8, "online_top5": 0.9733333333333334, "raster_top1": 0.48333333333333334, "raster_top5": 0.76 }, "hwrt": { "samples": 261, "online_top1": 0.9003831417624522, "online_top5": 1.0, "raster_top1": 0.7816091954022989, "raster_top5": 0.9770114942528736 } }, "interpolation": [ { "alpha": 0.25, "macro_online_top1": 0.876015325670498, "hwrt_gate": true, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.95, "online_top5": 1.0, "raster_top1": 0.39, "raster_top5": 0.68 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.77, "online_top5": 0.9666666666666667, "raster_top1": 0.45, "raster_top5": 0.73 }, "hwrt": { "samples": 261, "online_top1": 0.9080459770114943, "online_top5": 1.0, "raster_top1": 0.7816091954022989, "raster_top5": 0.9731800766283525 } } }, { "alpha": 0.5, "macro_online_top1": 0.876794380587484, "hwrt_gate": true, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9566666666666667, "online_top5": 1.0, "raster_top1": 0.42, "raster_top5": 0.7033333333333334 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.7733333333333333, "online_top5": 0.97, "raster_top1": 0.4633333333333333, "raster_top5": 0.7433333333333333 }, "hwrt": { "samples": 261, "online_top1": 0.9003831417624522, "online_top5": 1.0, "raster_top1": 0.789272030651341, "raster_top5": 0.9731800766283525 } } }, { "alpha": 0.75, "macro_online_top1": 0.8823499361430396, "hwrt_gate": true, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9566666666666667, "online_top5": 1.0, "raster_top1": 0.4266666666666667, "raster_top5": 0.73 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.79, "online_top5": 0.97, "raster_top1": 0.4766666666666667, "raster_top5": 0.7566666666666667 }, "hwrt": { "samples": 261, "online_top1": 0.9003831417624522, "online_top5": 1.0, "raster_top1": 0.789272030651341, "raster_top5": 0.9770114942528736 } } }, { "alpha": 1.0, "macro_online_top1": 0.885683269476373, "hwrt_gate": true, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9566666666666667, "online_top5": 1.0, "raster_top1": 0.45666666666666667, "raster_top5": 0.7766666666666666 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.8, "online_top5": 0.9733333333333334, "raster_top1": 0.48333333333333334, "raster_top5": 0.76 }, "hwrt": { "samples": 261, "online_top1": 0.9003831417624522, "online_top5": 1.0, "raster_top1": 0.7816091954022989, "raster_top5": 0.9770114942528736 } } } ] }, { "epoch": 3, "loss": 1.5768074439098954, "macro_online_top1": 0.8845721583652618, "hwrt_gate": false, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9566666666666667, "online_top5": 1.0, "raster_top1": 0.46, "raster_top5": 0.8033333333333333 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.7966666666666666, "online_top5": 0.9733333333333334, "raster_top1": 0.48333333333333334, "raster_top5": 0.7633333333333333 }, "hwrt": { "samples": 261, "online_top1": 0.9003831417624522, "online_top5": 1.0, "raster_top1": 0.7777777777777778, "raster_top5": 0.9770114942528736 } }, "interpolation": [ { "alpha": 0.25, "macro_online_top1": 0.876015325670498, "hwrt_gate": true, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.95, "online_top5": 1.0, "raster_top1": 0.39, "raster_top5": 0.6866666666666666 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.77, "online_top5": 0.9666666666666667, "raster_top1": 0.45, "raster_top5": 0.7333333333333333 }, "hwrt": { "samples": 261, "online_top1": 0.9080459770114943, "online_top5": 1.0, "raster_top1": 0.7854406130268199, "raster_top5": 0.9770114942528736 } } }, { "alpha": 0.5, "macro_online_top1": 0.8769604086845466, "hwrt_gate": true, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9566666666666667, "online_top5": 1.0, "raster_top1": 0.42, "raster_top5": 0.7133333333333334 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.77, "online_top5": 0.97, "raster_top1": 0.4666666666666667, "raster_top5": 0.75 }, "hwrt": { "samples": 261, "online_top1": 0.9042145593869731, "online_top5": 1.0, "raster_top1": 0.789272030651341, "raster_top5": 0.9770114942528736 } } }, { "alpha": 0.75, "macro_online_top1": 0.8825159642401021, "hwrt_gate": true, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9566666666666667, "online_top5": 1.0, "raster_top1": 0.44333333333333336, "raster_top5": 0.77 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.7866666666666666, "online_top5": 0.9733333333333334, "raster_top1": 0.47333333333333333, "raster_top5": 0.7566666666666667 }, "hwrt": { "samples": 261, "online_top1": 0.9042145593869731, "online_top5": 1.0, "raster_top1": 0.7854406130268199, "raster_top5": 0.9770114942528736 } } }, { "alpha": 1.0, "macro_online_top1": 0.8845721583652618, "hwrt_gate": false, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9566666666666667, "online_top5": 1.0, "raster_top1": 0.46, "raster_top5": 0.8033333333333333 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.7966666666666666, "online_top5": 0.9733333333333334, "raster_top1": 0.48333333333333334, "raster_top5": 0.7633333333333333 }, "hwrt": { "samples": 261, "online_top1": 0.9003831417624522, "online_top5": 1.0, "raster_top1": 0.7777777777777778, "raster_top5": 0.9770114942528736 } } } ] } ], "hwrt_official_test_used": false, "product_validation": false }