{ "checkpoint": "math_ink_06_candidate.pt", "bytes": 8822298, "seed": 17, "device": "cuda", "training_source_ids": [ "hwrt", "uci-pendigits", "uci-uji-pen-v2" ], "training_independent_source_groups": [ "hwrt-2015", "uci-pendigits-81", "uji-pen-family" ], "source_registry_sha256": "fa256b6cfb22b472530f9c8166aff9a1d69a6716ede8e0dc417a29c9b1b11ccc", "train_samples": 15829, "source_count": 3, "training_manifest": { "samples": 15829, "source_counts": { "hwrt": 6000, "uci-pendigits": 4457, "uci-uji-pen-v2": 5372 }, "sample_origin_sha256": "fc103edba331d3682875171b04942a2028232a401a0ca72cd0b1c52da5608c91" }, "baseline_validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9466666666666667, "online_top5": 1.0, "raster_top1": 0.37, "raster_top5": 0.6566666666666666 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.7666666666666667, "online_top5": 0.9666666666666667, "raster_top1": 0.43333333333333335, "raster_top5": 0.73 }, "hwrt": { "samples": 261, "online_top1": 0.9042145593869731, "online_top5": 1.0, "raster_top1": 0.789272030651341, "raster_top5": 0.9731800766283525 } }, "selected_validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9633333333333334, "online_top5": 1.0, "raster_top1": 0.3333333333333333, "raster_top5": 0.6233333333333333 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.83, "online_top5": 0.9766666666666667, "raster_top1": 0.43333333333333335, "raster_top5": 0.7466666666666667 }, "hwrt": { "samples": 261, "online_top1": 0.896551724137931, "online_top5": 1.0, "raster_top1": 0.7816091954022989, "raster_top5": 0.9693486590038314 } }, "selected_epoch": 3, "selected_interpolation_alpha": 1.0, "baseline_test": { "uci-pendigits": { "samples": 500, "online_top1": 0.902, "online_top5": 0.992, "raster_top1": 0.366, "raster_top5": 0.646 }, "uci-uji-pen-v2": { "samples": 500, "online_top1": 0.696, "online_top5": 0.93, "raster_top1": 0.378, "raster_top5": 0.698 }, "hwrt": { "samples": 500, "online_top1": 0.832, "online_top5": 0.99, "raster_top1": 0.756, "raster_top5": 0.944 } }, "test": { "uci-pendigits": { "samples": 500, "online_top1": 0.95, "online_top5": 0.994, "raster_top1": 0.316, "raster_top5": 0.606 }, "uci-uji-pen-v2": { "samples": 500, "online_top1": 0.732, "online_top5": 0.946, "raster_top1": 0.394, "raster_top5": 0.698 }, "hwrt": { "samples": 500, "online_top1": 0.842, "online_top5": 0.99, "raster_top1": 0.744, "raster_top5": 0.946 } }, "test_delta": { "uci-pendigits": { "online_top1": 0.04799999999999993, "online_top5": 0.0020000000000000018, "raster_top1": -0.04999999999999999, "raster_top5": -0.040000000000000036 }, "uci-uji-pen-v2": { "online_top1": 0.03600000000000003, "online_top5": 0.015999999999999903, "raster_top1": 0.016000000000000014, "raster_top5": 0.0 }, "hwrt": { "online_top1": 0.010000000000000009, "online_top5": 0.0, "raster_top1": -0.01200000000000001, "raster_top5": 0.0020000000000000018 } }, "history": [ { "epoch": 0, "macro_online_top1": 0.8725159642401022, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9466666666666667, "online_top5": 1.0, "raster_top1": 0.37, "raster_top5": 0.6566666666666666 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.7666666666666667, "online_top5": 0.9666666666666667, "raster_top1": 0.43333333333333335, "raster_top5": 0.73 }, "hwrt": { "samples": 261, "online_top1": 0.9042145593869731, "online_top5": 1.0, "raster_top1": 0.789272030651341, "raster_top5": 0.9731800766283525 } } }, { "epoch": 1, "loss": 0.8822918586657453, "cross_source_contrastive_anchors": 0, "macro_online_top1": 0.8893486590038314, "hwrt_gate": false, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9566666666666667, "online_top5": 1.0, "raster_top1": 0.34, "raster_top5": 0.6233333333333333 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.8033333333333333, "online_top5": 0.9733333333333334, "raster_top1": 0.44666666666666666, "raster_top5": 0.7466666666666667 }, "hwrt": { "samples": 261, "online_top1": 0.9080459770114943, "online_top5": 1.0, "raster_top1": 0.7701149425287356, "raster_top5": 0.9731800766283525 } }, "interpolation": [ { "alpha": 0.25, "macro_online_top1": 0.8782375478927203, "hwrt_gate": true, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9533333333333334, "online_top5": 1.0, "raster_top1": 0.3566666666666667, "raster_top5": 0.6466666666666666 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.7733333333333333, "online_top5": 0.9666666666666667, "raster_top1": 0.43333333333333335, "raster_top5": 0.7333333333333333 }, "hwrt": { "samples": 261, "online_top1": 0.9080459770114943, "online_top5": 1.0, "raster_top1": 0.7816091954022989, "raster_top5": 0.9731800766283525 } } }, { "alpha": 0.5, "macro_online_top1": 0.8815708812260538, "hwrt_gate": true, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9533333333333334, "online_top5": 1.0, "raster_top1": 0.35333333333333333, "raster_top5": 0.64 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.7833333333333333, "online_top5": 0.9733333333333334, "raster_top1": 0.44333333333333336, "raster_top5": 0.7366666666666667 }, "hwrt": { "samples": 261, "online_top1": 0.9080459770114943, "online_top5": 1.0, "raster_top1": 0.7816091954022989, "raster_top5": 0.9731800766283525 } } }, { "alpha": 0.75, "macro_online_top1": 0.8882375478927204, "hwrt_gate": false, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9566666666666667, "online_top5": 1.0, "raster_top1": 0.3433333333333333, "raster_top5": 0.6366666666666667 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.8, "online_top5": 0.9733333333333334, "raster_top1": 0.44, "raster_top5": 0.74 }, "hwrt": { "samples": 261, "online_top1": 0.9080459770114943, "online_top5": 1.0, "raster_top1": 0.7739463601532567, "raster_top5": 0.9731800766283525 } } }, { "alpha": 1.0, "macro_online_top1": 0.8893486590038314, "hwrt_gate": false, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9566666666666667, "online_top5": 1.0, "raster_top1": 0.34, "raster_top5": 0.6233333333333333 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.8033333333333333, "online_top5": 0.9733333333333334, "raster_top1": 0.44666666666666666, "raster_top5": 0.7466666666666667 }, "hwrt": { "samples": 261, "online_top1": 0.9080459770114943, "online_top5": 1.0, "raster_top1": 0.7701149425287356, "raster_top5": 0.9731800766283525 } } } ], "resume_state": "federated_online_epoch_001.pt" }, { "epoch": 2, "loss": 0.8413337085016438, "cross_source_contrastive_anchors": 0, "macro_online_top1": 0.8945721583652618, "hwrt_gate": false, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9633333333333334, "online_top5": 1.0, "raster_top1": 0.34, "raster_top5": 0.6266666666666667 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.82, "online_top5": 0.9733333333333334, "raster_top1": 0.4266666666666667, "raster_top5": 0.7533333333333333 }, "hwrt": { "samples": 261, "online_top1": 0.9003831417624522, "online_top5": 1.0, "raster_top1": 0.7739463601532567, "raster_top5": 0.9731800766283525 } }, "interpolation": [ { "alpha": 0.25, "macro_online_top1": 0.8780715197956578, "hwrt_gate": true, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9533333333333334, "online_top5": 1.0, "raster_top1": 0.36, "raster_top5": 0.65 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.7766666666666666, "online_top5": 0.9666666666666667, "raster_top1": 0.43666666666666665, "raster_top5": 0.73 }, "hwrt": { "samples": 261, "online_top1": 0.9042145593869731, "online_top5": 1.0, "raster_top1": 0.7854406130268199, "raster_top5": 0.9731800766283525 } } }, { "alpha": 0.5, "macro_online_top1": 0.8847381864623244, "hwrt_gate": true, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9566666666666667, "online_top5": 1.0, "raster_top1": 0.35, "raster_top5": 0.6466666666666666 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.7933333333333333, "online_top5": 0.9733333333333334, "raster_top1": 0.44333333333333336, "raster_top5": 0.7333333333333333 }, "hwrt": { "samples": 261, "online_top1": 0.9042145593869731, "online_top5": 1.0, "raster_top1": 0.789272030651341, "raster_top5": 0.9731800766283525 } } }, { "alpha": 0.75, "macro_online_top1": 0.8914048531289911, "hwrt_gate": true, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9566666666666667, "online_top5": 1.0, "raster_top1": 0.3433333333333333, "raster_top5": 0.6366666666666667 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.8133333333333334, "online_top5": 0.9733333333333334, "raster_top1": 0.44, "raster_top5": 0.7366666666666667 }, "hwrt": { "samples": 261, "online_top1": 0.9042145593869731, "online_top5": 1.0, "raster_top1": 0.7816091954022989, "raster_top5": 0.9731800766283525 } } }, { "alpha": 1.0, "macro_online_top1": 0.8945721583652618, "hwrt_gate": false, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9633333333333334, "online_top5": 1.0, "raster_top1": 0.34, "raster_top5": 0.6266666666666667 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.82, "online_top5": 0.9733333333333334, "raster_top1": 0.4266666666666667, "raster_top5": 0.7533333333333333 }, "hwrt": { "samples": 261, "online_top1": 0.9003831417624522, "online_top5": 1.0, "raster_top1": 0.7739463601532567, "raster_top5": 0.9731800766283525 } } } ], "resume_state": "federated_online_epoch_002.pt" }, { "epoch": 3, "loss": 0.8162824582508339, "cross_source_contrastive_anchors": 0, "macro_online_top1": 0.8966283524904215, "hwrt_gate": true, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9633333333333334, "online_top5": 1.0, "raster_top1": 0.3333333333333333, "raster_top5": 0.6233333333333333 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.83, "online_top5": 0.9766666666666667, "raster_top1": 0.43333333333333335, "raster_top5": 0.7466666666666667 }, "hwrt": { "samples": 261, "online_top1": 0.896551724137931, "online_top5": 1.0, "raster_top1": 0.7816091954022989, "raster_top5": 0.9693486590038314 } }, "interpolation": [ { "alpha": 0.25, "macro_online_top1": 0.8804597701149426, "hwrt_gate": true, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9533333333333334, "online_top5": 1.0, "raster_top1": 0.36, "raster_top5": 0.6466666666666666 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.78, "online_top5": 0.9666666666666667, "raster_top1": 0.43, "raster_top5": 0.7333333333333333 }, "hwrt": { "samples": 261, "online_top1": 0.9080459770114943, "online_top5": 1.0, "raster_top1": 0.7854406130268199, "raster_top5": 0.9731800766283525 } } }, { "alpha": 0.5, "macro_online_top1": 0.8904597701149425, "hwrt_gate": true, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.96, "online_top5": 1.0, "raster_top1": 0.3566666666666667, "raster_top5": 0.6433333333333333 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.8033333333333333, "online_top5": 0.9733333333333334, "raster_top1": 0.44333333333333336, "raster_top5": 0.73 }, "hwrt": { "samples": 261, "online_top1": 0.9080459770114943, "online_top5": 1.0, "raster_top1": 0.789272030651341, "raster_top5": 0.9731800766283525 } } }, { "alpha": 0.75, "macro_online_top1": 0.8923499361430395, "hwrt_gate": true, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.96, "online_top5": 1.0, "raster_top1": 0.3466666666666667, "raster_top5": 0.63 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.8166666666666667, "online_top5": 0.9733333333333334, "raster_top1": 0.44, "raster_top5": 0.7466666666666667 }, "hwrt": { "samples": 261, "online_top1": 0.9003831417624522, "online_top5": 1.0, "raster_top1": 0.7854406130268199, "raster_top5": 0.9731800766283525 } } }, { "alpha": 1.0, "macro_online_top1": 0.8966283524904215, "hwrt_gate": true, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9633333333333334, "online_top5": 1.0, "raster_top1": 0.3333333333333333, "raster_top5": 0.6233333333333333 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.83, "online_top5": 0.9766666666666667, "raster_top1": 0.43333333333333335, "raster_top5": 0.7466666666666667 }, "hwrt": { "samples": 261, "online_top1": 0.896551724137931, "online_top5": 1.0, "raster_top1": 0.7816091954022989, "raster_top5": 0.9693486590038314 } } } ], "resume_state": "federated_online_epoch_003.pt" } ], "hwrt_official_test_used": false, "product_validation": false }