| { | |
| "experiment": "P-MATH-INK-06-BOUNDARY-AUXILIARY-SMOKE-001", | |
| "generated_at": "2026-07-23T19:10:12.626228+00:00", | |
| "device": "cpu", | |
| "cuda_device": null, | |
| "base_model_version": "aiflow-math-ink-0.6-federated-online1", | |
| "adapter_model_version": "aiflow-math-ink-0.6-skeleton-adapter1", | |
| "training_samples": 2400, | |
| "validation_samples": 2400, | |
| "selected": { | |
| "epoch": 20, | |
| "loss": 0.10360381305217743, | |
| "threshold": 0.5, | |
| "accuracy": 0.96375, | |
| "f1": 0.9647058823529412, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.9366666666666666, | |
| "cross_boundary_recall": 0.9908333333333333 | |
| }, | |
| "threshold_selection": { | |
| "threshold": 0.7, | |
| "accuracy": 0.9733333333333334, | |
| "f1": 0.9733555370524563, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.9725, | |
| "cross_boundary_recall": 0.9741666666666666, | |
| "recall_gate_passed": true | |
| }, | |
| "threshold_trials": [ | |
| { | |
| "threshold": 0.05, | |
| "accuracy": 0.8, | |
| "f1": 0.8333333333333334, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.6, | |
| "cross_boundary_recall": 1.0 | |
| }, | |
| { | |
| "threshold": 0.075, | |
| "accuracy": 0.83625, | |
| "f1": 0.8591902543891079, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.6733333333333333, | |
| "cross_boundary_recall": 0.9991666666666666 | |
| }, | |
| { | |
| "threshold": 0.1, | |
| "accuracy": 0.8658333333333333, | |
| "f1": 0.8816176470588235, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.7325, | |
| "cross_boundary_recall": 0.9991666666666666 | |
| }, | |
| { | |
| "threshold": 0.125, | |
| "accuracy": 0.8854166666666666, | |
| "f1": 0.8970423062523399, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.7725, | |
| "cross_boundary_recall": 0.9983333333333333 | |
| }, | |
| { | |
| "threshold": 0.15, | |
| "accuracy": 0.8954166666666666, | |
| "f1": 0.9049602423324499, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.795, | |
| "cross_boundary_recall": 0.9958333333333333 | |
| }, | |
| { | |
| "threshold": 0.175, | |
| "accuracy": 0.9075, | |
| "f1": 0.9150076569678407, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.8191666666666667, | |
| "cross_boundary_recall": 0.9958333333333333 | |
| }, | |
| { | |
| "threshold": 0.2, | |
| "accuracy": 0.9158333333333334, | |
| "f1": 0.9220679012345679, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.8358333333333333, | |
| "cross_boundary_recall": 0.9958333333333333 | |
| }, | |
| { | |
| "threshold": 0.22499999999999998, | |
| "accuracy": 0.9216666666666666, | |
| "f1": 0.9270186335403726, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.8483333333333334, | |
| "cross_boundary_recall": 0.995 | |
| }, | |
| { | |
| "threshold": 0.25, | |
| "accuracy": 0.9270833333333334, | |
| "f1": 0.9317206398751463, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.8591666666666666, | |
| "cross_boundary_recall": 0.995 | |
| }, | |
| { | |
| "threshold": 0.27499999999999997, | |
| "accuracy": 0.935, | |
| "f1": 0.9386792452830188, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.875, | |
| "cross_boundary_recall": 0.995 | |
| }, | |
| { | |
| "threshold": 0.3, | |
| "accuracy": 0.9395833333333333, | |
| "f1": 0.942755625740229, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.8841666666666667, | |
| "cross_boundary_recall": 0.995 | |
| }, | |
| { | |
| "threshold": 0.32499999999999996, | |
| "accuracy": 0.9433333333333334, | |
| "f1": 0.9460745440126883, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.8925, | |
| "cross_boundary_recall": 0.9941666666666666 | |
| }, | |
| { | |
| "threshold": 0.35, | |
| "accuracy": 0.94625, | |
| "f1": 0.94866693195384, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.8991666666666667, | |
| "cross_boundary_recall": 0.9933333333333333 | |
| }, | |
| { | |
| "threshold": 0.37499999999999994, | |
| "accuracy": 0.9516666666666667, | |
| "f1": 0.9536, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.91, | |
| "cross_boundary_recall": 0.9933333333333333 | |
| }, | |
| { | |
| "threshold": 0.39999999999999997, | |
| "accuracy": 0.9545833333333333, | |
| "f1": 0.9562775772162053, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.9158333333333334, | |
| "cross_boundary_recall": 0.9933333333333333 | |
| }, | |
| { | |
| "threshold": 0.42499999999999993, | |
| "accuracy": 0.95625, | |
| "f1": 0.9578143832864604, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.9191666666666667, | |
| "cross_boundary_recall": 0.9933333333333333 | |
| }, | |
| { | |
| "threshold": 0.44999999999999996, | |
| "accuracy": 0.9583333333333334, | |
| "f1": 0.9597423510466989, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.9233333333333333, | |
| "cross_boundary_recall": 0.9933333333333333 | |
| }, | |
| { | |
| "threshold": 0.475, | |
| "accuracy": 0.9616666666666667, | |
| "f1": 0.9628132578819725, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.9308333333333333, | |
| "cross_boundary_recall": 0.9925 | |
| }, | |
| { | |
| "threshold": 0.49999999999999994, | |
| "accuracy": 0.96375, | |
| "f1": 0.9647058823529412, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.9366666666666666, | |
| "cross_boundary_recall": 0.9908333333333333 | |
| }, | |
| { | |
| "threshold": 0.525, | |
| "accuracy": 0.9641666666666666, | |
| "f1": 0.9650406504065041, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.9391666666666667, | |
| "cross_boundary_recall": 0.9891666666666666 | |
| }, | |
| { | |
| "threshold": 0.5499999999999999, | |
| "accuracy": 0.9645833333333333, | |
| "f1": 0.9653202774377805, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.9433333333333334, | |
| "cross_boundary_recall": 0.9858333333333333 | |
| }, | |
| { | |
| "threshold": 0.575, | |
| "accuracy": 0.9670833333333333, | |
| "f1": 0.9676891615541923, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.9483333333333334, | |
| "cross_boundary_recall": 0.9858333333333333 | |
| }, | |
| { | |
| "threshold": 0.6, | |
| "accuracy": 0.9691666666666666, | |
| "f1": 0.9696223316912972, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.9541666666666667, | |
| "cross_boundary_recall": 0.9841666666666666 | |
| }, | |
| { | |
| "threshold": 0.625, | |
| "accuracy": 0.97, | |
| "f1": 0.9702970297029703, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.96, | |
| "cross_boundary_recall": 0.98 | |
| }, | |
| { | |
| "threshold": 0.65, | |
| "accuracy": 0.97, | |
| "f1": 0.9702233250620348, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.9625, | |
| "cross_boundary_recall": 0.9775 | |
| }, | |
| { | |
| "threshold": 0.675, | |
| "accuracy": 0.9720833333333333, | |
| "f1": 0.972210700953961, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.9675, | |
| "cross_boundary_recall": 0.9766666666666667 | |
| }, | |
| { | |
| "threshold": 0.7, | |
| "accuracy": 0.9733333333333334, | |
| "f1": 0.9733555370524563, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.9725, | |
| "cross_boundary_recall": 0.9741666666666666 | |
| }, | |
| { | |
| "threshold": 0.725, | |
| "accuracy": 0.9733333333333334, | |
| "f1": 0.9731993299832495, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.9783333333333334, | |
| "cross_boundary_recall": 0.9683333333333334 | |
| }, | |
| { | |
| "threshold": 0.75, | |
| "accuracy": 0.97125, | |
| "f1": 0.9709228824273072, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.9825, | |
| "cross_boundary_recall": 0.96 | |
| }, | |
| { | |
| "threshold": 0.775, | |
| "accuracy": 0.97, | |
| "f1": 0.9695173581710415, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.9858333333333333, | |
| "cross_boundary_recall": 0.9541666666666667 | |
| }, | |
| { | |
| "threshold": 0.7999999999999999, | |
| "accuracy": 0.96625, | |
| "f1": 0.9654289372599232, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.99, | |
| "cross_boundary_recall": 0.9425 | |
| }, | |
| { | |
| "threshold": 0.825, | |
| "accuracy": 0.9616666666666667, | |
| "f1": 0.9605488850771869, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.99, | |
| "cross_boundary_recall": 0.9333333333333333 | |
| }, | |
| { | |
| "threshold": 0.85, | |
| "accuracy": 0.9558333333333333, | |
| "f1": 0.9541522491349481, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.9925, | |
| "cross_boundary_recall": 0.9191666666666667 | |
| }, | |
| { | |
| "threshold": 0.875, | |
| "accuracy": 0.9491666666666667, | |
| "f1": 0.9467248908296944, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.995, | |
| "cross_boundary_recall": 0.9033333333333333 | |
| }, | |
| { | |
| "threshold": 0.9, | |
| "accuracy": 0.935, | |
| "f1": 0.9307282415630551, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.9966666666666667, | |
| "cross_boundary_recall": 0.8733333333333333 | |
| }, | |
| { | |
| "threshold": 0.9249999999999999, | |
| "accuracy": 0.9091666666666667, | |
| "f1": 0.9002744739249772, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.9983333333333333, | |
| "cross_boundary_recall": 0.82 | |
| }, | |
| { | |
| "threshold": 0.95, | |
| "accuracy": 0.8670833333333333, | |
| "f1": 0.8468554968795007, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.9991666666666666, | |
| "cross_boundary_recall": 0.735 | |
| } | |
| ], | |
| "paired_test": { | |
| "threshold": 0.7, | |
| "accuracy": 0.9745833333333334, | |
| "f1": 0.9747202652300041, | |
| "roc_auc": 0.9961590277777778, | |
| "single_symbol_recall": 0.9691666666666666, | |
| "cross_boundary_recall": 0.98 | |
| }, | |
| "history": [ | |
| { | |
| "epoch": 1, | |
| "loss": 0.7434914708137512, | |
| "threshold": 0.5, | |
| "accuracy": 0.7, | |
| "f1": 0.7383720930232558, | |
| "roc_auc": 0.7528013888888889, | |
| "single_symbol_recall": 0.5533333333333333, | |
| "cross_boundary_recall": 0.8466666666666667 | |
| }, | |
| { | |
| "epoch": 2, | |
| "loss": 0.5346148610115051, | |
| "threshold": 0.5, | |
| "accuracy": 0.7941666666666667, | |
| "f1": 0.7879828326180257, | |
| "roc_auc": 0.8815125, | |
| "single_symbol_recall": 0.8233333333333334, | |
| "cross_boundary_recall": 0.765 | |
| }, | |
| { | |
| "epoch": 3, | |
| "loss": 0.40928400456905367, | |
| "threshold": 0.5, | |
| "accuracy": 0.8520833333333333, | |
| "f1": 0.864244741873805, | |
| "roc_auc": 0.9366020833333334, | |
| "single_symbol_recall": 0.7625, | |
| "cross_boundary_recall": 0.9416666666666667 | |
| }, | |
| { | |
| "epoch": 4, | |
| "loss": 0.3337248772382736, | |
| "threshold": 0.5, | |
| "accuracy": 0.8808333333333334, | |
| "f1": 0.8841166936790924, | |
| "roc_auc": 0.9565666666666667, | |
| "single_symbol_recall": 0.8525, | |
| "cross_boundary_recall": 0.9091666666666667 | |
| }, | |
| { | |
| "epoch": 5, | |
| "loss": 0.2832861453294754, | |
| "threshold": 0.5, | |
| "accuracy": 0.895, | |
| "f1": 0.9015625, | |
| "roc_auc": 0.9688583333333334, | |
| "single_symbol_recall": 0.8283333333333334, | |
| "cross_boundary_recall": 0.9616666666666667 | |
| }, | |
| { | |
| "epoch": 6, | |
| "loss": 0.25244007259607315, | |
| "threshold": 0.5, | |
| "accuracy": 0.9154166666666667, | |
| "f1": 0.9177804779262859, | |
| "roc_auc": 0.9762722222222222, | |
| "single_symbol_recall": 0.8866666666666667, | |
| "cross_boundary_recall": 0.9441666666666667 | |
| }, | |
| { | |
| "epoch": 7, | |
| "loss": 0.22564193457365037, | |
| "threshold": 0.5, | |
| "accuracy": 0.9166666666666666, | |
| "f1": 0.9211977935382191, | |
| "roc_auc": 0.9816902777777778, | |
| "single_symbol_recall": 0.8591666666666666, | |
| "cross_boundary_recall": 0.9741666666666666 | |
| }, | |
| { | |
| "epoch": 8, | |
| "loss": 0.20668963938951493, | |
| "threshold": 0.5, | |
| "accuracy": 0.9379166666666666, | |
| "f1": 0.9394062627084181, | |
| "roc_auc": 0.9854291666666668, | |
| "single_symbol_recall": 0.9133333333333333, | |
| "cross_boundary_recall": 0.9625 | |
| }, | |
| { | |
| "epoch": 9, | |
| "loss": 0.19023580104112625, | |
| "threshold": 0.5, | |
| "accuracy": 0.9345833333333333, | |
| "f1": 0.9374252690314866, | |
| "roc_auc": 0.9880465277777778, | |
| "single_symbol_recall": 0.8891666666666667, | |
| "cross_boundary_recall": 0.98 | |
| }, | |
| { | |
| "epoch": 10, | |
| "loss": 0.1746956154704094, | |
| "threshold": 0.5, | |
| "accuracy": 0.945, | |
| "f1": 0.9465587044534413, | |
| "roc_auc": 0.9898861111111111, | |
| "single_symbol_recall": 0.9158333333333334, | |
| "cross_boundary_recall": 0.9741666666666666 | |
| }, | |
| { | |
| "epoch": 11, | |
| "loss": 0.16461078822612762, | |
| "threshold": 0.5, | |
| "accuracy": 0.9466666666666667, | |
| "f1": 0.9484702093397746, | |
| "roc_auc": 0.9912979166666666, | |
| "single_symbol_recall": 0.9116666666666666, | |
| "cross_boundary_recall": 0.9816666666666667 | |
| }, | |
| { | |
| "epoch": 12, | |
| "loss": 0.15328374207019807, | |
| "threshold": 0.5, | |
| "accuracy": 0.9520833333333333, | |
| "f1": 0.9533468559837728, | |
| "roc_auc": 0.9924458333333332, | |
| "single_symbol_recall": 0.925, | |
| "cross_boundary_recall": 0.9791666666666666 | |
| }, | |
| { | |
| "epoch": 13, | |
| "loss": 0.14506671577692032, | |
| "threshold": 0.5, | |
| "accuracy": 0.9525, | |
| "f1": 0.9539579967689822, | |
| "roc_auc": 0.9933388888888889, | |
| "single_symbol_recall": 0.9208333333333333, | |
| "cross_boundary_recall": 0.9841666666666666 | |
| }, | |
| { | |
| "epoch": 14, | |
| "loss": 0.13347949013113974, | |
| "threshold": 0.5, | |
| "accuracy": 0.9579166666666666, | |
| "f1": 0.9589263928426189, | |
| "roc_auc": 0.9940423611111111, | |
| "single_symbol_recall": 0.9333333333333333, | |
| "cross_boundary_recall": 0.9825 | |
| }, | |
| { | |
| "epoch": 15, | |
| "loss": 0.12868507876992225, | |
| "threshold": 0.5, | |
| "accuracy": 0.9583333333333334, | |
| "f1": 0.9593826157595451, | |
| "roc_auc": 0.9946159722222223, | |
| "single_symbol_recall": 0.9325, | |
| "cross_boundary_recall": 0.9841666666666666 | |
| }, | |
| { | |
| "epoch": 16, | |
| "loss": 0.12530820369720458, | |
| "threshold": 0.5, | |
| "accuracy": 0.9591666666666666, | |
| "f1": 0.9602595296025953, | |
| "roc_auc": 0.9950888888888889, | |
| "single_symbol_recall": 0.9316666666666666, | |
| "cross_boundary_recall": 0.9866666666666667 | |
| }, | |
| { | |
| "epoch": 17, | |
| "loss": 0.11779272481799126, | |
| "threshold": 0.5, | |
| "accuracy": 0.9604166666666667, | |
| "f1": 0.9614291514413317, | |
| "roc_auc": 0.9955541666666667, | |
| "single_symbol_recall": 0.9341666666666667, | |
| "cross_boundary_recall": 0.9866666666666667 | |
| }, | |
| { | |
| "epoch": 18, | |
| "loss": 0.112089092284441, | |
| "threshold": 0.5, | |
| "accuracy": 0.9620833333333333, | |
| "f1": 0.963023161316538, | |
| "roc_auc": 0.9959576388888888, | |
| "single_symbol_recall": 0.9366666666666666, | |
| "cross_boundary_recall": 0.9875 | |
| }, | |
| { | |
| "epoch": 19, | |
| "loss": 0.11090088337659836, | |
| "threshold": 0.5, | |
| "accuracy": 0.9629166666666666, | |
| "f1": 0.9637769637769638, | |
| "roc_auc": 0.9962298611111111, | |
| "single_symbol_recall": 0.9391666666666667, | |
| "cross_boundary_recall": 0.9866666666666667 | |
| }, | |
| { | |
| "epoch": 20, | |
| "loss": 0.10360381305217743, | |
| "threshold": 0.5, | |
| "accuracy": 0.96375, | |
| "f1": 0.9647058823529412, | |
| "roc_auc": 0.9964770833333333, | |
| "single_symbol_recall": 0.9366666666666666, | |
| "cross_boundary_recall": 0.9908333333333333 | |
| } | |
| ], | |
| "non_regression": { | |
| "exact_logit_max_abs": 0.0, | |
| "family_logit_max_abs": 0.0 | |
| }, | |
| "checkpoint": "research\\runs\\math_ink_06_p_boundary_auxiliary_fullsmoke_20260724\\boundary_auxiliary_head.pt", | |
| "checkpoint_sha256": "346daa77c4603debe25a3e14c16f9affd1b83f29a43304ecba6c27fe58fb3a74", | |
| "interpretation_limit": "승인 paired 고립기호를 합성 배치한 boundary proxy smoke이며 실제 연속식 writer/device 제품 gate가 아니다.", | |
| "track": "P_with_obligations", | |
| "product_validation": false | |
| } | |