{ "experiment": "P-MATH-INK-06-BOUNDARY-AUXILIARY-SMOKE-001", "generated_at": "2026-07-23T19:10:12.626228+00:00", "device": "cpu", "cuda_device": null, "base_model_version": "aiflow-math-ink-0.6-federated-online1", "adapter_model_version": "aiflow-math-ink-0.6-skeleton-adapter1", "training_samples": 2400, "validation_samples": 2400, "selected": { "epoch": 20, "loss": 0.10360381305217743, "threshold": 0.5, "accuracy": 0.96375, "f1": 0.9647058823529412, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.9366666666666666, "cross_boundary_recall": 0.9908333333333333 }, "threshold_selection": { "threshold": 0.7, "accuracy": 0.9733333333333334, "f1": 0.9733555370524563, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.9725, "cross_boundary_recall": 0.9741666666666666, "recall_gate_passed": true }, "threshold_trials": [ { "threshold": 0.05, "accuracy": 0.8, "f1": 0.8333333333333334, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.6, "cross_boundary_recall": 1.0 }, { "threshold": 0.075, "accuracy": 0.83625, "f1": 0.8591902543891079, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.6733333333333333, "cross_boundary_recall": 0.9991666666666666 }, { "threshold": 0.1, "accuracy": 0.8658333333333333, "f1": 0.8816176470588235, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.7325, "cross_boundary_recall": 0.9991666666666666 }, { "threshold": 0.125, "accuracy": 0.8854166666666666, "f1": 0.8970423062523399, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.7725, "cross_boundary_recall": 0.9983333333333333 }, { "threshold": 0.15, "accuracy": 0.8954166666666666, "f1": 0.9049602423324499, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.795, "cross_boundary_recall": 0.9958333333333333 }, { "threshold": 0.175, "accuracy": 0.9075, "f1": 0.9150076569678407, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.8191666666666667, "cross_boundary_recall": 0.9958333333333333 }, { "threshold": 0.2, "accuracy": 0.9158333333333334, "f1": 0.9220679012345679, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.8358333333333333, "cross_boundary_recall": 0.9958333333333333 }, { "threshold": 0.22499999999999998, "accuracy": 0.9216666666666666, "f1": 0.9270186335403726, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.8483333333333334, "cross_boundary_recall": 0.995 }, { "threshold": 0.25, "accuracy": 0.9270833333333334, "f1": 0.9317206398751463, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.8591666666666666, "cross_boundary_recall": 0.995 }, { "threshold": 0.27499999999999997, "accuracy": 0.935, "f1": 0.9386792452830188, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.875, "cross_boundary_recall": 0.995 }, { "threshold": 0.3, "accuracy": 0.9395833333333333, "f1": 0.942755625740229, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.8841666666666667, "cross_boundary_recall": 0.995 }, { "threshold": 0.32499999999999996, "accuracy": 0.9433333333333334, "f1": 0.9460745440126883, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.8925, "cross_boundary_recall": 0.9941666666666666 }, { "threshold": 0.35, "accuracy": 0.94625, "f1": 0.94866693195384, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.8991666666666667, "cross_boundary_recall": 0.9933333333333333 }, { "threshold": 0.37499999999999994, "accuracy": 0.9516666666666667, "f1": 0.9536, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.91, "cross_boundary_recall": 0.9933333333333333 }, { "threshold": 0.39999999999999997, "accuracy": 0.9545833333333333, "f1": 0.9562775772162053, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.9158333333333334, "cross_boundary_recall": 0.9933333333333333 }, { "threshold": 0.42499999999999993, "accuracy": 0.95625, "f1": 0.9578143832864604, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.9191666666666667, "cross_boundary_recall": 0.9933333333333333 }, { "threshold": 0.44999999999999996, "accuracy": 0.9583333333333334, "f1": 0.9597423510466989, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.9233333333333333, "cross_boundary_recall": 0.9933333333333333 }, { "threshold": 0.475, "accuracy": 0.9616666666666667, "f1": 0.9628132578819725, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.9308333333333333, "cross_boundary_recall": 0.9925 }, { "threshold": 0.49999999999999994, "accuracy": 0.96375, "f1": 0.9647058823529412, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.9366666666666666, "cross_boundary_recall": 0.9908333333333333 }, { "threshold": 0.525, "accuracy": 0.9641666666666666, "f1": 0.9650406504065041, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.9391666666666667, "cross_boundary_recall": 0.9891666666666666 }, { "threshold": 0.5499999999999999, "accuracy": 0.9645833333333333, "f1": 0.9653202774377805, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.9433333333333334, "cross_boundary_recall": 0.9858333333333333 }, { "threshold": 0.575, "accuracy": 0.9670833333333333, "f1": 0.9676891615541923, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.9483333333333334, "cross_boundary_recall": 0.9858333333333333 }, { "threshold": 0.6, "accuracy": 0.9691666666666666, "f1": 0.9696223316912972, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.9541666666666667, "cross_boundary_recall": 0.9841666666666666 }, { "threshold": 0.625, "accuracy": 0.97, "f1": 0.9702970297029703, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.96, "cross_boundary_recall": 0.98 }, { "threshold": 0.65, "accuracy": 0.97, "f1": 0.9702233250620348, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.9625, "cross_boundary_recall": 0.9775 }, { "threshold": 0.675, "accuracy": 0.9720833333333333, "f1": 0.972210700953961, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.9675, "cross_boundary_recall": 0.9766666666666667 }, { "threshold": 0.7, "accuracy": 0.9733333333333334, "f1": 0.9733555370524563, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.9725, "cross_boundary_recall": 0.9741666666666666 }, { "threshold": 0.725, "accuracy": 0.9733333333333334, "f1": 0.9731993299832495, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.9783333333333334, "cross_boundary_recall": 0.9683333333333334 }, { "threshold": 0.75, "accuracy": 0.97125, "f1": 0.9709228824273072, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.9825, "cross_boundary_recall": 0.96 }, { "threshold": 0.775, "accuracy": 0.97, "f1": 0.9695173581710415, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.9858333333333333, "cross_boundary_recall": 0.9541666666666667 }, { "threshold": 0.7999999999999999, "accuracy": 0.96625, "f1": 0.9654289372599232, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.99, "cross_boundary_recall": 0.9425 }, { "threshold": 0.825, "accuracy": 0.9616666666666667, "f1": 0.9605488850771869, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.99, "cross_boundary_recall": 0.9333333333333333 }, { "threshold": 0.85, "accuracy": 0.9558333333333333, "f1": 0.9541522491349481, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.9925, "cross_boundary_recall": 0.9191666666666667 }, { "threshold": 0.875, "accuracy": 0.9491666666666667, "f1": 0.9467248908296944, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.995, "cross_boundary_recall": 0.9033333333333333 }, { "threshold": 0.9, "accuracy": 0.935, "f1": 0.9307282415630551, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.9966666666666667, "cross_boundary_recall": 0.8733333333333333 }, { "threshold": 0.9249999999999999, "accuracy": 0.9091666666666667, "f1": 0.9002744739249772, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.9983333333333333, "cross_boundary_recall": 0.82 }, { "threshold": 0.95, "accuracy": 0.8670833333333333, "f1": 0.8468554968795007, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.9991666666666666, "cross_boundary_recall": 0.735 } ], "paired_test": { "threshold": 0.7, "accuracy": 0.9745833333333334, "f1": 0.9747202652300041, "roc_auc": 0.9961590277777778, "single_symbol_recall": 0.9691666666666666, "cross_boundary_recall": 0.98 }, "history": [ { "epoch": 1, "loss": 0.7434914708137512, "threshold": 0.5, "accuracy": 0.7, "f1": 0.7383720930232558, "roc_auc": 0.7528013888888889, "single_symbol_recall": 0.5533333333333333, "cross_boundary_recall": 0.8466666666666667 }, { "epoch": 2, "loss": 0.5346148610115051, "threshold": 0.5, "accuracy": 0.7941666666666667, "f1": 0.7879828326180257, "roc_auc": 0.8815125, "single_symbol_recall": 0.8233333333333334, "cross_boundary_recall": 0.765 }, { "epoch": 3, "loss": 0.40928400456905367, "threshold": 0.5, "accuracy": 0.8520833333333333, "f1": 0.864244741873805, "roc_auc": 0.9366020833333334, "single_symbol_recall": 0.7625, "cross_boundary_recall": 0.9416666666666667 }, { "epoch": 4, "loss": 0.3337248772382736, "threshold": 0.5, "accuracy": 0.8808333333333334, "f1": 0.8841166936790924, "roc_auc": 0.9565666666666667, "single_symbol_recall": 0.8525, "cross_boundary_recall": 0.9091666666666667 }, { "epoch": 5, "loss": 0.2832861453294754, "threshold": 0.5, "accuracy": 0.895, "f1": 0.9015625, "roc_auc": 0.9688583333333334, "single_symbol_recall": 0.8283333333333334, "cross_boundary_recall": 0.9616666666666667 }, { "epoch": 6, "loss": 0.25244007259607315, "threshold": 0.5, "accuracy": 0.9154166666666667, "f1": 0.9177804779262859, "roc_auc": 0.9762722222222222, "single_symbol_recall": 0.8866666666666667, "cross_boundary_recall": 0.9441666666666667 }, { "epoch": 7, "loss": 0.22564193457365037, "threshold": 0.5, "accuracy": 0.9166666666666666, "f1": 0.9211977935382191, "roc_auc": 0.9816902777777778, "single_symbol_recall": 0.8591666666666666, "cross_boundary_recall": 0.9741666666666666 }, { "epoch": 8, "loss": 0.20668963938951493, "threshold": 0.5, "accuracy": 0.9379166666666666, "f1": 0.9394062627084181, "roc_auc": 0.9854291666666668, "single_symbol_recall": 0.9133333333333333, "cross_boundary_recall": 0.9625 }, { "epoch": 9, "loss": 0.19023580104112625, "threshold": 0.5, "accuracy": 0.9345833333333333, "f1": 0.9374252690314866, "roc_auc": 0.9880465277777778, "single_symbol_recall": 0.8891666666666667, "cross_boundary_recall": 0.98 }, { "epoch": 10, "loss": 0.1746956154704094, "threshold": 0.5, "accuracy": 0.945, "f1": 0.9465587044534413, "roc_auc": 0.9898861111111111, "single_symbol_recall": 0.9158333333333334, "cross_boundary_recall": 0.9741666666666666 }, { "epoch": 11, "loss": 0.16461078822612762, "threshold": 0.5, "accuracy": 0.9466666666666667, "f1": 0.9484702093397746, "roc_auc": 0.9912979166666666, "single_symbol_recall": 0.9116666666666666, "cross_boundary_recall": 0.9816666666666667 }, { "epoch": 12, "loss": 0.15328374207019807, "threshold": 0.5, "accuracy": 0.9520833333333333, "f1": 0.9533468559837728, "roc_auc": 0.9924458333333332, "single_symbol_recall": 0.925, "cross_boundary_recall": 0.9791666666666666 }, { "epoch": 13, "loss": 0.14506671577692032, "threshold": 0.5, "accuracy": 0.9525, "f1": 0.9539579967689822, "roc_auc": 0.9933388888888889, "single_symbol_recall": 0.9208333333333333, "cross_boundary_recall": 0.9841666666666666 }, { "epoch": 14, "loss": 0.13347949013113974, "threshold": 0.5, "accuracy": 0.9579166666666666, "f1": 0.9589263928426189, "roc_auc": 0.9940423611111111, "single_symbol_recall": 0.9333333333333333, "cross_boundary_recall": 0.9825 }, { "epoch": 15, "loss": 0.12868507876992225, "threshold": 0.5, "accuracy": 0.9583333333333334, "f1": 0.9593826157595451, "roc_auc": 0.9946159722222223, "single_symbol_recall": 0.9325, "cross_boundary_recall": 0.9841666666666666 }, { "epoch": 16, "loss": 0.12530820369720458, "threshold": 0.5, "accuracy": 0.9591666666666666, "f1": 0.9602595296025953, "roc_auc": 0.9950888888888889, "single_symbol_recall": 0.9316666666666666, "cross_boundary_recall": 0.9866666666666667 }, { "epoch": 17, "loss": 0.11779272481799126, "threshold": 0.5, "accuracy": 0.9604166666666667, "f1": 0.9614291514413317, "roc_auc": 0.9955541666666667, "single_symbol_recall": 0.9341666666666667, "cross_boundary_recall": 0.9866666666666667 }, { "epoch": 18, "loss": 0.112089092284441, "threshold": 0.5, "accuracy": 0.9620833333333333, "f1": 0.963023161316538, "roc_auc": 0.9959576388888888, "single_symbol_recall": 0.9366666666666666, "cross_boundary_recall": 0.9875 }, { "epoch": 19, "loss": 0.11090088337659836, "threshold": 0.5, "accuracy": 0.9629166666666666, "f1": 0.9637769637769638, "roc_auc": 0.9962298611111111, "single_symbol_recall": 0.9391666666666667, "cross_boundary_recall": 0.9866666666666667 }, { "epoch": 20, "loss": 0.10360381305217743, "threshold": 0.5, "accuracy": 0.96375, "f1": 0.9647058823529412, "roc_auc": 0.9964770833333333, "single_symbol_recall": 0.9366666666666666, "cross_boundary_recall": 0.9908333333333333 } ], "non_regression": { "exact_logit_max_abs": 0.0, "family_logit_max_abs": 0.0 }, "checkpoint": "research\\runs\\math_ink_06_p_boundary_auxiliary_fullsmoke_20260724\\boundary_auxiliary_head.pt", "checkpoint_sha256": "346daa77c4603debe25a3e14c16f9affd1b83f29a43304ecba6c27fe58fb3a74", "interpretation_limit": "승인 paired 고립기호를 합성 배치한 boundary proxy smoke이며 실제 연속식 writer/device 제품 gate가 아니다.", "track": "P_with_obligations", "product_validation": false }