{
  "T": 1.03979841848149,
  "val_nll": 0.3844288446342489,
  "args": {
    "name": "probe_nc_v3_tap20_wf",
    "backbone": "Qwen/Qwen3-1.7B-Base",
    "lora_layers": 8,
    "lora_r": 16,
    "steps": 12000,
    "bs": 64,
    "lr": 0.0003,
    "lora_lr": 0.0001,
    "seed": 0,
    "no_hybrid": false,
    "no_cand_null": false,
    "no_null": false,
    "null": "factored",
    "hard_only": false,
    "mix": "full",
    "eval_every": 4000,
    "val_every": 1000,
    "ckpt_every": 2000,
    "eval_bs": 128,
    "device": "auto",
    "wandb": false,
    "hf_repo": null,
    "data": "data_probe",
    "extra_data": null,
    "eval_cap": null,
    "family_weights": null,
    "bucket_map": null,
    "smoke": false,
    "eval_limit": 0,
    "tap_layer": 20,
    "zscore": false,
    "eval_only": true,
    "dump_logits": null,
    "tower_d": 512,
    "tower_layers": 2,
    "tower_heads": 8,
    "joint": false,
    "listwise": false,
    "extra_tap": 0,
    "init_from": null,
    "readout": "native",
    "nc_head": "n3",
    "nc_render": "letters_nonull",
    "perm_lambda": 0.0,
    "no_shuffle": false,
    "zero_shot": false,
    "shots": 0,
    "cand_encoder": "backbone",
    "head": "mlp",
    "z_dim": 128,
    "z_probes": 8,
    "tiny_layers": 2,
    "distill_alpha": 1.0,
    "distill_beta": 0.0,
    "distill_T": 2.0,
    "delta_gamma": 0.0
  },
  "eval": {
    "mmlu_choicesonly": {
      "raw": {
        "nll": 2.2140372835626967,
        "brier": 0.8731933106846517,
        "jsd": 0.4800525530271047,
        "acc": 0.22333333333333333,
        "acc_k": 0.22333333333333333,
        "ece": 0.09060597602277995,
        "sel_acc80": 0.24375,
        "coverage": 0.9975,
        "false_abstain": 0.0025,
        "null_recall": "n/a"
      },
      "scaled": {
        "nll": 2.2027042994257227,
        "brier": 0.8707815808273419,
        "jsd": 0.4804888539877334,
        "acc": 0.22333333333333333,
        "acc_k": 0.22333333333333333,
        "ece": 0.08494451654454074,
        "sel_acc80": 0.24375,
        "coverage": 0.9975,
        "false_abstain": 0.0025,
        "null_recall": "n/a"
      }
    },
    "mmlu_pro": {
      "raw": {
        "nll": 1.900452030855777,
        "brier": 0.7831113370273955,
        "jsd": 0.4215778910382713,
        "acc": 0.33,
        "acc_k": 0.3308333333333333,
        "ece": 0.06917534026006857,
        "sel_acc80": 0.3697916666666667,
        "coverage": 0.9941666666666666,
        "false_abstain": 0.005833333333333334,
        "null_recall": "n/a"
      },
      "scaled": {
        "nll": 1.8933466892965118,
        "brier": 0.7815541704992409,
        "jsd": 0.42284726531134265,
        "acc": 0.33,
        "acc_k": 0.3308333333333333,
        "ece": 0.06307571604847909,
        "sel_acc80": 0.3697916666666667,
        "coverage": 0.9941666666666666,
        "false_abstain": 0.005833333333333334,
        "null_recall": "n/a"
      }
    },
    "mmlu_shuffledq": {
      "raw": {
        "nll": 2.40635102023092,
        "brier": 0.92227431248264,
        "jsd": 0.49396211895175013,
        "acc": 0.2075,
        "acc_k": 0.21166666666666667,
        "ece": 0.1442431898104648,
        "sel_acc80": 0.22395833333333334,
        "coverage": 0.9775,
        "false_abstain": 0.0225,
        "null_recall": "n/a"
      },
      "scaled": {
        "nll": 2.3869170155851944,
        "brier": 0.9183096395248436,
        "jsd": 0.4940199949436655,
        "acc": 0.2075,
        "acc_k": 0.21166666666666667,
        "ece": 0.1356223477423191,
        "sel_acc80": 0.22395833333333334,
        "coverage": 0.9775,
        "false_abstain": 0.0225,
        "null_recall": "n/a"
      }
    }
  }
}