results/coherence.json

{
 "label": "smollm3-apo-sup-s0-save",
 "families": 4749,
 "families_missing": 0,
 "theorem_violations": 0,
 "macro": {
  "d2_mean": 0.2919306388122165,
  "frac_d2_gt_0.01": 0.9641855705270341,
  "d2_per_prob": 0.04631771413798338,
  "auroc_err_d2": 0.4417867671385194,
  "auroc_err_conf": 0.7436153871495875,
  "acc": [
   0.7094587526294843,
   0.6824225368127806,
   0.7177161862527716,
   0.7094587526294843,
   0.7177161862527716,
   0.6881897777019729,
   0.6881897777019729
  ],
  "ece": [
   0.09755297864755047,
   0.1624054919947579,
   0.1025352836703619,
   0.10032608934682302,
   0.0911876050577928,
   0.09659570180983867,
   0.0962576375982951
  ],
  "brier": [
   0.35830666679750484,
   0.3872560100524257,
   0.3498536235207467,
   0.3601951477293446,
   0.3461694648258194,
   0.372942971219632,
   0.3808413571226344
  ],
  "nll": [
   0.7768490681361389,
   1.081330903591425,
   0.7107836282952441,
   0.78685384810004,
   0.6999524948583423,
   0.9731789199734895,
   0.8220005555873744
  ],
  "columns": [
   "model",
   "uniform projection",
   "weighted projection",
   "model + T",
   "weighted projection + T",
   "self-weighted (label-free)",
   "self-weighted + T"
  ],
  "lambda": {
   "choice/fit_on_fold0": 2.0,
   "choice/fit_on_fold1": 2.0,
   "score/fit_on_fold0": "inf",
   "score/fit_on_fold1": "inf",
   "noul/fit_on_fold0": "inf",
   "noul/fit_on_fold1": 64.0
  },
  "self_weights": {
   "choice": {
    "primary": 1.0,
    "opt": 0.075
   },
   "score": {
    "primary": 1.0,
    "thr": 0.653
   },
   "noul": {
    "primary": 1.0,
    "neg": 0.022,
    "tf": 0.975
   }
  },
  "temperature": {
   "model": {
    "choice/fit_on_fold0": 1.175,
    "choice/fit_on_fold1": 1.175,
    "score/fit_on_fold0": 1.0,
    "score/fit_on_fold1": 1.0,
    "noul/fit_on_fold0": 0.923,
    "noul/fit_on_fold1": 1.084
   },
   "weighted": {
    "choice/fit_on_fold0": 0.851,
    "choice/fit_on_fold1": 0.851,
    "score/fit_on_fold0": 1.0,
    "score/fit_on_fold1": 1.0,
    "noul/fit_on_fold0": 0.851,
    "noul/fit_on_fold1": 1.084
   },
   "self": {
    "choice/fit_on_fold0": 1.084,
    "choice/fit_on_fold1": 1.084,
    "score/fit_on_fold0": 3.344,
    "score/fit_on_fold1": 2.627,
    "noul/fit_on_fold0": 1.0,
    "noul/fit_on_fold1": 1.084
   }
  }
 },
 "per_source": {
  "arc_challenge": {
   "n": 150,
   "primitive": "choice",
   "d2_mean": 0.3568967599232094,
   "d2_median": 0.2549762517549561,
   "frac_d2_gt_0.01": 1.0,
   "d2_per_prob": 0.044659061770165744,
   "acc": [
    0.7733333333333333,
    0.7666666666666667,
    0.7733333333333333,
    0.7733333333333333,
    0.7733333333333333,
    0.7733333333333333,
    0.7733333333333333
   ],
   "ece": [
    0.08846000000000004,
    0.1832672046546937,
    0.13287859819208406,
    0.08959930097386512,
    0.1110611266001663,
    0.09084940359196725,
    0.09455023901564148
   ],
   "brier": [
    0.3106499918666667,
    0.37361056745120985,
    0.34029764005528884,
    0.3165484865466758,
    0.32307950608825736,
    0.3127708005484677,
    0.31677554415049797
   ],
   "nll": [
    0.5960180497239188,
    0.7283175737337723,
    0.6660283834798942,
    0.6120910804085944,
    0.6270369979534178,
    0.5987258469269828,
    0.6106782311343028
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.42697768762677485,
   "auroc_err_conf": 0.7969066937119675
  },
  "banking77": {
   "n": 150,
   "primitive": "choice",
   "d2_mean": 0.17003559875593666,
   "d2_median": 0.11778992853474157,
   "frac_d2_gt_0.01": 0.9866666666666667,
   "d2_per_prob": 0.0020992049229127986,
   "acc": [
    0.7333333333333333,
    0.8,
    0.7533333333333333,
    0.7333333333333333,
    0.7533333333333333,
    0.7333333333333333,
    0.7333333333333333
   ],
   "ece": [
    0.09370933333333334,
    0.11785086877673615,
    0.06615958911595464,
    0.10811425146884897,
    0.09042356342712715,
    0.07012448115951264,
    0.0740428577745477
   ],
   "brier": [
    0.4054491065333333,
    0.32246761252990824,
    0.3464569031425645,
    0.40499131014802064,
    0.3426038439776582,
    0.3910315672292299,
    0.39053193406376474
   ],
   "nll": [
    1.1762442950018017,
    0.668387572031322,
    0.7102088660234044,
    1.173442490605611,
    0.6911288202815772,
    0.88811059187572,
    0.8943063630318621
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.6954545454545454,
   "auroc_err_conf": 0.7838636363636363
  },
  "boolq": {
   "n": 150,
   "primitive": "noul",
   "d2_mean": 0.31414968146731537,
   "d2_median": 0.28372800341375404,
   "frac_d2_gt_0.01": 1.0,
   "d2_per_prob": 0.07853742036682884,
   "acc": [
    0.8666666666666667,
    0.8666666666666667,
    0.8666666666666667,
    0.8666666666666667,
    0.8666666666666667,
    0.8666666666666667,
    0.8666666666666667
   ],
   "ece": [
    0.07503003283390212,
    0.1509567653949775,
    0.07651174577231781,
    0.05373388226221405,
    0.060292392486248354,
    0.052902351787326,
    0.03950162779995595
   ],
   "brier": [
    0.1040612955389067,
    0.12588768670423425,
    0.10417654094820424,
    0.1048568861051757,
    0.1054342348904738,
    0.10336110823668697,
    0.10386045637425795
   ],
   "nll": [
    0.3411075622837767,
    0.4241842857660925,
    0.3427565215426027,
    0.34478889687303793,
    0.34972636607796825,
    0.33845372125050616,
    0.33997805447008084
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.2519230769230769,
   "auroc_err_conf": 0.7621153846153846
  },
  "chaosnli": {
   "n": 1599,
   "primitive": "choice",
   "d2_mean": 0.42127344414592455,
   "d2_median": 0.2734391572743565,
   "frac_d2_gt_0.01": 0.9987492182614134,
   "d2_per_prob": 0.07021224069098743,
   "acc": [
    0.6147592245153221,
    0.6066291432145091,
    0.6097560975609756,
    0.6147592245153221,
    0.6097560975609756,
    0.6135084427767354,
    0.6135084427767354
   ],
   "ece": [
    0.17025928705440901,
    0.06150499765588062,
    0.05626272877719495,
    0.13694864375692054,
    0.08773189942666305,
    0.14429722100621972,
    0.12511141992355657
   ],
   "brier": [
    0.5448030446904316,
    0.5111046601274711,
    0.5068681255466038,
    0.5261617144823958,
    0.5150539208821723,
    0.5317429888099579,
    0.5228236371577443
   ],
   "nll": [
    0.938676844528101,
    0.8600618882715751,
    0.8466743898830956,
    0.8820395301346963,
    0.8572269749264887,
    0.8897041756735578,
    0.8690794120844354
   ],
   "tvd_human": [
    0.30702514071294557,
    0.24890451240751119,
    0.25174533552399614,
    0.2859710805398957,
    0.263385894100665,
    0.2890224949424118,
    0.2783650561856186
   ],
   "auroc_err_d2": 0.320834048962228,
   "auroc_err_conf": 0.6586020795074712
  },
  "civil_comments": {
   "n": 150,
   "primitive": "noul",
   "d2_mean": 0.3965310833626313,
   "d2_median": 0.444968940694815,
   "frac_d2_gt_0.01": 1.0,
   "d2_per_prob": 0.09913277084065783,
   "acc": [
    0.92,
    0.9333333333333333,
    0.92,
    0.92,
    0.92,
    0.9333333333333333,
    0.9333333333333333
   ],
   "ece": [
    0.05161378236420041,
    0.2115526761888786,
    0.05129285495493844,
    0.03716378282625786,
    0.04218098069377995,
    0.04532689513902365,
    0.05148437570104926
   ],
   "brier": [
    0.06166019316751289,
    0.10486432228121186,
    0.062272774171265914,
    0.06258723384073724,
    0.06398304985752963,
    0.06419699072496435,
    0.0649064180669348
   ],
   "nll": [
    0.21042732240977258,
    0.3788049618978594,
    0.21617368278848603,
    0.21706918645839685,
    0.22746770737982858,
    0.22946318298467427,
    0.23342620519539872
   ],
   "tvd_human": [
    0.11589410741591569,
    0.2144380830001873,
    0.11795195452577525,
    0.11527344862436088,
    0.11697174073136987,
    0.12064933451928347,
    0.12180758744585019
   ],
   "auroc_err_d2": 0.12198067632850242,
   "auroc_err_conf": 0.8722826086956522
  },
  "clinc150": {
   "n": 150,
   "primitive": "choice",
   "d2_mean": 0.14631430620567337,
   "d2_median": 0.10222654820652982,
   "frac_d2_gt_0.01": 0.9733333333333334,
   "d2_per_prob": 0.0009439632658430538,
   "acc": [
    0.8133333333333334,
    0.8533333333333334,
    0.84,
    0.8133333333333334,
    0.84,
    0.8133333333333334,
    0.8133333333333334
   ],
   "ece": [
    0.11253066666666667,
    0.20738307681461432,
    0.16503239985115073,
    0.1783148401388789,
    0.1113664571919543,
    0.11791334537741197,
    0.13155767893238982
   ],
   "brier": [
    0.3112834036,
    0.2949649434865974,
    0.2931936144857712,
    0.3381429228846078,
    0.26996259009911283,
    0.3043585789925994,
    0.31610709266735965
   ],
   "nll": [
    0.8649831011095066,
    0.6346308034286449,
    0.6401548643195878,
    0.9700977888431768,
    0.5702304168411221,
    0.7213905396990775,
    0.7694542807513373
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.5734777517564403,
   "auroc_err_conf": 0.7857142857142857
  },
  "fever_evidence": {
   "n": 150,
   "primitive": "noul",
   "d2_mean": 0.24881688239687502,
   "d2_median": 0.21239871965740634,
   "frac_d2_gt_0.01": 0.9933333333333333,
   "d2_per_prob": 0.062204220599218756,
   "acc": [
    0.92,
    0.92,
    0.92,
    0.92,
    0.92,
    0.9333333333333333,
    0.9333333333333333
   ],
   "ece": [
    0.04728956304345714,
    0.1304555783185834,
    0.048741283508335884,
    0.06168574331348507,
    0.0624796672179026,
    0.045251904839148344,
    0.03575698169717066
   ],
   "brier": [
    0.06437620596100846,
    0.08576242944191835,
    0.06449925418674586,
    0.06423462985815223,
    0.06429334045201697,
    0.062422622772809785,
    0.06242117716824755
   ],
   "nll": [
    0.22520012013380836,
    0.3245451666343819,
    0.22737913897614911,
    0.22335209100769646,
    0.22427668004062834,
    0.23209061608650539,
    0.22997554237507672
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.2252415458937198,
   "auroc_err_conf": 0.8526570048309179
  },
  "go_emotions": {
   "n": 150,
   "primitive": "choice",
   "d2_mean": 0.18151472892811918,
   "d2_median": 0.09731487173791271,
   "frac_d2_gt_0.01": 1.0,
   "d2_per_prob": 0.005672335279003724,
   "acc": [
    0.5066666666666667,
    0.5866666666666667,
    0.5666666666666667,
    0.5066666666666667,
    0.5666666666666667,
    0.52,
    0.52
   ],
   "ece": [
    0.09841533333333334,
    0.1282025980869724,
    0.1043215147807029,
    0.0883100805527466,
    0.10088077391568673,
    0.06910900017301219,
    0.0681523174601167
   ],
   "brier": [
    0.6752889752000001,
    0.5711567762029957,
    0.6001486014757637,
    0.6741592677545128,
    0.5985405650931835,
    0.6566717087276663,
    0.6556327910011805
   ],
   "nll": [
    1.6549927227152257,
    1.1307778757186684,
    1.2191632807287094,
    1.686560349166689,
    1.1907885160420615,
    1.4889886142835635,
    1.5057041178322474
   ],
   "tvd_human": [
    0.5548315661375661,
    0.5234969499181861,
    0.526600515289618,
    0.583859167314162,
    0.507086236423936,
    0.5455655300941739,
    0.5581323740602716
   ],
   "auroc_err_d2": 0.652027027027027,
   "auroc_err_conf": 0.6483819345661451
  },
  "helpsteer2_helpfulness": {
   "n": 150,
   "primitive": "score",
   "d2_mean": 0.2062033677960926,
   "d2_median": 0.20093200404077366,
   "frac_d2_gt_0.01": 1.0,
   "d2_per_prob": 0.022911485310676955,
   "acc": [
    0.38666666666666666,
    0.3933333333333333,
    0.38666666666666666,
    0.38666666666666666,
    0.38666666666666666,
    0.3933333333333333,
    0.3933333333333333
   ],
   "ece": [
    0.06864466666666665,
    0.18023548280482102,
    0.06864466666666665,
    0.06864466666666663,
    0.06864466666666663,
    0.14849359205139548,
    0.08690331947249058
   ],
   "brier": [
    0.7080385638666666,
    0.7697102216965004,
    0.7080385638666666,
    0.7080385638666666,
    0.7080385638666666,
    0.7406886468769397,
    0.7363807626448988
   ],
   "nll": [
    1.3808906523806412,
    2.2013846725687443,
    1.3808906523806412,
    1.3808906523806412,
    1.3808906523806412,
    1.444783735980294,
    1.4476601143648566
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.5513493253373314,
   "auroc_err_conf": 0.5706521739130435
  },
  "helpsteer2_verbosity": {
   "n": 150,
   "primitive": "score",
   "d2_mean": 0.4514467186284836,
   "d2_median": 0.4764912605049194,
   "frac_d2_gt_0.01": 1.0,
   "d2_per_prob": 0.050160746514275975,
   "acc": [
    0.5733333333333334,
    0.06,
    0.5733333333333334,
    0.5733333333333334,
    0.5733333333333334,
    0.29333333333333333,
    0.29333333333333333
   ],
   "ece": [
    0.06685599999999994,
    0.39337278610838833,
    0.06685599999999994,
    0.06685599999999987,
    0.06685599999999987,
    0.12317769933102357,
    0.039714073876515314
   ],
   "brier": [
    0.5811763390666668,
    0.8564665123177168,
    0.5811763390666668,
    0.5811763390666665,
    0.5811763390666665,
    0.7659632998706619,
    0.7625979488249675
   ],
   "nll": [
    1.121620466802714,
    3.1078029411179773,
    1.121620466802714,
    1.121620466802714,
    1.121620466802714,
    2.3348018431074458,
    1.5767647024257403
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.38444767441860467,
   "auroc_err_conf": 0.6316315406976745
  },
  "ledgar": {
   "n": 150,
   "primitive": "choice",
   "d2_mean": 0.3539381970734119,
   "d2_median": 0.27811160452971234,
   "frac_d2_gt_0.01": 0.96,
   "d2_per_prob": 0.0034032518949366534,
   "acc": [
    0.84,
    0.9266666666666666,
    0.8866666666666667,
    0.84,
    0.8866666666666667,
    0.8533333333333334,
    0.8533333333333334
   ],
   "ece": [
    0.103796,
    0.19925044921455465,
    0.1460651445427516,
    0.16462837199712801,
    0.10498753306428177,
    0.10403238948279786,
    0.11359306655157743
   ],
   "brier": [
    0.2593696492,
    0.18420583318529407,
    0.19921500652625718,
    0.2836773778321559,
    0.18190253936915882,
    0.24248362077257668,
    0.25093180311746344
   ],
   "nll": [
    0.702346042031833,
    0.3864640835319297,
    0.41311791373826046,
    0.7838750462082261,
    0.3680860616310255,
    0.5278558557287159,
    0.5571439731693234
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.7463624338624338,
   "auroc_err_conf": 0.8169642857142857
  },
  "massive": {
   "n": 150,
   "primitive": "choice",
   "d2_mean": 0.12076395679807655,
   "d2_median": 0.07853546345671333,
   "frac_d2_gt_0.01": 0.9466666666666667,
   "d2_per_prob": 0.0018869368249699462,
   "acc": [
    0.8466666666666667,
    0.8466666666666667,
    0.86,
    0.8466666666666667,
    0.86,
    0.8466666666666667,
    0.8466666666666667
   ],
   "ece": [
    0.09395600000000012,
    0.15350009759906083,
    0.1345104412545798,
    0.1211595345961242,
    0.086879632962878,
    0.09778900140219418,
    0.12349489288642393
   ],
   "brier": [
    0.23810454186666666,
    0.2570540585697601,
    0.24333122816523495,
    0.24709063256379665,
    0.2294300885292246,
    0.23646266153342793,
    0.24103474396243452
   ],
   "nll": [
    0.6357753572629959,
    0.5703203459814804,
    0.5463860391268048,
    0.6834664900596692,
    0.49270459095273245,
    0.5610046624830193,
    0.5868639944231078
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.5070181444710715,
   "auroc_err_conf": 0.8675111263266004
  },
  "measuring_hate_speech": {
   "n": 150,
   "primitive": "score",
   "d2_mean": 0.022961384365661596,
   "d2_median": 0.013122756423830012,
   "frac_d2_gt_0.01": 0.56,
   "d2_per_prob": 0.004592276873132319,
   "acc": [
    0.6533333333333333,
    0.66,
    0.6533333333333333,
    0.6533333333333333,
    0.6533333333333333,
    0.66,
    0.66
   ],
   "ece": [
    0.15448266666666668,
    0.11946546496439744,
    0.15448266666666668,
    0.15448266666666668,
    0.15448266666666668,
    0.11968238846468648,
    0.1543975323394865
   ],
   "brier": [
    0.5221879488,
    0.47927498493039744,
    0.5221879488,
    0.5221879488,
    0.5221879488,
    0.48810949447138313,
    0.5151110064007114
   ],
   "nll": [
    0.9187247034091622,
    0.9505616427370023,
    0.9187247034091622,
    0.9187247034091622,
    0.9187247034091622,
    0.9715792375702396,
    0.87667181757623
   ],
   "tvd_human": [
    0.3633262222222223,
    0.3413383240362114,
    0.3633262222222223,
    0.3633262222222223,
    0.3633262222222223,
    0.3464734472948839,
    0.4198833826640827
   ],
   "auroc_err_d2": 0.6699372056514914,
   "auroc_err_conf": 0.5985086342229199
  },
  "mmlu": {
   "n": 150,
   "primitive": "choice",
   "d2_mean": 0.37504706939350657,
   "d2_median": 0.33023397455294146,
   "frac_d2_gt_0.01": 1.0,
   "d2_per_prob": 0.04688088367418832,
   "acc": [
    0.5333333333333333,
    0.5666666666666667,
    0.5533333333333333,
    0.5333333333333333,
    0.5533333333333333,
    0.54,
    0.54
   ],
   "ece": [
    0.14161466666666672,
    0.1051764419285582,
    0.1135674298907359,
    0.12827179944209433,
    0.10354279569389407,
    0.118952215362714,
    0.11800321558785207
   ],
   "brier": [
    0.5261805368,
    0.5384449769308649,
    0.5244131170575799,
    0.5201289634378852,
    0.5215513037872161,
    0.5225177577342446,
    0.5201867267573694
   ],
   "nll": [
    0.9999628436992737,
    1.0165437815133957,
    0.9895267340547726,
    0.9846089880312695,
    0.9811361440259327,
    0.982241390849497,
    0.9785548170267206
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.4432142857142857,
   "auroc_err_conf": 0.8419642857142857
  },
  "mnli": {
   "n": 150,
   "primitive": "choice",
   "d2_mean": 0.592326152970578,
   "d2_median": 0.343116730031045,
   "frac_d2_gt_0.01": 1.0,
   "d2_per_prob": 0.09872102549509634,
   "acc": [
    0.8333333333333334,
    0.82,
    0.8266666666666667,
    0.8333333333333334,
    0.8266666666666667,
    0.8333333333333334,
    0.8333333333333334
   ],
   "ece": [
    0.07389066666666677,
    0.20355613771317518,
    0.15935330350355784,
    0.062448492266650446,
    0.08431691289150685,
    0.07160562781724608,
    0.0883841978381242
   ],
   "brier": [
    0.2463841761333333,
    0.3207551005203927,
    0.2766942659971355,
    0.2455192810552666,
    0.2612734207459351,
    0.2463498022144681,
    0.24727254110140848
   ],
   "nll": [
    0.463305726552854,
    0.6046017272348095,
    0.5297719134435785,
    0.45580645596116987,
    0.4981049458793417,
    0.455569612372209,
    0.4592075458919746
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.42464,
   "auroc_err_conf": 0.78192
  },
  "paws": {
   "n": 150,
   "primitive": "noul",
   "d2_mean": 0.40228934015933226,
   "d2_median": 0.4532494983891361,
   "frac_d2_gt_0.01": 0.9866666666666667,
   "d2_per_prob": 0.10057233503983307,
   "acc": [
    0.8333333333333334,
    0.8466666666666667,
    0.84,
    0.8333333333333334,
    0.84,
    0.8466666666666667,
    0.8466666666666667
   ],
   "ece": [
    0.06950670338100773,
    0.14075298251088933,
    0.07472560898409979,
    0.053156339024457974,
    0.04010006580866108,
    0.06845304011196966,
    0.08601869319410933
   ],
   "brier": [
    0.11545512496659735,
    0.13895519534612866,
    0.11523700771136826,
    0.11470021302869728,
    0.11457418673164696,
    0.11707730311423721,
    0.11644489833385797
   ],
   "nll": [
    0.36533050641565123,
    0.4555619817369052,
    0.3668821688388987,
    0.3661828390997591,
    0.3718280605871171,
    0.3779444744678942,
    0.3757310339361357
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.21984,
   "auroc_err_conf": 0.80816
  },
  "sms_spam": {
   "n": 150,
   "primitive": "noul",
   "d2_mean": 0.5863837555128121,
   "d2_median": 0.6120747378797986,
   "frac_d2_gt_0.01": 1.0,
   "d2_per_prob": 0.14659593887820302,
   "acc": [
    0.9733333333333334,
    0.9733333333333334,
    0.9733333333333334,
    0.9733333333333334,
    0.9733333333333334,
    0.9666666666666667,
    0.9666666666666667
   ],
   "ece": [
    0.018458534124022926,
    0.25659742802296176,
    0.015852651088719576,
    0.018109292707188043,
    0.01621899225596395,
    0.05355442348725255,
    0.05938391491764207
   ],
   "brier": [
    0.022677680164071946,
    0.09155523052859126,
    0.022736079344718652,
    0.022511437085959336,
    0.02280737832620476,
    0.027051154208272917,
    0.027834887739615545
   ],
   "nll": [
    0.09559288906843869,
    0.3548505578192996,
    0.1030033315519021,
    0.09972146023812098,
    0.11405463400981707,
    0.12677539782248856,
    0.13226787879658336
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.19006849315068494,
   "auroc_err_conf": 0.8253424657534246
  },
  "sst5": {
   "n": 150,
   "primitive": "score",
   "d2_mean": 0.25478841702746263,
   "d2_median": 0.23659225529419137,
   "frac_d2_gt_0.01": 0.98,
   "d2_per_prob": 0.02830982411416251,
   "acc": [
    0.5866666666666667,
    0.4,
    0.5866666666666667,
    0.5866666666666667,
    0.5866666666666667,
    0.48,
    0.48
   ],
   "ece": [
    0.11739,
    0.10209982198520845,
    0.11739,
    0.11739000000000002,
    0.11739000000000002,
    0.07655216264199002,
    0.16120454771800274
   ],
   "brier": [
    0.5592334744,
    0.6602760159032574,
    0.5592334744,
    0.5592334744,
    0.5592334744,
    0.6234064791813415,
    0.6858017071048638
   ],
   "nll": [
    1.0183531789784896,
    1.4153331639123718,
    1.0183531789784896,
    1.0183531789784894,
    1.0183531789784894,
    1.3232705377005831,
    1.319556828516009
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.4010263929618768,
   "auroc_err_conf": 0.6321480938416423
  },
  "strategyqa_closed": {
   "n": 150,
   "primitive": "noul",
   "d2_mean": 0.16961778628337326,
   "d2_median": 0.09938619876488543,
   "frac_d2_gt_0.01": 0.9133333333333333,
   "d2_per_prob": 0.042404446570843315,
   "acc": [
    0.6333333333333333,
    0.6466666666666666,
    0.6333333333333333,
    0.6333333333333333,
    0.6333333333333333,
    0.6266666666666667,
    0.6266666666666667
   ],
   "ece": [
    0.0929057450077672,
    0.08516988385497871,
    0.0924607135930467,
    0.0852815413078144,
    0.08400740586785477,
    0.11708020646043114,
    0.10564691134139245
   ],
   "brier": [
    0.2083968215429987,
    0.22018836808076064,
    0.2087109255725378,
    0.20979162351132039,
    0.21152089887033937,
    0.223393731706088,
    0.22286859267664638
   ],
   "nll": [
    0.5995402836537661,
    0.6297183464535632,
    0.6008969183847699,
    0.6056275186924915,
    0.6127187779057017,
    0.6349072753051626,
    0.63420168965779
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.3150239234449761,
   "auroc_err_conf": 0.6978947368421052
  },
  "strategyqa_grounded": {
   "n": 150,
   "primitive": "noul",
   "d2_mean": 0.27926958749681036,
   "d2_median": 0.24193654921468047,
   "frac_d2_gt_0.01": 0.9466666666666667,
   "d2_per_prob": 0.06981739687420259,
   "acc": [
    0.78,
    0.7733333333333333,
    0.78,
    0.78,
    0.78,
    0.7866666666666666,
    0.7866666666666666
   ],
   "ece": [
    0.06444321577067665,
    0.09002396412373982,
    0.06775423293779122,
    0.06996206899543182,
    0.06937111176687288,
    0.06988443048979581,
    0.06599359628339085
   ],
   "brier": [
    0.14296771498024516,
    0.16302335980555843,
    0.14289042573605604,
    0.14355306257688863,
    0.14407915113456343,
    0.15279641837749602,
    0.152432663954845
   ],
   "nll": [
    0.44364593969186006,
    0.5057776001820207,
    0.4415857829019824,
    0.44452455369980487,
    0.44490929963630094,
    0.46431796310227336,
    0.46284907503698075
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.2678062678062678,
   "auroc_err_conf": 0.7753172753172753
  },
  "stsb": {
   "n": 150,
   "primitive": "score",
   "d2_mean": 0.18458328058021267,
   "d2_median": 0.18887489412581998,
   "frac_d2_gt_0.01": 0.98,
   "d2_per_prob": 0.018458328058021268,
   "acc": [
    0.54,
    0.32666666666666666,
    0.54,
    0.54,
    0.54,
    0.38666666666666666,
    0.38666666666666666
   ],
   "ece": [
    0.16574266666666665,
    0.2002470061451307,
    0.16574266666666665,
    0.16574266666666662,
    0.16574266666666662,
    0.16300958661427944,
    0.1905689191397383
   ],
   "brier": [
    0.6161524150666666,
    0.7096527645086771,
    0.6161524150666666,
    0.6161524150666666,
    0.6161524150666666,
    0.6775427383193003,
    0.7369763397897566
   ],
   "nll": [
    1.174400807578837,
    1.9143500757353615,
    1.174400807578837,
    1.174400807578837,
    1.174400807578837,
    1.6795405257511447,
    1.54176026936015
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.6146001073537305,
   "auroc_err_conf": 0.6816961889425658
  },
  "yelp5": {
   "n": 150,
   "primitive": "score",
   "d2_mean": 0.18732255459726388,
   "d2_median": 0.18524805586655677,
   "frac_d2_gt_0.01": 0.9866666666666667,
   "d2_per_prob": 0.020813617177473764,
   "acc": [
    0.44666666666666666,
    0.44,
    0.44666666666666666,
    0.44666666666666666,
    0.44666666666666666,
    0.44,
    0.44
   ],
   "ece": [
    0.17717,
    0.15229911101747318,
    0.17717,
    0.17717000000000005,
    0.17717000000000005,
    0.15706407302505296,
    0.10420364771131825
   ],
   "brier": [
    0.6588494661333333,
    0.7402506006039189,
    0.6588494661333333,
    0.6588494661333334,
    0.6588494661333334,
    0.7143458924090841,
    0.7295761836391286
   ],
   "nll": [
    1.1635400835626262,
    4.526298831004171,
    1.1635400835626262,
    1.1635400835626262,
    1.1635400835626262,
    4.138416438395216,
    1.682176275865891
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.7160582629023557,
   "auroc_err_conf": 0.6693040819996403
  }
 },
 "chaosnli": {
  "n": 1599,
  "spearman_d2_disagreement": -0.26081583275999315,
  "spearman_uncertainty_disagreement": 0.18360444399307768,
  "d2_by_band": {
   "split <50%": {
    "n": 191,
    "d2_mean": 0.3256408825206585,
    "conf_mean": 0.7370633507853405
   },
   "contested 50-70%": {
    "n": 828,
    "d2_mean": 0.35572985181097744,
    "conf_mean": 0.777027536231884
   },
   "clear 70-90%": {
    "n": 523,
    "d2_mean": 0.5346095755366671,
    "conf_mean": 0.8060208413001912
   },
   "consensus >=90%": {
    "n": 57,
    "d2_mean": 0.653924619696867,
    "conf_mean": 0.859421052631579
   }
  }
 }
}