results/coherence.json

{
 "label": "qwen35-2b-full-sup-lr1e-6-s0",
 "families": 4749,
 "families_missing": 0,
 "theorem_violations": 0,
 "macro": {
  "d2_mean": 0.34424443248451636,
  "frac_d2_gt_0.01": 0.9795735971345725,
  "d2_per_prob": 0.055903760294895764,
  "auroc_err_d2": 0.4351108962417111,
  "auroc_err_conf": 0.759034199256043,
  "acc": [
   0.7181619193814316,
   0.7102831315026438,
   0.724307806015123,
   0.7181619193814316,
   0.724307806015123,
   0.7023474899084655,
   0.7023474899084655
  ],
  "ece": [
   0.08294844563745614,
   0.17633713238449208,
   0.08802674657452457,
   0.08696764122326871,
   0.08700200889905492,
   0.101797037120478,
   0.10073178625580703
  ],
  "brier": [
   0.34541131522687224,
   0.37596611802189417,
   0.3387112058648082,
   0.34615481696301426,
   0.33770293350738856,
   0.36005207540461076,
   0.36070964805751426
  ],
  "nll": [
   0.7577709031219698,
   0.9277152655747861,
   0.6909318954822392,
   0.7568438613724925,
   0.6814656715285591,
   0.8295886297876166,
   0.7727278644432117
  ],
  "columns": [
   "model",
   "uniform projection",
   "weighted projection",
   "model + T",
   "weighted projection + T",
   "self-weighted (label-free)",
   "self-weighted + T"
  ],
  "lambda": {
   "choice/fit_on_fold0": 2.0,
   "choice/fit_on_fold1": 4.0,
   "score/fit_on_fold0": "inf",
   "score/fit_on_fold1": 64.0,
   "noul/fit_on_fold0": "inf",
   "noul/fit_on_fold1": 64.0
  },
  "self_weights": {
   "choice": {
    "primary": 1.0,
    "opt": 0.065
   },
   "score": {
    "primary": 1.0,
    "thr": 0.767
   },
   "noul": {
    "primary": 1.0,
    "neg": 0.033,
    "tf": 1.012
   }
  },
  "temperature": {
   "model": {
    "choice/fit_on_fold0": 1.084,
    "choice/fit_on_fold1": 1.084,
    "score/fit_on_fold0": 0.923,
    "score/fit_on_fold1": 0.923,
    "noul/fit_on_fold0": 1.0,
    "noul/fit_on_fold1": 1.0
   },
   "weighted": {
    "choice/fit_on_fold0": 0.923,
    "choice/fit_on_fold1": 0.725,
    "score/fit_on_fold0": 0.923,
    "score/fit_on_fold1": 0.923,
    "noul/fit_on_fold0": 0.923,
    "noul/fit_on_fold1": 1.0
   },
   "self": {
    "choice/fit_on_fold0": 1.0,
    "choice/fit_on_fold1": 1.0,
    "score/fit_on_fold0": 1.756,
    "score/fit_on_fold1": 2.063,
    "noul/fit_on_fold0": 1.0,
    "noul/fit_on_fold1": 0.923
   }
  }
 },
 "per_source": {
  "arc_challenge": {
   "n": 150,
   "primitive": "choice",
   "d2_mean": 0.445333920571133,
   "d2_median": 0.39045073027903254,
   "frac_d2_gt_0.01": 1.0,
   "d2_per_prob": 0.05570042684706099,
   "acc": [
    0.8933333333333333,
    0.8866666666666667,
    0.8933333333333333,
    0.8933333333333333,
    0.8933333333333333,
    0.8933333333333333,
    0.8933333333333333
   ],
   "ece": [
    0.11578933333333333,
    0.2863813195762325,
    0.20437463106304363,
    0.1355371252248713,
    0.14960746606138728,
    0.13684481484512523,
    0.13684482022524996
   ],
   "brier": [
    0.2002635970666667,
    0.2867162279640752,
    0.23311379802873186,
    0.20721970570381273,
    0.20863082413804482,
    0.20524604172453864,
    0.20524604335884764
   ],
   "nll": [
    0.41144434971291227,
    0.5893192462838729,
    0.4889670943819281,
    0.42791202422534325,
    0.4319269900311802,
    0.4228764254693396,
    0.4228764321360028
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.39972014925373134,
   "auroc_err_conf": 0.8055037313432836
  },
  "banking77": {
   "n": 150,
   "primitive": "choice",
   "d2_mean": 0.24941269736361923,
   "d2_median": 0.17990560362499342,
   "frac_d2_gt_0.01": 1.0,
   "d2_per_prob": 0.0030791691032545578,
   "acc": [
    0.74,
    0.8066666666666666,
    0.7666666666666667,
    0.74,
    0.7666666666666667,
    0.74,
    0.74
   ],
   "ece": [
    0.07601999999999999,
    0.15887417829159864,
    0.07081587368353413,
    0.07695745232825031,
    0.06999848631298382,
    0.0849341033533111,
    0.08495784489903559
   ],
   "brier": [
    0.362284304,
    0.30408963071332146,
    0.32496109518169863,
    0.361611590908299,
    0.33032835241892616,
    0.35155508519571127,
    0.3515547342779508
   ],
   "nll": [
    1.1034964204866404,
    0.6537792623712438,
    0.6966430371201674,
    1.102696170591502,
    0.6851458496386883,
    0.8337975982252231,
    0.8338472566992662
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.6842226842226842,
   "auroc_err_conf": 0.8550473550473551
  },
  "boolq": {
   "n": 150,
   "primitive": "noul",
   "d2_mean": 0.45604824998432064,
   "d2_median": 0.5380941248550934,
   "frac_d2_gt_0.01": 1.0,
   "d2_per_prob": 0.11401206249608016,
   "acc": [
    0.9066666666666666,
    0.8933333333333333,
    0.9066666666666666,
    0.9066666666666666,
    0.9066666666666666,
    0.9066666666666666,
    0.9066666666666666
   ],
   "ece": [
    0.05368469149117105,
    0.19018896534089869,
    0.06366354029207644,
    0.053684691491171034,
    0.05940668154454295,
    0.07041642100855117,
    0.05968032700478127
   ],
   "brier": [
    0.06759291777611301,
    0.11537765364311073,
    0.06794989282933933,
    0.06759291777611301,
    0.06731137745511016,
    0.06980428669401377,
    0.06979516746759011
   ],
   "nll": [
    0.2366501279418345,
    0.40338555007859916,
    0.2386276561303496,
    0.2366501279418345,
    0.2351478196762082,
    0.24349420295039156,
    0.24453888203609714
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.13918067226890757,
   "auroc_err_conf": 0.8608193277310925
  },
  "chaosnli": {
   "n": 1599,
   "primitive": "choice",
   "d2_mean": 0.499095138813663,
   "d2_median": 0.36509382233676857,
   "frac_d2_gt_0.01": 0.9906191369606003,
   "d2_per_prob": 0.0831825231356105,
   "acc": [
    0.632895559724828,
    0.632895559724828,
    0.6347717323327079,
    0.632895559724828,
    0.6347717323327079,
    0.6316447779862414,
    0.6316447779862414
   ],
   "ece": [
    0.1245173233270794,
    0.07006853771317707,
    0.030157600919608816,
    0.10494550622896029,
    0.07559639567578763,
    0.10200328398536097,
    0.10200328398536103
   ],
   "brier": [
    0.4999539783614759,
    0.49913748793328827,
    0.4856687006362035,
    0.49226603742011826,
    0.5003367690674718,
    0.4925982618036335,
    0.49259826180363353
   ],
   "nll": [
    0.831112363858522,
    0.8525405000549235,
    0.8206400448678715,
    0.8165436400495703,
    0.8421749071857653,
    0.8190239259727131,
    0.8190239259727131
   ],
   "tvd_human": [
    0.2763906191369606,
    0.24331310499193243,
    0.2426406498975346,
    0.2663114950737165,
    0.2613069501667435,
    0.2645766642352467,
    0.2645766642352467
   ],
   "auroc_err_d2": 0.30990465352734814,
   "auroc_err_conf": 0.6867521597726768
  },
  "civil_comments": {
   "n": 150,
   "primitive": "noul",
   "d2_mean": 0.4947797823683959,
   "d2_median": 0.5790609618791724,
   "frac_d2_gt_0.01": 1.0,
   "d2_per_prob": 0.12369494559209898,
   "acc": [
    0.9266666666666666,
    0.8866666666666667,
    0.9266666666666666,
    0.9266666666666666,
    0.9266666666666666,
    0.9066666666666666,
    0.9066666666666666
   ],
   "ece": [
    0.028065544493513502,
    0.18265527917157898,
    0.02901485278783881,
    0.028065544493513502,
    0.03709653175555223,
    0.04614196728822819,
    0.05960053558606718
   ],
   "brier": [
    0.056319875123003175,
    0.1223019462634026,
    0.05710321658964482,
    0.056319875123003175,
    0.05775994102567809,
    0.07316573463529467,
    0.07249584821238877
   ],
   "nll": [
    0.199895165134619,
    0.42015596197127936,
    0.2069251270193074,
    0.19989516513461902,
    0.21042902896976068,
    0.2479661858816642,
    0.2433614776766243
   ],
   "tvd_human": [
    0.11009040075432357,
    0.23639626218344445,
    0.11191384989951433,
    0.11009040075432357,
    0.1111774078869586,
    0.12438802471808766,
    0.123007871889685
   ],
   "auroc_err_d2": 0.1497710922171354,
   "auroc_err_conf": 0.8502289077828646
  },
  "clinc150": {
   "n": 150,
   "primitive": "choice",
   "d2_mean": 0.2921553819082512,
   "d2_median": 0.21360779654271073,
   "frac_d2_gt_0.01": 1.0,
   "d2_per_prob": 0.0018848734316661364,
   "acc": [
    0.7866666666666666,
    0.86,
    0.8266666666666667,
    0.7866666666666666,
    0.8266666666666667,
    0.8066666666666666,
    0.8066666666666666
   ],
   "ece": [
    0.12812733333333326,
    0.2650378079902421,
    0.19700404792768197,
    0.16788055250072334,
    0.13141133597853263,
    0.1524865073724478,
    0.15254419844969488
   ],
   "brier": [
    0.3389910870666667,
    0.3098243752428355,
    0.3119249790210427,
    0.35360684318659247,
    0.2844631223410194,
    0.3286602343407278,
    0.3286657692985179
   ],
   "nll": [
    1.021969208475115,
    0.6766586643621004,
    0.7189154006668284,
    1.0739381850441805,
    0.6286916509722307,
    0.8365429268199527,
    0.8366226434706548
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.5460805084745762,
   "auroc_err_conf": 0.8463983050847458
  },
  "fever_evidence": {
   "n": 150,
   "primitive": "noul",
   "d2_mean": 0.3801046855953803,
   "d2_median": 0.4071345653539683,
   "frac_d2_gt_0.01": 1.0,
   "d2_per_prob": 0.09502617139884507,
   "acc": [
    0.9333333333333333,
    0.82,
    0.94,
    0.9333333333333333,
    0.94,
    0.86,
    0.86
   ],
   "ece": [
    0.07212638319270273,
    0.16227281049625786,
    0.08393552080717862,
    0.07212638319270273,
    0.07781834319887813,
    0.07474467907508202,
    0.06523965635958752
   ],
   "brier": [
    0.06689654177435043,
    0.13846416503594022,
    0.06760940583733668,
    0.06689654177435042,
    0.06621955457574372,
    0.09589697481429738,
    0.09645577779160147
   ],
   "nll": [
    0.24650597000698804,
    0.4526846593475896,
    0.24933690231120134,
    0.246505970006988,
    0.24300588604882545,
    0.32434280858838127,
    0.3286885511815392
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.2907142857142857,
   "auroc_err_conf": 0.7564285714285715
  },
  "go_emotions": {
   "n": 150,
   "primitive": "choice",
   "d2_mean": 0.15268340000914069,
   "d2_median": 0.1021590583418436,
   "frac_d2_gt_0.01": 0.9933333333333333,
   "d2_per_prob": 0.004771356250285646,
   "acc": [
    0.56,
    0.5866666666666667,
    0.58,
    0.56,
    0.58,
    0.56,
    0.56
   ],
   "ece": [
    0.09985666666666666,
    0.14437436678526477,
    0.08173909220456713,
    0.07171462404176102,
    0.15027399195437607,
    0.09811512580030823,
    0.09811461074447696
   ],
   "brier": [
    0.6354240762666666,
    0.5495688266309403,
    0.5888315711537679,
    0.6287662399791333,
    0.6113379022533434,
    0.6227802761658939,
    0.6227796039102499
   ],
   "nll": [
    1.5397945570462266,
    1.0679757460398644,
    1.192983348280373,
    1.5337168812541222,
    1.2349501895128614,
    1.3848857496405864,
    1.38489120293674
   ],
   "tvd_human": [
    0.5129624021164022,
    0.4970910526409638,
    0.4997238826316783,
    0.5209658028166786,
    0.49596374237122604,
    0.5065909136744435,
    0.5065922355703606
   ],
   "auroc_err_d2": 0.6390692640692641,
   "auroc_err_conf": 0.6479978354978355
  },
  "helpsteer2_helpfulness": {
   "n": 150,
   "primitive": "score",
   "d2_mean": 0.17027767030857718,
   "d2_median": 0.17635665635462827,
   "frac_d2_gt_0.01": 1.0,
   "d2_per_prob": 0.018919741145397472,
   "acc": [
    0.4266666666666667,
    0.38666666666666666,
    0.41333333333333333,
    0.4266666666666667,
    0.41333333333333333,
    0.3933333333333333,
    0.3933333333333333
   ],
   "ece": [
    0.07011733333333335,
    0.15079341704310398,
    0.06349506577379786,
    0.08396221808460169,
    0.08189787928648545,
    0.13182634782931524,
    0.048456400448106236
   ],
   "brier": [
    0.6977063532000001,
    0.7584959456361975,
    0.6980344997519048,
    0.6991747950401028,
    0.6995607247681809,
    0.7410459836874169,
    0.7185314150759442
   ],
   "nll": [
    1.345518808443638,
    1.9987621527239223,
    1.3457304367834986,
    1.3489691928745702,
    1.349162426115635,
    1.6341776416550886,
    1.4375207655578364
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.5277979651162791,
   "auroc_err_conf": 0.5585029069767442
  },
  "helpsteer2_verbosity": {
   "n": 150,
   "primitive": "score",
   "d2_mean": 0.4221835974125504,
   "d2_median": 0.44212179473349306,
   "frac_d2_gt_0.01": 1.0,
   "d2_per_prob": 0.0469092886013945,
   "acc": [
    0.56,
    0.54,
    0.56,
    0.56,
    0.56,
    0.5533333333333333,
    0.5533333333333333
   ],
   "ece": [
    0.12623866666666672,
    0.1749752417663555,
    0.09285858038252673,
    0.1198885017177188,
    0.11699405210654096,
    0.15439678430668197,
    0.24243796608460316
   ],
   "brier": [
    0.5955975544,
    0.7391593050863641,
    0.5949084405648554,
    0.6025579199727442,
    0.6017392885292165,
    0.6969579681797561,
    0.7259446079609685
   ],
   "nll": [
    1.1398867103108632,
    2.351657442639797,
    1.140402866737073,
    1.1527881617506819,
    1.1520404773680477,
    1.7958113323584342,
    1.5209266832726644
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.39646464646464646,
   "auroc_err_conf": 0.6278860028860029
  },
  "ledgar": {
   "n": 150,
   "primitive": "choice",
   "d2_mean": 0.21101960803634917,
   "d2_median": 0.11417016239209404,
   "frac_d2_gt_0.01": 0.86,
   "d2_per_prob": 0.002029034692657203,
   "acc": [
    0.8066666666666666,
    0.9,
    0.8333333333333334,
    0.8066666666666666,
    0.8333333333333334,
    0.8133333333333334,
    0.8133333333333334
   ],
   "ece": [
    0.06510866666666663,
    0.1386743855397213,
    0.0789565169137552,
    0.062432980461078987,
    0.055965541493138656,
    0.0720774047912179,
    0.07202366964726076
   ],
   "brier": [
    0.2724716288,
    0.17438841294299068,
    0.21404276429677002,
    0.272997921524828,
    0.2120454398319758,
    0.2577209883596167,
    0.2577165533469825
   ],
   "nll": [
    0.8044104558933085,
    0.34669568714389054,
    0.3994614525827854,
    0.718518514313333,
    0.37436965717575804,
    0.5133312344280495,
    0.5134031646716205
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.81761185522941,
   "auroc_err_conf": 0.8364206326588772
  },
  "massive": {
   "n": 150,
   "primitive": "choice",
   "d2_mean": 0.28129735044490983,
   "d2_median": 0.2326751427435838,
   "frac_d2_gt_0.01": 1.0,
   "d2_per_prob": 0.004395271100701716,
   "acc": [
    0.7866666666666666,
    0.8466666666666667,
    0.82,
    0.7866666666666666,
    0.82,
    0.7866666666666666,
    0.7866666666666666
   ],
   "ece": [
    0.0777126666666667,
    0.18979697917741029,
    0.12016697381720155,
    0.08463392286843259,
    0.08565271612094155,
    0.06563622072344942,
    0.06566104791893812
   ],
   "brier": [
    0.2918901418666667,
    0.26712022029259447,
    0.26723011911226807,
    0.2953347428754525,
    0.25832656099598683,
    0.28339921500362325,
    0.28340094401279536
   ],
   "nll": [
    0.7635561516268425,
    0.5719995020158584,
    0.576347271290265,
    0.7866866004899914,
    0.5235165237323772,
    0.6539981178745592,
    0.6540353383640651
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.6191737288135594,
   "auroc_err_conf": 0.8895656779661016
  },
  "measuring_hate_speech": {
   "n": 150,
   "primitive": "score",
   "d2_mean": 0.04789215796977927,
   "d2_median": 0.03968107968962158,
   "frac_d2_gt_0.01": 0.8466666666666667,
   "d2_per_prob": 0.009578431593955855,
   "acc": [
    0.7066666666666667,
    0.7466666666666667,
    0.7066666666666667,
    0.7066666666666667,
    0.7066666666666667,
    0.74,
    0.74
   ],
   "ece": [
    0.09315733333333334,
    0.08180193903022727,
    0.09276177938066187,
    0.07499960580269041,
    0.06922658479760434,
    0.08093180752531413,
    0.20865092916249278
   ],
   "brier": [
    0.43755027053333323,
    0.3728176427739953,
    0.4367256023420677,
    0.4338453809597388,
    0.43300293452748645,
    0.38182844245802594,
    0.44636010795175274
   ],
   "nll": [
    0.795153638920132,
    0.6826387031128062,
    0.7936449508710087,
    0.7936840123546625,
    0.7920948462879857,
    0.6992137858431018,
    0.7922767401577565
   ],
   "tvd_human": [
    0.3481855555555556,
    0.30682141853717815,
    0.3476425942413979,
    0.34246959598037185,
    0.3419161679385204,
    0.31277384656132556,
    0.3761724489948334
   ],
   "auroc_err_d2": 0.8102487135506004,
   "auroc_err_conf": 0.7855917667238422
  },
  "mmlu": {
   "n": 150,
   "primitive": "choice",
   "d2_mean": 0.4652137687077885,
   "d2_median": 0.4068245179355562,
   "frac_d2_gt_0.01": 1.0,
   "d2_per_prob": 0.058151721088473565,
   "acc": [
    0.62,
    0.62,
    0.6066666666666667,
    0.62,
    0.6066666666666667,
    0.62,
    0.62
   ],
   "ece": [
    0.06459333333333332,
    0.14407104069782178,
    0.06763802932384799,
    0.07125939958645143,
    0.07882656523717056,
    0.06731238904383484,
    0.06731240448608881
   ],
   "brier": [
    0.4675828609333333,
    0.5038782643650732,
    0.47653596299693485,
    0.4665434059147077,
    0.47966874555258887,
    0.4673184841929888,
    0.4673184827585815
   ],
   "nll": [
    0.8801697688700574,
    0.9555300863208996,
    0.8992174367147606,
    0.8779691352374367,
    0.9048809541004429,
    0.8775541931762255,
    0.8775542131762154
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.48292774948122996,
   "auroc_err_conf": 0.7892850405583852
  },
  "mnli": {
   "n": 150,
   "primitive": "choice",
   "d2_mean": 0.7058271035123084,
   "d2_median": 0.5227622377917546,
   "frac_d2_gt_0.01": 1.0,
   "d2_per_prob": 0.11763785058538474,
   "acc": [
    0.82,
    0.82,
    0.82,
    0.82,
    0.82,
    0.82,
    0.82
   ],
   "ece": [
    0.08623199999999998,
    0.21486930640247953,
    0.13160062633546354,
    0.09809952918103045,
    0.09648601334300322,
    0.10240744840513662,
    0.10240744840513667
   ],
   "brier": [
    0.2639669976,
    0.3488868395279254,
    0.28293901734690696,
    0.2620674248749983,
    0.26969902424830094,
    0.2643644750195817,
    0.26436447501958166
   ],
   "nll": [
    0.4627406488403193,
    0.6506768768537871,
    0.5366661128844564,
    0.4645572066415322,
    0.4991701020640908,
    0.47642216644746727,
    0.47642216644746727
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.2839506172839506,
   "auroc_err_conf": 0.8423667570009034
  },
  "paws": {
   "n": 150,
   "primitive": "noul",
   "d2_mean": 0.588769334583782,
   "d2_median": 0.6510286133537634,
   "frac_d2_gt_0.01": 1.0,
   "d2_per_prob": 0.1471923336459455,
   "acc": [
    0.8666666666666667,
    0.8533333333333334,
    0.8666666666666667,
    0.8666666666666667,
    0.8666666666666667,
    0.8533333333333334,
    0.8533333333333334
   ],
   "ece": [
    0.07818019961339343,
    0.18174770001518886,
    0.07175785906353323,
    0.07818019961339351,
    0.07282227377970996,
    0.0830742523671039,
    0.08745615184124442
   ],
   "brier": [
    0.10604583379666718,
    0.13314239660601648,
    0.10530321827050088,
    0.1060458337966672,
    0.10616983823641826,
    0.11128164083074712,
    0.11250345245556008
   ],
   "nll": [
    0.3619494609749825,
    0.4422511431897495,
    0.35647398002141994,
    0.3619494609749825,
    0.3651221588573813,
    0.35546381740121763,
    0.36030309769833885
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.14576923076923076,
   "auroc_err_conf": 0.8173076923076923
  },
  "sms_spam": {
   "n": 150,
   "primitive": "noul",
   "d2_mean": 0.6561771008521786,
   "d2_median": 0.6882175527875654,
   "frac_d2_gt_0.01": 1.0,
   "d2_per_prob": 0.16404427521304465,
   "acc": [
    0.9733333333333334,
    0.9666666666666667,
    0.9733333333333334,
    0.9733333333333334,
    0.9733333333333334,
    0.9666666666666667,
    0.9666666666666667
   ],
   "ece": [
    0.019748802316553724,
    0.23320738530737373,
    0.0177508375046645,
    0.019748802316553717,
    0.01653579828666175,
    0.019609083696140256,
    0.017726921174839108
   ],
   "brier": [
    0.021161651919554436,
    0.07907279792811626,
    0.02136116690409474,
    0.021161651919554436,
    0.021575695730239573,
    0.025124397888021975,
    0.02511657038839709
   ],
   "nll": [
    0.08829212979364233,
    0.3240666172590361,
    0.09412139821871107,
    0.08829212979364233,
    0.09643661953501372,
    0.10293345281168281,
    0.10168430269320762
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.07534246575342465,
   "auroc_err_conf": 0.8647260273972602
  },
  "sst5": {
   "n": 150,
   "primitive": "score",
   "d2_mean": 0.20173854682261902,
   "d2_median": 0.20219690492908016,
   "frac_d2_gt_0.01": 0.9533333333333334,
   "d2_per_prob": 0.022415394091402117,
   "acc": [
    0.5066666666666667,
    0.31333333333333335,
    0.5266666666666666,
    0.5066666666666667,
    0.5266666666666666,
    0.32666666666666666,
    0.32666666666666666
   ],
   "ece": [
    0.07717266666666665,
    0.18380297231350531,
    0.10317334686467526,
    0.09285388966468018,
    0.10241790306244157,
    0.14872636038902798,
    0.08724142503271454
   ],
   "brier": [
    0.5993707316,
    0.7219422388277636,
    0.6002417132114636,
    0.5956433756654298,
    0.5965318439389099,
    0.6962295334364174,
    0.6995283845638522
   ],
   "nll": [
    1.0809704068023638,
    1.9821340464120771,
    1.084594641947438,
    1.0672641730131003,
    1.0707717907496155,
    1.6395352850922398,
    1.3927793106699267
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.4487908961593172,
   "auroc_err_conf": 0.6320234708392604
  },
  "strategyqa_closed": {
   "n": 150,
   "primitive": "noul",
   "d2_mean": 0.14958340470400772,
   "d2_median": 0.06809318083802743,
   "frac_d2_gt_0.01": 0.9733333333333334,
   "d2_per_prob": 0.03739585117600193,
   "acc": [
    0.64,
    0.7266666666666667,
    0.6466666666666666,
    0.64,
    0.6466666666666666,
    0.72,
    0.72
   ],
   "ece": [
    0.08942381393180916,
    0.10449591854725768,
    0.08037939632512783,
    0.08942381393180919,
    0.08420616887655707,
    0.08728536654889218,
    0.09520237936665074
   ],
   "brier": [
    0.20156949456724393,
    0.19960092036704305,
    0.20072550629334637,
    0.20156949456724393,
    0.2005579463169533,
    0.18575458381712356,
    0.1856975294552466
   ],
   "nll": [
    0.5774032994112407,
    0.588227660277465,
    0.5760493485460029,
    0.5774032994112407,
    0.5745409901831312,
    0.5456557165219501,
    0.5455302745332212
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.2856867283950617,
   "auroc_err_conf": 0.7038001543209876
  },
  "strategyqa_grounded": {
   "n": 150,
   "primitive": "noul",
   "d2_mean": 0.3168662989859898,
   "d2_median": 0.2882273231046364,
   "frac_d2_gt_0.01": 0.9933333333333333,
   "d2_per_prob": 0.07921657474649745,
   "acc": [
    0.8133333333333334,
    0.8466666666666667,
    0.8066666666666666,
    0.8133333333333334,
    0.8066666666666666,
    0.8266666666666667,
    0.8266666666666667
   ],
   "ece": [
    0.06183971232447884,
    0.17267710024456112,
    0.04331482372393426,
    0.06183971232447884,
    0.03137496354633196,
    0.07834531406497322,
    0.085028263917759
   ],
   "brier": [
    0.13385163247278165,
    0.14225477286441246,
    0.13355098101903054,
    0.13385163247278165,
    0.13360677612769603,
    0.1130647783574905,
    0.11305945921908256
   ],
   "nll": [
    0.40584527117492203,
    0.46331866657402865,
    0.40704004643162334,
    0.40584527117492203,
    0.4063382141704068,
    0.355618016083666,
    0.3545947186722173
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.2268735362997658,
   "auroc_err_conf": 0.7565866510538641
  },
  "stsb": {
   "n": 150,
   "primitive": "score",
   "d2_mean": 0.2110944073708435,
   "d2_median": 0.23286678194272534,
   "frac_d2_gt_0.01": 0.9466666666666667,
   "d2_per_prob": 0.021109440737084352,
   "acc": [
    0.38,
    0.32,
    0.37333333333333335,
    0.38,
    0.37333333333333335,
    0.35333333333333333,
    0.35333333333333333
   ],
   "ece": [
    0.11861600000000001,
    0.23835451520858036,
    0.125719471773424,
    0.14498758914546966,
    0.14980027037276175,
    0.20092558915003655,
    0.1490561941644919
   ],
   "brier": [
    0.6586722132,
    0.8004170216506868,
    0.6591923018650402,
    0.6631525775058174,
    0.6637196192335166,
    0.7729689005403909,
    0.7183668751421927
   ],
   "nll": [
    1.2477612845888355,
    2.247289146524647,
    1.2492699807421463,
    1.2445393490656083,
    1.2463328536787197,
    1.859878478813718,
    1.4963346473859576
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.5929069986794945,
   "auroc_err_conf": 0.7324089794378419
  },
  "yelp5": {
   "n": 150,
   "primitive": "score",
   "d2_mean": 0.17582390833377326,
   "d2_median": 0.18524666321711308,
   "frac_d2_gt_0.01": 0.9933333333333333,
   "d2_per_prob": 0.019535989814863697,
   "acc": [
    0.5133333333333333,
    0.36666666666666664,
    0.5066666666666667,
    0.5133333333333333,
    0.5066666666666667,
    0.37333333333333335,
    0.37333333333333335
   ],
   "ece": [
    0.0985373333333333,
    0.21029574579998783,
    0.08630995777139717,
    0.12006606271156864,
    0.1206282329878187,
    0.18129354508097711,
    0.1284528187231741
   ],
   "brier": [
    0.6238851926666668,
    0.7045975041855774,
    0.6236925757728299,
    0.6271800642248241,
    0.626872255849741,
    0.6843793717561243,
    0.6781121937935971
   ],
   "nll": [
    1.1264336703693318,
    1.6879885210878547,
    1.1284431660600474,
    1.12424027885097,
    1.1259948375741733,
    1.6284267932719134,
    1.3627972223405265
   ],
   "tvd_human": [
    null,
    null,
    null,
    null,
    null,
    null,
    null
   ],
   "auroc_err_d2": 0.7002312755737413,
   "auroc_err_conf": 0.5531044298167586
  }
 },
 "chaosnli": {
  "n": 1599,
  "spearman_d2_disagreement": -0.272259699037493,
  "spearman_uncertainty_disagreement": 0.2801169966210108,
  "d2_by_band": {
   "split <50%": {
    "n": 191,
    "d2_mean": 0.37110608170420256,
    "conf_mean": 0.6941251308900523
   },
   "contested 50-70%": {
    "n": 828,
    "d2_mean": 0.4283648986765743,
    "conf_mean": 0.7406737922705314
   },
   "clear 70-90%": {
    "n": 523,
    "d2_mean": 0.6224392693326635,
    "conf_mean": 0.7957239005736138
   },
   "consensus >=90%": {
    "n": 57,
    "d2_mean": 0.8236840595150517,
    "conf_mean": 0.861119298245614
   }
  }
 }
}