jevify-qwen3.5-2b-readout-full@main: weights, recipe, results, model card (verified by reloading)

.gitattributes

@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+tokenizer.json filter=lfs diff=lfs merge=lfs -text

README.md

@@ -0,0 +1,87 @@
+---
+license: apache-2.0
+base_model: Qwen/Qwen3.5-2B
+library_name: jevify
+tags: [jevify, system-one, decision-model, calibration, coherence]
+datasets: [Praveenrajus/jev-bench]
+---
+
+# Qwen3.5-2B, readout fine-tuned (full, supervised, lr 1e-6 selected on validation)
+
+A **System One decision model**: it does not write text. It reads a `state`, answers typed questions (`choice`, `score`,
+`noul`), and returns calibrated probability distributions your code can branch on. This repo is every parameter of `Qwen/Qwen3.5-2B` fine-tuned.
+
+**How it was trained (readout fine-tuning).** The model is trained on its own *decision readout* — the distribution over
+the allowed answers read at the answer position, one forward pass, no decoding — with the primitive's proper scoring
+rule.
+Options are shuffled per family. Training data: the train splits of the 16 non-held-out jev-bench sources
+(5,885 families, at most 400 records per source); lr 1e-06, 2 epochs,
+best epoch by validation loss (epoch 0), seed 0, fp32 master weights with bf16 autocast.
+A Tier 0 recipe (temperature per primitive, Noul bias, option-order permutations) was then fitted on validation splits.
+The six held-out sources (`clinc150`, `arc_challenge`, `yelp5`, `measuring_hate_speech`, `fever_evidence`, `strategyqa_grounded`) never appeared in training.
+
+```python
+from jevify import load_jevified
+
+model = load_jevified("Praveenrajus/jevify-qwen3.5-2b-readout-full")
+model.ask({"text": "The battery lasted two days on a single charge."},
+          {"q": {"type": "noul", "instructions": "Is the review positive?"}})
+```
+
+`jevify-serve --model Praveenrajus/jevify-qwen3.5-2b-readout-full` serves it as a drop-in for the TypeSafe SDK (`TYPESAFE_BASE_URL=http://localhost:8000`).
+The weights are in this repo.
+
+## Results
+
+Every number is on the jev-bench **test** splits (22,773 records) or the study's other test suites, scored the same way
+for every model; rows below this model are references from the same study.
+
+**Decisions and calibration**
+
+| model | acc | ECE | Brier | held-out acc | TVD to human labels |
+|---|---|---|---|---|---|
+| **this model** | 0.703 | 0.056 | 0.358 | 0.746 | 0.315 |
+| Qwen3.5-2B, untuned (Tier 0) | 0.577 | 0.089 | 0.485 | 0.634 | 0.458 |
+| LoRA, same data and seed | 0.701 | 0.051 | 0.362 | 0.736 | 0.324 |
+| full fine-tune + coherence (same lr) | 0.704 | 0.056 | 0.358 | 0.742 | 0.307 |
+| Jev 1.13.0 (TypeSafe API) | 0.733 | 0.113 | 0.349 | 0.835 | 0.432 |
+
+**Coherence and invariance** — sure loss: mean d² over 4,749 question families (0 = perfectly coherent); order flip: how
+often the top answer changes when options are shuffled; tag TVD: how much the distribution moves when option tags change
+from A–J to other identifiers.
+
+| model | sure loss | share incoherent | order flip | tag TVD | K=2→max acc drop |
+|---|---|---|---|---|---|
+| **this model** | 0.344 | 0.980 | 0.113 | 0.050 | 0.253 |
+| Qwen3.5-2B, untuned (Tier 0) | 0.212 | 0.980 | 0.271 | 0.048 | 0.452 |
+| LoRA, same data and seed | 0.339 | 0.972 | 0.104 | 0.044 | 0.259 |
+| full fine-tune + coherence (same lr) | 0.028 | 0.486 | 0.109 | 0.049 | 0.250 |
+| Jev 1.13.0 (TypeSafe API) | 0.081 | 0.725 | 0.046 | — | 0.246 |
+
+**Out of distribution** — stated rules (LegalBench, rule given in the question), none-of-the-above when the gold option is
+removed, injected-instruction hijack rate, and three community Jev benchmarks.
+
+| model | stated rule | 'none' when gone | hijack | phishing AUROC | tool risk |
+|---|---|---|---|---|---|
+| **this model** | 0.671 | 0.336 | 0.055 | 0.775 | 0.783 |
+| Qwen3.5-2B, untuned (Tier 0) | 0.602 | 0.850 | 0.269 | 0.902 | 0.733 |
+| LoRA, same data and seed | 0.536 | 0.472 | 0.055 | 0.776 | 0.767 |
+| full fine-tune + coherence (same lr) | 0.612 | 0.462 | 0.021 | 0.772 | 0.800 |
+| Jev 1.13.0 (TypeSafe API) | 0.924 | 0.744 | 0.205 | 0.688 | 0.933 |
+
+
+**Reproduction check.** Loading this folder with `load_jevified` and re-scoring 72 jev-bench test records from six sources reproduced the training run's own test predictions: 0 changed choice answers, mean largest |Δp| 0.007, max 0.038.
+
+`results/` holds the raw files: `test_metrics.json` (per source), `recipe.json`, `coherence.json`, `probes.json`,
+`tags.json`, `train.json` (the training log) and `summary.json` (this model's row of the study table).
+
+## Limitations
+
+- One training seed per repo branch; out-of-distribution numbers in particular vary between identical runs, so compare
+  arms across seeds before drawing conclusions.
+- The phishing benchmark's decision threshold shifts after fine-tuning (ranking, AUROC, is preserved); a one-number
+  log-odds shift fitted on a handful of labelled emails repairs it.
+- English only; the recipe was fitted on jev-bench validation splits and may need refitting on a very different domain.
+
+Method, benchmark and findings: [github.com/uspraveen/Jevify](https://github.com/uspraveen/Jevify)
+([docs/FINDINGS.md](https://github.com/uspraveen/Jevify/blob/main/docs/FINDINGS.md)).

chat_template.jinja

@@ -0,0 +1,154 @@
+{%- set image_count = namespace(value=0) %}
+{%- set video_count = namespace(value=0) %}
+{%- macro render_content(content, do_vision_count, is_system_content=false) %}
+    {%- if content is string %}
+        {{- content }}
+    {%- elif content is iterable and content is not mapping %}
+        {%- for item in content %}
+            {%- if 'image' in item or 'image_url' in item or item.type == 'image' %}
+                {%- if is_system_content %}
+                    {{- raise_exception('System message cannot contain images.') }}
+                {%- endif %}
+                {%- if do_vision_count %}
+                    {%- set image_count.value = image_count.value + 1 %}
+                {%- endif %}
+                {%- if add_vision_id %}
+                    {{- 'Picture ' ~ image_count.value ~ ': ' }}
+                {%- endif %}
+                {{- '<|vision_start|><|image_pad|><|vision_end|>' }}
+            {%- elif 'video' in item or item.type == 'video' %}
+                {%- if is_system_content %}
+                    {{- raise_exception('System message cannot contain videos.') }}
+                {%- endif %}
+                {%- if do_vision_count %}
+                    {%- set video_count.value = video_count.value + 1 %}
+                {%- endif %}
+                {%- if add_vision_id %}
+                    {{- 'Video ' ~ video_count.value ~ ': ' }}
+                {%- endif %}
+                {{- '<|vision_start|><|video_pad|><|vision_end|>' }}
+            {%- elif 'text' in item %}
+                {{- item.text }}
+            {%- else %}
+                {{- raise_exception('Unexpected item type in content.') }}
+            {%- endif %}
+        {%- endfor %}
+    {%- elif content is none or content is undefined %}
+        {{- '' }}
+    {%- else %}
+        {{- raise_exception('Unexpected content type.') }}
+    {%- endif %}
+{%- endmacro %}
+{%- if not messages %}
+    {{- raise_exception('No messages provided.') }}
+{%- endif %}
+{%- if tools and tools is iterable and tools is not mapping %}
+    {{- '<|im_start|>system\n' }}
+    {{- "# Tools\n\nYou have access to the following functions:\n\n<tools>" }}
+    {%- for tool in tools %}
+        {{- "\n" }}
+        {{- tool | tojson }}
+    {%- endfor %}
+    {{- "\n</tools>" }}
+    {{- '\n\nIf you choose to call a function ONLY reply in the following format with NO suffix:\n\n<tool_call>\n<function=example_function_name>\n<parameter=example_parameter_1>\nvalue_1\n</parameter>\n<parameter=example_parameter_2>\nThis is the value for the second parameter\nthat can span\nmultiple lines\n</parameter>\n</function>\n</tool_call>\n\n<IMPORTANT>\nReminder:\n- Function calls MUST follow the specified format: an inner <function=...></function> block must be nested within <tool_call></tool_call> XML tags\n- Required parameters MUST be specified\n- You may provide optional reasoning for your function call in natural language BEFORE the function call, but NOT after\n- If there is no function call available, answer the question like normal with your current knowledge and do not tell the user about function calls\n</IMPORTANT>' }}
+    {%- if messages[0].role == 'system' %}
+        {%- set content = render_content(messages[0].content, false, true)|trim %}
+        {%- if content %}
+            {{- '\n\n' + content }}
+        {%- endif %}
+    {%- endif %}
+    {{- '<|im_end|>\n' }}
+{%- else %}
+    {%- if messages[0].role == 'system' %}
+        {%- set content = render_content(messages[0].content, false, true)|trim %}
+        {{- '<|im_start|>system\n' + content + '<|im_end|>\n' }}
+    {%- endif %}
+{%- endif %}
+{%- set ns = namespace(multi_step_tool=true, last_query_index=messages|length - 1) %}
+{%- for message in messages[::-1] %}
+    {%- set index = (messages|length - 1) - loop.index0 %}
+    {%- if ns.multi_step_tool and message.role == "user" %}
+        {%- set content = render_content(message.content, false)|trim %}
+        {%- if not(content.startswith('<tool_response>') and content.endswith('</tool_response>')) %}
+            {%- set ns.multi_step_tool = false %}
+            {%- set ns.last_query_index = index %}
+        {%- endif %}
+    {%- endif %}
+{%- endfor %}
+{%- if ns.multi_step_tool %}
+    {{- raise_exception('No user query found in messages.') }}
+{%- endif %}
+{%- for message in messages %}
+    {%- set content = render_content(message.content, true)|trim %}
+    {%- if message.role == "system" %}
+        {%- if not loop.first %}
+            {{- raise_exception('System message must be at the beginning.') }}
+        {%- endif %}
+    {%- elif message.role == "user" %}
+        {{- '<|im_start|>' + message.role + '\n' + content + '<|im_end|>' + '\n' }}
+    {%- elif message.role == "assistant" %}
+        {%- set reasoning_content = '' %}
+        {%- if message.reasoning_content is string %}
+            {%- set reasoning_content = message.reasoning_content %}
+        {%- else %}
+            {%- if '</think>' in content %}
+                {%- set reasoning_content = content.split('</think>')[0].rstrip('\n').split('<think>')[-1].lstrip('\n') %}
+                {%- set content = content.split('</think>')[-1].lstrip('\n') %}
+            {%- endif %}
+        {%- endif %}
+        {%- set reasoning_content = reasoning_content|trim %}
+        {%- if loop.index0 > ns.last_query_index %}
+            {{- '<|im_start|>' + message.role + '\n<think>\n' + reasoning_content + '\n</think>\n\n' + content }}
+        {%- else %}
+            {{- '<|im_start|>' + message.role + '\n' + content }}
+        {%- endif %}
+        {%- if message.tool_calls and message.tool_calls is iterable and message.tool_calls is not mapping %}
+            {%- for tool_call in message.tool_calls %}
+                {%- if tool_call.function is defined %}
+                    {%- set tool_call = tool_call.function %}
+                {%- endif %}
+                {%- if loop.first %}
+                    {%- if content|trim %}
+                        {{- '\n\n<tool_call>\n<function=' + tool_call.name + '>\n' }}
+                    {%- else %}
+                        {{- '<tool_call>\n<function=' + tool_call.name + '>\n' }}
+                    {%- endif %}
+                {%- else %}
+                    {{- '\n<tool_call>\n<function=' + tool_call.name + '>\n' }}
+                {%- endif %}
+                {%- if tool_call.arguments is defined %}
+                    {%- for args_name, args_value in tool_call.arguments|items %}
+                        {{- '<parameter=' + args_name + '>\n' }}
+                        {%- set args_value = args_value | tojson | safe if args_value is mapping or (args_value is sequence and args_value is not string) else args_value | string %}
+                        {{- args_value }}
+                        {{- '\n</parameter>\n' }}
+                    {%- endfor %}
+                {%- endif %}
+                {{- '</function>\n</tool_call>' }}
+            {%- endfor %}
+        {%- endif %}
+        {{- '<|im_end|>\n' }}
+    {%- elif message.role == "tool" %}
+        {%- if loop.previtem and loop.previtem.role != "tool" %}
+            {{- '<|im_start|>user' }}
+        {%- endif %}
+        {{- '\n<tool_response>\n' }}
+        {{- content }}
+        {{- '\n</tool_response>' }}
+        {%- if not loop.last and loop.nextitem.role != "tool" %}
+            {{- '<|im_end|>\n' }}
+        {%- elif loop.last %}
+            {{- '<|im_end|>\n' }}
+        {%- endif %}
+    {%- else %}
+        {{- raise_exception('Unexpected message role.') }}
+    {%- endif %}
+{%- endfor %}
+{%- if add_generation_prompt %}
+    {{- '<|im_start|>assistant\n' }}
+    {%- if enable_thinking is defined and enable_thinking is true %}
+        {{- '<think>\n' }}
+    {%- else %}
+        {{- '<think>\n\n</think>\n\n' }}
+    {%- endif %}
+{%- endif %}

config.json

@@ -0,0 +1,75 @@
+{
+  "architectures": [
+    "Qwen3_5ForCausalLM"
+  ],
+  "attention_bias": false,
+  "attention_dropout": 0.0,
+  "attn_output_gate": true,
+  "bos_token_id": null,
+  "dtype": "bfloat16",
+  "eos_token_id": 248044,
+  "full_attention_interval": 4,
+  "head_dim": 256,
+  "hidden_act": "silu",
+  "hidden_size": 2048,
+  "initializer_range": 0.02,
+  "intermediate_size": 6144,
+  "layer_types": [
+    "linear_attention",
+    "linear_attention",
+    "linear_attention",
+    "full_attention",
+    "linear_attention",
+    "linear_attention",
+    "linear_attention",
+    "full_attention",
+    "linear_attention",
+    "linear_attention",
+    "linear_attention",
+    "full_attention",
+    "linear_attention",
+    "linear_attention",
+    "linear_attention",
+    "full_attention",
+    "linear_attention",
+    "linear_attention",
+    "linear_attention",
+    "full_attention",
+    "linear_attention",
+    "linear_attention",
+    "linear_attention",
+    "full_attention"
+  ],
+  "linear_conv_kernel_dim": 4,
+  "linear_key_head_dim": 128,
+  "linear_num_key_heads": 16,
+  "linear_num_value_heads": 16,
+  "linear_value_head_dim": 128,
+  "mamba_ssm_dtype": "float32",
+  "max_position_embeddings": 262144,
+  "mlp_only_layers": [],
+  "model_type": "qwen3_5_text",
+  "mtp_num_hidden_layers": 1,
+  "mtp_use_dedicated_embeddings": false,
+  "num_attention_heads": 8,
+  "num_hidden_layers": 24,
+  "num_key_value_heads": 2,
+  "pad_token_id": null,
+  "partial_rotary_factor": 0.25,
+  "rms_norm_eps": 1e-06,
+  "rope_parameters": {
+    "mrope_interleaved": true,
+    "mrope_section": [
+      11,
+      11,
+      10
+    ],
+    "partial_rotary_factor": 0.25,
+    "rope_theta": 10000000,
+    "rope_type": "default"
+  },
+  "tie_word_embeddings": true,
+  "transformers_version": "5.17.0",
+  "use_cache": true,
+  "vocab_size": 248320
+}

generation_config.json

@@ -0,0 +1,6 @@
+{
+  "_from_model_config": true,
+  "eos_token_id": 248044,
+  "transformers_version": "5.17.0",
+  "use_cache": true
+}

jevify_config.json

@@ -0,0 +1,56 @@
+{
+ "jevify_version": 1,
+ "tier": 2,
+ "method": "readout-full",
+ "backbone": ".",
+ "backbone_revision": null,
+ "base_model": "Qwen/Qwen3.5-2B",
+ "chat": true,
+ "recipe": {
+  "mode": "index",
+  "permutations": {
+   "choice": 2,
+   "score": 1,
+   "noul": 1
+  },
+  "prior_weight": {
+   "choice": 0.0,
+   "score": 0.0,
+   "noul": 0.0
+  },
+  "temperature": {
+   "choice": 0.9495,
+   "score": 1.1244,
+   "noul": 1.6135
+  },
+  "bias": {
+   "noul": -0.4
+  },
+  "state_last": false,
+  "prompt": "jevify"
+ },
+ "training": {
+  "objective": "proper scoring rule on the readout",
+  "arm": "sup",
+  "coherence_beta": 0.0,
+  "seed": 0,
+  "lr": 1e-06,
+  "epochs": 2,
+  "best_epoch": 0,
+  "best_val_loss": 0.6054108740959006,
+  "records_per_source_cap": 400,
+  "n_train_families": 5885,
+  "full_fine_tune": true,
+  "precision": "fp32 master weights, bf16 autocast, gradient checkpointing",
+  "trained_on": "Praveenrajus/jev-bench train splits of the 16 sources that are not held out",
+  "heldout_sources": [
+   "clinc150",
+   "arc_challenge",
+   "yelp5",
+   "measuring_hate_speech",
+   "fever_evidence",
+   "strategyqa_grounded"
+  ]
+ },
+ "evaluated_on": "Praveenrajus/jev-bench (test, 22,773 records)"
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:0fbbc1d7eda8e5719e59ee3cea9f90d2c8223cf5ed8d552034d48e0a5e09e41e
+size 3763692048

results/coherence.json

@@ -0,0 +1,1346 @@
+{
+ "label": "qwen35-2b-full-sup-lr1e-6-s0",
+ "families": 4749,
+ "families_missing": 0,
+ "theorem_violations": 0,
+ "macro": {
+  "d2_mean": 0.34424443248451636,
+  "frac_d2_gt_0.01": 0.9795735971345725,
+  "d2_per_prob": 0.055903760294895764,
+  "auroc_err_d2": 0.4351108962417111,
+  "auroc_err_conf": 0.759034199256043,
+  "acc": [
+   0.7181619193814316,
+   0.7102831315026438,
+   0.724307806015123,
+   0.7181619193814316,
+   0.724307806015123,
+   0.7023474899084655,
+   0.7023474899084655
+  ],
+  "ece": [
+   0.08294844563745614,
+   0.17633713238449208,
+   0.08802674657452457,
+   0.08696764122326871,
+   0.08700200889905492,
+   0.101797037120478,
+   0.10073178625580703
+  ],
+  "brier": [
+   0.34541131522687224,
+   0.37596611802189417,
+   0.3387112058648082,
+   0.34615481696301426,
+   0.33770293350738856,
+   0.36005207540461076,
+   0.36070964805751426
+  ],
+  "nll": [
+   0.7577709031219698,
+   0.9277152655747861,
+   0.6909318954822392,
+   0.7568438613724925,
+   0.6814656715285591,
+   0.8295886297876166,
+   0.7727278644432117
+  ],
+  "columns": [
+   "model",
+   "uniform projection",
+   "weighted projection",
+   "model + T",
+   "weighted projection + T",
+   "self-weighted (label-free)",
+   "self-weighted + T"
+  ],
+  "lambda": {
+   "choice/fit_on_fold0": 2.0,
+   "choice/fit_on_fold1": 4.0,
+   "score/fit_on_fold0": "inf",
+   "score/fit_on_fold1": 64.0,
+   "noul/fit_on_fold0": "inf",
+   "noul/fit_on_fold1": 64.0
+  },
+  "self_weights": {
+   "choice": {
+    "primary": 1.0,
+    "opt": 0.065
+   },
+   "score": {
+    "primary": 1.0,
+    "thr": 0.767
+   },
+   "noul": {
+    "primary": 1.0,
+    "neg": 0.033,
+    "tf": 1.012
+   }
+  },
+  "temperature": {
+   "model": {
+    "choice/fit_on_fold0": 1.084,
+    "choice/fit_on_fold1": 1.084,
+    "score/fit_on_fold0": 0.923,
+    "score/fit_on_fold1": 0.923,
+    "noul/fit_on_fold0": 1.0,
+    "noul/fit_on_fold1": 1.0
+   },
+   "weighted": {
+    "choice/fit_on_fold0": 0.923,
+    "choice/fit_on_fold1": 0.725,
+    "score/fit_on_fold0": 0.923,
+    "score/fit_on_fold1": 0.923,
+    "noul/fit_on_fold0": 0.923,
+    "noul/fit_on_fold1": 1.0
+   },
+   "self": {
+    "choice/fit_on_fold0": 1.0,
+    "choice/fit_on_fold1": 1.0,
+    "score/fit_on_fold0": 1.756,
+    "score/fit_on_fold1": 2.063,
+    "noul/fit_on_fold0": 1.0,
+    "noul/fit_on_fold1": 0.923
+   }
+  }
+ },
+ "per_source": {
+  "arc_challenge": {
+   "n": 150,
+   "primitive": "choice",
+   "d2_mean": 0.445333920571133,
+   "d2_median": 0.39045073027903254,
+   "frac_d2_gt_0.01": 1.0,
+   "d2_per_prob": 0.05570042684706099,
+   "acc": [
+    0.8933333333333333,
+    0.8866666666666667,
+    0.8933333333333333,
+    0.8933333333333333,
+    0.8933333333333333,
+    0.8933333333333333,
+    0.8933333333333333
+   ],
+   "ece": [
+    0.11578933333333333,
+    0.2863813195762325,
+    0.20437463106304363,
+    0.1355371252248713,
+    0.14960746606138728,
+    0.13684481484512523,
+    0.13684482022524996
+   ],
+   "brier": [
+    0.2002635970666667,
+    0.2867162279640752,
+    0.23311379802873186,
+    0.20721970570381273,
+    0.20863082413804482,
+    0.20524604172453864,
+    0.20524604335884764
+   ],
+   "nll": [
+    0.41144434971291227,
+    0.5893192462838729,
+    0.4889670943819281,
+    0.42791202422534325,
+    0.4319269900311802,
+    0.4228764254693396,
+    0.4228764321360028
+   ],
+   "tvd_human": [
+    null,
+    null,
+    null,
+    null,
+    null,
+    null,
+    null
+   ],
+   "auroc_err_d2": 0.39972014925373134,
+   "auroc_err_conf": 0.8055037313432836
+  },
+  "banking77": {
+   "n": 150,
+   "primitive": "choice",
+   "d2_mean": 0.24941269736361923,
+   "d2_median": 0.17990560362499342,
+   "frac_d2_gt_0.01": 1.0,
+   "d2_per_prob": 0.0030791691032545578,
+   "acc": [
+    0.74,
+    0.8066666666666666,
+    0.7666666666666667,
+    0.74,
+    0.7666666666666667,
+    0.74,
+    0.74
+   ],
+   "ece": [
+    0.07601999999999999,
+    0.15887417829159864,
+    0.07081587368353413,
+    0.07695745232825031,
+    0.06999848631298382,
+    0.0849341033533111,
+    0.08495784489903559
+   ],
+   "brier": [
+    0.362284304,
+    0.30408963071332146,
+    0.32496109518169863,
+    0.361611590908299,
+    0.33032835241892616,
+    0.35155508519571127,
+    0.3515547342779508
+   ],
+   "nll": [
+    1.1034964204866404,
+    0.6537792623712438,
+    0.6966430371201674,
+    1.102696170591502,
+    0.6851458496386883,
+    0.8337975982252231,
+    0.8338472566992662
+   ],
+   "tvd_human": [
+    null,
+    null,
+    null,
+    null,
+    null,
+    null,
+    null
+   ],
+   "auroc_err_d2": 0.6842226842226842,
+   "auroc_err_conf": 0.8550473550473551
+  },
+  "boolq": {
+   "n": 150,
+   "primitive": "noul",
+   "d2_mean": 0.45604824998432064,
+   "d2_median": 0.5380941248550934,
+   "frac_d2_gt_0.01": 1.0,
+   "d2_per_prob": 0.11401206249608016,
+   "acc": [
+    0.9066666666666666,
+    0.8933333333333333,
+    0.9066666666666666,
+    0.9066666666666666,
+    0.9066666666666666,
+    0.9066666666666666,
+    0.9066666666666666
+   ],
+   "ece": [
+    0.05368469149117105,
+    0.19018896534089869,
+    0.06366354029207644,
+    0.053684691491171034,
+    0.05940668154454295,
+    0.07041642100855117,
+    0.05968032700478127
+   ],
+   "brier": [
+    0.06759291777611301,
+    0.11537765364311073,
+    0.06794989282933933,
+    0.06759291777611301,
+    0.06731137745511016,
+    0.06980428669401377,
+    0.06979516746759011
+   ],
+   "nll": [
+    0.2366501279418345,
+    0.40338555007859916,
+    0.2386276561303496,
+    0.2366501279418345,
+    0.2351478196762082,
+    0.24349420295039156,
+    0.24453888203609714
+   ],
+   "tvd_human": [
+    null,
+    null,
+    null,
+    null,
+    null,
+    null,
+    null
+   ],
+   "auroc_err_d2": 0.13918067226890757,
+   "auroc_err_conf": 0.8608193277310925
+  },
+  "chaosnli": {
+   "n": 1599,
+   "primitive": "choice",
+   "d2_mean": 0.499095138813663,
+   "d2_median": 0.36509382233676857,
+   "frac_d2_gt_0.01": 0.9906191369606003,
+   "d2_per_prob": 0.0831825231356105,
+   "acc": [
+    0.632895559724828,
+    0.632895559724828,
+    0.6347717323327079,
+    0.632895559724828,
+    0.6347717323327079,
+    0.6316447779862414,
+    0.6316447779862414
+   ],
+   "ece": [
+    0.1245173233270794,
+    0.07006853771317707,
+    0.030157600919608816,
+    0.10494550622896029,
+    0.07559639567578763,
+    0.10200328398536097,
+    0.10200328398536103
+   ],
+   "brier": [
+    0.4999539783614759,
+    0.49913748793328827,
+    0.4856687006362035,
+    0.49226603742011826,
+    0.5003367690674718,
+    0.4925982618036335,
+    0.49259826180363353
+   ],
+   "nll": [
+    0.831112363858522,
+    0.8525405000549235,
+    0.8206400448678715,
+    0.8165436400495703,
+    0.8421749071857653,
+    0.8190239259727131,
+    0.8190239259727131
+   ],
+   "tvd_human": [
+    0.2763906191369606,
+    0.24331310499193243,
+    0.2426406498975346,
+    0.2663114950737165,
+    0.2613069501667435,
+    0.2645766642352467,
+    0.2645766642352467
+   ],
+   "auroc_err_d2": 0.30990465352734814,
+   "auroc_err_conf": 0.6867521597726768
+  },
+  "civil_comments": {
+   "n": 150,
+   "primitive": "noul",
+   "d2_mean": 0.4947797823683959,
+   "d2_median": 0.5790609618791724,
+   "frac_d2_gt_0.01": 1.0,
+   "d2_per_prob": 0.12369494559209898,
+   "acc": [
+    0.9266666666666666,
+    0.8866666666666667,
+    0.9266666666666666,
+    0.9266666666666666,
+    0.9266666666666666,
+    0.9066666666666666,
+    0.9066666666666666
+   ],
+   "ece": [
+    0.028065544493513502,
+    0.18265527917157898,
+    0.02901485278783881,
+    0.028065544493513502,
+    0.03709653175555223,
+    0.04614196728822819,
+    0.05960053558606718
+   ],
+   "brier": [
+    0.056319875123003175,
+    0.1223019462634026,
+    0.05710321658964482,
+    0.056319875123003175,
+    0.05775994102567809,
+    0.07316573463529467,
+    0.07249584821238877
+   ],
+   "nll": [
+    0.199895165134619,
+    0.42015596197127936,
+    0.2069251270193074,
+    0.19989516513461902,
+    0.21042902896976068,
+    0.2479661858816642,
+    0.2433614776766243
+   ],
+   "tvd_human": [
+    0.11009040075432357,
+    0.23639626218344445,
+    0.11191384989951433,
+    0.11009040075432357,
+    0.1111774078869586,
+    0.12438802471808766,
+    0.123007871889685
+   ],
+   "auroc_err_d2": 0.1497710922171354,
+   "auroc_err_conf": 0.8502289077828646
+  },
+  "clinc150": {
+   "n": 150,
+   "primitive": "choice",
+   "d2_mean": 0.2921553819082512,
+   "d2_median": 0.21360779654271073,
+   "frac_d2_gt_0.01": 1.0,
+   "d2_per_prob": 0.0018848734316661364,
+   "acc": [
+    0.7866666666666666,
+    0.86,
+    0.8266666666666667,
+    0.7866666666666666,
+    0.8266666666666667,
+    0.8066666666666666,
+    0.8066666666666666
+   ],
+   "ece": [
+    0.12812733333333326,
+    0.2650378079902421,
+    0.19700404792768197,
+    0.16788055250072334,
+    0.13141133597853263,
+    0.1524865073724478,
+    0.15254419844969488
+   ],
+   "brier": [
+    0.3389910870666667,
+    0.3098243752428355,
+    0.3119249790210427,
+    0.35360684318659247,
+    0.2844631223410194,
+    0.3286602343407278,
+    0.3286657692985179
+   ],
+   "nll": [
+    1.021969208475115,
+    0.6766586643621004,
+    0.7189154006668284,
+    1.0739381850441805,
+    0.6286916509722307,
+    0.8365429268199527,
+    0.8366226434706548
+   ],
+   "tvd_human": [
+    null,
+    null,
+    null,
+    null,
+    null,
+    null,
+    null
+   ],
+   "auroc_err_d2": 0.5460805084745762,
+   "auroc_err_conf": 0.8463983050847458
+  },
+  "fever_evidence": {
+   "n": 150,
+   "primitive": "noul",
+   "d2_mean": 0.3801046855953803,
+   "d2_median": 0.4071345653539683,
+   "frac_d2_gt_0.01": 1.0,
+   "d2_per_prob": 0.09502617139884507,
+   "acc": [
+    0.9333333333333333,
+    0.82,
+    0.94,
+    0.9333333333333333,
+    0.94,
+    0.86,
+    0.86
+   ],
+   "ece": [
+    0.07212638319270273,
+    0.16227281049625786,
+    0.08393552080717862,
+    0.07212638319270273,
+    0.07781834319887813,
+    0.07474467907508202,
+    0.06523965635958752
+   ],
+   "brier": [
+    0.06689654177435043,
+    0.13846416503594022,
+    0.06760940583733668,
+    0.06689654177435042,
+    0.06621955457574372,
+    0.09589697481429738,
+    0.09645577779160147
+   ],
+   "nll": [
+    0.24650597000698804,
+    0.4526846593475896,
+    0.24933690231120134,
+    0.246505970006988,
+    0.24300588604882545,
+    0.32434280858838127,
+    0.3286885511815392
+   ],
+   "tvd_human": [
+    null,
+    null,
+    null,
+    null,
+    null,
+    null,
+    null
+   ],
+   "auroc_err_d2": 0.2907142857142857,
+   "auroc_err_conf": 0.7564285714285715
+  },
+  "go_emotions": {
+   "n": 150,
+   "primitive": "choice",
+   "d2_mean": 0.15268340000914069,
+   "d2_median": 0.1021590583418436,
+   "frac_d2_gt_0.01": 0.9933333333333333,
+   "d2_per_prob": 0.004771356250285646,
+   "acc": [
+    0.56,
+    0.5866666666666667,
+    0.58,
+    0.56,
+    0.58,
+    0.56,
+    0.56
+   ],
+   "ece": [
+    0.09985666666666666,
+    0.14437436678526477,
+    0.08173909220456713,
+    0.07171462404176102,
+    0.15027399195437607,
+    0.09811512580030823,
+    0.09811461074447696
+   ],
+   "brier": [
+    0.6354240762666666,
+    0.5495688266309403,
+    0.5888315711537679,
+    0.6287662399791333,
+    0.6113379022533434,
+    0.6227802761658939,
+    0.6227796039102499
+   ],
+   "nll": [
+    1.5397945570462266,
+    1.0679757460398644,
+    1.192983348280373,
+    1.5337168812541222,
+    1.2349501895128614,
+    1.3848857496405864,
+    1.38489120293674
+   ],
+   "tvd_human": [
+    0.5129624021164022,
+    0.4970910526409638,
+    0.4997238826316783,
+    0.5209658028166786,
+    0.49596374237122604,
+    0.5065909136744435,
+    0.5065922355703606
+   ],
+   "auroc_err_d2": 0.6390692640692641,
+   "auroc_err_conf": 0.6479978354978355
+  },
+  "helpsteer2_helpfulness": {
+   "n": 150,
+   "primitive": "score",
+   "d2_mean": 0.17027767030857718,
+   "d2_median": 0.17635665635462827,
+   "frac_d2_gt_0.01": 1.0,
+   "d2_per_prob": 0.018919741145397472,
+   "acc": [
+    0.4266666666666667,
+    0.38666666666666666,
+    0.41333333333333333,
+    0.4266666666666667,
+    0.41333333333333333,
+    0.3933333333333333,
+    0.3933333333333333
+   ],
+   "ece": [
+    0.07011733333333335,
+    0.15079341704310398,
+    0.06349506577379786,
+    0.08396221808460169,
+    0.08189787928648545,
+    0.13182634782931524,
+    0.048456400448106236
+   ],
+   "brier": [
+    0.6977063532000001,
+    0.7584959456361975,
+    0.6980344997519048,
+    0.6991747950401028,
+    0.6995607247681809,
+    0.7410459836874169,
+    0.7185314150759442
+   ],
+   "nll": [
+    1.345518808443638,
+    1.9987621527239223,
+    1.3457304367834986,
+    1.3489691928745702,
+    1.349162426115635,
+    1.6341776416550886,
+    1.4375207655578364
+   ],
+   "tvd_human": [
+    null,
+    null,
+    null,
+    null,
+    null,
+    null,
+    null
+   ],
+   "auroc_err_d2": 0.5277979651162791,
+   "auroc_err_conf": 0.5585029069767442
+  },
+  "helpsteer2_verbosity": {
+   "n": 150,
+   "primitive": "score",
+   "d2_mean": 0.4221835974125504,
+   "d2_median": 0.44212179473349306,
+   "frac_d2_gt_0.01": 1.0,
+   "d2_per_prob": 0.0469092886013945,
+   "acc": [
+    0.56,
+    0.54,
+    0.56,
+    0.56,
+    0.56,
+    0.5533333333333333,
+    0.5533333333333333
+   ],
+   "ece": [
+    0.12623866666666672,
+    0.1749752417663555,
+    0.09285858038252673,
+    0.1198885017177188,
+    0.11699405210654096,
+    0.15439678430668197,
+    0.24243796608460316
+   ],
+   "brier": [
+    0.5955975544,
+    0.7391593050863641,
+    0.5949084405648554,
+    0.6025579199727442,
+    0.6017392885292165,
+    0.6969579681797561,
+    0.7259446079609685
+   ],
+   "nll": [
+    1.1398867103108632,
+    2.351657442639797,
+    1.140402866737073,
+    1.1527881617506819,
+    1.1520404773680477,
+    1.7958113323584342,
+    1.5209266832726644
+   ],
+   "tvd_human": [
+    null,
+    null,
+    null,
+    null,
+    null,
+    null,
+    null
+   ],
+   "auroc_err_d2": 0.39646464646464646,
+   "auroc_err_conf": 0.6278860028860029
+  },
+  "ledgar": {
+   "n": 150,
+   "primitive": "choice",
+   "d2_mean": 0.21101960803634917,
+   "d2_median": 0.11417016239209404,
+   "frac_d2_gt_0.01": 0.86,
+   "d2_per_prob": 0.002029034692657203,
+   "acc": [
+    0.8066666666666666,
+    0.9,
+    0.8333333333333334,
+    0.8066666666666666,
+    0.8333333333333334,
+    0.8133333333333334,
+    0.8133333333333334
+   ],
+   "ece": [
+    0.06510866666666663,
+    0.1386743855397213,
+    0.0789565169137552,
+    0.062432980461078987,
+    0.055965541493138656,
+    0.0720774047912179,
+    0.07202366964726076
+   ],
+   "brier": [
+    0.2724716288,
+    0.17438841294299068,
+    0.21404276429677002,
+    0.272997921524828,
+    0.2120454398319758,
+    0.2577209883596167,
+    0.2577165533469825
+   ],
+   "nll": [
+    0.8044104558933085,
+    0.34669568714389054,
+    0.3994614525827854,
+    0.718518514313333,
+    0.37436965717575804,
+    0.5133312344280495,
+    0.5134031646716205
+   ],
+   "tvd_human": [
+    null,
+    null,
+    null,
+    null,
+    null,
+    null,
+    null
+   ],
+   "auroc_err_d2": 0.81761185522941,
+   "auroc_err_conf": 0.8364206326588772
+  },
+  "massive": {
+   "n": 150,
+   "primitive": "choice",
+   "d2_mean": 0.28129735044490983,
+   "d2_median": 0.2326751427435838,
+   "frac_d2_gt_0.01": 1.0,
+   "d2_per_prob": 0.004395271100701716,
+   "acc": [
+    0.7866666666666666,
+    0.8466666666666667,
+    0.82,
+    0.7866666666666666,
+    0.82,
+    0.7866666666666666,
+    0.7866666666666666
+   ],
+   "ece": [
+    0.0777126666666667,
+    0.18979697917741029,
+    0.12016697381720155,
+    0.08463392286843259,
+    0.08565271612094155,
+    0.06563622072344942,
+    0.06566104791893812
+   ],
+   "brier": [
+    0.2918901418666667,
+    0.26712022029259447,
+    0.26723011911226807,
+    0.2953347428754525,
+    0.25832656099598683,
+    0.28339921500362325,
+    0.28340094401279536
+   ],
+   "nll": [
+    0.7635561516268425,
+    0.5719995020158584,
+    0.576347271290265,
+    0.7866866004899914,
+    0.5235165237323772,
+    0.6539981178745592,
+    0.6540353383640651
+   ],
+   "tvd_human": [
+    null,
+    null,
+    null,
+    null,
+    null,
+    null,
+    null
+   ],
+   "auroc_err_d2": 0.6191737288135594,
+   "auroc_err_conf": 0.8895656779661016
+  },
+  "measuring_hate_speech": {
+   "n": 150,
+   "primitive": "score",
+   "d2_mean": 0.04789215796977927,
+   "d2_median": 0.03968107968962158,
+   "frac_d2_gt_0.01": 0.8466666666666667,
+   "d2_per_prob": 0.009578431593955855,
+   "acc": [
+    0.7066666666666667,
+    0.7466666666666667,
+    0.7066666666666667,
+    0.7066666666666667,
+    0.7066666666666667,
+    0.74,
+    0.74
+   ],
+   "ece": [
+    0.09315733333333334,
+    0.08180193903022727,
+    0.09276177938066187,
+    0.07499960580269041,
+    0.06922658479760434,
+    0.08093180752531413,
+    0.20865092916249278
+   ],
+   "brier": [
+    0.43755027053333323,
+    0.3728176427739953,
+    0.4367256023420677,
+    0.4338453809597388,
+    0.43300293452748645,
+    0.38182844245802594,
+    0.44636010795175274
+   ],
+   "nll": [
+    0.795153638920132,
+    0.6826387031128062,
+    0.7936449508710087,
+    0.7936840123546625,
+    0.7920948462879857,
+    0.6992137858431018,
+    0.7922767401577565
+   ],
+   "tvd_human": [
+    0.3481855555555556,
+    0.30682141853717815,
+    0.3476425942413979,
+    0.34246959598037185,
+    0.3419161679385204,
+    0.31277384656132556,
+    0.3761724489948334
+   ],
+   "auroc_err_d2": 0.8102487135506004,
+   "auroc_err_conf": 0.7855917667238422
+  },
+  "mmlu": {
+   "n": 150,
+   "primitive": "choice",
+   "d2_mean": 0.4652137687077885,
+   "d2_median": 0.4068245179355562,
+   "frac_d2_gt_0.01": 1.0,
+   "d2_per_prob": 0.058151721088473565,
+   "acc": [
+    0.62,
+    0.62,
+    0.6066666666666667,
+    0.62,
+    0.6066666666666667,
+    0.62,
+    0.62
+   ],
+   "ece": [
+    0.06459333333333332,
+    0.14407104069782178,
+    0.06763802932384799,
+    0.07125939958645143,
+    0.07882656523717056,
+    0.06731238904383484,
+    0.06731240448608881
+   ],
+   "brier": [
+    0.4675828609333333,
+    0.5038782643650732,
+    0.47653596299693485,
+    0.4665434059147077,
+    0.47966874555258887,
+    0.4673184841929888,
+    0.4673184827585815
+   ],
+   "nll": [
+    0.8801697688700574,
+    0.9555300863208996,
+    0.8992174367147606,
+    0.8779691352374367,
+    0.9048809541004429,
+    0.8775541931762255,
+    0.8775542131762154
+   ],
+   "tvd_human": [
+    null,
+    null,
+    null,
+    null,
+    null,
+    null,
+    null
+   ],
+   "auroc_err_d2": 0.48292774948122996,
+   "auroc_err_conf": 0.7892850405583852
+  },
+  "mnli": {
+   "n": 150,
+   "primitive": "choice",
+   "d2_mean": 0.7058271035123084,
+   "d2_median": 0.5227622377917546,
+   "frac_d2_gt_0.01": 1.0,
+   "d2_per_prob": 0.11763785058538474,
+   "acc": [
+    0.82,
+    0.82,
+    0.82,
+    0.82,
+    0.82,
+    0.82,
+    0.82
+   ],
+   "ece": [
+    0.08623199999999998,
+    0.21486930640247953,
+    0.13160062633546354,
+    0.09809952918103045,
+    0.09648601334300322,
+    0.10240744840513662,
+    0.10240744840513667
+   ],
+   "brier": [
+    0.2639669976,
+    0.3488868395279254,
+    0.28293901734690696,
+    0.2620674248749983,
+    0.26969902424830094,
+    0.2643644750195817,
+    0.26436447501958166
+   ],
+   "nll": [
+    0.4627406488403193,
+    0.6506768768537871,
+    0.5366661128844564,
+    0.4645572066415322,
+    0.4991701020640908,
+    0.47642216644746727,
+    0.47642216644746727
+   ],
+   "tvd_human": [
+    null,
+    null,
+    null,
+    null,
+    null,
+    null,
+    null
+   ],
+   "auroc_err_d2": 0.2839506172839506,
+   "auroc_err_conf": 0.8423667570009034
+  },
+  "paws": {
+   "n": 150,
+   "primitive": "noul",
+   "d2_mean": 0.588769334583782,
+   "d2_median": 0.6510286133537634,
+   "frac_d2_gt_0.01": 1.0,
+   "d2_per_prob": 0.1471923336459455,
+   "acc": [
+    0.8666666666666667,
+    0.8533333333333334,
+    0.8666666666666667,
+    0.8666666666666667,
+    0.8666666666666667,
+    0.8533333333333334,
+    0.8533333333333334
+   ],
+   "ece": [
+    0.07818019961339343,
+    0.18174770001518886,
+    0.07175785906353323,
+    0.07818019961339351,
+    0.07282227377970996,
+    0.0830742523671039,
+    0.08745615184124442
+   ],
+   "brier": [
+    0.10604583379666718,
+    0.13314239660601648,
+    0.10530321827050088,
+    0.1060458337966672,
+    0.10616983823641826,
+    0.11128164083074712,
+    0.11250345245556008
+   ],
+   "nll": [
+    0.3619494609749825,
+    0.4422511431897495,
+    0.35647398002141994,
+    0.3619494609749825,
+    0.3651221588573813,
+    0.35546381740121763,
+    0.36030309769833885
+   ],
+   "tvd_human": [
+    null,
+    null,
+    null,
+    null,
+    null,
+    null,
+    null
+   ],
+   "auroc_err_d2": 0.14576923076923076,
+   "auroc_err_conf": 0.8173076923076923
+  },
+  "sms_spam": {
+   "n": 150,
+   "primitive": "noul",
+   "d2_mean": 0.6561771008521786,
+   "d2_median": 0.6882175527875654,
+   "frac_d2_gt_0.01": 1.0,
+   "d2_per_prob": 0.16404427521304465,
+   "acc": [
+    0.9733333333333334,
+    0.9666666666666667,
+    0.9733333333333334,
+    0.9733333333333334,
+    0.9733333333333334,
+    0.9666666666666667,
+    0.9666666666666667
+   ],
+   "ece": [
+    0.019748802316553724,
+    0.23320738530737373,
+    0.0177508375046645,
+    0.019748802316553717,
+    0.01653579828666175,
+    0.019609083696140256,
+    0.017726921174839108
+   ],
+   "brier": [
+    0.021161651919554436,
+    0.07907279792811626,
+    0.02136116690409474,
+    0.021161651919554436,
+    0.021575695730239573,
+    0.025124397888021975,
+    0.02511657038839709
+   ],
+   "nll": [
+    0.08829212979364233,
+    0.3240666172590361,
+    0.09412139821871107,
+    0.08829212979364233,
+    0.09643661953501372,
+    0.10293345281168281,
+    0.10168430269320762
+   ],
+   "tvd_human": [
+    null,
+    null,
+    null,
+    null,
+    null,
+    null,
+    null
+   ],
+   "auroc_err_d2": 0.07534246575342465,
+   "auroc_err_conf": 0.8647260273972602
+  },
+  "sst5": {
+   "n": 150,
+   "primitive": "score",
+   "d2_mean": 0.20173854682261902,
+   "d2_median": 0.20219690492908016,
+   "frac_d2_gt_0.01": 0.9533333333333334,
+   "d2_per_prob": 0.022415394091402117,
+   "acc": [
+    0.5066666666666667,
+    0.31333333333333335,
+    0.5266666666666666,
+    0.5066666666666667,
+    0.5266666666666666,
+    0.32666666666666666,
+    0.32666666666666666
+   ],
+   "ece": [
+    0.07717266666666665,
+    0.18380297231350531,
+    0.10317334686467526,
+    0.09285388966468018,
+    0.10241790306244157,
+    0.14872636038902798,
+    0.08724142503271454
+   ],
+   "brier": [
+    0.5993707316,
+    0.7219422388277636,
+    0.6002417132114636,
+    0.5956433756654298,
+    0.5965318439389099,
+    0.6962295334364174,
+    0.6995283845638522
+   ],
+   "nll": [
+    1.0809704068023638,
+    1.9821340464120771,
+    1.084594641947438,
+    1.0672641730131003,
+    1.0707717907496155,
+    1.6395352850922398,
+    1.3927793106699267
+   ],
+   "tvd_human": [
+    null,
+    null,
+    null,
+    null,
+    null,
+    null,
+    null
+   ],
+   "auroc_err_d2": 0.4487908961593172,
+   "auroc_err_conf": 0.6320234708392604
+  },
+  "strategyqa_closed": {
+   "n": 150,
+   "primitive": "noul",
+   "d2_mean": 0.14958340470400772,
+   "d2_median": 0.06809318083802743,
+   "frac_d2_gt_0.01": 0.9733333333333334,
+   "d2_per_prob": 0.03739585117600193,
+   "acc": [
+    0.64,
+    0.7266666666666667,
+    0.6466666666666666,
+    0.64,
+    0.6466666666666666,
+    0.72,
+    0.72
+   ],
+   "ece": [
+    0.08942381393180916,
+    0.10449591854725768,
+    0.08037939632512783,
+    0.08942381393180919,
+    0.08420616887655707,
+    0.08728536654889218,
+    0.09520237936665074
+   ],
+   "brier": [
+    0.20156949456724393,
+    0.19960092036704305,
+    0.20072550629334637,
+    0.20156949456724393,
+    0.2005579463169533,
+    0.18575458381712356,
+    0.1856975294552466
+   ],
+   "nll": [
+    0.5774032994112407,
+    0.588227660277465,
+    0.5760493485460029,
+    0.5774032994112407,
+    0.5745409901831312,
+    0.5456557165219501,
+    0.5455302745332212
+   ],
+   "tvd_human": [
+    null,
+    null,
+    null,
+    null,
+    null,
+    null,
+    null
+   ],
+   "auroc_err_d2": 0.2856867283950617,
+   "auroc_err_conf": 0.7038001543209876
+  },
+  "strategyqa_grounded": {
+   "n": 150,
+   "primitive": "noul",
+   "d2_mean": 0.3168662989859898,
+   "d2_median": 0.2882273231046364,
+   "frac_d2_gt_0.01": 0.9933333333333333,
+   "d2_per_prob": 0.07921657474649745,
+   "acc": [
+    0.8133333333333334,
+    0.8466666666666667,
+    0.8066666666666666,
+    0.8133333333333334,
+    0.8066666666666666,
+    0.8266666666666667,
+    0.8266666666666667
+   ],
+   "ece": [
+    0.06183971232447884,
+    0.17267710024456112,
+    0.04331482372393426,
+    0.06183971232447884,
+    0.03137496354633196,
+    0.07834531406497322,
+    0.085028263917759
+   ],
+   "brier": [
+    0.13385163247278165,
+    0.14225477286441246,
+    0.13355098101903054,
+    0.13385163247278165,
+    0.13360677612769603,
+    0.1130647783574905,
+    0.11305945921908256
+   ],
+   "nll": [
+    0.40584527117492203,
+    0.46331866657402865,
+    0.40704004643162334,
+    0.40584527117492203,
+    0.4063382141704068,
+    0.355618016083666,
+    0.3545947186722173
+   ],
+   "tvd_human": [
+    null,
+    null,
+    null,
+    null,
+    null,
+    null,
+    null
+   ],
+   "auroc_err_d2": 0.2268735362997658,
+   "auroc_err_conf": 0.7565866510538641
+  },
+  "stsb": {
+   "n": 150,
+   "primitive": "score",
+   "d2_mean": 0.2110944073708435,
+   "d2_median": 0.23286678194272534,
+   "frac_d2_gt_0.01": 0.9466666666666667,
+   "d2_per_prob": 0.021109440737084352,
+   "acc": [
+    0.38,
+    0.32,
+    0.37333333333333335,
+    0.38,
+    0.37333333333333335,
+    0.35333333333333333,
+    0.35333333333333333
+   ],
+   "ece": [
+    0.11861600000000001,
+    0.23835451520858036,
+    0.125719471773424,
+    0.14498758914546966,
+    0.14980027037276175,
+    0.20092558915003655,
+    0.1490561941644919
+   ],
+   "brier": [
+    0.6586722132,
+    0.8004170216506868,
+    0.6591923018650402,
+    0.6631525775058174,
+    0.6637196192335166,
+    0.7729689005403909,
+    0.7183668751421927
+   ],
+   "nll": [
+    1.2477612845888355,
+    2.247289146524647,
+    1.2492699807421463,
+    1.2445393490656083,
+    1.2463328536787197,
+    1.859878478813718,
+    1.4963346473859576
+   ],
+   "tvd_human": [
+    null,
+    null,
+    null,
+    null,
+    null,
+    null,
+    null
+   ],
+   "auroc_err_d2": 0.5929069986794945,
+   "auroc_err_conf": 0.7324089794378419
+  },
+  "yelp5": {
+   "n": 150,
+   "primitive": "score",
+   "d2_mean": 0.17582390833377326,
+   "d2_median": 0.18524666321711308,
+   "frac_d2_gt_0.01": 0.9933333333333333,
+   "d2_per_prob": 0.019535989814863697,
+   "acc": [
+    0.5133333333333333,
+    0.36666666666666664,
+    0.5066666666666667,
+    0.5133333333333333,
+    0.5066666666666667,
+    0.37333333333333335,
+    0.37333333333333335
+   ],
+   "ece": [
+    0.0985373333333333,
+    0.21029574579998783,
+    0.08630995777139717,
+    0.12006606271156864,
+    0.1206282329878187,
+    0.18129354508097711,
+    0.1284528187231741
+   ],
+   "brier": [
+    0.6238851926666668,
+    0.7045975041855774,
+    0.6236925757728299,
+    0.6271800642248241,
+    0.626872255849741,
+    0.6843793717561243,
+    0.6781121937935971
+   ],
+   "nll": [
+    1.1264336703693318,
+    1.6879885210878547,
+    1.1284431660600474,
+    1.12424027885097,
+    1.1259948375741733,
+    1.6284267932719134,
+    1.3627972223405265
+   ],
+   "tvd_human": [
+    null,
+    null,
+    null,
+    null,
+    null,
+    null,
+    null
+   ],
+   "auroc_err_d2": 0.7002312755737413,
+   "auroc_err_conf": 0.5531044298167586
+  }
+ },
+ "chaosnli": {
+  "n": 1599,
+  "spearman_d2_disagreement": -0.272259699037493,
+  "spearman_uncertainty_disagreement": 0.2801169966210108,
+  "d2_by_band": {
+   "split <50%": {
+    "n": 191,
+    "d2_mean": 0.37110608170420256,
+    "conf_mean": 0.6941251308900523
+   },
+   "contested 50-70%": {
+    "n": 828,
+    "d2_mean": 0.4283648986765743,
+    "conf_mean": 0.7406737922705314
+   },
+   "clear 70-90%": {
+    "n": 523,
+    "d2_mean": 0.6224392693326635,
+    "conf_mean": 0.7957239005736138
+   },
+   "consensus >=90%": {
+    "n": 57,
+    "d2_mean": 0.8236840595150517,
+    "conf_mean": 0.861119298245614
+   }
+  }
+ }
+}

results/probes.json

@@ -0,0 +1,622 @@
+{
+ "per_config": {
+  "cardinality": {
+   "banking77|K10": {
+    "n": 200,
+    "accuracy": 0.935,
+    "ece": 0.07111400000000001,
+    "mean_p_gold": 0.8425345,
+    "mean_conf": 0.8690350000000001
+   },
+   "banking77|K100": {
+    "n": 200,
+    "accuracy": 0.735,
+    "ece": 0.07928999999999996,
+    "mean_p_gold": 0.6466905,
+    "mean_conf": 0.7603099999999999
+   },
+   "banking77|K2": {
+    "n": 200,
+    "accuracy": 0.99,
+    "ece": 0.03686650000000004,
+    "mean_p_gold": 0.9541605000000001,
+    "mean_conf": 0.9582555
+   },
+   "banking77|K25": {
+    "n": 200,
+    "accuracy": 0.865,
+    "ece": 0.07814099999999997,
+    "mean_p_gold": 0.7414125,
+    "mean_conf": 0.808853
+   },
+   "banking77|K5": {
+    "n": 200,
+    "accuracy": 0.97,
+    "ece": 0.05092299999999998,
+    "mean_p_gold": 0.9143975000000001,
+    "mean_conf": 0.92193
+   },
+   "banking77|K50": {
+    "n": 200,
+    "accuracy": 0.795,
+    "ece": 0.061708500000000034,
+    "mean_p_gold": 0.700698,
+    "mean_conf": 0.7963254999999999
+   },
+   "banking77|K77": {
+    "n": 200,
+    "accuracy": 0.74,
+    "ece": 0.06758949999999993,
+    "mean_p_gold": 0.64629,
+    "mean_conf": 0.7598895
+   },
+   "clinc150|K10": {
+    "n": 200,
+    "accuracy": 0.97,
+    "ece": 0.08100800000000002,
+    "mean_p_gold": 0.8876575,
+    "mean_conf": 0.8999389999999999
+   },
+   "clinc150|K100": {
+    "n": 200,
+    "accuracy": 0.83,
+    "ece": 0.09844400000000006,
+    "mean_p_gold": 0.6775125,
+    "mean_conf": 0.736962
+   },
+   "clinc150|K151": {
+    "n": 200,
+    "accuracy": 0.78,
+    "ece": 0.11997649999999997,
+    "mean_p_gold": 0.5992125,
+    "mean_conf": 0.6713685000000001
+   },
+   "clinc150|K2": {
+    "n": 200,
+    "accuracy": 0.98,
+    "ece": 0.041492000000000084,
+    "mean_p_gold": 0.9509010000000001,
+    "mean_conf": 0.9556110000000001
+   },
+   "clinc150|K25": {
+    "n": 200,
+    "accuracy": 0.945,
+    "ece": 0.12090750000000001,
+    "mean_p_gold": 0.8063835,
+    "mean_conf": 0.8254624999999999
+   },
+   "clinc150|K5": {
+    "n": 200,
+    "accuracy": 0.985,
+    "ece": 0.05836949999999988,
+    "mean_p_gold": 0.9259654999999999,
+    "mean_conf": 0.9294024999999999
+   },
+   "clinc150|K50": {
+    "n": 200,
+    "accuracy": 0.915,
+    "ece": 0.10288350000000003,
+    "mean_p_gold": 0.7745485,
+    "mean_conf": 0.8121165
+   },
+   "go_emotions|K10": {
+    "n": 200,
+    "accuracy": 0.715,
+    "ece": 0.08132449999999998,
+    "mean_p_gold": 0.569403,
+    "mean_conf": 0.6704114999999998
+   },
+   "go_emotions|K100": {
+    "n": 200,
+    "accuracy": 0.535,
+    "ece": 0.12466399999999998,
+    "mean_p_gold": 0.4037445,
+    "mean_conf": 0.621846
+   },
+   "go_emotions|K2": {
+    "n": 200,
+    "accuracy": 0.955,
+    "ece": 0.057876500000000095,
+    "mean_p_gold": 0.9006865,
+    "mean_conf": 0.9156184999999999
+   },
+   "go_emotions|K25": {
+    "n": 200,
+    "accuracy": 0.53,
+    "ece": 0.07764950000000004,
+    "mean_p_gold": 0.3975565,
+    "mean_conf": 0.5897625
+   },
+   "go_emotions|K28": {
+    "n": 200,
+    "accuracy": 0.54,
+    "ece": 0.11136600000000009,
+    "mean_p_gold": 0.40340000000000004,
+    "mean_conf": 0.621964
+   },
+   "go_emotions|K5": {
+    "n": 200,
+    "accuracy": 0.865,
+    "ece": 0.0786075,
+    "mean_p_gold": 0.7344809999999999,
+    "mean_conf": 0.7983035
+   },
+   "go_emotions|K50": {
+    "n": 200,
+    "accuracy": 0.54,
+    "ece": 0.10938350000000006,
+    "mean_p_gold": 0.403252,
+    "mean_conf": 0.6219534999999999
+   },
+   "ledgar|K10": {
+    "n": 200,
+    "accuracy": 0.935,
+    "ece": 0.05702449999999996,
+    "mean_p_gold": 0.8613550000000001,
+    "mean_conf": 0.8856955000000001
+   },
+   "ledgar|K100": {
+    "n": 200,
+    "accuracy": 0.76,
+    "ece": 0.053084500000000034,
+    "mean_p_gold": 0.6771064999999998,
+    "mean_conf": 0.7818885
+   },
+   "ledgar|K2": {
+    "n": 200,
+    "accuracy": 1.0,
+    "ece": 0.01663850000000003,
+    "mean_p_gold": 0.9833614999999999,
+    "mean_conf": 0.9833614999999999
+   },
+   "ledgar|K25": {
+    "n": 200,
+    "accuracy": 0.89,
+    "ece": 0.09660950000000001,
+    "mean_p_gold": 0.788439,
+    "mean_conf": 0.8221565
+   },
+   "ledgar|K5": {
+    "n": 200,
+    "accuracy": 0.985,
+    "ece": 0.04390650000000006,
+    "mean_p_gold": 0.938126,
+    "mean_conf": 0.9454545
+   },
+   "ledgar|K50": {
+    "n": 200,
+    "accuracy": 0.815,
+    "ece": 0.058578000000000026,
+    "mean_p_gold": 0.7418165000000001,
+    "mean_conf": 0.819174
+   },
+   "massive|K10": {
+    "n": 200,
+    "accuracy": 0.945,
+    "ece": 0.05500399999999987,
+    "mean_p_gold": 0.865541,
+    "mean_conf": 0.8956139999999999
+   },
+   "massive|K100": {
+    "n": 200,
+    "accuracy": 0.83,
+    "ece": 0.08744499999999993,
+    "mean_p_gold": 0.720957,
+    "mean_conf": 0.7839059999999999
+   },
+   "massive|K2": {
+    "n": 200,
+    "accuracy": 0.98,
+    "ece": 0.021542999999999875,
+    "mean_p_gold": 0.9611859999999999,
+    "mean_conf": 0.970752
+   },
+   "massive|K25": {
+    "n": 200,
+    "accuracy": 0.895,
+    "ece": 0.08401950000000002,
+    "mean_p_gold": 0.7972714999999999,
+    "mean_conf": 0.8324144999999998
+   },
+   "massive|K5": {
+    "n": 200,
+    "accuracy": 0.965,
+    "ece": 0.04921050000000009,
+    "mean_p_gold": 0.920927,
+    "mean_conf": 0.9326475000000001
+   },
+   "massive|K50": {
+    "n": 200,
+    "accuracy": 0.85,
+    "ece": 0.05253649999999999,
+    "mean_p_gold": 0.7505949999999999,
+    "mean_conf": 0.8112145000000001
+   },
+   "massive|K60": {
+    "n": 200,
+    "accuracy": 0.83,
+    "ece": 0.09094499999999998,
+    "mean_p_gold": 0.720731,
+    "mean_conf": 0.7836249999999998
+   }
+  },
+  "distractor": {
+   "arc_challenge|injected": {
+    "n": 200,
+    "accuracy": 0.8,
+    "ece": 0.10554050000000004,
+    "mean_p_gold": 0.633856,
+    "mean_conf": 0.6944595000000001
+   },
+   "arc_challenge|original": {
+    "n": 200,
+    "accuracy": 0.88,
+    "ece": 0.10634800000000001,
+    "mean_p_gold": 0.737918,
+    "mean_conf": 0.7862060000000001
+   },
+   "mmlu|injected": {
+    "n": 200,
+    "accuracy": 0.51,
+    "ece": 0.11740500000000002,
+    "mean_p_gold": 0.43157799999999996,
+    "mean_conf": 0.5695950000000001
+   },
+   "mmlu|original": {
+    "n": 200,
+    "accuracy": 0.59,
+    "ece": 0.075786,
+    "mean_p_gold": 0.493812,
+    "mean_conf": 0.619409
+   },
+   "mnli|injected": {
+    "n": 200,
+    "accuracy": 0.79,
+    "ece": 0.08705900000000004,
+    "mean_p_gold": 0.6722885,
+    "mean_conf": 0.778487
+   },
+   "mnli|original": {
+    "n": 200,
+    "accuracy": 0.805,
+    "ece": 0.0730775,
+    "mean_p_gold": 0.7299744999999999,
+    "mean_conf": 0.8345185
+   }
+  },
+  "order": {
+   "arc_challenge|original": {
+    "n": 200,
+    "accuracy": 0.88,
+    "ece": 0.107599,
+    "mean_p_gold": 0.7376355000000001,
+    "mean_conf": 0.786139
+   },
+   "arc_challenge|shuffled": {
+    "n": 200,
+    "accuracy": 0.855,
+    "ece": 0.06726549999999999,
+    "mean_p_gold": 0.7289855,
+    "mean_conf": 0.7883565
+   },
+   "banking77|original": {
+    "n": 200,
+    "accuracy": 0.74,
+    "ece": 0.06749999999999991,
+    "mean_p_gold": 0.6463755,
+    "mean_conf": 0.7599670000000001
+   },
+   "banking77|shuffled": {
+    "n": 200,
+    "accuracy": 0.75,
+    "ece": 0.051440499999999965,
+    "mean_p_gold": 0.6442515,
+    "mean_conf": 0.7580975000000001
+   },
+   "chaosnli|original": {
+    "n": 200,
+    "accuracy": 0.605,
+    "ece": 0.18898849999999995,
+    "mean_p_gold": 0.5518275,
+    "mean_conf": 0.7654215
+   },
+   "chaosnli|shuffled": {
+    "n": 200,
+    "accuracy": 0.595,
+    "ece": 0.1992505,
+    "mean_p_gold": 0.5410405,
+    "mean_conf": 0.7698215
+   },
+   "clinc150|original": {
+    "n": 200,
+    "accuracy": 0.78,
+    "ece": 0.11683400000000002,
+    "mean_p_gold": 0.599,
+    "mean_conf": 0.6709309999999999
+   },
+   "clinc150|shuffled": {
+    "n": 200,
+    "accuracy": 0.795,
+    "ece": 0.10817149999999998,
+    "mean_p_gold": 0.6421575,
+    "mean_conf": 0.7156755000000001
+   },
+   "go_emotions|original": {
+    "n": 200,
+    "accuracy": 0.54,
+    "ece": 0.10937900000000009,
+    "mean_p_gold": 0.4032835,
+    "mean_conf": 0.6219969999999999
+   },
+   "go_emotions|shuffled": {
+    "n": 200,
+    "accuracy": 0.545,
+    "ece": 0.08184350000000003,
+    "mean_p_gold": 0.407237,
+    "mean_conf": 0.6117865
+   },
+   "ledgar|original": {
+    "n": 200,
+    "accuracy": 0.76,
+    "ece": 0.05304200000000001,
+    "mean_p_gold": 0.6771969999999999,
+    "mean_conf": 0.7819790000000001
+   },
+   "ledgar|shuffled": {
+    "n": 200,
+    "accuracy": 0.755,
+    "ece": 0.06729349999999999,
+    "mean_p_gold": 0.6510894999999999,
+    "mean_conf": 0.7665324999999998
+   },
+   "mmlu|original": {
+    "n": 200,
+    "accuracy": 0.59,
+    "ece": 0.06488049999999998,
+    "mean_p_gold": 0.49454099999999995,
+    "mean_conf": 0.6202795
+   },
+   "mmlu|shuffled": {
+    "n": 200,
+    "accuracy": 0.57,
+    "ece": 0.1217975,
+    "mean_p_gold": 0.4972345,
+    "mean_conf": 0.6201285
+   },
+   "mnli|original": {
+    "n": 200,
+    "accuracy": 0.805,
+    "ece": 0.070357,
+    "mean_p_gold": 0.7293395000000001,
+    "mean_conf": 0.833593
+   },
+   "mnli|shuffled": {
+    "n": 200,
+    "accuracy": 0.8,
+    "ece": 0.06527000000000001,
+    "mean_p_gold": 0.7292879999999999,
+    "mean_conf": 0.83264
+   }
+  },
+  "primitive": {
+   "boolq|choice_yes_no": {
+    "n": 200,
+    "accuracy": 0.84,
+    "ece": 0.06122399999999999,
+    "mean_p_gold": 0.808636,
+    "mean_conf": 0.901224
+   },
+   "boolq|noul": {
+    "n": 200,
+    "accuracy": 0.85,
+    "ece": 0.04200309968604898,
+    "mean_p_gold": 0.8085403768972032,
+    "mean_conf": 0.8781248518343715
+   },
+   "civil_comments|choice_yes_no": {
+    "n": 200,
+    "accuracy": 0.895,
+    "ece": 0.04711450000000001,
+    "mean_p_gold": 0.8343875,
+    "mean_conf": 0.8734125
+   },
+   "civil_comments|noul": {
+    "n": 200,
+    "accuracy": 0.94,
+    "ece": 0.04042814419277682,
+    "mean_p_gold": 0.8994619616305997,
+    "mean_conf": 0.9272590187698114
+   },
+   "helpsteer2_helpfulness|choice_levels": {
+    "n": 200,
+    "accuracy": 0.27,
+    "ece": 0.25849799999999995,
+    "mean_p_gold": 0.293654,
+    "mean_conf": 0.528498
+   },
+   "helpsteer2_helpfulness|score": {
+    "n": 200,
+    "accuracy": 0.34,
+    "ece": 0.094785,
+    "mean_p_gold": 0.288704,
+    "mean_conf": 0.41912999999999995
+   },
+   "paws|choice_yes_no": {
+    "n": 200,
+    "accuracy": 0.89,
+    "ece": 0.059267500000000084,
+    "mean_p_gold": 0.8583115000000001,
+    "mean_conf": 0.9282585
+   },
+   "paws|noul": {
+    "n": 200,
+    "accuracy": 0.895,
+    "ece": 0.050118655077255755,
+    "mean_p_gold": 0.8671275743582555,
+    "mean_conf": 0.9317986237184894
+   },
+   "sst5|choice_levels": {
+    "n": 200,
+    "accuracy": 0.39,
+    "ece": 0.22221699999999997,
+    "mean_p_gold": 0.37398,
+    "mean_conf": 0.611457
+   },
+   "sst5|score": {
+    "n": 200,
+    "accuracy": 0.445,
+    "ece": 0.06475150000000006,
+    "mean_p_gold": 0.3452,
+    "mean_conf": 0.4397955
+   },
+   "yelp5|choice_levels": {
+    "n": 200,
+    "accuracy": 0.59,
+    "ece": 0.09200549999999999,
+    "mean_p_gold": 0.441317,
+    "mean_conf": 0.5636725
+   },
+   "yelp5|score": {
+    "n": 200,
+    "accuracy": 0.47,
+    "ece": 0.09366149999999997,
+    "mean_p_gold": 0.368965,
+    "mean_conf": 0.5010465
+   }
+  },
+  "rename": {
+   "banking77|opaque_keys": {
+    "n": 200,
+    "accuracy": 0.64,
+    "ece": 0.11591600000000002,
+    "mean_p_gold": 0.45891750000000003,
+    "mean_conf": 0.5569280000000001
+   },
+   "banking77|opaque_no_desc": {
+    "n": 200,
+    "accuracy": 0.02,
+    "ece": 0.120518,
+    "mean_p_gold": 0.014873500000000001,
+    "mean_conf": 0.140518
+   },
+   "clinc150|opaque_keys": {
+    "n": 200,
+    "accuracy": 0.62,
+    "ece": 0.121162,
+    "mean_p_gold": 0.42211750000000003,
+    "mean_conf": 0.511608
+   },
+   "clinc150|opaque_no_desc": {
+    "n": 200,
+    "accuracy": 0.005,
+    "ece": 0.08614800000000002,
+    "mean_p_gold": 0.0076765,
+    "mean_conf": 0.091148
+   },
+   "massive|opaque_keys": {
+    "n": 200,
+    "accuracy": 0.725,
+    "ece": 0.17263399999999995,
+    "mean_p_gold": 0.5247655,
+    "mean_conf": 0.581946
+   },
+   "massive|opaque_no_desc": {
+    "n": 200,
+    "accuracy": 0.015,
+    "ece": 0.09472100000000001,
+    "mean_p_gold": 0.015097000000000001,
+    "mean_conf": 0.10237
+   }
+  }
+ },
+ "paired": {
+  "order|arc_challenge|original->shuffled": {
+   "n": 200,
+   "argmax_flip_rate": 0.07,
+   "mean_tvd": 0.08343350000000001
+  },
+  "order|banking77|original->shuffled": {
+   "n": 200,
+   "argmax_flip_rate": 0.165,
+   "mean_tvd": 0.160677
+  },
+  "order|chaosnli|original->shuffled": {
+   "n": 200,
+   "argmax_flip_rate": 0.04,
+   "mean_tvd": 0.0690415
+  },
+  "order|clinc150|original->shuffled": {
+   "n": 200,
+   "argmax_flip_rate": 0.125,
+   "mean_tvd": 0.2109105
+  },
+  "order|go_emotions|original->shuffled": {
+   "n": 200,
+   "argmax_flip_rate": 0.085,
+   "mean_tvd": 0.1329915
+  },
+  "order|ledgar|original->shuffled": {
+   "n": 200,
+   "argmax_flip_rate": 0.105,
+   "mean_tvd": 0.15872799999999998
+  },
+  "order|mmlu|original->shuffled": {
+   "n": 200,
+   "argmax_flip_rate": 0.28,
+   "mean_tvd": 0.1391925
+  },
+  "order|mnli|original->shuffled": {
+   "n": 200,
+   "argmax_flip_rate": 0.035,
+   "mean_tvd": 0.0500475
+  },
+  "distractor|arc_challenge|original->injected": {
+   "n": 200,
+   "argmax_flip_rate": 0.11,
+   "mean_tvd": 0.09998069369801907,
+   "mean_prob_on_distractors": 0.1201275
+  },
+  "distractor|mmlu|original->injected": {
+   "n": 200,
+   "argmax_flip_rate": 0.23,
+   "mean_tvd": 0.16555085107839176,
+   "mean_prob_on_distractors": 0.1453395
+  },
+  "distractor|mnli|original->injected": {
+   "n": 200,
+   "argmax_flip_rate": 0.015,
+   "mean_tvd": 0.04182063942670409,
+   "mean_prob_on_distractors": 0.082135
+  },
+  "primitive|boolq|noul->choice_yes_no": {
+   "n": 200,
+   "argmax_flip_rate": 0.08,
+   "mean_tvd": 0.07924437001597566
+  },
+  "primitive|civil_comments|noul->choice_yes_no": {
+   "n": 200,
+   "argmax_flip_rate": 0.11,
+   "mean_tvd": 0.11941212305875888
+  },
+  "primitive|paws|noul->choice_yes_no": {
+   "n": 200,
+   "argmax_flip_rate": 0.045,
+   "mean_tvd": 0.06748340025083496
+  },
+  "primitive|helpsteer2_helpfulness|score->choice_levels": {
+   "n": 200,
+   "argmax_flip_rate": 0.235,
+   "mean_tvd": 0.15361
+  },
+  "primitive|sst5|score->choice_levels": {
+   "n": 200,
+   "argmax_flip_rate": 0.43,
+   "mean_tvd": 0.27852199999999994
+  },
+  "primitive|yelp5|score->choice_levels": {
+   "n": 200,
+   "argmax_flip_rate": 0.425,
+   "mean_tvd": 0.263243
+  }
+ }
+}

results/recipe.json

@@ -0,0 +1,155 @@
+{
+ "recipe": {
+  "mode": "index",
+  "chat": true,
+  "permutations": {
+   "choice": 2,
+   "score": 1,
+   "noul": 1
+  },
+  "state_last": false,
+  "prior_weight": {
+   "choice": 0.0,
+   "score": 0.0,
+   "noul": 0.0
+  },
+  "temperature": {
+   "choice": 0.9495,
+   "score": 1.1244,
+   "noul": 1.6135
+  },
+  "bias": {
+   "noul": -0.4
+  }
+ },
+ "search": {
+  "grid": [
+   {
+    "permutations": 1,
+    "prior_weight": 0.0,
+    "choice": {
+     "T": 1.0454,
+     "bias": 0.0,
+     "nll": 0.9753,
+     "nll_raw": 0.977,
+     "n": 1600
+    },
+    "score": {
+     "T": 1.1244,
+     "bias": 0.0,
+     "nll": 1.14,
+     "nll_raw": 1.1439,
+     "n": 1200
+    },
+    "noul": {
+     "T": 1.6135,
+     "bias": -0.4,
+     "nll": 0.2936,
+     "nll_raw": 0.3236,
+     "n": 1320
+    }
+   },
+   {
+    "permutations": 1,
+    "prior_weight": 1.0,
+    "choice": {
+     "T": 1.0454,
+     "bias": 0.0,
+     "nll": 0.9753,
+     "nll_raw": 0.977,
+     "n": 1600
+    },
+    "score": {
+     "T": 1.1244,
+     "bias": 0.0,
+     "nll": 1.14,
+     "nll_raw": 1.1439,
+     "n": 1200
+    },
+    "noul": {
+     "T": 1.6135,
+     "bias": -0.4,
+     "nll": 0.2936,
+     "nll_raw": 0.3236,
+     "n": 1320
+    }
+   },
+   {
+    "permutations": 2,
+    "prior_weight": 0.0,
+    "choice": {
+     "T": 0.9495,
+     "bias": 0.0,
+     "nll": 0.9013,
+     "nll_raw": 0.9035,
+     "n": 1600
+    },
+    "score": {
+     "T": 1.1244,
+     "bias": 0.0,
+     "nll": 1.14,
+     "nll_raw": 1.1439,
+     "n": 1200
+    },
+    "noul": {
+     "T": 1.6135,
+     "bias": -0.4,
+     "nll": 0.2936,
+     "nll_raw": 0.3236,
+     "n": 1320
+    }
+   },
+   {
+    "permutations": 2,
+    "prior_weight": 1.0,
+    "choice": {
+     "T": 0.9495,
+     "bias": 0.0,
+     "nll": 0.9013,
+     "nll_raw": 0.9035,
+     "n": 1600
+    },
+    "score": {
+     "T": 1.1244,
+     "bias": 0.0,
+     "nll": 1.14,
+     "nll_raw": 1.1439,
+     "n": 1200
+    },
+    "noul": {
+     "T": 1.6135,
+     "bias": -0.4,
+     "nll": 0.2936,
+     "nll_raw": 0.3236,
+     "n": 1320
+    }
+   }
+  ],
+  "chosen": {
+   "choice": {
+    "permutations": 2,
+    "prior_weight": 0.0,
+    "T": 0.9495,
+    "bias": 0.0,
+    "k_slope": 0.0,
+    "val_nll": 0.9013
+   },
+   "score": {
+    "permutations": 1,
+    "prior_weight": 0.0,
+    "T": 1.1244,
+    "bias": 0.0,
+    "k_slope": 0.0,
+    "val_nll": 1.14
+   },
+   "noul": {
+    "permutations": 1,
+    "prior_weight": 0.0,
+    "T": 1.6135,
+    "bias": -0.4,
+    "k_slope": 0.0,
+    "val_nll": 0.2936
+   }
+  }
+ }
+}

results/summary.json

@@ -0,0 +1,49 @@
+{
+ "label": "2B full FT, supervised, lr 1e-6",
+ "family": "Readout fine-tuning \u00b7 Qwen3.5-2B",
+ "size": "2B",
+ "stage": "full sup",
+ "acc": 0.7032601846045105,
+ "ece": 0.055833174889796264,
+ "brier": 0.3583264169425642,
+ "heldout_acc": 0.7456877729257642,
+ "heldout_ece": 0.07092602582208002,
+ "trained_acc": 0.6873498389840402,
+ "tvd": 0.3150721346871825,
+ "n_configs": 22,
+ "T_choice": 0.9495,
+ "T_score": 1.1244,
+ "T_noul": 1.6135,
+ "sure_loss": 0.34424443248451636,
+ "frac_incoherent": 0.9795735971345725,
+ "proj_gain_acc": 0.006145886633691422,
+ "proj_gain_ece": -3.436767578621214e-05,
+ "chaos_rho": 0.2801169966210108,
+ "order_flip": 0.113125,
+ "order_tvd": 0.12562775,
+ "distractor_flip": 0.11833333333333333,
+ "distractor_tvd": 0.10245072806770497,
+ "primitive_flip": 0.22083333333333333,
+ "primitive_tvd": 0.16025248222092825,
+ "opaque_keys_acc": 0.6616666666666666,
+ "cardinality_drop": 0.253,
+ "tag_tvd": 0.050117627353193285,
+ "tag_tvd_T": 0.05035784645876886,
+ "tag_flip": 0.048266666666666666,
+ "tag_max_tvd": 0.07423161060593127,
+ "tag_sets": 5,
+ "tag_skipped": [],
+ "rule_acc": 0.6711864406779661,
+ "rule_yes_rate": 0.5977401129943503,
+ "nota_none_when_gone": 0.336,
+ "nota_none_when_there": 0.044,
+ "nota_ece": 0.0942449,
+ "hijack": 0.05500000000000001,
+ "hijack_toward_no": 0.0456273764258555,
+ "phish_acc": 0.5035,
+ "phish_recall": 0.007,
+ "phish_fpr": 0.0,
+ "phish_auroc": 0.7752055,
+ "tool_acc": 0.7833333333333333,
+ "ticket_acc": 0.8518518518518519
+}

results/tags.json

@@ -0,0 +1,126 @@
+{
+ "model": "qwen35-2b-full-sup-lr1e-6-s0",
+ "adapter": null,
+ "prompt": "jevify",
+ "temperatures": {
+  "choice": 0.9495,
+  "score": 1.1244,
+  "noul": 1.6135
+ },
+ "sources": [
+  "arc_challenge",
+  "chaosnli",
+  "helpsteer2_helpfulness",
+  "helpsteer2_verbosity",
+  "measuring_hate_speech",
+  "mmlu",
+  "mnli",
+  "sst5",
+  "stsb",
+  "yelp5"
+ ],
+ "results": {
+  "upper": {
+   "raw": {
+    "n": 1500,
+    "acc": 0.5786666666666667,
+    "ece": 0.046399315523436194
+   },
+   "tempered": {
+    "n": 1500,
+    "acc": 0.5786666666666667,
+    "ece": 0.033596856523743654
+   }
+  },
+  "shifted": {
+   "raw": {
+    "n": 1500,
+    "acc": 0.582,
+    "ece": 0.04633916388602869,
+    "tvd_vs_upper": 0.03802583941918582,
+    "flip_vs_upper": 0.04066666666666666,
+    "pairs": 1500
+   },
+   "tempered": {
+    "n": 1500,
+    "acc": 0.582,
+    "ece": 0.030315198551453044,
+    "tvd_vs_upper": 0.03826754167980432,
+    "flip_vs_upper": 0.04066666666666666,
+    "pairs": 1500
+   }
+  },
+  "lower": {
+   "raw": {
+    "n": 1500,
+    "acc": 0.5766666666666667,
+    "ece": 0.038167375909590795,
+    "tvd_vs_upper": 0.030345140741522704,
+    "flip_vs_upper": 0.03666666666666667,
+    "pairs": 1500
+   },
+   "tempered": {
+    "n": 1500,
+    "acc": 0.5766666666666667,
+    "ece": 0.035156435317768776,
+    "tvd_vs_upper": 0.030902650345645155,
+    "flip_vs_upper": 0.03666666666666667,
+    "pairs": 1500
+   }
+  },
+  "digits1": {
+   "raw": {
+    "n": 1500,
+    "acc": 0.574,
+    "ece": 0.02899253159527075,
+    "tvd_vs_upper": 0.03861352908108545,
+    "flip_vs_upper": 0.03266666666666666,
+    "pairs": 1500
+   },
+   "tempered": {
+    "n": 1500,
+    "acc": 0.574,
+    "ece": 0.02283267638824976,
+    "tvd_vs_upper": 0.03844560783666896,
+    "flip_vs_upper": 0.03266666666666666,
+    "pairs": 1500
+   }
+  },
+  "digits0": {
+   "raw": {
+    "n": 1500,
+    "acc": 0.5646666666666667,
+    "ece": 0.033233097386228705,
+    "tvd_vs_upper": 0.06937201691824119,
+    "flip_vs_upper": 0.059333333333333335,
+    "pairs": 1500
+   },
+   "tempered": {
+    "n": 1500,
+    "acc": 0.5646666666666667,
+    "ece": 0.032032537617249876,
+    "tvd_vs_upper": 0.06952550713172606,
+    "flip_vs_upper": 0.059333333333333335,
+    "pairs": 1500
+   }
+  },
+  "symbols": {
+   "raw": {
+    "n": 1500,
+    "acc": 0.5673333333333334,
+    "ece": 0.05086512162734857,
+    "tvd_vs_upper": 0.07423161060593127,
+    "flip_vs_upper": 0.072,
+    "pairs": 1500
+   },
+   "tempered": {
+    "n": 1500,
+    "acc": 0.5673333333333334,
+    "ece": 0.040984594374674554,
+    "tvd_vs_upper": 0.07464792529999979,
+    "flip_vs_upper": 0.072,
+    "pairs": 1500
+   }
+  }
+ }
+}

results/test_metrics.json

@@ -0,0 +1,2017 @@
+{
+ "arc_challenge": {
+  "n": 1000,
+  "accuracy": 0.837,
+  "nll": 0.4813218880254674,
+  "brier": 0.24875757786,
+  "ece": 0.06539970000000002,
+  "mce": 0.13943424657534242,
+  "selective_acc_at_90": 0.8777777777777778,
+  "selective_acc_at_50": 0.974,
+  "aurc": 0.04750474568647255,
+  "rps": null,
+  "mae": null,
+  "within_one": null,
+  "auroc": null,
+  "tvd_to_human": null,
+  "kl_human_model": null,
+  "mean_confidence": 0.6968228000000001,
+  "reliability": [
+   {
+    "lo": 0.26666666666666666,
+    "hi": 0.3333333333333333,
+    "count": 8,
+    "accuracy": 0.25,
+    "confidence": 0.3162375
+   },
+   {
+    "lo": 0.3333333333333333,
+    "hi": 0.4,
+    "count": 34,
+    "accuracy": 0.4117647058823529,
+    "confidence": 0.37454705882352934
+   },
+   {
+    "lo": 0.4,
+    "hi": 0.4666666666666667,
+    "count": 44,
+    "accuracy": 0.5227272727272727,
+    "confidence": 0.43881818181818183
+   },
+   {
+    "lo": 0.4666666666666667,
+    "hi": 0.5333333333333333,
+    "count": 73,
+    "accuracy": 0.6438356164383562,
+    "confidence": 0.5044013698630138
+   },
+   {
+    "lo": 0.5333333333333333,
+    "hi": 0.6,
+    "count": 79,
+    "accuracy": 0.6835443037974683,
+    "confidence": 0.5687759493670888
+   },
+   {
+    "lo": 0.6,
+    "hi": 0.6666666666666666,
+    "count": 65,
+    "accuracy": 0.7692307692307693,
+    "confidence": 0.6333553846153847
+   },
+   {
+    "lo": 0.6666666666666666,
+    "hi": 0.7333333333333333,
+    "count": 65,
+    "accuracy": 0.7076923076923077,
+    "confidence": 0.7019846153846153
+   },
+   {
+    "lo": 0.7333333333333333,
+    "hi": 0.8,
+    "count": 80,
+    "accuracy": 0.8625,
+    "confidence": 0.76950625
+   },
+   {
+    "lo": 0.8,
+    "hi": 0.8666666666666667,
+    "count": 109,
+    "accuracy": 0.8990825688073395,
+    "confidence": 0.8343816513761467
+   },
+   {
+    "lo": 0.8666666666666667,
+    "hi": 0.9333333333333333,
+    "count": 166,
+    "accuracy": 0.9578313253012049,
+    "confidence": 0.9027265060240963
+   },
+   {
+    "lo": 0.9333333333333333,
+    "hi": 1.0,
+    "count": 277,
+    "accuracy": 0.9927797833935018,
+    "confidence": 0.9645314079422384
+   }
+  ]
+ },
+ "banking77": {
+  "n": 1000,
+  "accuracy": 0.76,
+  "nll": 0.9870565083165259,
+  "brier": 0.35126996213999995,
+  "ece": 0.038476399999999994,
+  "mce": 0.13260185185185192,
+  "selective_acc_at_90": 0.8044444444444444,
+  "selective_acc_at_50": 0.934,
+  "aurc": 0.08429447266051336,
+  "rps": null,
+  "mae": null,
+  "within_one": null,
+  "auroc": null,
+  "tvd_to_human": null,
+  "kl_human_model": null,
+  "mean_confidence": 0.7435529184210528,
+  "reliability": [
+   {
+    "lo": 0.06666666666666667,
+    "hi": 0.13333333333333333,
+    "count": 1,
+    "accuracy": 0.0,
+    "confidence": 0.1005
+   },
+   {
+    "lo": 0.13333333333333333,
+    "hi": 0.2,
+    "count": 11,
+    "accuracy": 0.09090909090909091,
+    "confidence": 0.16697272727272724
+   },
+   {
+    "lo": 0.2,
+    "hi": 0.26666666666666666,
+    "count": 15,
+    "accuracy": 0.13333333333333333,
+    "confidence": 0.23301333333333335
+   },
+   {
+    "lo": 0.26666666666666666,
+    "hi": 0.3333333333333333,
+    "count": 27,
+    "accuracy": 0.37037037037037035,
+    "confidence": 0.30797037037037034
+   },
+   {
+    "lo": 0.3333333333333333,
+    "hi": 0.4,
+    "count": 54,
+    "accuracy": 0.5,
+    "confidence": 0.3673981481481481
+   },
+   {
+    "lo": 0.4,
+    "hi": 0.4666666666666667,
+    "count": 55,
+    "accuracy": 0.32727272727272727,
+    "confidence": 0.43467818181818174
+   },
+   {
+    "lo": 0.4666666666666667,
+    "hi": 0.5333333333333333,
+    "count": 65,
+    "accuracy": 0.5846153846153846,
+    "confidence": 0.49658153846153846
+   },
+   {
+    "lo": 0.5333333333333333,
+    "hi": 0.6,
+    "count": 56,
+    "accuracy": 0.5714285714285714,
+    "confidence": 0.5660892857142857
+   },
+   {
+    "lo": 0.6,
+    "hi": 0.6666666666666666,
+    "count": 54,
+    "accuracy": 0.6296296296296297,
+    "confidence": 0.6333944444444443
+   },
+   {
+    "lo": 0.6666666666666666,
+    "hi": 0.7333333333333333,
+    "count": 53,
+    "accuracy": 0.7924528301886793,
+    "confidence": 0.6994150943396226
+   },
+   {
+    "lo": 0.7333333333333333,
+    "hi": 0.8,
+    "count": 71,
+    "accuracy": 0.8309859154929577,
+    "confidence": 0.7679887323943663
+   },
+   {
+    "lo": 0.8,
+    "hi": 0.8666666666666667,
+    "count": 92,
+    "accuracy": 0.8152173913043478,
+    "confidence": 0.8401434782608694
+   },
+   {
+    "lo": 0.8666666666666667,
+    "hi": 0.9333333333333333,
+    "count": 138,
+    "accuracy": 0.9130434782608695,
+    "confidence": 0.9019840579710144
+   },
+   {
+    "lo": 0.9333333333333333,
+    "hi": 1.0,
+    "count": 308,
+    "accuracy": 0.961038961038961,
+    "confidence": 0.967025
+   }
+  ]
+ },
+ "boolq": {
+  "n": 1000,
+  "accuracy": 0.869,
+  "nll": 0.3224583023978509,
+  "brier": 0.09783953547665775,
+  "ece": 0.019332218848078574,
+  "mce": 0.09949515960066779,
+  "selective_acc_at_90": 0.9033333333333333,
+  "selective_acc_at_50": 0.97,
+  "aurc": 0.04459675091375798,
+  "rps": null,
+  "mae": null,
+  "within_one": null,
+  "auroc": 0.9317812136155058,
+  "tvd_to_human": null,
+  "kl_human_model": null,
+  "mean_confidence": 0.881435448508525,
+  "reliability": [
+   {
+    "lo": 0.4666666666666667,
+    "hi": 0.5333333333333333,
+    "count": 18,
+    "accuracy": 0.6111111111111112,
+    "confidence": 0.5116159515104434
+   },
+   {
+    "lo": 0.5333333333333333,
+    "hi": 0.6,
+    "count": 46,
+    "accuracy": 0.5217391304347826,
+    "confidence": 0.5739470737233542
+   },
+   {
+    "lo": 0.6,
+    "hi": 0.6666666666666666,
+    "count": 59,
+    "accuracy": 0.6440677966101694,
+    "confidence": 0.6358671940188128
+   },
+   {
+    "lo": 0.6666666666666666,
+    "hi": 0.7333333333333333,
+    "count": 45,
+    "accuracy": 0.7111111111111111,
+    "confidence": 0.7013015691140847
+   },
+   {
+    "lo": 0.7333333333333333,
+    "hi": 0.8,
+    "count": 68,
+    "accuracy": 0.7794117647058824,
+    "confidence": 0.7686440094969332
+   },
+   {
+    "lo": 0.8,
+    "hi": 0.8666666666666667,
+    "count": 82,
+    "accuracy": 0.8292682926829268,
+    "confidence": 0.8385807820528578
+   },
+   {
+    "lo": 0.8666666666666667,
+    "hi": 0.9333333333333333,
+    "count": 135,
+    "accuracy": 0.8592592592592593,
+    "confidence": 0.9000833994328424
+   },
+   {
+    "lo": 0.9333333333333333,
+    "hi": 1.0,
+    "count": 547,
+    "accuracy": 0.9634369287020109,
+    "confidence": 0.9766131357134541
+   }
+  ]
+ },
+ "chaosnli": {
+  "n": 1599,
+  "accuracy": 0.6347717323327079,
+  "nll": 0.8319398562188869,
+  "brier": 0.5004621057911195,
+  "ece": 0.12271669793621014,
+  "mce": 0.17431166077738525,
+  "selective_acc_at_90": 0.6629603891591382,
+  "selective_acc_at_50": 0.755,
+  "aurc": 0.23302506126714154,
+  "rps": null,
+  "mae": null,
+  "within_one": null,
+  "auroc": null,
+  "tvd_to_human": 0.27662776735459665,
+  "kl_human_model": 0.3434989046338359,
+  "mean_confidence": 0.6362326454033771,
+  "reliability": [
+   {
+    "lo": 0.3333333333333333,
+    "hi": 0.4,
+    "count": 24,
+    "accuracy": 0.3333333333333333,
+    "confidence": 0.3829708333333333
+   },
+   {
+    "lo": 0.4,
+    "hi": 0.4666666666666667,
+    "count": 59,
+    "accuracy": 0.3728813559322034,
+    "confidence": 0.4410915254237288
+   },
+   {
+    "lo": 0.4666666666666667,
+    "hi": 0.5333333333333333,
+    "count": 132,
+    "accuracy": 0.45454545454545453,
+    "confidence": 0.5021530303030304
+   },
+   {
+    "lo": 0.5333333333333333,
+    "hi": 0.6,
+    "count": 100,
+    "accuracy": 0.47,
+    "confidence": 0.5666690000000001
+   },
+   {
+    "lo": 0.6,
+    "hi": 0.6666666666666666,
+    "count": 137,
+    "accuracy": 0.5401459854014599,
+    "confidence": 0.6333313868613138
+   },
+   {
+    "lo": 0.6666666666666666,
+    "hi": 0.7333333333333333,
+    "count": 162,
+    "accuracy": 0.5432098765432098,
+    "confidence": 0.7009487654320987
+   },
+   {
+    "lo": 0.7333333333333333,
+    "hi": 0.8,
+    "count": 187,
+    "accuracy": 0.6096256684491979,
+    "confidence": 0.7689016042780747
+   },
+   {
+    "lo": 0.8,
+    "hi": 0.8666666666666667,
+    "count": 283,
+    "accuracy": 0.6607773851590106,
+    "confidence": 0.8350890459363959
+   },
+   {
+    "lo": 0.8666666666666667,
+    "hi": 0.9333333333333333,
+    "count": 347,
+    "accuracy": 0.7579250720461095,
+    "confidence": 0.901928818443804
+   },
+   {
+    "lo": 0.9333333333333333,
+    "hi": 1.0,
+    "count": 168,
+    "accuracy": 0.9047619047619048,
+    "confidence": 0.9503154761904762
+   }
+  ]
+ },
+ "civil_comments": {
+  "n": 2000,
+  "accuracy": 0.927,
+  "nll": 0.20120513286678215,
+  "brier": 0.05616605907812256,
+  "ece": 0.011633875591106619,
+  "mce": 0.1056071775829377,
+  "selective_acc_at_90": 0.9611111111111111,
+  "selective_acc_at_50": 0.985,
+  "aurc": 0.017539666060334844,
+  "rps": null,
+  "mae": null,
+  "within_one": null,
+  "auroc": 0.8534423323155718,
+  "tvd_to_human": 0.09517881449045855,
+  "kl_human_model": 0.12068353418500541,
+  "mean_confidence": 0.9298694548106718,
+  "reliability": [
+   {
+    "lo": 0.4666666666666667,
+    "hi": 0.5333333333333333,
+    "count": 16,
+    "accuracy": 0.4375,
+    "confidence": 0.5140341394313268
+   },
+   {
+    "lo": 0.5333333333333333,
+    "hi": 0.6,
+    "count": 38,
+    "accuracy": 0.6052631578947368,
+    "confidence": 0.5670455584062409
+   },
+   {
+    "lo": 0.6,
+    "hi": 0.6666666666666666,
+    "count": 31,
+    "accuracy": 0.6451612903225806,
+    "confidence": 0.6375204123785726
+   },
+   {
+    "lo": 0.6666666666666666,
+    "hi": 0.7333333333333333,
+    "count": 39,
+    "accuracy": 0.5897435897435898,
+    "confidence": 0.6953507673265275
+   },
+   {
+    "lo": 0.7333333333333333,
+    "hi": 0.8,
+    "count": 70,
+    "accuracy": 0.6714285714285714,
+    "confidence": 0.7655820097320214
+   },
+   {
+    "lo": 0.8,
+    "hi": 0.8666666666666667,
+    "count": 105,
+    "accuracy": 0.8761904761904762,
+    "confidence": 0.8350058852812684
+   },
+   {
+    "lo": 0.8666666666666667,
+    "hi": 0.9333333333333333,
+    "count": 230,
+    "accuracy": 0.8913043478260869,
+    "confidence": 0.902475493756092
+   },
+   {
+    "lo": 0.9333333333333333,
+    "hi": 1.0,
+    "count": 1471,
+    "accuracy": 0.9768864717878993,
+    "confidence": 0.9750163815512298
+   }
+  ]
+ },
+ "clinc150": {
+  "n": 1000,
+  "accuracy": 0.73,
+  "nll": 1.0873210955156296,
+  "brier": 0.39087466796000003,
+  "ece": 0.07839859999999998,
+  "mce": 0.9358,
+  "selective_acc_at_90": 0.7688888888888888,
+  "selective_acc_at_50": 0.934,
+  "aurc": 0.09932620416164166,
+  "rps": null,
+  "mae": null,
+  "within_one": null,
+  "auroc": null,
+  "tvd_to_human": null,
+  "kl_human_model": null,
+  "mean_confidence": 0.6651583053333334,
+  "reliability": [
+   {
+    "lo": 0.0,
+    "hi": 0.06666666666666667,
+    "count": 1,
+    "accuracy": 1.0,
+    "confidence": 0.0642
+   },
+   {
+    "lo": 0.06666666666666667,
+    "hi": 0.13333333333333333,
+    "count": 11,
+    "accuracy": 0.2727272727272727,
+    "confidence": 0.10036363636363635
+   },
+   {
+    "lo": 0.13333333333333333,
+    "hi": 0.2,
+    "count": 47,
+    "accuracy": 0.40425531914893614,
+    "confidence": 0.1723085106382979
+   },
+   {
+    "lo": 0.2,
+    "hi": 0.26666666666666666,
+    "count": 77,
+    "accuracy": 0.44155844155844154,
+    "confidence": 0.23425064935064938
+   },
+   {
+    "lo": 0.26666666666666666,
+    "hi": 0.3333333333333333,
+    "count": 65,
+    "accuracy": 0.49230769230769234,
+    "confidence": 0.29943076923076917
+   },
+   {
+    "lo": 0.3333333333333333,
+    "hi": 0.4,
+    "count": 54,
+    "accuracy": 0.48148148148148145,
+    "confidence": 0.3650907407407407
+   },
+   {
+    "lo": 0.4,
+    "hi": 0.4666666666666667,
+    "count": 53,
+    "accuracy": 0.39622641509433965,
+    "confidence": 0.43555471698113213
+   },
+   {
+    "lo": 0.4666666666666667,
+    "hi": 0.5333333333333333,
+    "count": 50,
+    "accuracy": 0.64,
+    "confidence": 0.5003519999999999
+   },
+   {
+    "lo": 0.5333333333333333,
+    "hi": 0.6,
+    "count": 45,
+    "accuracy": 0.6222222222222222,
+    "confidence": 0.5644688888888889
+   },
+   {
+    "lo": 0.6,
+    "hi": 0.6666666666666666,
+    "count": 41,
+    "accuracy": 0.6585365853658537,
+    "confidence": 0.626190243902439
+   },
+   {
+    "lo": 0.6666666666666666,
+    "hi": 0.7333333333333333,
+    "count": 43,
+    "accuracy": 0.6511627906976745,
+    "confidence": 0.6978651162790698
+   },
+   {
+    "lo": 0.7333333333333333,
+    "hi": 0.8,
+    "count": 45,
+    "accuracy": 0.8666666666666667,
+    "confidence": 0.7670622222222224
+   },
+   {
+    "lo": 0.8,
+    "hi": 0.8666666666666667,
+    "count": 75,
+    "accuracy": 0.7866666666666666,
+    "confidence": 0.8372613333333334
+   },
+   {
+    "lo": 0.8666666666666667,
+    "hi": 0.9333333333333333,
+    "count": 112,
+    "accuracy": 0.9464285714285714,
+    "confidence": 0.9027044642857144
+   },
+   {
+    "lo": 0.9333333333333333,
+    "hi": 1.0,
+    "count": 281,
+    "accuracy": 0.9786476868327402,
+    "confidence": 0.9725747330960854
+   }
+  ]
+ },
+ "fever_evidence": {
+  "n": 1000,
+  "accuracy": 0.922,
+  "nll": 0.24020711017947866,
+  "brier": 0.06647965764964306,
+  "ece": 0.06562319627870211,
+  "mce": 0.1538271530451939,
+  "selective_acc_at_90": 0.9544444444444444,
+  "selective_acc_at_50": 0.988,
+  "aurc": 0.01827799439455529,
+  "rps": null,
+  "mae": null,
+  "within_one": null,
+  "auroc": 0.9766896270340325,
+  "tvd_to_human": null,
+  "kl_human_model": null,
+  "mean_confidence": 0.8563768037212979,
+  "reliability": [
+   {
+    "lo": 0.4666666666666667,
+    "hi": 0.5333333333333333,
+    "count": 15,
+    "accuracy": 0.6666666666666666,
+    "confidence": 0.5147115161075836
+   },
+   {
+    "lo": 0.5333333333333333,
+    "hi": 0.6,
+    "count": 48,
+    "accuracy": 0.6041666666666666,
+    "confidence": 0.5685891609443268
+   },
+   {
+    "lo": 0.6,
+    "hi": 0.6666666666666666,
+    "count": 58,
+    "accuracy": 0.7068965517241379,
+    "confidence": 0.6401078101455294
+   },
+   {
+    "lo": 0.6666666666666666,
+    "hi": 0.7333333333333333,
+    "count": 66,
+    "accuracy": 0.8484848484848485,
+    "confidence": 0.6946576954396546
+   },
+   {
+    "lo": 0.7333333333333333,
+    "hi": 0.8,
+    "count": 74,
+    "accuracy": 0.8918918918918919,
+    "confidence": 0.7658623842131013
+   },
+   {
+    "lo": 0.8,
+    "hi": 0.8666666666666667,
+    "count": 114,
+    "accuracy": 0.9210526315789473,
+    "confidence": 0.8352907376873093
+   },
+   {
+    "lo": 0.8666666666666667,
+    "hi": 0.9333333333333333,
+    "count": 237,
+    "accuracy": 0.9789029535864979,
+    "confidence": 0.9037414885569977
+   },
+   {
+    "lo": 0.9333333333333333,
+    "hi": 1.0,
+    "count": 388,
+    "accuracy": 0.9871134020618557,
+    "confidence": 0.9595528274504314
+   }
+  ]
+ },
+ "go_emotions": {
+  "n": 1000,
+  "accuracy": 0.532,
+  "nll": 1.6470327367848647,
+  "brier": 0.6530248474800001,
+  "ece": 0.0909581,
+  "mce": 0.42966666666666664,
+  "selective_acc_at_90": 0.5577777777777778,
+  "selective_acc_at_50": 0.66,
+  "aurc": 0.3272080323779138,
+  "rps": null,
+  "mae": null,
+  "within_one": null,
+  "auroc": null,
+  "tvd_to_human": 0.5436767253968254,
+  "kl_human_model": 1.5542040942644715,
+  "mean_confidence": 0.6027624444444445,
+  "reliability": [
+   {
+    "lo": 0.2,
+    "hi": 0.26666666666666666,
+    "count": 3,
+    "accuracy": 0.6666666666666666,
+    "confidence": 0.23700000000000002
+   },
+   {
+    "lo": 0.26666666666666666,
+    "hi": 0.3333333333333333,
+    "count": 16,
+    "accuracy": 0.125,
+    "confidence": 0.31191875
+   },
+   {
+    "lo": 0.3333333333333333,
+    "hi": 0.4,
+    "count": 62,
+    "accuracy": 0.3225806451612903,
+    "confidence": 0.37039677419354833
+   },
+   {
+    "lo": 0.4,
+    "hi": 0.4666666666666667,
+    "count": 112,
+    "accuracy": 0.3482142857142857,
+    "confidence": 0.4357660714285715
+   },
+   {
+    "lo": 0.4666666666666667,
+    "hi": 0.5333333333333333,
+    "count": 123,
+    "accuracy": 0.45528455284552843,
+    "confidence": 0.5021626016260162
+   },
+   {
+    "lo": 0.5333333333333333,
+    "hi": 0.6,
+    "count": 127,
+    "accuracy": 0.3858267716535433,
+    "confidence": 0.5710023622047244
+   },
+   {
+    "lo": 0.6,
+    "hi": 0.6666666666666666,
+    "count": 137,
+    "accuracy": 0.5620437956204379,
+    "confidence": 0.6314737226277372
+   },
+   {
+    "lo": 0.6666666666666666,
+    "hi": 0.7333333333333333,
+    "count": 166,
+    "accuracy": 0.6506024096385542,
+    "confidence": 0.7011222891566266
+   },
+   {
+    "lo": 0.7333333333333333,
+    "hi": 0.8,
+    "count": 160,
+    "accuracy": 0.63125,
+    "confidence": 0.764244375
+   },
+   {
+    "lo": 0.8,
+    "hi": 0.8666666666666667,
+    "count": 65,
+    "accuracy": 0.7692307692307693,
+    "confidence": 0.8266476923076922
+   },
+   {
+    "lo": 0.8666666666666667,
+    "hi": 0.9333333333333333,
+    "count": 20,
+    "accuracy": 0.95,
+    "confidence": 0.8844649999999998
+   },
+   {
+    "lo": 0.9333333333333333,
+    "hi": 1.0,
+    "count": 9,
+    "accuracy": 1.0,
+    "confidence": 0.9550444444444444
+   }
+  ]
+ },
+ "helpsteer2_helpfulness": {
+  "n": 1000,
+  "accuracy": 0.4,
+  "nll": 1.356943685622662,
+  "brier": 0.7018131088,
+  "ece": 0.03539929999999996,
+  "mce": 0.17464999999999997,
+  "selective_acc_at_90": 0.41555555555555557,
+  "selective_acc_at_50": 0.506,
+  "aurc": 0.5240523082971105,
+  "rps": 0.15711303866,
+  "mae": 0.9722746,
+  "within_one": 0.767,
+  "auroc": null,
+  "tvd_to_human": null,
+  "kl_human_model": null,
+  "mean_confidence": 0.441920868273849,
+  "reliability": [
+   {
+    "lo": 0.2,
+    "hi": 0.26666666666666666,
+    "count": 55,
+    "accuracy": 0.23636363636363636,
+    "confidence": 0.2477690909090909
+   },
+   {
+    "lo": 0.26666666666666666,
+    "hi": 0.3333333333333333,
+    "count": 143,
+    "accuracy": 0.23776223776223776,
+    "confidence": 0.30503216783216774
+   },
+   {
+    "lo": 0.3333333333333333,
+    "hi": 0.4,
+    "count": 255,
+    "accuracy": 0.34509803921568627,
+    "confidence": 0.37054941176470585
+   },
+   {
+    "lo": 0.4,
+    "hi": 0.4666666666666667,
+    "count": 225,
+    "accuracy": 0.4533333333333333,
+    "confidence": 0.4311271111111111
+   },
+   {
+    "lo": 0.4666666666666667,
+    "hi": 0.5333333333333333,
+    "count": 174,
+    "accuracy": 0.5114942528735632,
+    "confidence": 0.49787471264367816
+   },
+   {
+    "lo": 0.5333333333333333,
+    "hi": 0.6,
+    "count": 115,
+    "accuracy": 0.48695652173913045,
+    "confidence": 0.5623747826086957
+   },
+   {
+    "lo": 0.6,
+    "hi": 0.6666666666666666,
+    "count": 31,
+    "accuracy": 0.5483870967741935,
+    "confidence": 0.6217322580645159
+   },
+   {
+    "lo": 0.6666666666666666,
+    "hi": 0.7333333333333333,
+    "count": 2,
+    "accuracy": 0.5,
+    "confidence": 0.67465
+   }
+  ]
+ },
+ "helpsteer2_verbosity": {
+  "n": 1000,
+  "accuracy": 0.626,
+  "nll": 1.0101388175042707,
+  "brier": 0.5260564803600001,
+  "ece": 0.04779429999999997,
+  "mce": 0.20704399999999998,
+  "selective_acc_at_90": 0.6644444444444444,
+  "selective_acc_at_50": 0.722,
+  "aurc": 0.30349022918983,
+  "rps": 0.083888824145,
+  "mae": 0.4770316,
+  "within_one": 0.923,
+  "auroc": null,
+  "tvd_to_human": null,
+  "kl_human_model": null,
+  "mean_confidence": 0.6353921781602538,
+  "reliability": [
+   {
+    "lo": 0.26666666666666666,
+    "hi": 0.3333333333333333,
+    "count": 7,
+    "accuracy": 0.2857142857142857,
+    "confidence": 0.3241428571428572
+   },
+   {
+    "lo": 0.3333333333333333,
+    "hi": 0.4,
+    "count": 25,
+    "accuracy": 0.16,
+    "confidence": 0.367044
+   },
+   {
+    "lo": 0.4,
+    "hi": 0.4666666666666667,
+    "count": 53,
+    "accuracy": 0.2641509433962264,
+    "confidence": 0.4387301886792453
+   },
+   {
+    "lo": 0.4666666666666667,
+    "hi": 0.5333333333333333,
+    "count": 61,
+    "accuracy": 0.36065573770491804,
+    "confidence": 0.5022360655737704
+   },
+   {
+    "lo": 0.5333333333333333,
+    "hi": 0.6,
+    "count": 95,
+    "accuracy": 0.5368421052631579,
+    "confidence": 0.5728284210526317
+   },
+   {
+    "lo": 0.6,
+    "hi": 0.6666666666666666,
+    "count": 265,
+    "accuracy": 0.6943396226415094,
+    "confidence": 0.635611320754717
+   },
+   {
+    "lo": 0.6666666666666666,
+    "hi": 0.7333333333333333,
+    "count": 385,
+    "accuracy": 0.7038961038961039,
+    "confidence": 0.6994470129870131
+   },
+   {
+    "lo": 0.7333333333333333,
+    "hi": 0.8,
+    "count": 109,
+    "accuracy": 0.7155963302752294,
+    "confidence": 0.7501422018348626
+   }
+  ]
+ },
+ "ledgar": {
+  "n": 1000,
+  "accuracy": 0.744,
+  "nll": 1.0280150986569014,
+  "brier": 0.37473278299999996,
+  "ece": 0.06720890000000002,
+  "mce": 0.24067000000000002,
+  "selective_acc_at_90": 0.7966666666666666,
+  "selective_acc_at_50": 0.92,
+  "aurc": 0.10271867052099892,
+  "rps": null,
+  "mae": null,
+  "within_one": null,
+  "auroc": null,
+  "tvd_to_human": null,
+  "kl_human_model": null,
+  "mean_confidence": 0.797231414141414,
+  "reliability": [
+   {
+    "lo": 0.13333333333333333,
+    "hi": 0.2,
+    "count": 3,
+    "accuracy": 0.0,
+    "confidence": 0.1920666666666667
+   },
+   {
+    "lo": 0.2,
+    "hi": 0.26666666666666666,
+    "count": 15,
+    "accuracy": 0.2,
+    "confidence": 0.23594
+   },
+   {
+    "lo": 0.26666666666666666,
+    "hi": 0.3333333333333333,
+    "count": 19,
+    "accuracy": 0.47368421052631576,
+    "confidence": 0.3098157894736842
+   },
+   {
+    "lo": 0.3333333333333333,
+    "hi": 0.4,
+    "count": 30,
+    "accuracy": 0.13333333333333333,
+    "confidence": 0.37400333333333335
+   },
+   {
+    "lo": 0.4,
+    "hi": 0.4666666666666667,
+    "count": 39,
+    "accuracy": 0.38461538461538464,
+    "confidence": 0.4382820512820514
+   },
+   {
+    "lo": 0.4666666666666667,
+    "hi": 0.5333333333333333,
+    "count": 45,
+    "accuracy": 0.5333333333333333,
+    "confidence": 0.49671111111111105
+   },
+   {
+    "lo": 0.5333333333333333,
+    "hi": 0.6,
+    "count": 44,
+    "accuracy": 0.5909090909090909,
+    "confidence": 0.5633318181818182
+   },
+   {
+    "lo": 0.6,
+    "hi": 0.6666666666666666,
+    "count": 58,
+    "accuracy": 0.5689655172413793,
+    "confidence": 0.6326362068965516
+   },
+   {
+    "lo": 0.6666666666666666,
+    "hi": 0.7333333333333333,
+    "count": 54,
+    "accuracy": 0.6111111111111112,
+    "confidence": 0.6978703703703706
+   },
+   {
+    "lo": 0.7333333333333333,
+    "hi": 0.8,
+    "count": 77,
+    "accuracy": 0.6103896103896104,
+    "confidence": 0.7663961038961039
+   },
+   {
+    "lo": 0.8,
+    "hi": 0.8666666666666667,
+    "count": 74,
+    "accuracy": 0.7162162162162162,
+    "confidence": 0.8333432432432434
+   },
+   {
+    "lo": 0.8666666666666667,
+    "hi": 0.9333333333333333,
+    "count": 131,
+    "accuracy": 0.8473282442748091,
+    "confidence": 0.9032961832061067
+   },
+   {
+    "lo": 0.9333333333333333,
+    "hi": 1.0,
+    "count": 411,
+    "accuracy": 0.9391727493917275,
+    "confidence": 0.9742481751824817
+   }
+  ]
+ },
+ "massive": {
+  "n": 1000,
+  "accuracy": 0.771,
+  "nll": 0.8926574211748416,
+  "brier": 0.32717361962,
+  "ece": 0.03292139999999999,
+  "mce": 0.26085,
+  "selective_acc_at_90": 0.8255555555555556,
+  "selective_acc_at_50": 0.946,
+  "aurc": 0.07668221739460093,
+  "rps": null,
+  "mae": null,
+  "within_one": null,
+  "auroc": null,
+  "tvd_to_human": null,
+  "kl_human_model": null,
+  "mean_confidence": 0.7558187118644067,
+  "reliability": [
+   {
+    "lo": 0.0,
+    "hi": 0.06666666666666667,
+    "count": 1,
+    "accuracy": 0.0,
+    "confidence": 0.0649
+   },
+   {
+    "lo": 0.06666666666666667,
+    "hi": 0.13333333333333333,
+    "count": 8,
+    "accuracy": 0.375,
+    "confidence": 0.11415
+   },
+   {
+    "lo": 0.13333333333333333,
+    "hi": 0.2,
+    "count": 10,
+    "accuracy": 0.2,
+    "confidence": 0.16852999999999999
+   },
+   {
+    "lo": 0.2,
+    "hi": 0.26666666666666666,
+    "count": 15,
+    "accuracy": 0.2,
+    "confidence": 0.22983999999999996
+   },
+   {
+    "lo": 0.26666666666666666,
+    "hi": 0.3333333333333333,
+    "count": 23,
+    "accuracy": 0.17391304347826086,
+    "confidence": 0.3044565217391304
+   },
+   {
+    "lo": 0.3333333333333333,
+    "hi": 0.4,
+    "count": 36,
+    "accuracy": 0.3888888888888889,
+    "confidence": 0.36580833333333335
+   },
+   {
+    "lo": 0.4,
+    "hi": 0.4666666666666667,
+    "count": 55,
+    "accuracy": 0.43636363636363634,
+    "confidence": 0.4377309090909092
+   },
+   {
+    "lo": 0.4666666666666667,
+    "hi": 0.5333333333333333,
+    "count": 52,
+    "accuracy": 0.5,
+    "confidence": 0.5007211538461538
+   },
+   {
+    "lo": 0.5333333333333333,
+    "hi": 0.6,
+    "count": 49,
+    "accuracy": 0.4897959183673469,
+    "confidence": 0.5620122448979592
+   },
+   {
+    "lo": 0.6,
+    "hi": 0.6666666666666666,
+    "count": 67,
+    "accuracy": 0.6567164179104478,
+    "confidence": 0.6361761194029849
+   },
+   {
+    "lo": 0.6666666666666666,
+    "hi": 0.7333333333333333,
+    "count": 56,
+    "accuracy": 0.8214285714285714,
+    "confidence": 0.7013714285714286
+   },
+   {
+    "lo": 0.7333333333333333,
+    "hi": 0.8,
+    "count": 49,
+    "accuracy": 0.7551020408163265,
+    "confidence": 0.7695877551020408
+   },
+   {
+    "lo": 0.8,
+    "hi": 0.8666666666666667,
+    "count": 93,
+    "accuracy": 0.9032258064516129,
+    "confidence": 0.8332494623655914
+   },
+   {
+    "lo": 0.8666666666666667,
+    "hi": 0.9333333333333333,
+    "count": 176,
+    "accuracy": 0.9261363636363636,
+    "confidence": 0.9024039772727274
+   },
+   {
+    "lo": 0.9333333333333333,
+    "hi": 1.0,
+    "count": 310,
+    "accuracy": 0.9580645161290322,
+    "confidence": 0.9678348387096773
+   }
+  ]
+ },
+ "measuring_hate_speech": {
+  "n": 1000,
+  "accuracy": 0.688,
+  "nll": 0.7784521667495977,
+  "brier": 0.43208579926,
+  "ece": 0.08527270000000003,
+  "mce": 0.165188,
+  "selective_acc_at_90": 0.7066666666666667,
+  "selective_acc_at_50": 0.872,
+  "aurc": 0.14311849324585452,
+  "rps": 0.169228706375,
+  "mae": 0.6261209,
+  "within_one": 0.813,
+  "auroc": null,
+  "tvd_to_human": 0.34480523150684933,
+  "kl_human_model": 0.5308882680291894,
+  "mean_confidence": 0.3610137487721894,
+  "reliability": [
+   {
+    "lo": 0.3333333333333333,
+    "hi": 0.4,
+    "count": 116,
+    "accuracy": 0.33620689655172414,
+    "confidence": 0.37729396551724154
+   },
+   {
+    "lo": 0.4,
+    "hi": 0.4666666666666667,
+    "count": 141,
+    "accuracy": 0.375886524822695,
+    "confidence": 0.4323964539007092
+   },
+   {
+    "lo": 0.4666666666666667,
+    "hi": 0.5333333333333333,
+    "count": 123,
+    "accuracy": 0.5121951219512195,
+    "confidence": 0.5000357723577236
+   },
+   {
+    "lo": 0.5333333333333333,
+    "hi": 0.6,
+    "count": 118,
+    "accuracy": 0.6864406779661016,
+    "confidence": 0.5680999999999999
+   },
+   {
+    "lo": 0.6,
+    "hi": 0.6666666666666666,
+    "count": 93,
+    "accuracy": 0.7849462365591398,
+    "confidence": 0.6360301075268817
+   },
+   {
+    "lo": 0.6666666666666666,
+    "hi": 0.7333333333333333,
+    "count": 92,
+    "accuracy": 0.8478260869565217,
+    "confidence": 0.6981652173913043
+   },
+   {
+    "lo": 0.7333333333333333,
+    "hi": 0.8,
+    "count": 75,
+    "accuracy": 0.9333333333333333,
+    "confidence": 0.7681453333333333
+   },
+   {
+    "lo": 0.8,
+    "hi": 0.8666666666666667,
+    "count": 97,
+    "accuracy": 0.9381443298969072,
+    "confidence": 0.8325989690721648
+   },
+   {
+    "lo": 0.8666666666666667,
+    "hi": 0.9333333333333333,
+    "count": 96,
+    "accuracy": 0.9583333333333334,
+    "confidence": 0.9014375
+   },
+   {
+    "lo": 0.9333333333333333,
+    "hi": 1.0,
+    "count": 49,
+    "accuracy": 0.9795918367346939,
+    "confidence": 0.9515938775510204
+   }
+  ]
+ },
+ "mmlu": {
+  "n": 1000,
+  "accuracy": 0.599,
+  "nll": 0.9386696847177588,
+  "brier": 0.49753741273999996,
+  "ece": 0.048479300000000024,
+  "mce": 0.12923048780487806,
+  "selective_acc_at_90": 0.6322222222222222,
+  "selective_acc_at_50": 0.82,
+  "aurc": 0.18683325361924957,
+  "rps": null,
+  "mae": null,
+  "within_one": null,
+  "auroc": null,
+  "tvd_to_human": null,
+  "kl_human_model": null,
+  "mean_confidence": 0.5164318666666665,
+  "reliability": [
+   {
+    "lo": 0.26666666666666666,
+    "hi": 0.3333333333333333,
+    "count": 40,
+    "accuracy": 0.3,
+    "confidence": 0.3157525
+   },
+   {
+    "lo": 0.3333333333333333,
+    "hi": 0.4,
+    "count": 84,
+    "accuracy": 0.35714285714285715,
+    "confidence": 0.3700988095238095
+   },
+   {
+    "lo": 0.4,
+    "hi": 0.4666666666666667,
+    "count": 164,
+    "accuracy": 0.3048780487804878,
+    "confidence": 0.43410853658536586
+   },
+   {
+    "lo": 0.4666666666666667,
+    "hi": 0.5333333333333333,
+    "count": 129,
+    "accuracy": 0.4418604651162791,
+    "confidence": 0.49678372093023254
+   },
+   {
+    "lo": 0.5333333333333333,
+    "hi": 0.6,
+    "count": 93,
+    "accuracy": 0.4838709677419355,
+    "confidence": 0.5652096774193549
+   },
+   {
+    "lo": 0.6,
+    "hi": 0.6666666666666666,
+    "count": 67,
+    "accuracy": 0.5970149253731343,
+    "confidence": 0.6315029850746269
+   },
+   {
+    "lo": 0.6666666666666666,
+    "hi": 0.7333333333333333,
+    "count": 72,
+    "accuracy": 0.6666666666666666,
+    "confidence": 0.7005194444444445
+   },
+   {
+    "lo": 0.7333333333333333,
+    "hi": 0.8,
+    "count": 54,
+    "accuracy": 0.7777777777777778,
+    "confidence": 0.7711537037037037
+   },
+   {
+    "lo": 0.8,
+    "hi": 0.8666666666666667,
+    "count": 72,
+    "accuracy": 0.8194444444444444,
+    "confidence": 0.8346069444444444
+   },
+   {
+    "lo": 0.8666666666666667,
+    "hi": 0.9333333333333333,
+    "count": 101,
+    "accuracy": 0.9504950495049505,
+    "confidence": 0.9042356435643564
+   },
+   {
+    "lo": 0.9333333333333333,
+    "hi": 1.0,
+    "count": 124,
+    "accuracy": 0.967741935483871,
+    "confidence": 0.9673564516129032
+   }
+  ]
+ },
+ "mnli": {
+  "n": 1000,
+  "accuracy": 0.828,
+  "nll": 0.4594794458750778,
+  "brier": 0.2562522775,
+  "ece": 0.03582179999999991,
+  "mce": 0.12177341772151906,
+  "selective_acc_at_90": 0.8555555555555555,
+  "selective_acc_at_50": 0.954,
+  "aurc": 0.06196259706514962,
+  "rps": null,
+  "mae": null,
+  "within_one": null,
+  "auroc": null,
+  "tvd_to_human": null,
+  "kl_human_model": null,
+  "mean_confidence": 0.7503307,
+  "reliability": [
+   {
+    "lo": 0.3333333333333333,
+    "hi": 0.4,
+    "count": 4,
+    "accuracy": 0.25,
+    "confidence": 0.367375
+   },
+   {
+    "lo": 0.4,
+    "hi": 0.4666666666666667,
+    "count": 17,
+    "accuracy": 0.47058823529411764,
+    "confidence": 0.4441117647058823
+   },
+   {
+    "lo": 0.4666666666666667,
+    "hi": 0.5333333333333333,
+    "count": 42,
+    "accuracy": 0.5714285714285714,
+    "confidence": 0.49855
+   },
+   {
+    "lo": 0.5333333333333333,
+    "hi": 0.6,
+    "count": 35,
+    "accuracy": 0.6571428571428571,
+    "confidence": 0.5656571428571429
+   },
+   {
+    "lo": 0.6,
+    "hi": 0.6666666666666666,
+    "count": 50,
+    "accuracy": 0.56,
+    "confidence": 0.634122
+   },
+   {
+    "lo": 0.6666666666666666,
+    "hi": 0.7333333333333333,
+    "count": 58,
+    "accuracy": 0.6724137931034483,
+    "confidence": 0.6972051724137932
+   },
+   {
+    "lo": 0.7333333333333333,
+    "hi": 0.8,
+    "count": 79,
+    "accuracy": 0.6455696202531646,
+    "confidence": 0.7673430379746836
+   },
+   {
+    "lo": 0.8,
+    "hi": 0.8666666666666667,
+    "count": 145,
+    "accuracy": 0.8,
+    "confidence": 0.8376151724137931
+   },
+   {
+    "lo": 0.8666666666666667,
+    "hi": 0.9333333333333333,
+    "count": 312,
+    "accuracy": 0.9134615384615384,
+    "confidence": 0.9065512820512822
+   },
+   {
+    "lo": 0.9333333333333333,
+    "hi": 1.0,
+    "count": 258,
+    "accuracy": 0.9806201550387597,
+    "confidence": 0.9563372093023257
+   }
+  ]
+ },
+ "paws": {
+  "n": 1000,
+  "accuracy": 0.892,
+  "nll": 0.28539634203821396,
+  "brier": 0.08248526166996581,
+  "ece": 0.04123338196177438,
+  "mce": 0.18064361364643022,
+  "selective_acc_at_90": 0.9266666666666666,
+  "selective_acc_at_50": 0.97,
+  "aurc": 0.029018400713086874,
+  "rps": null,
+  "mae": null,
+  "within_one": null,
+  "auroc": 0.9604871707094418,
+  "tvd_to_human": null,
+  "kl_human_model": null,
+  "mean_confidence": 0.9332333819617745,
+  "reliability": [
+   {
+    "lo": 0.4666666666666667,
+    "hi": 0.5333333333333333,
+    "count": 12,
+    "accuracy": 0.4166666666666667,
+    "confidence": 0.5148404388886489
+   },
+   {
+    "lo": 0.5333333333333333,
+    "hi": 0.6,
+    "count": 22,
+    "accuracy": 0.5454545454545454,
+    "confidence": 0.5667035429732288
+   },
+   {
+    "lo": 0.6,
+    "hi": 0.6666666666666666,
+    "count": 15,
+    "accuracy": 0.6,
+    "confidence": 0.6388224296369102
+   },
+   {
+    "lo": 0.6666666666666666,
+    "hi": 0.7333333333333333,
+    "count": 26,
+    "accuracy": 0.6538461538461539,
+    "confidence": 0.7042924383099578
+   },
+   {
+    "lo": 0.7333333333333333,
+    "hi": 0.8,
+    "count": 37,
+    "accuracy": 0.5945945945945946,
+    "confidence": 0.7752382082410249
+   },
+   {
+    "lo": 0.8,
+    "hi": 0.8666666666666667,
+    "count": 35,
+    "accuracy": 0.7142857142857143,
+    "confidence": 0.8359161897486085
+   },
+   {
+    "lo": 0.8666666666666667,
+    "hi": 0.9333333333333333,
+    "count": 98,
+    "accuracy": 0.826530612244898,
+    "confidence": 0.9079805714871337
+   },
+   {
+    "lo": 0.9333333333333333,
+    "hi": 1.0,
+    "count": 755,
+    "accuracy": 0.9549668874172186,
+    "confidence": 0.9798290100095745
+   }
+  ]
+ },
+ "sms_spam": {
+  "n": 800,
+  "accuracy": 0.96875,
+  "nll": 0.08408743527647644,
+  "brier": 0.0222893159676199,
+  "ece": 0.01504101526670448,
+  "mce": 0.48451069986033946,
+  "selective_acc_at_90": 0.9944444444444445,
+  "selective_acc_at_50": 1.0,
+  "aurc": 0.0032545251360467276,
+  "rps": null,
+  "mae": null,
+  "within_one": null,
+  "auroc": 0.987432561091717,
+  "tvd_to_human": null,
+  "kl_human_model": null,
+  "mean_confidence": 0.9789194708017519,
+  "reliability": [
+   {
+    "lo": 0.4666666666666667,
+    "hi": 0.5333333333333333,
+    "count": 1,
+    "accuracy": 1.0,
+    "confidence": 0.5154893001396605
+   },
+   {
+    "lo": 0.5333333333333333,
+    "hi": 0.6,
+    "count": 6,
+    "accuracy": 0.16666666666666666,
+    "confidence": 0.5842839752183409
+   },
+   {
+    "lo": 0.6,
+    "hi": 0.6666666666666666,
+    "count": 4,
+    "accuracy": 0.25,
+    "confidence": 0.6436700048097159
+   },
+   {
+    "lo": 0.6666666666666666,
+    "hi": 0.7333333333333333,
+    "count": 6,
+    "accuracy": 0.3333333333333333,
+    "confidence": 0.7076179183810427
+   },
+   {
+    "lo": 0.7333333333333333,
+    "hi": 0.8,
+    "count": 6,
+    "accuracy": 1.0,
+    "confidence": 0.7559821523132136
+   },
+   {
+    "lo": 0.8,
+    "hi": 0.8666666666666667,
+    "count": 4,
+    "accuracy": 0.5,
+    "confidence": 0.8191380565425732
+   },
+   {
+    "lo": 0.8666666666666667,
+    "hi": 0.9333333333333333,
+    "count": 20,
+    "accuracy": 0.8,
+    "confidence": 0.9031825696639268
+   },
+   {
+    "lo": 0.9333333333333333,
+    "hi": 1.0,
+    "count": 753,
+    "accuracy": 0.9907038512616202,
+    "confidence": 0.9912588305804761
+   }
+  ]
+ },
+ "sst5": {
+  "n": 1000,
+  "accuracy": 0.456,
+  "nll": 1.1553132404620197,
+  "brier": 0.62977541954,
+  "ece": 0.032552899999999996,
+  "mce": 0.19535357142857146,
+  "selective_acc_at_90": 0.47333333333333333,
+  "selective_acc_at_50": 0.532,
+  "aurc": 0.4352732356721254,
+  "rps": 0.10149820210749999,
+  "mae": 0.6344239,
+  "within_one": 0.908,
+  "auroc": null,
+  "tvd_to_human": null,
+  "kl_human_model": null,
+  "mean_confidence": 0.49675720599501616,
+  "reliability": [
+   {
+    "lo": 0.2,
+    "hi": 0.26666666666666666,
+    "count": 16,
+    "accuracy": 0.125,
+    "confidence": 0.2552875
+   },
+   {
+    "lo": 0.26666666666666666,
+    "hi": 0.3333333333333333,
+    "count": 110,
+    "accuracy": 0.2727272727272727,
+    "confidence": 0.3069481818181819
+   },
+   {
+    "lo": 0.3333333333333333,
+    "hi": 0.4,
+    "count": 270,
+    "accuracy": 0.35555555555555557,
+    "confidence": 0.36739518518518516
+   },
+   {
+    "lo": 0.4,
+    "hi": 0.4666666666666667,
+    "count": 276,
+    "accuracy": 0.4384057971014493,
+    "confidence": 0.4289786231884058
+   },
+   {
+    "lo": 0.4666666666666667,
+    "hi": 0.5333333333333333,
+    "count": 146,
+    "accuracy": 0.589041095890411,
+    "confidence": 0.4976986301369863
+   },
+   {
+    "lo": 0.5333333333333333,
+    "hi": 0.6,
+    "count": 87,
+    "accuracy": 0.5747126436781609,
+    "confidence": 0.5616574712643679
+   },
+   {
+    "lo": 0.6,
+    "hi": 0.6666666666666666,
+    "count": 47,
+    "accuracy": 0.6382978723404256,
+    "confidence": 0.6248489361702128
+   },
+   {
+    "lo": 0.6666666666666666,
+    "hi": 0.7333333333333333,
+    "count": 28,
+    "accuracy": 0.8928571428571429,
+    "confidence": 0.6975035714285714
+   },
+   {
+    "lo": 0.7333333333333333,
+    "hi": 0.8,
+    "count": 9,
+    "accuracy": 0.7777777777777778,
+    "confidence": 0.7614222222222222
+   },
+   {
+    "lo": 0.8,
+    "hi": 0.8666666666666667,
+    "count": 11,
+    "accuracy": 0.8181818181818182,
+    "confidence": 0.8349454545454545
+   }
+  ]
+ },
+ "strategyqa_closed": {
+  "n": 687,
+  "accuracy": 0.604075691411936,
+  "nll": 0.6219001399152536,
+  "brier": 0.21845997417058202,
+  "ece": 0.06374260303916367,
+  "mce": 0.11931954167742204,
+  "selective_acc_at_90": 0.6181229773462783,
+  "selective_acc_at_50": 0.7209302325581395,
+  "aurc": 0.2532748697083387,
+  "rps": null,
+  "mae": null,
+  "within_one": null,
+  "auroc": 0.7218107938446922,
+  "tvd_to_human": null,
+  "kl_human_model": null,
+  "mean_confidence": 0.6529393102473741,
+  "reliability": [
+   {
+    "lo": 0.4666666666666667,
+    "hi": 0.5333333333333333,
+    "count": 104,
+    "accuracy": 0.3942307692307692,
+    "confidence": 0.5135503109081913
+   },
+   {
+    "lo": 0.5333333333333333,
+    "hi": 0.6,
+    "count": 209,
+    "accuracy": 0.5311004784688995,
+    "confidence": 0.5661870331189132
+   },
+   {
+    "lo": 0.6,
+    "hi": 0.6666666666666666,
+    "count": 130,
+    "accuracy": 0.5615384615384615,
+    "confidence": 0.6349221056679976
+   },
+   {
+    "lo": 0.6666666666666666,
+    "hi": 0.7333333333333333,
+    "count": 81,
+    "accuracy": 0.6419753086419753,
+    "confidence": 0.6937179418464196
+   },
+   {
+    "lo": 0.7333333333333333,
+    "hi": 0.8,
+    "count": 49,
+    "accuracy": 0.673469387755102,
+    "confidence": 0.7605319442861311
+   },
+   {
+    "lo": 0.8,
+    "hi": 0.8666666666666667,
+    "count": 44,
+    "accuracy": 0.9090909090909091,
+    "confidence": 0.831479551591073
+   },
+   {
+    "lo": 0.8666666666666667,
+    "hi": 0.9333333333333333,
+    "count": 46,
+    "accuracy": 0.9347826086956522,
+    "confidence": 0.8979123620872401
+   },
+   {
+    "lo": 0.9333333333333333,
+    "hi": 1.0,
+    "count": 24,
+    "accuracy": 0.9166666666666666,
+    "confidence": 0.9558676108833691
+   }
+  ]
+ },
+ "strategyqa_grounded": {
+  "n": 687,
+  "accuracy": 0.7991266375545851,
+  "nll": 0.3904913682794755,
+  "brier": 0.12764667433270063,
+  "ece": 0.035799058653777964,
+  "mce": 0.15394419856873004,
+  "selective_acc_at_90": 0.8365695792880259,
+  "selective_acc_at_50": 0.9563953488372093,
+  "aurc": 0.06333493298927423,
+  "rps": null,
+  "mae": null,
+  "within_one": null,
+  "auroc": 0.9254042177770991,
+  "tvd_to_human": null,
+  "kl_human_model": null,
+  "mean_confidence": 0.7930851732801715,
+  "reliability": [
+   {
+    "lo": 0.4666666666666667,
+    "hi": 0.5333333333333333,
+    "count": 36,
+    "accuracy": 0.3611111111111111,
+    "confidence": 0.5150553096798411
+   },
+   {
+    "lo": 0.5333333333333333,
+    "hi": 0.6,
+    "count": 89,
+    "accuracy": 0.5617977528089888,
+    "confidence": 0.5652056420068137
+   },
+   {
+    "lo": 0.6,
+    "hi": 0.6666666666666666,
+    "count": 61,
+    "accuracy": 0.7049180327868853,
+    "confidence": 0.6384033904304549
+   },
+   {
+    "lo": 0.6666666666666666,
+    "hi": 0.7333333333333333,
+    "count": 62,
+    "accuracy": 0.6290322580645161,
+    "confidence": 0.6958885412603413
+   },
+   {
+    "lo": 0.7333333333333333,
+    "hi": 0.8,
+    "count": 66,
+    "accuracy": 0.7878787878787878,
+    "confidence": 0.7670888373365592
+   },
+   {
+    "lo": 0.8,
+    "hi": 0.8666666666666667,
+    "count": 77,
+    "accuracy": 0.8311688311688312,
+    "confidence": 0.8341733873258413
+   },
+   {
+    "lo": 0.8666666666666667,
+    "hi": 0.9333333333333333,
+    "count": 97,
+    "accuracy": 0.9278350515463918,
+    "confidence": 0.8974310168064152
+   },
+   {
+    "lo": 0.9333333333333333,
+    "hi": 1.0,
+    "count": 199,
+    "accuracy": 0.9949748743718593,
+    "confidence": 0.96485679227876
+   }
+  ]
+ },
+ "stsb": {
+  "n": 1000,
+  "accuracy": 0.386,
+  "nll": 1.3005611203871532,
+  "brier": 0.6854670720399999,
+  "ece": 0.09946149999999998,
+  "mce": 0.18094344262295076,
+  "selective_acc_at_90": 0.4088888888888889,
+  "selective_acc_at_50": 0.506,
+  "aurc": 0.5577596234368568,
+  "rps": 0.093407616088,
+  "mae": 0.6927494,
+  "within_one": 0.801,
+  "auroc": null,
+  "tvd_to_human": null,
+  "kl_human_model": null,
+  "mean_confidence": 0.544677368952079,
+  "reliability": [
+   {
+    "lo": 0.2,
+    "hi": 0.26666666666666666,
+    "count": 98,
+    "accuracy": 0.1836734693877551,
+    "confidence": 0.24271836734693877
+   },
+   {
+    "lo": 0.26666666666666666,
+    "hi": 0.3333333333333333,
+    "count": 131,
+    "accuracy": 0.22900763358778625,
+    "confidence": 0.2970465648854962
+   },
+   {
+    "lo": 0.3333333333333333,
+    "hi": 0.4,
+    "count": 113,
+    "accuracy": 0.26548672566371684,
+    "confidence": 0.3677221238938053
+   },
+   {
+    "lo": 0.4,
+    "hi": 0.4666666666666667,
+    "count": 121,
+    "accuracy": 0.3305785123966942,
+    "confidence": 0.43238842975206615
+   },
+   {
+    "lo": 0.4666666666666667,
+    "hi": 0.5333333333333333,
+    "count": 140,
+    "accuracy": 0.4642857142857143,
+    "confidence": 0.49853857142857144
+   },
+   {
+    "lo": 0.5333333333333333,
+    "hi": 0.6,
+    "count": 151,
+    "accuracy": 0.4105960264900662,
+    "confidence": 0.5682132450331125
+   },
+   {
+    "lo": 0.6,
+    "hi": 0.6666666666666666,
+    "count": 122,
+    "accuracy": 0.45081967213114754,
+    "confidence": 0.6317631147540983
+   },
+   {
+    "lo": 0.6666666666666666,
+    "hi": 0.7333333333333333,
+    "count": 30,
+    "accuracy": 0.5333333333333333,
+    "confidence": 0.6996899999999999
+   },
+   {
+    "lo": 0.7333333333333333,
+    "hi": 0.8,
+    "count": 55,
+    "accuracy": 0.7090909090909091,
+    "confidence": 0.7747763636363636
+   },
+   {
+    "lo": 0.8,
+    "hi": 0.8666666666666667,
+    "count": 38,
+    "accuracy": 0.7894736842105263,
+    "confidence": 0.8285868421052632
+   },
+   {
+    "lo": 0.8666666666666667,
+    "hi": 0.9333333333333333,
+    "count": 1,
+    "accuracy": 1.0,
+    "confidence": 0.87
+   }
+  ]
+ },
+ "yelp5": {
+  "n": 1000,
+  "accuracy": 0.498,
+  "nll": 1.1494600916818514,
+  "brier": 0.6365315603,
+  "ece": 0.09506290000000003,
+  "mce": 0.20660147058823536,
+  "selective_acc_at_90": 0.5033333333333333,
+  "selective_acc_at_50": 0.538,
+  "aurc": 0.48508759404288365,
+  "rps": 0.10082326576,
+  "mae": 0.6352176,
+  "within_one": 0.927,
+  "auroc": null,
+  "tvd_to_human": null,
+  "kl_human_model": null,
+  "mean_confidence": 0.49605027052953227,
+  "reliability": [
+   {
+    "lo": 0.2,
+    "hi": 0.26666666666666666,
+    "count": 21,
+    "accuracy": 0.38095238095238093,
+    "confidence": 0.2507285714285714
+   },
+   {
+    "lo": 0.26666666666666666,
+    "hi": 0.3333333333333333,
+    "count": 97,
+    "accuracy": 0.3917525773195876,
+    "confidence": 0.304
+   },
+   {
+    "lo": 0.3333333333333333,
+    "hi": 0.4,
+    "count": 171,
+    "accuracy": 0.43859649122807015,
+    "confidence": 0.3694578947368421
+   },
+   {
+    "lo": 0.4,
+    "hi": 0.4666666666666667,
+    "count": 206,
+    "accuracy": 0.441747572815534,
+    "confidence": 0.43193737864077664
+   },
+   {
+    "lo": 0.4666666666666667,
+    "hi": 0.5333333333333333,
+    "count": 147,
+    "accuracy": 0.6122448979591837,
+    "confidence": 0.4954897959183673
+   },
+   {
+    "lo": 0.5333333333333333,
+    "hi": 0.6,
+    "count": 90,
+    "accuracy": 0.5,
+    "confidence": 0.5612955555555555
+   },
+   {
+    "lo": 0.6,
+    "hi": 0.6666666666666666,
+    "count": 68,
+    "accuracy": 0.4264705882352941,
+    "confidence": 0.6330720588235295
+   },
+   {
+    "lo": 0.6666666666666666,
+    "hi": 0.7333333333333333,
+    "count": 71,
+    "accuracy": 0.5352112676056338,
+    "confidence": 0.7024507042253519
+   },
+   {
+    "lo": 0.7333333333333333,
+    "hi": 0.8,
+    "count": 57,
+    "accuracy": 0.6140350877192983,
+    "confidence": 0.7680473684210528
+   },
+   {
+    "lo": 0.8,
+    "hi": 0.8666666666666667,
+    "count": 44,
+    "accuracy": 0.6590909090909091,
+    "confidence": 0.8303727272727272
+   },
+   {
+    "lo": 0.8666666666666667,
+    "hi": 0.9333333333333333,
+    "count": 28,
+    "accuracy": 0.7142857142857143,
+    "confidence": 0.8948214285714285
+   }
+  ]
+ }
+}

results/train.json

@@ -0,0 +1,53 @@
+{
+ "model": "Qwen/Qwen3.5-2B",
+ "arm": "sup",
+ "beta": 1.0,
+ "seed": 0,
+ "lr": 1e-06,
+ "lora_r": null,
+ "full": true,
+ "epochs": 2,
+ "cap": 400,
+ "n_train": 5885,
+ "n_unlabeled": 0,
+ "trainable": 1881825088,
+ "best_epoch": 0,
+ "best_val_sup": 0.6054108740959006,
+ "history": [
+  {
+   "epoch": 0,
+   "train": {
+    "sup": 0.7684974398629303,
+    "d2": 0.0,
+    "n_sup": 5885,
+    "n_fam": 0
+   },
+   "val": {
+    "sup": 0.6054108740959006,
+    "d2": 0.4225715254618856,
+    "n_sup": 1500,
+    "n_fam": 1500
+   },
+   "elapsed_s": 2246
+  },
+  {
+   "epoch": 1,
+   "train": {
+    "sup": 0.4206315798004328,
+    "d2": 0.0,
+    "n_sup": 5885,
+    "n_fam": 0
+   },
+   "val": {
+    "sup": 0.7545727748749778,
+    "d2": 0.6027913237495648,
+    "n_sup": 1500,
+    "n_fam": 1500
+   },
+   "elapsed_s": 4503
+  }
+ ],
+ "unlabeled": null,
+ "device": "NVIDIA A40",
+ "train_s": 4513
+}

results/verification.json

@@ -0,0 +1,7 @@
+{
+ "artifact": "jevify-qwen3.5-2b-readout-full",
+ "records": 72,
+ "max_abs_dp": 0.0377,
+ "mean_max_abs_dp": 0.00711,
+ "choice_answer_flips": 0
+}

tokenizer.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:06b9509352d2af50381ab2247e083b80d32d5c0aba91c272ca9ff729b6a0e523
+size 19989325

tokenizer_config.json

@@ -0,0 +1,32 @@
+{
+  "add_prefix_space": false,
+  "audio_bos_token": "<|audio_start|>",
+  "audio_eos_token": "<|audio_end|>",
+  "audio_token": "<|audio_pad|>",
+  "backend": "tokenizers",
+  "bos_token": null,
+  "clean_up_tokenization_spaces": false,
+  "eos_token": "<|im_end|>",
+  "errors": "replace",
+  "image_token": "<|image_pad|>",
+  "is_local": false,
+  "local_files_only": false,
+  "model_max_length": 262144,
+  "model_specific_special_tokens": {
+    "audio_bos_token": "<|audio_start|>",
+    "audio_eos_token": "<|audio_end|>",
+    "audio_token": "<|audio_pad|>",
+    "image_token": "<|image_pad|>",
+    "video_token": "<|video_pad|>",
+    "vision_bos_token": "<|vision_start|>",
+    "vision_eos_token": "<|vision_end|>"
+  },
+  "pad_token": "<|endoftext|>",
+  "pretokenize_regex": "(?i:'s|'t|'re|'ve|'m|'ll|'d)|[^\\r\\n\\p{L}\\p{N}]?[\\p{L}\\p{M}]+|\\p{N}| ?[^\\s\\p{L}\\p{M}\\p{N}]+[\\r\\n]*|\\s*[\\r\\n]+|\\s+(?!\\S)|\\s+",
+  "split_special_tokens": false,
+  "tokenizer_class": "Qwen2Tokenizer",
+  "unk_token": null,
+  "video_token": "<|video_pad|>",
+  "vision_bos_token": "<|vision_start|>",
+  "vision_eos_token": "<|vision_end|>"
+}