Cubic Hier 150M: weights, tokenizer and benchmark comparison

README.md

@@ -42,7 +42,12 @@ informative below roughly 1B parameters.
 
 | Model | Params | hellaswag | arc_easy | arc_challenge | piqa | winogrande | openbookqa | sciq | boolq | lambada_openai | mmlu | Avg | Δ chance |
 |---|---|---|---|---|---|---|---|---|---|---|---|---|---|
-| CubicHierLM-157M (ours) | 157M | 30.1 | 39.1 | 25.3 | 57.8 | 50.8 | 25.2 | 70.4 | 61.8 | 20.1 | 27.1 | 40.8 | +10.8 |
+| CubicHierLM-157M (base format) | 157M | 30.1 | 39.1 | 25.3 | 57.8 | 50.8 | 25.2 | 70.4 | 61.8 | 20.1 | 27.1 | 40.8 | +10.8 |
+| CubicHierLM-157M (chat, direct prompt) | 157M | 29.7 | 36.6 | 24.1 | 57.1 | 49.1 | 29.2 | 66.5 | 43.7 | 0.7 | 25.7 | 36.2 | +6.2 |
+| CubicHierLM-157M (chat, reasoning prompt) | 157M | 30.1 | 35.7 | 24.0 | 57.1 | 50.8 | 28.8 | 65.9 | 42.2 | 1.1 | 26.3 | 36.2 | +6.2 |
+| HuggingFaceTB/SmolLM2-135M | 135M | 43.9 | 59.9 | 29.2 | 68.2 | 53.3 | 32.4 | 79.9 | 61.1 | 41.1 | 23.1 | 49.2 | +19.2 |
+| EleutherAI/pythia-160m | 162M | 29.0 | 37.7 | 24.7 | 58.7 | 50.7 | 25.2 | 63.6 | 43.9 | 10.9 | 24.1 | 36.9 | +6.9 |
+| facebook/opt-125m | 125M | 30.3 | 40.9 | 22.7 | 61.8 | 50.4 | 27.4 | 68.9 | 55.8 | 38.1 | 24.2 | 42.1 | +12.1 |
 | _random chance_ | — | 25.0 | 25.0 | 25.0 | 50.0 | 50.0 | 25.0 | 25.0 | 50.0 | 0.0 | 25.0 | — | +0.0 |
 
 Headline metric per task: `acc_norm` for multiple choice with unequal-length
@@ -58,6 +63,25 @@ near 62 means the model is answering yes to everything and carries no signal.
 ARC-Challenge, OpenBookQA, WinoGrande and MMLU sit at chance for every model
 of this size and should not be read as differences.
 
+## The three prompt formats
+
+This model is scored three times, because it went through instruction SFT and
+DPO and therefore has a chat format the baselines do not have:
+
+- **base format** — plain `Question: ... Answer:` with no chat tokens. This is
+  the row comparable to the baseline models.
+- **chat, direct prompt** — the exact SFT framing (`<bos>`, `<|system|>`,
+  `<|user|>`, `<|assistant|>`) with the concise-answer system prompt.
+- **chat, reasoning prompt** — the same framing with the `<think>` system
+  prompt.
+
+**The reasoning row is not a chain-of-thought evaluation.** Every task here is
+scored by the log-probability of each answer option; nothing is generated, so
+no reasoning trace ever exists. That row measures only whether the reasoning
+system prompt shifts which answer the model prefers. Measuring actual
+chain-of-thought would require generating traces, which this architecture has
+no KV cache for.
+
 ## Architecture
 
 - 16 layers, dim 800, 10 heads, SwiGLU 2176, 32k byte-level BPE with digit splitting

benchmark_results.json

@@ -1,5 +1,5 @@
 {
-  "generated_at": "2026-07-26T13:20:20+0000",
+  "generated_at": "2026-07-26T13:34:32+0000",
   "checkpoint": {
     "checkpoint": "/marimo/cubic_hier_150m_gemma4/checkpoints/final.pt",
     "phase_index": 4,
@@ -12,15 +12,26 @@
   "protocol": {
     "type": "log-likelihood multiple choice",
     "shots": 0,
+    "cubic_prompt_formats": {
+      "base": "CubicHierLM-157M (base format)",
+      "chat_direct": "CubicHierLM-157M (chat, direct prompt)",
+      "chat_reasoning": "CubicHierLM-157M (chat, reasoning prompt)"
+    },
+    "reasoning_row_note": "Scored by log-likelihood only. No text is generated, so no <think> trace exists. This measures the effect of the reasoning system prompt, not chain-of-thought ability.",
     "limit_per_task": 1500,
     "max_sequence_length": 1536,
     "note": "All models scored by this same script in one run. Not comparable to published numbers from other harnesses."
   },
   "parameters": {
-    "CubicHierLM-157M (ours)": 157065144
+    "CubicHierLM-157M (base format)": 157065144,
+    "CubicHierLM-157M (chat, direct prompt)": 157065144,
+    "CubicHierLM-157M (chat, reasoning prompt)": 157065144,
+    "HuggingFaceTB/SmolLM2-135M": 134515008,
+    "EleutherAI/pythia-160m": 162322944,
+    "facebook/opt-125m": 125239296
   },
   "results": {
-    "CubicHierLM-157M (ours)": {
+    "CubicHierLM-157M (base format)": {
       "hellaswag": {
         "examples": 1500,
         "seconds": 9.7,
@@ -31,7 +42,7 @@
       },
       "arc_easy": {
         "examples": 1500,
-        "seconds": 9.1,
+        "seconds": 8.5,
         "acc": 41.2,
         "acc_norm": 39.06666666666667,
         "headline_metric": "acc_norm",
@@ -39,7 +50,7 @@
       },
       "arc_challenge": {
         "examples": 1172,
-        "seconds": 7.2,
+        "seconds": 6.9,
         "acc": 20.90443686006826,
         "acc_norm": 25.255972696245735,
         "headline_metric": "acc_norm",
@@ -47,7 +58,7 @@
       },
       "piqa": {
         "examples": 1500,
-        "seconds": 4.4,
+        "seconds": 4.3,
         "acc": 59.266666666666666,
         "acc_norm": 57.8,
         "headline_metric": "acc_norm",
@@ -55,7 +66,7 @@
       },
       "winogrande": {
         "examples": 1267,
-        "seconds": 3.8,
+        "seconds": 3.7,
         "acc": 50.828729281767956,
         "acc_norm": 50.828729281767956,
         "headline_metric": "acc",
@@ -63,7 +74,7 @@
       },
       "openbookqa": {
         "examples": 500,
-        "seconds": 2.8,
+        "seconds": 3.0,
         "acc": 15.8,
         "acc_norm": 25.2,
         "headline_metric": "acc_norm",
@@ -71,7 +82,7 @@
       },
       "sciq": {
         "examples": 1000,
-        "seconds": 7.3,
+        "seconds": 6.9,
         "acc": 73.3,
         "acc_norm": 70.4,
         "headline_metric": "acc_norm",
@@ -79,7 +90,7 @@
       },
       "boolq": {
         "examples": 1500,
-        "seconds": 5.7,
+        "seconds": 5.5,
         "acc": 61.8,
         "acc_norm": 62.46666666666667,
         "headline_metric": "acc",
@@ -95,7 +106,7 @@
       },
       "mmlu": {
         "examples": 1500,
-        "seconds": 10.3,
+        "seconds": 10.0,
         "acc": 27.066666666666666,
         "acc_norm": 27.066666666666666,
         "headline_metric": "acc",
@@ -103,6 +114,426 @@
       },
       "_average": 40.76,
       "_average_above_chance": 10.76
+    },
+    "CubicHierLM-157M (chat, direct prompt)": {
+      "hellaswag": {
+        "examples": 1500,
+        "seconds": 8.6,
+        "acc": 27.333333333333332,
+        "acc_norm": 29.666666666666668,
+        "headline_metric": "acc_norm",
+        "headline": 29.666666666666668
+      },
+      "arc_easy": {
+        "examples": 1500,
+        "seconds": 8.4,
+        "acc": 37.13333333333333,
+        "acc_norm": 36.6,
+        "headline_metric": "acc_norm",
+        "headline": 36.6
+      },
+      "arc_challenge": {
+        "examples": 1172,
+        "seconds": 6.8,
+        "acc": 21.67235494880546,
+        "acc_norm": 24.061433447098977,
+        "headline_metric": "acc_norm",
+        "headline": 24.061433447098977
+      },
+      "piqa": {
+        "examples": 1500,
+        "seconds": 4.1,
+        "acc": 58.13333333333333,
+        "acc_norm": 57.13333333333333,
+        "headline_metric": "acc_norm",
+        "headline": 57.13333333333333
+      },
+      "winogrande": {
+        "examples": 1267,
+        "seconds": 3.4,
+        "acc": 49.09234411996843,
+        "acc_norm": 49.09234411996843,
+        "headline_metric": "acc",
+        "headline": 49.09234411996843
+      },
+      "openbookqa": {
+        "examples": 500,
+        "seconds": 2.7,
+        "acc": 15.4,
+        "acc_norm": 29.2,
+        "headline_metric": "acc_norm",
+        "headline": 29.2
+      },
+      "sciq": {
+        "examples": 1000,
+        "seconds": 6.3,
+        "acc": 68.9,
+        "acc_norm": 66.5,
+        "headline_metric": "acc_norm",
+        "headline": 66.5
+      },
+      "boolq": {
+        "examples": 1500,
+        "seconds": 5.0,
+        "acc": 43.733333333333334,
+        "acc_norm": 61.733333333333334,
+        "headline_metric": "acc",
+        "headline": 43.733333333333334
+      },
+      "lambada_openai": {
+        "examples": 1500,
+        "seconds": 2.2,
+        "acc": 0.7333333333333333,
+        "acc_norm": 0.7333333333333333,
+        "headline_metric": "acc",
+        "headline": 0.7333333333333333
+      },
+      "mmlu": {
+        "examples": 1500,
+        "seconds": 9.6,
+        "acc": 25.733333333333334,
+        "acc_norm": 25.733333333333334,
+        "headline_metric": "acc",
+        "headline": 25.733333333333334
+      },
+      "_average": 36.25,
+      "_average_above_chance": 6.25
+    },
+    "CubicHierLM-157M (chat, reasoning prompt)": {
+      "hellaswag": {
+        "examples": 1500,
+        "seconds": 8.6,
+        "acc": 27.866666666666667,
+        "acc_norm": 30.133333333333333,
+        "headline_metric": "acc_norm",
+        "headline": 30.133333333333333
+      },
+      "arc_easy": {
+        "examples": 1500,
+        "seconds": 8.4,
+        "acc": 36.266666666666666,
+        "acc_norm": 35.733333333333334,
+        "headline_metric": "acc_norm",
+        "headline": 35.733333333333334
+      },
+      "arc_challenge": {
+        "examples": 1172,
+        "seconds": 6.5,
+        "acc": 21.58703071672355,
+        "acc_norm": 23.976109215017065,
+        "headline_metric": "acc_norm",
+        "headline": 23.976109215017065
+      },
+      "piqa": {
+        "examples": 1500,
+        "seconds": 4.1,
+        "acc": 58.93333333333333,
+        "acc_norm": 57.06666666666667,
+        "headline_metric": "acc_norm",
+        "headline": 57.06666666666667
+      },
+      "winogrande": {
+        "examples": 1267,
+        "seconds": 3.5,
+        "acc": 50.828729281767956,
+        "acc_norm": 50.828729281767956,
+        "headline_metric": "acc",
+        "headline": 50.828729281767956
+      },
+      "openbookqa": {
+        "examples": 500,
+        "seconds": 2.8,
+        "acc": 15.0,
+        "acc_norm": 28.8,
+        "headline_metric": "acc_norm",
+        "headline": 28.8
+      },
+      "sciq": {
+        "examples": 1000,
+        "seconds": 6.3,
+        "acc": 69.1,
+        "acc_norm": 65.9,
+        "headline_metric": "acc_norm",
+        "headline": 65.9
+      },
+      "boolq": {
+        "examples": 1500,
+        "seconds": 4.9,
+        "acc": 42.2,
+        "acc_norm": 62.0,
+        "headline_metric": "acc",
+        "headline": 42.2
+      },
+      "lambada_openai": {
+        "examples": 1500,
+        "seconds": 2.2,
+        "acc": 1.0666666666666667,
+        "acc_norm": 1.0666666666666667,
+        "headline_metric": "acc",
+        "headline": 1.0666666666666667
+      },
+      "mmlu": {
+        "examples": 1500,
+        "seconds": 9.2,
+        "acc": 26.266666666666666,
+        "acc_norm": 26.266666666666666,
+        "headline_metric": "acc",
+        "headline": 26.266666666666666
+      },
+      "_average": 36.2,
+      "_average_above_chance": 6.2
+    },
+    "HuggingFaceTB/SmolLM2-135M": {
+      "hellaswag": {
+        "examples": 1500,
+        "seconds": 11.0,
+        "acc": 33.266666666666666,
+        "acc_norm": 43.86666666666667,
+        "headline_metric": "acc_norm",
+        "headline": 43.86666666666667
+      },
+      "arc_easy": {
+        "examples": 1500,
+        "seconds": 8.5,
+        "acc": 64.93333333333334,
+        "acc_norm": 59.93333333333333,
+        "headline_metric": "acc_norm",
+        "headline": 59.93333333333333
+      },
+      "arc_challenge": {
+        "examples": 1172,
+        "seconds": 6.7,
+        "acc": 27.986348122866893,
+        "acc_norm": 29.18088737201365,
+        "headline_metric": "acc_norm",
+        "headline": 29.18088737201365
+      },
+      "piqa": {
+        "examples": 1500,
+        "seconds": 4.6,
+        "acc": 68.26666666666667,
+        "acc_norm": 68.2,
+        "headline_metric": "acc_norm",
+        "headline": 68.2
+      },
+      "winogrande": {
+        "examples": 1267,
+        "seconds": 3.9,
+        "acc": 53.27545382794001,
+        "acc_norm": 53.27545382794001,
+        "headline_metric": "acc",
+        "headline": 53.27545382794001
+      },
+      "openbookqa": {
+        "examples": 500,
+        "seconds": 3.0,
+        "acc": 22.0,
+        "acc_norm": 32.4,
+        "headline_metric": "acc_norm",
+        "headline": 32.4
+      },
+      "sciq": {
+        "examples": 1000,
+        "seconds": 7.8,
+        "acc": 83.8,
+        "acc_norm": 79.9,
+        "headline_metric": "acc_norm",
+        "headline": 79.9
+      },
+      "boolq": {
+        "examples": 1500,
+        "seconds": 6.2,
+        "acc": 61.13333333333333,
+        "acc_norm": 62.266666666666666,
+        "headline_metric": "acc",
+        "headline": 61.13333333333333
+      },
+      "lambada_openai": {
+        "examples": 1500,
+        "seconds": 2.6,
+        "acc": 41.06666666666667,
+        "acc_norm": 41.06666666666667,
+        "headline_metric": "acc",
+        "headline": 41.06666666666667
+      },
+      "mmlu": {
+        "examples": 1500,
+        "seconds": 11.0,
+        "acc": 23.133333333333333,
+        "acc_norm": 23.133333333333333,
+        "headline_metric": "acc",
+        "headline": 23.133333333333333
+      },
+      "_average": 49.21,
+      "_average_above_chance": 19.21
+    },
+    "EleutherAI/pythia-160m": {
+      "hellaswag": {
+        "examples": 1500,
+        "seconds": 6.1,
+        "acc": 27.8,
+        "acc_norm": 29.0,
+        "headline_metric": "acc_norm",
+        "headline": 29.0
+      },
+      "arc_easy": {
+        "examples": 1500,
+        "seconds": 4.6,
+        "acc": 39.46666666666667,
+        "acc_norm": 37.666666666666664,
+        "headline_metric": "acc_norm",
+        "headline": 37.666666666666664
+      },
+      "arc_challenge": {
+        "examples": 1172,
+        "seconds": 3.5,
+        "acc": 20.22184300341297,
+        "acc_norm": 24.744027303754265,
+        "headline_metric": "acc_norm",
+        "headline": 24.744027303754265
+      },
+      "piqa": {
+        "examples": 1500,
+        "seconds": 2.1,
+        "acc": 58.86666666666667,
+        "acc_norm": 58.733333333333334,
+        "headline_metric": "acc_norm",
+        "headline": 58.733333333333334
+      },
+      "winogrande": {
+        "examples": 1267,
+        "seconds": 1.7,
+        "acc": 50.74980268350434,
+        "acc_norm": 50.74980268350434,
+        "headline_metric": "acc",
+        "headline": 50.74980268350434
+      },
+      "openbookqa": {
+        "examples": 500,
+        "seconds": 1.5,
+        "acc": 17.2,
+        "acc_norm": 25.2,
+        "headline_metric": "acc_norm",
+        "headline": 25.2
+      },
+      "sciq": {
+        "examples": 1000,
+        "seconds": 5.0,
+        "acc": 56.1,
+        "acc_norm": 63.6,
+        "headline_metric": "acc_norm",
+        "headline": 63.6
+      },
+      "boolq": {
+        "examples": 1500,
+        "seconds": 4.4,
+        "acc": 43.86666666666667,
+        "acc_norm": 61.733333333333334,
+        "headline_metric": "acc",
+        "headline": 43.86666666666667
+      },
+      "lambada_openai": {
+        "examples": 1500,
+        "seconds": 1.6,
+        "acc": 10.933333333333334,
+        "acc_norm": 10.933333333333334,
+        "headline_metric": "acc",
+        "headline": 10.933333333333334
+      },
+      "mmlu": {
+        "examples": 1500,
+        "seconds": 6.5,
+        "acc": 24.133333333333333,
+        "acc_norm": 24.133333333333333,
+        "headline_metric": "acc",
+        "headline": 24.133333333333333
+      },
+      "_average": 36.86,
+      "_average_above_chance": 6.86
+    },
+    "facebook/opt-125m": {
+      "hellaswag": {
+        "examples": 1500,
+        "seconds": 3.9,
+        "acc": 27.8,
+        "acc_norm": 30.333333333333332,
+        "headline_metric": "acc_norm",
+        "headline": 30.333333333333332
+      },
+      "arc_easy": {
+        "examples": 1500,
+        "seconds": 3.6,
+        "acc": 43.86666666666667,
+        "acc_norm": 40.93333333333333,
+        "headline_metric": "acc_norm",
+        "headline": 40.93333333333333
+      },
+      "arc_challenge": {
+        "examples": 1172,
+        "seconds": 2.8,
+        "acc": 19.197952218430036,
+        "acc_norm": 22.696245733788395,
+        "headline_metric": "acc_norm",
+        "headline": 22.696245733788395
+      },
+      "piqa": {
+        "examples": 1500,
+        "seconds": 1.6,
+        "acc": 63.13333333333333,
+        "acc_norm": 61.8,
+        "headline_metric": "acc_norm",
+        "headline": 61.8
+      },
+      "winogrande": {
+        "examples": 1267,
+        "seconds": 1.4,
+        "acc": 50.355169692186266,
+        "acc_norm": 50.355169692186266,
+        "headline_metric": "acc",
+        "headline": 50.355169692186266
+      },
+      "openbookqa": {
+        "examples": 500,
+        "seconds": 0.8,
+        "acc": 16.4,
+        "acc_norm": 27.4,
+        "headline_metric": "acc_norm",
+        "headline": 27.4
+      },
+      "sciq": {
+        "examples": 1000,
+        "seconds": 3.5,
+        "acc": 75.1,
+        "acc_norm": 68.9,
+        "headline_metric": "acc_norm",
+        "headline": 68.9
+      },
+      "boolq": {
+        "examples": 1500,
+        "seconds": 2.9,
+        "acc": 55.8,
+        "acc_norm": 62.46666666666667,
+        "headline_metric": "acc",
+        "headline": 55.8
+      },
+      "lambada_openai": {
+        "examples": 1500,
+        "seconds": 1.1,
+        "acc": 38.13333333333333,
+        "acc_norm": 38.13333333333333,
+        "headline_metric": "acc",
+        "headline": 38.13333333333333
+      },
+      "mmlu": {
+        "examples": 1500,
+        "seconds": 4.9,
+        "acc": 24.2,
+        "acc_norm": 24.2,
+        "headline_metric": "acc",
+        "headline": 24.2
+      },
+      "_average": 42.06,
+      "_average_above_chance": 12.06
     }
   }
 }

benchmark_table.md

@@ -1,4 +1,9 @@
 | Model | Params | hellaswag | arc_easy | arc_challenge | piqa | winogrande | openbookqa | sciq | boolq | lambada_openai | mmlu | Avg | Δ chance |
 |---|---|---|---|---|---|---|---|---|---|---|---|---|---|
-| CubicHierLM-157M (ours) | 157M | 30.1 | 39.1 | 25.3 | 57.8 | 50.8 | 25.2 | 70.4 | 61.8 | 20.1 | 27.1 | 40.8 | +10.8 |
+| CubicHierLM-157M (base format) | 157M | 30.1 | 39.1 | 25.3 | 57.8 | 50.8 | 25.2 | 70.4 | 61.8 | 20.1 | 27.1 | 40.8 | +10.8 |
+| CubicHierLM-157M (chat, direct prompt) | 157M | 29.7 | 36.6 | 24.1 | 57.1 | 49.1 | 29.2 | 66.5 | 43.7 | 0.7 | 25.7 | 36.2 | +6.2 |
+| CubicHierLM-157M (chat, reasoning prompt) | 157M | 30.1 | 35.7 | 24.0 | 57.1 | 50.8 | 28.8 | 65.9 | 42.2 | 1.1 | 26.3 | 36.2 | +6.2 |
+| HuggingFaceTB/SmolLM2-135M | 135M | 43.9 | 59.9 | 29.2 | 68.2 | 53.3 | 32.4 | 79.9 | 61.1 | 41.1 | 23.1 | 49.2 | +19.2 |
+| EleutherAI/pythia-160m | 162M | 29.0 | 37.7 | 24.7 | 58.7 | 50.7 | 25.2 | 63.6 | 43.9 | 10.9 | 24.1 | 36.9 | +6.9 |
+| facebook/opt-125m | 125M | 30.3 | 40.9 | 22.7 | 61.8 | 50.4 | 27.4 | 68.9 | 55.8 | 38.1 | 24.2 | 42.1 | +12.1 |
 | _random chance_ | — | 25.0 | 25.0 | 25.0 | 50.0 | 50.0 | 25.0 | 25.0 | 50.0 | 0.0 | 25.0 | — | +0.0 |

model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:fd91fe814e7bb2d0277907b91c58823c484ef40c6610d4a571ed25b8a84a0012
+oid sha256:f8ea42e36d28846a0873b0980c1fdecc62bab25f1c8b43a152ad51199677a473
 size 314161336