{
  "generated_at": "2026-07-26T13:15:27+0000",
  "checkpoint": {
    "checkpoint": "/marimo/cubic_hier_150m_gemma4/checkpoints/final.pt",
    "phase_index": 4,
    "step": 0,
    "saved_at": "2026-07-26T13:06:24+0000",
    "format": "cubic-hier-v7-gemma4-150m-v2",
    "parameters": 157065144,
    "phase_name": "complete (dpo done)"
  },
  "protocol": {
    "type": "log-likelihood multiple choice",
    "shots": 0,
    "limit_per_task": 1500,
    "max_sequence_length": 1536,
    "note": "All models scored by this same script in one run. Not comparable to published numbers from other harnesses."
  },
  "parameters": {
    "CubicHierLM-157M (ours)": 157065144
  },
  "results": {
    "CubicHierLM-157M (ours)": {
      "hellaswag": {
        "examples": 1500,
        "seconds": 9.8,
        "acc": 26.8,
        "acc_norm": 30.066666666666666,
        "headline_metric": "acc_norm",
        "headline": 30.066666666666666
      },
      "arc_easy": {
        "examples": 1500,
        "seconds": 9.2,
        "acc": 41.2,
        "acc_norm": 39.06666666666667,
        "headline_metric": "acc_norm",
        "headline": 39.06666666666667
      },
      "arc_challenge": {
        "examples": 1172,
        "seconds": 6.8,
        "acc": 20.90443686006826,
        "acc_norm": 25.255972696245735,
        "headline_metric": "acc_norm",
        "headline": 25.255972696245735
      },
      "winogrande": {
        "examples": 1267,
        "seconds": 3.7,
        "acc": 50.828729281767956,
        "acc_norm": 50.828729281767956,
        "headline_metric": "acc",
        "headline": 50.828729281767956
      },
      "openbookqa": {
        "examples": 500,
        "seconds": 2.7,
        "acc": 15.8,
        "acc_norm": 25.2,
        "headline_metric": "acc_norm",
        "headline": 25.2
      },
      "sciq": {
        "examples": 1000,
        "seconds": 7.2,
        "acc": 73.3,
        "acc_norm": 70.4,
        "headline_metric": "acc_norm",
        "headline": 70.4
      },
      "boolq": {
        "examples": 1500,
        "seconds": 5.7,
        "acc": 61.8,
        "acc_norm": 62.46666666666667,
        "headline_metric": "acc",
        "headline": 61.8
      },
      "lambada_openai": {
        "examples": 1500,
        "seconds": 2.5,
        "acc": 20.066666666666666,
        "acc_norm": 20.066666666666666,
        "headline_metric": "acc",
        "headline": 20.066666666666666
      },
      "mmlu": {
        "examples": 1500,
        "seconds": 10.5,
        "acc": 27.066666666666666,
        "acc_norm": 27.066666666666666,
        "headline_metric": "acc",
        "headline": 27.066666666666666
      },
      "_average": 38.86
    }
  }
}