| { |
| "generated_at": "2026-07-26T13:15:27+0000", |
| "checkpoint": { |
| "checkpoint": "/marimo/cubic_hier_150m_gemma4/checkpoints/final.pt", |
| "phase_index": 4, |
| "step": 0, |
| "saved_at": "2026-07-26T13:06:24+0000", |
| "format": "cubic-hier-v7-gemma4-150m-v2", |
| "parameters": 157065144, |
| "phase_name": "complete (dpo done)" |
| }, |
| "protocol": { |
| "type": "log-likelihood multiple choice", |
| "shots": 0, |
| "limit_per_task": 1500, |
| "max_sequence_length": 1536, |
| "note": "All models scored by this same script in one run. Not comparable to published numbers from other harnesses." |
| }, |
| "parameters": { |
| "CubicHierLM-157M (ours)": 157065144 |
| }, |
| "results": { |
| "CubicHierLM-157M (ours)": { |
| "hellaswag": { |
| "examples": 1500, |
| "seconds": 9.8, |
| "acc": 26.8, |
| "acc_norm": 30.066666666666666, |
| "headline_metric": "acc_norm", |
| "headline": 30.066666666666666 |
| }, |
| "arc_easy": { |
| "examples": 1500, |
| "seconds": 9.2, |
| "acc": 41.2, |
| "acc_norm": 39.06666666666667, |
| "headline_metric": "acc_norm", |
| "headline": 39.06666666666667 |
| }, |
| "arc_challenge": { |
| "examples": 1172, |
| "seconds": 6.8, |
| "acc": 20.90443686006826, |
| "acc_norm": 25.255972696245735, |
| "headline_metric": "acc_norm", |
| "headline": 25.255972696245735 |
| }, |
| "winogrande": { |
| "examples": 1267, |
| "seconds": 3.7, |
| "acc": 50.828729281767956, |
| "acc_norm": 50.828729281767956, |
| "headline_metric": "acc", |
| "headline": 50.828729281767956 |
| }, |
| "openbookqa": { |
| "examples": 500, |
| "seconds": 2.7, |
| "acc": 15.8, |
| "acc_norm": 25.2, |
| "headline_metric": "acc_norm", |
| "headline": 25.2 |
| }, |
| "sciq": { |
| "examples": 1000, |
| "seconds": 7.2, |
| "acc": 73.3, |
| "acc_norm": 70.4, |
| "headline_metric": "acc_norm", |
| "headline": 70.4 |
| }, |
| "boolq": { |
| "examples": 1500, |
| "seconds": 5.7, |
| "acc": 61.8, |
| "acc_norm": 62.46666666666667, |
| "headline_metric": "acc", |
| "headline": 61.8 |
| }, |
| "lambada_openai": { |
| "examples": 1500, |
| "seconds": 2.5, |
| "acc": 20.066666666666666, |
| "acc_norm": 20.066666666666666, |
| "headline_metric": "acc", |
| "headline": 20.066666666666666 |
| }, |
| "mmlu": { |
| "examples": 1500, |
| "seconds": 10.5, |
| "acc": 27.066666666666666, |
| "acc_norm": 27.066666666666666, |
| "headline_metric": "acc", |
| "headline": 27.066666666666666 |
| }, |
| "_average": 38.86 |
| } |
| } |
| } |
