File size: 2,682 Bytes
a9154af ee7fa1c a9154af ee7fa1c a9154af ee7fa1c a9154af ee7fa1c a9154af ee7fa1c a9154af ee7fa1c a9154af ee7fa1c a9154af ee7fa1c a9154af ee7fa1c a9154af ee7fa1c a9154af | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 | {
"generated_at": "2026-07-26T13:15:27+0000",
"checkpoint": {
"checkpoint": "/marimo/cubic_hier_150m_gemma4/checkpoints/final.pt",
"phase_index": 4,
"step": 0,
"saved_at": "2026-07-26T13:06:24+0000",
"format": "cubic-hier-v7-gemma4-150m-v2",
"parameters": 157065144,
"phase_name": "complete (dpo done)"
},
"protocol": {
"type": "log-likelihood multiple choice",
"shots": 0,
"limit_per_task": 1500,
"max_sequence_length": 1536,
"note": "All models scored by this same script in one run. Not comparable to published numbers from other harnesses."
},
"parameters": {
"CubicHierLM-157M (ours)": 157065144
},
"results": {
"CubicHierLM-157M (ours)": {
"hellaswag": {
"examples": 1500,
"seconds": 9.8,
"acc": 26.8,
"acc_norm": 30.066666666666666,
"headline_metric": "acc_norm",
"headline": 30.066666666666666
},
"arc_easy": {
"examples": 1500,
"seconds": 9.2,
"acc": 41.2,
"acc_norm": 39.06666666666667,
"headline_metric": "acc_norm",
"headline": 39.06666666666667
},
"arc_challenge": {
"examples": 1172,
"seconds": 6.8,
"acc": 20.90443686006826,
"acc_norm": 25.255972696245735,
"headline_metric": "acc_norm",
"headline": 25.255972696245735
},
"winogrande": {
"examples": 1267,
"seconds": 3.7,
"acc": 50.828729281767956,
"acc_norm": 50.828729281767956,
"headline_metric": "acc",
"headline": 50.828729281767956
},
"openbookqa": {
"examples": 500,
"seconds": 2.7,
"acc": 15.8,
"acc_norm": 25.2,
"headline_metric": "acc_norm",
"headline": 25.2
},
"sciq": {
"examples": 1000,
"seconds": 7.2,
"acc": 73.3,
"acc_norm": 70.4,
"headline_metric": "acc_norm",
"headline": 70.4
},
"boolq": {
"examples": 1500,
"seconds": 5.7,
"acc": 61.8,
"acc_norm": 62.46666666666667,
"headline_metric": "acc",
"headline": 61.8
},
"lambada_openai": {
"examples": 1500,
"seconds": 2.5,
"acc": 20.066666666666666,
"acc_norm": 20.066666666666666,
"headline_metric": "acc",
"headline": 20.066666666666666
},
"mmlu": {
"examples": 1500,
"seconds": 10.5,
"acc": 27.066666666666666,
"acc_norm": 27.066666666666666,
"headline_metric": "acc",
"headline": 27.066666666666666
},
"_average": 38.86
}
}
} |