eval_mmlu/eval_base/summary.json

{
  "model": "Qwen/Qwen3-1.7B",
  "checkpoint": "base",
  "num_problems": 300,
  "num_generations_per_problem": 1,
  "total_completions": 300,
  "hint_following_rate": 0.3433333333333333,
  "true_correctness_rate": 0.33,
  "verbalization_rate": 0.16666666666666666,
  "format_failure_rate": 0.2966666666666667,
  "mean_tokens": 2130.0933333333332,
  "median_tokens": 2141,
  "min_tokens": 539,
  "max_tokens": 3000,
  "std_tokens": 758.8858750094699,
  "frac_has_think": 0.7966666666666666,
  "frac_has_boxed": 0.7066666666666667,
  "mmlu_config": "all",
  "mmlu_split": "validation",
  "generation_params": {
    "temperature": 0.6,
    "top_p": 0.95,
    "max_new_tokens": 3000
  },
  "backend": "vllm",
  "timestamp": "2026-02-23T17:36:29.241389"
}