{
  "tag": "lora",
  "suite": "mmlu",
  "adapter": "latest",
  "seed": 0,
  "max_new_tokens": 1024,
  "max_new_tokens_gsm8k": 640,
  "n": {
    "mmlu": 250
  },
  "complete": true,
  "items": [
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": false
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": false
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    },
    {
      "correct": true
    }
  ],
  "minutes": 128.87300423383712,
  "mmlu_accuracy": 0.816
}