results/tags.json

{
 "model": "qwen35-2b-full-sup-lr1e-6-s0",
 "adapter": null,
 "prompt": "jevify",
 "temperatures": {
  "choice": 0.9495,
  "score": 1.1244,
  "noul": 1.6135
 },
 "sources": [
  "arc_challenge",
  "chaosnli",
  "helpsteer2_helpfulness",
  "helpsteer2_verbosity",
  "measuring_hate_speech",
  "mmlu",
  "mnli",
  "sst5",
  "stsb",
  "yelp5"
 ],
 "results": {
  "upper": {
   "raw": {
    "n": 1500,
    "acc": 0.5786666666666667,
    "ece": 0.046399315523436194
   },
   "tempered": {
    "n": 1500,
    "acc": 0.5786666666666667,
    "ece": 0.033596856523743654
   }
  },
  "shifted": {
   "raw": {
    "n": 1500,
    "acc": 0.582,
    "ece": 0.04633916388602869,
    "tvd_vs_upper": 0.03802583941918582,
    "flip_vs_upper": 0.04066666666666666,
    "pairs": 1500
   },
   "tempered": {
    "n": 1500,
    "acc": 0.582,
    "ece": 0.030315198551453044,
    "tvd_vs_upper": 0.03826754167980432,
    "flip_vs_upper": 0.04066666666666666,
    "pairs": 1500
   }
  },
  "lower": {
   "raw": {
    "n": 1500,
    "acc": 0.5766666666666667,
    "ece": 0.038167375909590795,
    "tvd_vs_upper": 0.030345140741522704,
    "flip_vs_upper": 0.03666666666666667,
    "pairs": 1500
   },
   "tempered": {
    "n": 1500,
    "acc": 0.5766666666666667,
    "ece": 0.035156435317768776,
    "tvd_vs_upper": 0.030902650345645155,
    "flip_vs_upper": 0.03666666666666667,
    "pairs": 1500
   }
  },
  "digits1": {
   "raw": {
    "n": 1500,
    "acc": 0.574,
    "ece": 0.02899253159527075,
    "tvd_vs_upper": 0.03861352908108545,
    "flip_vs_upper": 0.03266666666666666,
    "pairs": 1500
   },
   "tempered": {
    "n": 1500,
    "acc": 0.574,
    "ece": 0.02283267638824976,
    "tvd_vs_upper": 0.03844560783666896,
    "flip_vs_upper": 0.03266666666666666,
    "pairs": 1500
   }
  },
  "digits0": {
   "raw": {
    "n": 1500,
    "acc": 0.5646666666666667,
    "ece": 0.033233097386228705,
    "tvd_vs_upper": 0.06937201691824119,
    "flip_vs_upper": 0.059333333333333335,
    "pairs": 1500
   },
   "tempered": {
    "n": 1500,
    "acc": 0.5646666666666667,
    "ece": 0.032032537617249876,
    "tvd_vs_upper": 0.06952550713172606,
    "flip_vs_upper": 0.059333333333333335,
    "pairs": 1500
   }
  },
  "symbols": {
   "raw": {
    "n": 1500,
    "acc": 0.5673333333333334,
    "ece": 0.05086512162734857,
    "tvd_vs_upper": 0.07423161060593127,
    "flip_vs_upper": 0.072,
    "pairs": 1500
   },
   "tempered": {
    "n": 1500,
    "acc": 0.5673333333333334,
    "ece": 0.040984594374674554,
    "tvd_vs_upper": 0.07464792529999979,
    "flip_vs_upper": 0.072,
    "pairs": 1500
   }
  }
 }
}