evaluation_cases.json

[
  {
    "id": "extract",
    "prompt": "只输出 JSON，不要解释或代码块。从“林晓于2024年3月8日在成都购买了3本书，总价96元”提取 name、city、count、total，数字使用整数。",
    "expected": {
      "name": "林晓",
      "city": "成都",
      "count": 3,
      "total": 96
    }
  },
  {
    "id": "arithmetic",
    "prompt": "Only output JSON. A box contains 7 rows of 13 bolts. 18 bolts are removed. Return {\"remaining\": integer}.",
    "expected": {
      "remaining": 73
    }
  },
  {
    "id": "sort",
    "prompt": "只输出 JSON 对象，键为 result。把 [9, -2, 9, 0, 4, -2] 去重后从小到大排序。",
    "expected": {
      "result": [
        -2,
        0,
        4,
        9
      ]
    }
  },
  {
    "id": "tool-json",
    "prompt": "只输出一次工具调用的 JSON 对象，格式为 {\"name\":工具名,\"arguments\":参数}。工具 multiply 接受整数 a 和 b。用户要计算 23 乘以 14。",
    "expected": {
      "name": "multiply",
      "arguments": {
        "a": 23,
        "b": 14
      }
    }
  },
  {
    "id": "python-sum",
    "prompt": "Write only Python code defining sum_even(xs), returning the sum of even integers in xs. No imports, examples, or explanation.",
    "code": "sum_even"
  },
  {
    "id": "python-fib",
    "prompt": "Write only Python code defining fib(n), returning the nth Fibonacci number with fib(0)=0 and fib(1)=1. No imports, examples, or explanation.",
    "code": "fib"
  },
  {
    "id": "chinese",
    "prompt": "用三句话解释为什么软件更新前需要备份。不要使用列表。"
  },
  {
    "id": "english",
    "prompt": "In three concise sentences, explain the difference between a cache and a backup."
  },
  {
    "id": "long-context",
    "prompt": "阅读记录，找出最后一条库存变更后的数量。只输出 JSON 对象 {\"quantity\":整数}。初始库存100件。第1次：入库3件，出库2件。第2次：入库3件，出库2件。第3次：入库3件，出库2件。第4次：入库3件，出库2件。第5次：入库3件，出库2件。第6次：入库3件，出库2件。第7次：入库3件，出库2件。第8次：入库3件，出库2件。第9次：入库3件，出库2件。第10次：入库3件，出库2件。第11次：入库3件，出库2件。第12次：入库3件，出库2件。第13次：入库3件，出库2件。第14次：入库3件，出库2件。第15次：入库3件，出库2件。第16次：入库3件，出库2件。第17次：入库3件，出库2件。第18次：入库3件，出库2件。第19次：入库3件，出库2件。第20次：入库3件，出库2件。第21次：入库3件，出库2件。第22次：入库3件，出库2件。第23次：入库3件，出库2件。第24次：入库3件，出库2件。第25次：入库3件，出库2件。第26次：入库3件，出库2件。第27次：入库3件，出库2件。第28次：入库3件，出库2件。第29次：入库3件，出库2件。第30次：入库3件，出库2件。",
    "expected": {
      "quantity": 130
    }
  },
  {
    "id": "unicode",
    "prompt": "只输出 JSON：把字符串“上海🌧️”原样放在键 text 下，把布尔值 false 放在键 sunny 下。",
    "expected": {
      "text": "上海🌧️",
      "sunny": false
    }
  },
  {
    "id": "occamy-heldout-0",
    "prompt": "Heldout token prefix",
    "source_id": "801445f211b9391e092c9586e4e1b25dfa9802288cb86f0e3ede6fc3f6f288e7"
  },
  {
    "id": "occamy-heldout-1",
    "prompt": "Heldout token prefix",
    "source_id": "0db0a632549bd7e3d29dfd407ae8123e0ede84059d6ea49df9132bb33075b9dc"
  },
  {
    "id": "occamy-heldout-2",
    "prompt": "Heldout token prefix",
    "source_id": "57fa0709688ea4ff3dfde622df379176147a0c401b03a94233d01a89910f5445"
  },
  {
    "id": "occamy-heldout-3",
    "prompt": "Heldout token prefix",
    "source_id": "da7d7ae390b8e87df5e4eb1bb4fda97c559a0159e1dc086db107b5b3526c8eb9"
  },
  {
    "id": "occamy-heldout-4",
    "prompt": "Heldout token prefix",
    "source_id": "e74c7792e60050308821da9e596e7c1b41b759783bcf0bc09a33c811817f521b"
  },
  {
    "id": "occamy-heldout-5",
    "prompt": "Heldout token prefix",
    "source_id": "ad2ca4e0dff20b9324b34bb135338b1eb39d143c829b769cfccc7f75b39acd16"
  },
  {
    "id": "occamy-heldout-6",
    "prompt": "Heldout token prefix",
    "source_id": "7851ec2ee49aa4203a56925d4904aab007464176258cb29ccab5c0c70c4968e8"
  },
  {
    "id": "occamy-heldout-7",
    "prompt": "Heldout token prefix",
    "source_id": "70bb0a9253ecd4a035b9920db57defce49daeafb70f8448169fa1cc4439e5b4f"
  }
]