README.md

---
license: apache-2.0
language:
- en
- ko
- multilingual
base_model:
- jhu-clsp/mmBERT-base
library_name: laya
tags:
- decision-model
- system-1
- non-autoregressive
- typed-decisions
- calibration
- multilingual
pipeline_tag: text-classification
---

# XERON-0.1 🎯

**XERON-0.1** is a fine-tuned **typed-decision (System 1) model** built on [convaiinnovations/laya](https://huggingface.co/convaiinnovations/laya)'s
multilingual checkpoint (backbone: `jhu-clsp/mmBERT-base`, 322M params).

It answers **typed questions over a state** — `choice` / `score` / `noul` (boolean) — in a **single forward pass**,
returning calibrated probabilities. It never generates text, so it cannot hallucinate and cannot emit malformed schemas.

Trained by [PIXELZX](https://huggingface.co/PIXELZX) as the first release of the XERON family
(training plan & data pipeline: https://github.com/PIXELZX0/XERON).

## ✨ What makes XERON-0.1 different

| | |
|---|---|
| **Base** | `jhu-clsp/mmBERT-base` (Laya `multilingual` subfolder) |
| **Fine-tuned on** | 148,281 sequences — English typed-decisions + Korean (KLUE ynat/nli/sts) + browser/web decisions (BBC + AG News, SMS spam, phishing URLs) + web-agent actions (Mind2Web) + long-context (SCOTUS, 20 Newsgroups) |
| **Training** | RLCD — strictly proper scoring rule + GRPO-style baseline; post-hoc temperature calibration. 4 epochs · 15,987 updates · ~5h on 1×GPU (bf16) |
| **Context** | 4,096 tokens trained (`CTX_CAP` up to 32,768 via RoPE extension) |
| **Languages** | 100+ via mmBERT (English + Korean trained explicitly) |
| **License** | Apache-2.0 |

## 📊 Head-to-head: Laya vs Jev vs XERON-0.1

### A. 실측 비교 (동일 평가셋 · 동일 스크립트)

평가셋 `LocalLLaMA/typed-decisions` **test** split — 400 cases = 600 `choice` + 400 `score` + 400 `noul` (**1,400 decisions**).
동일한 `scripts/evaluate.py` / `scripts/recompute_metrics.py`, CPU 단일 프로세스, 2026-09-22. 원본: `eval_comparison.md`, `eval_baseline_*.json`.

| 모델 | 백본 / 파라미터 | choice acc | soft acc | Brier | ECE ↓ | score MAE ↓ | noul acc |
|---|---|---|---|---|---|---|---|
| **XERON-0.1** (ours) | mmBERT-base · 322M · fine-tuned | 0.7000 | **0.5171** | **0.4493** | **0.2143** | 0.4213 | 0.7817 |
| `laya-typed-decisions` (Convai) | ModernBERT-large · 421M · 벤더 튜닝 | **0.7333** | 0.4460 | 0.4669 | 0.2380 | **0.2963** | **0.8583** |
| `laya-multilingual` (Convai) | mmBERT-base · 322M · base(미튜닝) | 0.2900 | 0.2758 | 0.9952 | 0.3282 | 1.0625 | 0.4983 |
| Jev (TypeSafe AI) | 비공개 · 호스팅 API | 측정 불가 (웨이트 비공개) | — | — | — | — | — |

- 미튜닝 Laya base(0.290) → XERON-0.1(0.700) = **+41.0%p**. 파인튜닝이 결정적 (Laya base는 태스크별 FT 전제라는 공개 설명과 일치).
- 벤더가 이 벤치마크에 직접 튜닝한 421M 영어 모델 대비 하드 라벨 **-3.3%p**, 그러나 **soft accuracy +7.1%p / ECE −0.024 는 XERON 우위** → 확률(신뢰도) 품질이 더 좋음.

### B. 스펙 · 공개 지표 비교

Laya/Jev 수치는 벤더·제3자 공개 자료에서 인용 (2026-09-22 조회). XERON 수치는 실측.

| 항목 | **XERON-0.1** | **Laya** (Convai) | **Jev** (TypeSafe AI) |
|---|---|---|---|
| 배포 형태 | 오픈 웨이트 (self-host) | 오픈 웨이트 (self-host) | 호스팅 API (closed) |
| 라이선스 | Apache-2.0 | Apache-2.0 | 상용 API |
| 백본 / 파라미터 | mmBERT-base · 322M | EN 421M / multi 322M | 비공개 |
| 컨텍스트 | 4,096 (cap 32,768) | 512 (EN) / 1,024 (multi) | 64k |
| 언어 | 100+ (mmBERT), EN·KR 학습 | 100+ (multi 체크포인트) | 다국어 (비공개) |
| 결정 프리미티브 | choice / score / noul | choice / score / noul | choice / score / noul |
| 파인튜닝 필요 | ❌ (이미 튜닝됨) | ✅ (base는 FT 전제) | ❌ (제로샷) |
| 정확도 (공개) | — | in-task 0.753 · zero-shot 0.651 · typed-decisions 0.766 | JevBench v1.3.0 composite **74.4 (#1)** |
| 난이도별 (Easy/Std/Judge/Hard) | — | 94.4 / 72.9 / 69.2 / 34.1 % | 100 / 99 / 94.5 / **74.1 %** |
| 캘리브레이션 (ECE) | 0.2143 (동일 평가셋) | in-task 0.030 · zero-shot 0.204 · multi 0.081 (벤더) | 미공개 |
| Brier | 0.4493 (동일 평가셋) | 0.308 in-task / 0.532 zero-shot (벤더) | 미공개 |
| 지연 | 2.2 s/case (CPU, 로컬 측정) | p50 38.4 ms (1문항, 벤더) · 32.8 ms (T4) | ~150 ms (제3자 236–276 ms) |
| 비용 | self-host (GPU 비용만) | self-host (GPU 비용만) | $0.042 / 1M input tokens |
| JevBench v1.3.0 순위 | 미등재 | #33 (54.4) | **#1 (74.4)** |

> ⚠️ A와 B는 **다른 평가셋·다른 하드웨어**입니다. A는 동일 조건 실측(모델 간 직접 비교 가능), B는 공개 자료 인용(참고용).
> Jev는 웨이트가 공개되지 않아 A에 넣을 수 없습니다.

### C. JevBench v1.3 방식 평가 (공개 아이템 231/534)

JevBench v1.3.0(Benchmark Heaven) 하네스·어댑터·채점 코드를 그대로 사용해 측정했습니다.
**공개 아이템은 534개 중 231개뿐**(judge tier는 전부 비공개)이므로 **공식 보드 순위와 직접 비교할 수 없습니다.**
전체 방법·family별 분석·재현 코드: https://github.com/PIXELZX0/XERON/tree/main/results/jevbench-public

동일한 231개 공개 아이템에서 4개 시스템을 비교 (Jev/Laya는 공식 per-task 아티팩트의 공개 아이템 결과):

| 시스템 | easy (48) | standard (72) | hard (111) | 전체 (231) | Intelligence |
|---|---|---|---|---|---|
| Jev 1.13.0 (TypeSafe, API) | 1.000 | 0.986 | 0.730 | **0.866** | 82.2 |
| laya-typed-decisions (Convai, 421M, 벤더 튜닝) | 0.979 | 0.653 | 0.270 | **0.537** | 38.0 |
| **XERON-0.1** (ours) | 0.875 | 0.444 | **0.306** | 0.468 | 23.3 |
| laya-multilingual (미튜닝 base) | 0.896 | 0.403 | 0.324 | 0.468 | 21.5 |

**솔직한 결론**
- XERON-0.1은 **JevBench류 태스크(정책 문서 + 루브릭 선택)에서 벤더 Laya 튜닝판보다 약합니다.** 학습 데이터(KLUE·브라우저·Mind2Web·SCOTUS)와 도메인이 겹치지 않기 때문입니다.
- 단, **동일 백본 미튜닝 base 대비 파인튜닝 효과는 검증**됐습니다 (ECE hard 0.289 → 0.211, 확률 TVD 0.573 → 0.389).
- **hard tier에서는 XERON이 벤더 튜닝판을 이깁니다** (0.306 vs 0.270) — adversarial / trap / judge_hard 계열.
- 부분 JevBench Score(judge tier 없음, 재정규화): laya-typed-decisions 37.5 · XERON-0.1 11.5 · laya-multilingual 8.8. Intelligence<50 패널티 `(I/50)²`가 XERON 점수를 크게 깎습니다.
- 다음 단계: JevBench 스타일 데이터(공개 231건 또는 HF `Praveenrajus/jev-bench` 166k rows)로 추가 파인튜닝 후 재평가.

**읽는 법**
- Jev = 제로샷 강자 (하드 난이도 74.1%).
- Laya / XERON = 오픈 웨이트, **파인튜닝 후 자기 도메인에서 강해지는** 진영.
- XERON-0.1은 Laya multilingual과 같은 백본 + 한국어·브라우저·웹 에이전트·장문 데이터 추가 학습판.

## 🚀 사용법

```bash
pip install laya
```

```python
import laya

agent = laya.load("PIXELZX/XERON-0.1")

state = "Customer email: 'I was charged twice, please refund immediately.' tier=premium, sla=4h"
questions = {
    "intent":  {"type": "choice", "options": ["billing", "technical", "cancellation", "other"]},
    "urgency": {"type": "score",  "levels": ["0 — no time pressure", "1 — routine", "2 — elevated", "3 — critical"]},
    "needs_refund": {"type": "noul"},
}

res = agent.predict(state, questions)
print(res["answers"])
```

Returned per question: selected key / expected level + full probability distribution + calibrated confidence.

## 📈 평가 재현

```bash
python scripts/evaluate.py \
  --model PIXELZX/XERON-0.1 \
  --dataset LocalLLaMA/typed-decisions --split test \
  --device cpu --output eval_results.json
python scripts/recompute_metrics.py eval_results.json   # score MAE / 타입별 정확도
```

`eval_results.json` (per-decision predictions 포함)이 이 저장소에 포함되어 있습니다.

## ⚠️ 한계

- 4,096 토큰 학습 — 초장문은 `CTX_CAP` 확장 후 재학습 필요.
- 평가는 영어 typed-decisions split 중심. 한국어/브라우저/웹 에이전트 트랙은 별도 벤치마크 미공개.
- `score` 타입은 순서형(ordinal) rubric 전용.

## Citation

```bibtex
@misc{xeron01,
  title  = {XERON-0.1: a fine-tuned multilingual typed-decision model},
  author = {PIXELZX},
  year   = {2026},
  url    = {https://huggingface.co/PIXELZX/XERON-0.1}
}
```

Built on [Laya](https://huggingface.co/convaiinnovations/laya) by Convai Innovations (Apache-2.0) and `jhu-clsp/mmBERT-base`.