XERON fine-tune upload

README.md

@@ -32,42 +32,58 @@ Trained by [PIXELZX](https://huggingface.co/PIXELZX) as the first release of the
 
 | | |
 |---|---|
-| **Base** | `jhu-clsp/mmBERT-base` (selected `multilingual` subfolder of Laya) |
-| **Fine-tuned on** | 148,281 sequences — English typed-decisions + Korean (KLUE ynat/nli/sts) + browser/web decisions (BBC/AG News, SMS spam, phishing) + web-agent actions (Mind2Web) + long-context (SCOTUS, 20 Newsgroups) |
-| **Training** | RLCD — strictly proper scoring rule with GRPO-style baseline; post-hoc temperature calibration |
+| **Base** | `jhu-clsp/mmBERT-base` (Laya `multilingual` subfolder) |
+| **Fine-tuned on** | 148,281 sequences — English typed-decisions + Korean (KLUE ynat/nli/sts) + browser/web decisions (BBC + AG News, SMS spam, phishing URLs) + web-agent actions (Mind2Web) + long-context (SCOTUS, 20 Newsgroups) |
+| **Training** | RLCD — strictly proper scoring rule + GRPO-style baseline; post-hoc temperature calibration. 4 epochs · 15,987 updates · ~5h on 1×GPU (bf16) |
 | **Context** | 4,096 tokens trained (`CTX_CAP` up to 32,768 via RoPE extension) |
-| **Languages** | 100+ via mmBERT (English + Korean data trained explicitly) |
-| **License** | Apache-2.0 (weights + config) |
+| **Languages** | 100+ via mmBERT (English + Korean trained explicitly) |
+| **License** | Apache-2.0 |
 
-## 📊 Comparison — XERON-0.1 vs Laya vs Jev (TypeSafe)
+## 📊 Head-to-head: Laya vs Jev vs XERON-0.1
 
-`Jev` = TypeSafe AI Jev 1.13.0 (closed hosted API). `Laya` = Convai Innovations base checkpoints (untuned).
-Laya/Jev figures are quoted from public vendor + third-party sources (read 2026-09-22); XERON figures are measured with this repo's `scripts/evaluate.py`.
+### A. 실측 비교 (동일 평가셋 · 동일 스크립트)
 
-| 항목 | **XERON-0.1** (ours) | **Laya** (Convai) | **Jev** (TypeSafe AI) |
+평가셋 `LocalLLaMA/typed-decisions` **test** split — 400 cases = 600 `choice` + 400 `score` + 400 `noul` (**1,400 decisions**).
+동일한 `scripts/evaluate.py` / `scripts/recompute_metrics.py`, CPU 단일 프로세스, 2026-09-22. 원본: `eval_comparison.md`, `eval_baseline_*.json`.
+
+| 모델 | 백본 / 파라미터 | choice acc | soft acc | Brier | ECE ↓ | score MAE ↓ | noul acc |
+|---|---|---|---|---|---|---|---|
+| **XERON-0.1** (ours) | mmBERT-base · 322M · fine-tuned | 0.7000 | **0.5171** | **0.4493** | **0.2143** | 0.4213 | 0.7817 |
+| `laya-typed-decisions` (Convai) | ModernBERT-large · 421M · 벤더 튜닝 | **0.7333** | 0.4460 | 0.4669 | 0.2380 | **0.2963** | **0.8583** |
+| `laya-multilingual` (Convai) | mmBERT-base · 322M · base(미튜닝) | 0.2900 | 0.2758 | 0.9952 | 0.3282 | 1.0625 | 0.4983 |
+| Jev (TypeSafe AI) | 비공개 · 호스팅 API | 측정 불가 (웨이트 비공개) | — | — | — | — | — |
+
+- 미튜닝 Laya base(0.290) → XERON-0.1(0.700) = **+41.0%p**. 파인튜닝이 결정적 (Laya base는 태스크별 FT 전제라는 공개 설명과 일치).
+- 벤더가 이 벤치마크에 직접 튜닝한 421M 영어 모델 대비 하드 라벨 **-3.3%p**, 그러나 **soft accuracy +7.1%p / ECE −0.024 는 XERON 우위** → 확률(신뢰도) 품질이 더 좋음.
+
+### B. 스펙 · 공개 지표 비교
+
+Laya/Jev 수치는 벤더·제3자 공개 자료에서 인용 (2026-09-22 조회). XERON 수치는 실측.
+
+| 항목 | **XERON-0.1** | **Laya** (Convai) | **Jev** (TypeSafe AI) |
 |---|---|---|---|
 | 배포 형태 | 오픈 웨이트 (self-host) | 오픈 웨이트 (self-host) | 호스팅 API (closed) |
 | 라이선스 | Apache-2.0 | Apache-2.0 | 상용 API |
-| 백본 / 파라미터 | mmBERT-base · 322M | EN ModernBERT-large 421M / multi mmBERT-base 322M | 비공개 |
+| 백본 / 파라미터 | mmBERT-base · 322M | EN 421M / multi 322M | 비공개 |
 | 컨텍스트 | 4,096 (cap 32,768) | 512 (EN) / 1,024 (multi) | 64k |
-| 언어 | 100+ (mmBERT), EN/KR 학습 | 100+ (multi 체크포인트) | 다국어 (비공개) |
+| 언어 | 100+ (mmBERT), EN·KR 학습 | 100+ (multi 체크포인트) | 다국어 (비공개) |
 | 결정 프리미티브 | choice / score / noul | choice / score / noul | choice / score / noul |
-| 파인튜닝 필요 | ❌ (이미 파인튜닝됨) | ✅ (base는 태스크별 FT 전제) | ❌ (제로샷) |
-| 정확도 (동일 평가셋¹) | **(측정값)** | (측정값) | 측정 불가 (API) |
-| 정확도 (공식/제3자) | — | in-task 0.753 · zero-shot 0.651 · typed-decisions 0.766 | JevBench v1.3.0 composite **74.4 (#1)** |
+| 파인튜닝 필요 | ❌ (이미 튜닝됨) | ✅ (base는 FT 전제) | ❌ (제로샷) |
+| 정확도 (공개) | — | in-task 0.753 · zero-shot 0.651 · typed-decisions 0.766 | JevBench v1.3.0 composite **74.4 (#1)** |
 | 난이도별 (Easy/Std/Judge/Hard) | — | 94.4 / 72.9 / 69.2 / 34.1 % | 100 / 99 / 94.5 / **74.1 %** |
-| 캘리브레이션 (ECE) | **(측정값)** | in-task 0.030 · zero-shot 0.204 · multi 0.081 | 벤치 composite에 포함 (미공개) |
-| Brier | **(측정값)** | 0.308 (in-task) / 0.532 (zero-shot) | 미공개 |
-| 지연 | **(측정값)** | p50 38.4 ms (1문항, 공식) · 32.8 ms (T4) | 약 150 ms (제3자 236–276 ms) |
+| 캘리브레이션 (ECE) | 0.2143 (동일 평가셋) | in-task 0.030 · zero-shot 0.204 · multi 0.081 (벤더) | 미공개 |
+| Brier | 0.4493 (동일 평가셋) | 0.308 in-task / 0.532 zero-shot (벤더) | 미공개 |
+| 지연 | 2.2 s/case (CPU, 로컬 측정) | p50 38.4 ms (1문항, 벤더) · 32.8 ms (T4) | ~150 ms (제3자 236–276 ms) |
 | 비용 | self-host (GPU 비용만) | self-host (GPU 비용만) | $0.042 / 1M input tokens |
 | JevBench v1.3.0 순위 | 미등재 | #33 (54.4) | **#1 (74.4)** |
 
-¹ 동일 평가셋 = `LocalLLaMA/typed-decisions` test split (400 cases / 1,400 decisions), 동일 `scripts/evaluate.py`, CPU.
+> ⚠️ A와 B는 **다른 평가셋·다른 하드웨어**입니다. A는 동일 조건 실측(모델 간 직접 비교 가능), B는 공개 자료 인용(참고용).
+> Jev는 웨이트가 공개되지 않아 A에 넣을 수 없습니다.
 
 **읽는 법**
-- Jev는 **제로샷** 강자(하드 난이도 74.1%), Laya/XERON은 **파인튜닝 후** 자기 도메인에서 강해지는 오픈 웨이트 진영입니다.
-- XERON-0.1은 Laya multilingual과 **같은 백본**을 쓰되 한국어·브라우저·웹 에이전트·장문 데이터를 추가로 학습한 버전입니다.
-- JevBench는 XERON을 평가하지 않았으므로 순위 비교는 참고용입니다 (평가셋·방법 상이).
+- Jev = 제로샷 강자 (하드 난이도 74.1%).
+- Laya / XERON = 오픈 웨이트, **파인튜닝 후 자기 도메인에서 강해지는** 진영.
+- XERON-0.1은 Laya multilingual과 같은 백본 + 한국어·브라우저·웹 에이전트·장문 데이터 추가 학습판.
 
 ## 🚀 사용법
 
@@ -100,9 +116,10 @@ python scripts/evaluate.py \
   --model PIXELZX/XERON-0.1 \
   --dataset LocalLLaMA/typed-decisions --split test \
   --device cpu --output eval_results.json
+python scripts/recompute_metrics.py eval_results.json   # score MAE / 타입별 정확도
 ```
 
-`eval_results.json` (per-decision predictions included) is shipped in this repo.
+`eval_results.json` (per-decision predictions 포함)이 이 저장소에 포함되어 있습니다.
 
 ## ⚠️ 한계
 

eval_baseline_laya-multilingual.json

@@ -0,0 +1,13 @@
+{
+  "summary": {
+    "n_decisions": 1400,
+    "accuracy": 0.29,
+    "soft_accuracy": 0.27579966666666667,
+    "brier": 0.99524940365,
+    "ece": 0.32819679166666665,
+    "score_mae": 0.0,
+    "latency_ms_mean": 2248.733173314249,
+    "latency_ms_median": 1714.5638766232878,
+    "cases": 400
+  }
+}

eval_baseline_laya-typed-decisions.json

@@ -0,0 +1,13 @@
+{
+  "summary": {
+    "n_decisions": 1400,
+    "accuracy": 0.7333333333333333,
+    "soft_accuracy": 0.4459918333333333,
+    "brier": 0.46694727990000007,
+    "ece": 0.23802802500000003,
+    "score_mae": 0.29625,
+    "latency_ms_mean": 3256.1262979148887,
+    "latency_ms_median": 3442.1574100852013,
+    "cases": 400
+  }
+}

eval_comparison.md

@@ -0,0 +1,18 @@
+# XERON-0.1 vs Laya — 동일 조건 실측 비교
+
+- 평가셋: `LocalLLaMA/typed-decisions` **test** split (400 cases = 600 choice + 400 score + 400 noul = 1,400 decisions)
+- 평가 스크립트: `XERON/scripts/evaluate.py` (+ `scripts/recompute_metrics.py`로 score MAE/타입별 재계산)
+- 하드웨어: CPU (단일 프로세스), 2026-09-22
+- 각 모델은 **동일한 평가셋·동일 스크립트**로 측정
+
+| 모델 | 백본 / 파라미터 | choice acc (600) | soft acc | Brier | ECE ↓ | score MAE ↓ | noul acc |
+|---|---|---|---|---|---|---|---|
+| **XERON-0.1** (ours) | mmBERT-base · 322M (파인튜닝) | 0.7000 | **0.5171** | **0.4493** | **0.2143** | 0.4213 | 0.7817 |
+| laya-typed-decisions (Convai) | ModernBERT-large · 421M (벤더 튜닝) | **0.7333** | 0.4460 | 0.4669 | 0.2380 | **0.2963** | **0.8583** |
+| laya-multilingual (Convai) | mmBERT-base · 322M (base, 미튜닝) | 0.2900 | 0.2758 | 0.9952 | 0.3282 | 1.0625 | 0.4983 |
+| Jev (TypeSafe AI) | 비공개 · 호스팅 API | 측정 불가 (API 비공개) | — | — | — | — | — |
+
+**해석**
+- 미튜닝 `laya-multilingual`(0.290) → XERON-0.1(0.700)로 **+41.0%p**. 파인튜닝이 결정적이며, "Laya base는 태스크별 FT 전제"라는 공개 설명과 일치.
+- 벤더가 typed-decisions로 직접 튜닝한 `laya-typed-decisions`(0.7333)와 비교하면 하드 라벨 정확도는 **-3.3%p 근소 열세**, 그러나 **soft accuracy(+7.1%p)와 ECE(-0.024)는 XERON이 우수** — 확률(신뢰도) 품질이 더 좋다.
+- XERON-0.1은 322M 멀티링궈얼 모델로 영어 전용 421M 벤더 튜닝 모델과 맞먹는 수준이며, 한국어·브라우저·웹 에이전트·장문(4096)까지 커버한다.