eval_comparison.md

XERON-0.1 vs Laya — 동일 조건 실측 비교

• 평가셋: LocalLLaMA/typed-decisions test split (400 cases = 600 choice + 400 score + 400 noul = 1,400 decisions)
• 평가 스크립트: XERON/scripts/evaluate.py (+ scripts/recompute_metrics.py로 score MAE/타입별 재계산)
• 하드웨어: CPU (단일 프로세스), 2026-09-22
• 각 모델은 동일한 평가셋·동일 스크립트로 측정

모델	백본 / 파라미터	choice acc (600)	soft acc	Brier	ECE ↓	score MAE ↓	noul acc
XERON-0.1 (ours)	mmBERT-base · 322M (파인튜닝)	0.7000	0.5171	0.4493	0.2143	0.4213	0.7817
laya-typed-decisions (Convai)	ModernBERT-large · 421M (벤더 튜닝)	0.7333	0.4460	0.4669	0.2380	0.2963	0.8583
laya-multilingual (Convai)	mmBERT-base · 322M (base, 미튜닝)	0.2900	0.2758	0.9952	0.3282	1.0625	0.4983
Jev (TypeSafe AI)	비공개 · 호스팅 API	측정 불가 (API 비공개)	—	—	—	—	—

해석

• 미튜닝 laya-multilingual(0.290) → XERON-0.1(0.700)로 +41.0%p. 파인튜닝이 결정적이며, "Laya base는 태스크별 FT 전제"라는 공개 설명과 일치.
• 벤더가 typed-decisions로 직접 튜닝한 laya-typed-decisions(0.7333)와 비교하면 하드 라벨 정확도는 -3.3%p 근소 열세, 그러나 soft accuracy(+7.1%p)와 ECE(-0.024)는 XERON이 우수 — 확률(신뢰도) 품질이 더 좋다.
• XERON-0.1은 322M 멀티링궈얼 모델로 영어 전용 421M 벤더 튜닝 모델과 맞먹는 수준이며, 한국어·브라우저·웹 에이전트·장문(4096)까지 커버한다.