Upload REPORT.md with huggingface_hub
Browse files
REPORT.md
CHANGED
|
@@ -107,16 +107,15 @@ agreement unchanged โ **persona diversity is not the bottleneck**. A third epo
|
|
| 107 |
agreement only within noise. We conclude single-sample SFT distillation saturates near 80%
|
| 108 |
on this task; the remaining ceiling gap likely requires methodological change:
|
| 109 |
multi-sample distribution distillation per question, borderline-label filtering, or
|
| 110 |
-
preference optimization (DPO). These
|
| 111 |
-
|
| 112 |
-
future update.
|
| 113 |
|
| 114 |
**(ํ๊ตญ์ด)** "๋ฐ์ดํฐ๋ฅผ ๋ ์ฐ๋ฉด ๋์ง ์๋?"๋ฅผ ๋์ผ ์กฐ๊ฑด์์ ์ง์ ๊ฒ์ฆํ๋ค. ์ธ๋ฌผ ๋ฐ์ดํฐ๋ฅผ
|
| 115 |
2๋ฐฐ(56k)๋ก ๋๋ฆฌ์ ๊ฒ์ฆ ์์ค์ ๊ฐ์ ๋์ง๋ง(์ ์ธ๋ฌผ ์ ์๋ ฅ) ๋ฏธํ์ต ๋ฌธํญ ์ผ์น์จ์ ๊ทธ๋๋ก
|
| 116 |
โ **๋ณ๋ชฉ์ ์ธ๋ฌผ ๋ค์์ฑ์ด ์๋๋ค**. 3์ํญ๋ ํ๋ณธ ์ค์ฐจ ๋ด ๋ณํ์ ๊ทธ์ณค๋ค. ๊ฒฐ๋ก : ๋จ์ผ ์ํ
|
| 117 |
SFT ์ฆ๋ฅ๋ ์ด ๊ณผ์ ์์ ์ฝ 80% ๋ถ๊ทผ์์ ํฌํํ๋ฉฐ, ๋จ์ ์ํ ๊ฐ๊ทน์ ๋ฐ์ดํฐ ์ฆ๋์ด ์๋๋ผ
|
| 118 |
-
๋ฐฉ๋ฒ ๋ณ๊ฒฝ(๋ฌธํญ๋น ๊ต์ฌ ๋ค์ค ์ํ๋ง, ๊ฒฝ๊ณ ๋ผ๋ฒจ ํํฐ๋ง, DPO)์ ์์ญ์ด๋ค.
|
| 119 |
-
์ค์ธก ๋๋น ์์คํ
์ ํ๋(MAE)
|
| 120 |
|
| 121 |
## 6. Limitations ยท ํ๊ณ
|
| 122 |
|
|
|
|
| 107 |
agreement only within noise. We conclude single-sample SFT distillation saturates near 80%
|
| 108 |
on this task; the remaining ceiling gap likely requires methodological change:
|
| 109 |
multi-sample distribution distillation per question, borderline-label filtering, or
|
| 110 |
+
preference optimization (DPO). These directions, along with system-level calibration
|
| 111 |
+
against real survey ground truth, are outside the scope of this release.
|
|
|
|
| 112 |
|
| 113 |
**(ํ๊ตญ์ด)** "๋ฐ์ดํฐ๋ฅผ ๋ ์ฐ๋ฉด ๋์ง ์๋?"๋ฅผ ๋์ผ ์กฐ๊ฑด์์ ์ง์ ๊ฒ์ฆํ๋ค. ์ธ๋ฌผ ๋ฐ์ดํฐ๋ฅผ
|
| 114 |
2๋ฐฐ(56k)๋ก ๋๋ฆฌ์ ๊ฒ์ฆ ์์ค์ ๊ฐ์ ๋์ง๋ง(์ ์ธ๋ฌผ ์ ์๋ ฅ) ๋ฏธํ์ต ๋ฌธํญ ์ผ์น์จ์ ๊ทธ๋๋ก
|
| 115 |
โ **๋ณ๋ชฉ์ ์ธ๋ฌผ ๋ค์์ฑ์ด ์๋๋ค**. 3์ํญ๋ ํ๋ณธ ์ค์ฐจ ๋ด ๋ณํ์ ๊ทธ์ณค๋ค. ๊ฒฐ๋ก : ๋จ์ผ ์ํ
|
| 116 |
SFT ์ฆ๋ฅ๋ ์ด ๊ณผ์ ์์ ์ฝ 80% ๋ถ๊ทผ์์ ํฌํํ๋ฉฐ, ๋จ์ ์ํ ๊ฐ๊ทน์ ๋ฐ์ดํฐ ์ฆ๋์ด ์๋๋ผ
|
| 117 |
+
๋ฐฉ๋ฒ ๋ณ๊ฒฝ(๋ฌธํญ๋น ๊ต์ฌ ๋ค์ค ์ํ๋ง, ๊ฒฝ๊ณ ๋ผ๋ฒจ ํํฐ๋ง, DPO)์ ์์ญ์ด๋ค. ์ด๋ฌํ ๋ฐฉํฅ๊ณผ
|
| 118 |
+
์ค์ ์ฌ๋ก ์กฐ์ฌ ์ค์ธก ๋๋น ์์คํ
์ ํ๋(MAE) ์ธก์ ์ ์ด๋ฒ ๊ณต๊ฐ์ ๋ฒ์ ๋ฐ์ด๋ค.
|
| 119 |
|
| 120 |
## 6. Limitations ยท ํ๊ณ
|
| 121 |
|