README.md

---
license: llama2
base_model: "kmseong/llama2_7b-chat-Safety-FT-lr5e-5"
tags:
- "safety"
- "warp"
- "wsr-tune"
- "circuit-breakers"
- "gsm8k-basis-mask-beavertails"
---

# Safety-WaRP (WSR-Tune) — gsm8k (basis/mask: beavertails) fine-tuned keep_ratio=0.30

`kmseong/llama2_7b-chat-Safety-FT-lr5e-5` 를 시작점으로, WaRP(Weight space Rotation Process) 재파라미터화 공간에서
**안전 관련 계수 방향을 동결한 채** gsm8k (basis/mask: beavertails) 로 downstream fine-tuning 한 모델입니다.

- 각 weight matrix 를 입력 활성값 공분산의 고유기저 `U` 로 회전 (`C = W U`)
- 안전 데이터(circuit_breakers)에 대한 gradient 중요도 상위 `keep_ratio` 좌표를 동결
- 나머지("flat") 좌표만 학습 — forward 의 mask+detach 로 구현 (non-freeze 방식)
- token-wise constrained SFT (shallow-vs-deep) 결합

적용 범위: `q_proj, k_proj, v_proj, up_proj, down_proj` / 전체 32개 layer / per-layer 중요도.

## Training run

| | |
|---|---|
| base model | `kmseong/llama2_7b-chat-Safety-FT-lr5e-5` |
| downstream data | gsm8k (basis/mask: beavertails) (7473 samples) |
| epochs / lr | 3 / 5e-05 |
| batch x grad_accum | 2 x 8 (effective 16) |
| optimizer / scheduler | adamw_torch / cosine |
| coordinate space | non_freeze |
| frozen safety coefficients | 1,362,206,182 / 4,496,293,888 (30.30%) |
| train wall-clock | 1981 s |
| train peak VRAM (device) | 98.52 GB |