README.md

metadata

license: llama2
base_model: kmseong/llama2_7b-chat-Safety-FT-lr5e-5
tags:
  - safety
  - warp
  - wsr-tune
  - circuit-breakers
  - gsm8k-basis-mask-beavertails

Safety-WaRP (WSR-Tune) — gsm8k (basis/mask: beavertails) fine-tuned keep_ratio=0.05

kmseong/llama2_7b-chat-Safety-FT-lr5e-5 를 시작점으로, WaRP(Weight space Rotation Process) 재파라미터화 공간에서 안전 관련 계수 방향을 동결한 채 gsm8k (basis/mask: beavertails) 로 downstream fine-tuning 한 모델입니다.

• 각 weight matrix 를 입력 활성값 공분산의 고유기저 U 로 회전 (C = W U)
• 안전 데이터(circuit_breakers)에 대한 gradient 중요도 상위 keep_ratio 좌표를 동결
• 나머지("flat") 좌표만 학습 — forward 의 mask+detach 로 구현 (non-freeze 방식)
• token-wise constrained SFT (shallow-vs-deep) 결합

적용 범위: q_proj, k_proj, v_proj, up_proj, down_proj / 전체 32개 layer / per-layer 중요도.

Training run

base model	kmseong/llama2_7b-chat-Safety-FT-lr5e-5
downstream data	gsm8k (basis/mask: beavertails) (7473 samples)
epochs / lr	3 / 5e-05
batch x grad_accum	2 x 8 (effective 16)
optimizer / scheduler	adamw_torch / cosine
coordinate space	non_freeze
frozen safety coefficients	228,385,094 / 4,496,293,888 (5.08%)
train wall-clock	1954 s
train peak VRAM (device)	95.95 GB