README.md

metadata

license: apache-2.0
library_name: transformers
tags:
  - text-generation
  - chat
  - chinese
  - hybrid-attention
  - kda
  - mla

Sophia

Sophia 是一个 ~1B 参数的中文对话模型，在单张 RTX 5090（32GB）上从零训练完成：随机初始化预训练 20B tokens → SFT → DPO。完整谱系、评测证据与训练报告随包附带（REPORT.md、lineage.json、eval/）。

参数量	1,012,630,480
架构	28 层 dense Hybrid decoder：[KDA, KDA, KDA, Gated-MLA] × 7，NoPE
上下文	4,096
预训练	20B tokens，15,259 步，seed 42，BF16 + Muon/AdamW
硬件	单张 NVIDIA RTX 5090 32GB

特性

• 自适应思考：<think>…</think> 推理草稿是否生成由模型逐轮自行决定（自发率 ~5%）。1B 尺度下 think 在 math/code 上反而扣分（见 REPORT.md §3），模型自己学会了什么时候不想
• 人格宪法：行为规范收敛为独立文件 configs/sft/sophia_persona.md——不说"我没有感情"、确定问题第一句给答案、约束逐轮登记
• 诚实评测：所有结论基于 powered 判定（134 题 × 16 采样 × 配对 t 检验，SE ±1.1）；零结果实验（RFT/GRPO/DPO-2）同样如实记录在 REPORT.md

用法

需要 transformers>=4.56 与 trust_remote_code=True（自定义架构 SophiaForCausalLM，remote code 随仓分发）：

from transformers import AutoModelForCausalLM, AutoTokenizer

tok = AutoTokenizer.from_pretrained("Arain119/sophia", trust_remote_code=True)
m = AutoModelForCausalLM.from_pretrained(
    "Arain119/sophia", dtype="bfloat16", device_map="cuda", trust_remote_code=True
)
ids = tok.apply_chat_template(
    [{"role": "user", "content": "你好"}],
    add_generation_prompt=True, return_tensors="pt",
).to("cuda")
out = m.generate(ids, max_new_tokens=200, temperature=0.7, top_p=0.92, do_sample=True)
print(tok.decode(out[0][ids.shape[1]:], skip_special_tokens=True))

GPU 上建议 pip install flash-linear-attention>=0.5.2 启用 KDA 融合内核；未安装时 kda_backend="auto" 自动回退 reference 路径（可用，较慢）。CPU 推理走 reference 路径（慢）。

评测速览

• powered n16 探针（claude-haiku-4-5 判官）：judge_mean 51.37，pass_70 0.352，hit_eos 0.975，distinct4 0.928；相对 SFT 父模型 +2.10（t=+3.71, p<0.001），失败模式 flag 全面下降
• 同档对照（同一管线、同一数据、同一判分，无官方公布值混入）：SophiaBenchmark 134 题判官分 51.25，高于 Llama3.2-1B（48.09）与 Qwen2.5-0.5B（50.35），同档第 4
• 已知限度：IFEval 12.2%（系统性落后同档基线）、NIAH 62.5% 且随深度衰减、深多轮 judge_mean 27.93 为最弱段、MC 基准（MMLU/CMMLU 似然法）贴近随机——1B 模型对 ABCD 符号有位置先验
• 完整数字、失败样本与机制分析见 REPORT.md；逐题明细在源码仓 ops/eval/public_benchmarks/

训练谱系

pretrain(20B, 契约跑满)
  → sft(88,267 行 × 3ep, epoch3 选中)
    → dpo(1,953 对, β=0.1, 500 步)   = 本仓权重
    ├─ rft(104 步, 零结果)           未发布
    └─ grpo+dpo2(链式实验, 未过门)    未发布

lineage.json 含各阶段 run、checkpoint、数据与种子的完整指针。

相关仓库

• 源码：GitHub Arain119/Sophia，或随包 sophia-1.0.0.bundle（单提交导出，git clone 即可取回全部代码）
• 原生权重 + 文档：sophia.pt（PyTorch checkpoint）、sophia_sft.pt（SFT 父基线）、REPORT.md
• 训练数据：ModelScope Arain119/Sophia-dataset（pretrain/ token 分片 ~80GB + corpus/ SFT 语料 426MB）

许可证

模型权重与代码 Apache License 2.0。训练数据见 Arain119/Sophia-dataset：corpus/ 为 Apache-2.0；pretrain/ 上游含非商用研究来源，使用限制以其 lineage/ 与 README 为准。

<think> 输出为生成文本，不保证忠实反映内部推理过程。