README.md

---

license: apache-2.0
tasks:
  - text-generation
frameworks:
  - PyTorch
---


# Sophia

Sophia 是一个 ~1B 参数的中文对话模型，在单张 RTX 5090（32GB）上从零训练完成：随机初始化预训练 20B tokens → SFT → DPO。完整谱系、评测证据与训练报告随包附带。

## 规格

| | |
|---|---|
| 参数量 | 1,012,630,480 |
| 架构 | 28 层 dense Hybrid decoder：`[KDA, KDA, KDA, Gated-MLA] × 7`，NoPE |
| 上下文 | 4,096 |
| 预训练 | 20B tokens，15,259 步，seed 42，BF16 + Muon/AdamW |
| 硬件 | 单张 NVIDIA RTX 5090 32GB |

## 特性

- **自适应思考**：`<think>…</think>` 推理草稿是否生成由模型逐轮自行决定（自发率 ~5%）。1B 尺度下 think 在 math/code 上反而扣分（见 `REPORT.md` §3），模型自己学会了什么时候不想
- **人格宪法**：行为规范收敛为独立文件 `configs/sft/sophia_persona.md`——不说"我没有感情"、确定问题第一句给答案、约束逐轮登记
- **诚实评测**：所有结论基于 powered 判定（134 题 × 16 采样 × 配对 t 检验，SE ±1.1）；零结果实验（RFT/GRPO/DPO-2）同样如实记录在 `REPORT.md`

## 快速开始

**HuggingFace / transformers**（本仓根目录即 HF remote-code 导出）：

```python

from transformers import AutoModelForCausalLM, AutoTokenizer



tok = AutoTokenizer.from_pretrained("Arain119/sophia", trust_remote_code=True)

m = AutoModelForCausalLM.from_pretrained(

    "Arain119/sophia", dtype="bfloat16", device_map="cuda", trust_remote_code=True

)

ids = tok.apply_chat_template(

    [{"role": "user", "content": "你好"}], add_generation_prompt=True, return_tensors="pt"

).to("cuda")

out = m.generate(ids, max_new_tokens=200, temperature=0.7, top_p=0.92, do_sample=True)

print(tok.decode(out[0][ids.shape[1]:], skip_special_tokens=True))

```

GPU 上建议 `pip install flash-linear-attention>=0.5.2` 启用 KDA 融合内核；未安装时 `kda_backend="auto"` 自动回退 reference 路径（可用，较慢）。`sophia.pt` 与该 safetensors 权重逐位一致。

**原生运行时**（`chat.py` 依赖源码仓 `ml` 包）：先取源码（GitHub `Arain119/Sophia` 或 `git clone sophia-1.0.0.bundle`），把本包放进仓库根目录，然后从仓库根目录运行：

```bash

python -m ml.cli.chat --checkpoint sophia/sophia.pt

# 默认 T=0.7, top-p 0.92

# sophia.json 与 configs/model/sophia.json 相同，默认 --model-spec 已可用

```

**llama.cpp / GGUF**（本仓 `gguf/` 目录，CPU 即可运行）：

```bash

# 需要打过 sophia pre-tokenizer 补丁的 llama.cpp（源码仓 tools/gguf/llama_cpp_sophia.patch，约 15 行）

llama-cli -m sophia-Q4_K_M.gguf -st -t 8      # 685MB 量化版，自动应用内嵌 chat 模板

llama-server -m sophia-bf16.gguf -c 4096 -t 8 # 2.1GB BF16 版

```

与 HF 参考实现的 parity 证据：tokenizer 逐 ID 精确一致（151/151）、teacher-forced logits argmax 一致率 96.7%（全部分歧为 BF16 噪声带内的 near-tie）、chat 模板输出逐字一致。详见 `gguf/README.md` 与源码仓 `docs/gguf_llamacpp.md`。

## 评测速览

- powered n16 探针（claude-haiku-4-5 判官）：judge_mean **51.37**，pass_70 0.352，hit_eos 0.975，distinct4 0.928；相对 SFT 父模型 **+2.10**（t=+3.71, p<0.001），失败模式 flag 全面下降

- 同档对照（同一管线、同一数据、同一判分，无官方公布值混入）：SophiaBenchmark 134 题判官分 51.25，高于 Llama3.2-1B（48.09）与 Qwen2.5-0.5B（50.35），同档第 4

- 已知限度：IFEval 12.2%（系统性落后同档基线）、NIAH 62.5% 且随深度衰减、深多轮 judge_mean 27.93 为最弱段、MC 基准（MMLU/CMMLU 似然法）贴近随机——1B 模型对 ABCD 符号有位置先验
- 完整数字、失败样本与机制分析见 `REPORT.md`；逐题明细在源码仓 `ops/eval/public_benchmarks/`

## 训练谱系

```

pretrain(20B, 契约跑满)

  → sft(88,267 行 × 3ep, epoch3 选中)

    → dpo(1,953 对, β=0.1, 500 步)   = sophia.pt

    ├─ rft(104 步, 零结果)           未发布

    └─ grpo+dpo2(链式实验, 未过门)    未发布

```

`lineage.json` 含各阶段 run、checkpoint、数据与种子的完整指针；sha256 见随包 `.sha256` 文件。

## 文件

- `sophia.pt` + `.sha256` — 交付权重（DPO 后）
- `sophia_sft.pt` + `.sha256` — SFT 父基线（备查/回滚）
- `sophia_base.pt` + `.sha256` — 预训练末态（20B tokens，15,259 步），供自行 SFT/对齐
- `sophia.json` — 模型配置（semantic hash `c605697c…`）
- `chat.py` — 本地对话入口（依赖仓库 `ml` 包）
- `REPORT.md` — 训练/评测/限制全记录
- `lineage.json` — pretrain → sft → dpo 完整谱系
- `eval/` — powered 探针逐样本判分（134 题 × 16 样本 × 2 模型）与 30 段 6 轮真实对话样本包
- `sophia-1.0.0.bundle` — 源码单提交导出，`git clone sophia-1.0.0.bundle` 即可取回全部代码

## 获取渠道

- 源码：GitHub `Arain119/Sophia`，或随包 `sophia-1.0.0.bundle`
- 权重：ModelScope `Arain119/sophia`（本仓）或 sophia.org.cn/download/
- 训练数据：ModelScope `Arain119/Sophia-dataset`（`pretrain/` token 分片 + `corpus/` SFT 语料）

## 运行环境

Python 3.12 + PyTorch（见源码仓 `requirements.txt`）。GPU 上走 FLA 后端；纯 CPU 也可推理（`load_policy(device="cpu")`，慢）。

## 许可证

模型权重与代码 Apache License 2.0。训练数据见 `Arain119/Sophia-dataset`：`corpus/` 为 Apache-2.0；`pretrain/` 上游含非商用研究来源，使用限制以其 `lineage/` 与 README 为准。

`<think>` 输出为生成文本，不保证忠实反映内部推理过程。