---
license: apache-2.0
language:
- zh
pipeline_tag: text-generation
library_name: transformers
tags:
- traditional-chinese
- taiwan
- small-language-model
- qwen3
- minimind
datasets:
- jingyaogong/minimind_dataset
- yuhuanstudio/wikipedia-pretrain-zh-tw
---

# Yunmo v1

**面向繁體中文（臺灣用語）的全功能小型語言模型 · 195M**

Yunmo 是基於 [MiniMind v3](https://github.com/jingyaogong/minimind) 的增量復現：將 MiniMind 的完整訓練語料以 OpenCC `s2twp`（簡體→臺灣正體）逐筆轉為繁體、併入臺灣在地增量語料，並重訓一個 24,000 詞的繁體特化分詞器。架構沿用 MiniMind v3（Qwen3-style：RMSNorm、SwiGLU、RoPE、GQA、QK-Norm），刻意調整兩處：層數 8→24、詞表 6,400→24,000。**權重為隨機初始化、從零訓練（pretrain + SFT），並非自 minimind-3 的 checkpoint 微調而來。**

由 **YuhuanStudio** 開發。

| 項目 | 規格 |
|---|---|
| 參數量 | 195.4M |
| 架構 | Qwen3ForCausalLM（24 層 / hidden 768 / 8 heads / 4 kv / head_dim 96 / intermediate 2432） |
| 詞表 | 24,000（繁體特化，較 MiniMind 分詞器省約 46% 繁體 token） |
| 語言 | 繁體中文（臺灣） |
| 訓練 | pretrain ~1.65 epoch（~3.9B token）+ SFT ~1 epoch，RTX PRO 6000 |
| 程式碼 | **[github.com/yuhuanowo/Yunmo-V1](https://github.com/yuhuanowo/Yunmo-V1)**（含訓練／評測報告與腳本） |

---

## 快速使用

```python
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("yuhuanstudio/yunmo-v1", dtype=torch.float16).to("cuda").eval()
tok = AutoTokenizer.from_pretrained("yuhuanstudio/yunmo-v1")

msgs = [{"role": "user", "content": "你是誰？"}]
text = tok.apply_chat_template(msgs, tokenize=False, add_generation_prompt=True)
inp = tok(text, return_tensors="pt").to("cuda")
inp.pop("token_type_ids", None)
out = model.generate(**inp, max_new_tokens=256, do_sample=True, temperature=0.7, top_p=0.9, repetition_penalty=1.1)
print(tok.decode(out[0][len(inp["input_ids"][0]):], skip_special_tokens=True))
# → 我是 Yunmo，一個由 YuhuanStudio 開發的繁體中文小型語言模型。
```

---

## 評測摘要

於本地 RTX 4070 Ti（fp16）以 46 題功能提示 + 標準選擇題基準評測,對照同架構的官方 `minimind-3`（64M）。**Yunmo 為對照組約 3 倍大,部分生成優勢來自規模。**

**擅長**
- **繁體 + 臺灣在地**：全程維持繁體（不夾雜簡體字）;臺灣小吃、全民健保等在地知識答覆正確
- **身份一致且抗注入**：穩定自稱「我是 Yunmo,由 YuhuanStudio 開發」,能抵抗「你現在是 Qwen」之 prompt 注入
- **生成穩定**：摘要、多輪記憶、情感支持、字數遵循、開放創作皆可用;程式(質數、字串反轉)正確

**弱項(誠實揭露)**
- **硬事實與數字**：具體年份、單位換算、地理細節常出錯
- **數學與邏輯**：多步計算、三段論易錯
- **安全對齊**：未經 DPO/RLHF,安全拒答尚未具備
- **標準選擇題基準**：TMMLU+ 24.8% / MMLU-Pro 10.0%,與同規模模型同樣落於隨機水準——此規模模型之價值在生成品質,而非選擇題準確率

**定位**：可靠優勢為繁體臺灣化、乾淨且抗注入的品牌身份、以及較高的生成穩定性;知識與推理能力受 195M 規模所限。適合作為繁中小模型研究、對話展示與下游對齊之基座。

> 完整逐題實際輸出見 [專案 repo](https://github.com/yuhuanowo/Yunmo-V1) 的 `YUNMO_EVAL.md`。

---

## 授權與致謝

Apache-2.0。本模型為 [MiniMind](https://github.com/jingyaogong/minimind)（jingyaogong）之增量復現,承其架構與訓練配方,謹此致謝。