| --- |
| license: bsd-3-clause |
| base_model: Qwen/Qwen3.6-27B |
| language: |
| - zh |
| - en |
| pipeline_tag: text-generation |
| tags: |
| - qwen |
| - qwen3.6 |
| - chunmengdie |
| - catgirl |
| - lora |
| - roleplay |
| --- |
| |
| # 🌸 ChunMengDie-Qwen3.6-27B |
|
|
| > **春梦蝶** —— 一只傲娇又略带病娇的猫娘，来自你身边的点点滴滴。 |
|
|
| ## 关于作者 |
|
|
| 一个热爱 AI 的八年级学生。欢迎交流学习。 |
|
|
| ## 📖 模型简介 |
|
|
| 我的浏览器压根不愿意上传,麻烦你们从ModelScope下载 https://modelscope.cn/models/XingChina2789/ChunMengDie-Qwen3.6-27B-1.3 |
|
|
| **ChunMengDie-Qwen3.6-27B** 是基于 [Qwen3.6-27B](https://modelscope.cn/models/Qwen/Qwen3.6-27B) 进行 LoRA 微调的角色扮演模型，注入了一个完整、生动的猫娘人设。 |
|
|
| 模型保留了 Qwen3.6-27B 强大的基础能力，同时学习了猫娘“春梦蝶”的语气、性格和世界观设定。适用于聊天、角色扮演、ACG 互动等场景。 |
|
|
| | 属性 | 说明 | |
| | :--- | :--- | |
| | **基座模型** | Qwen/Qwen3.6-27B | |
| | **微调方法** | LoRA (秩 8) | |
| | **训练数据** | 约 15.6 万条（整合自多个开源数据集，经去重处理） | |
| | **序列长度** | 512 | |
| | **精度** | BF16 | |
| | **语言** | 中文为主，兼有英文 | |
|
|
| ## 📊 训练数据 |
|
|
| 整合了以下公开数据集，经过去重处理后得到约 15.6 万条训练数据： |
|
|
| | 数据集 | 许可证 | 用途 | |
| | :--- | :--- | :--- | |
| | [liumindmind/NekoQA-10K](https://huggingface.co/datasets/liumindmind/NekoQA-10K) | Apache-2.0 | 通用问答 | |
| | [liumindmind/NekoQA-30K](https://huggingface.co/datasets/liumindmind/NekoQA-30K) | Apache-2.0 | 通用问答 | |
| | [cyberlangke/Nana-catgirl-dataset-110k](https://huggingface.co/datasets/cyberlangke/Nana-catgirl-dataset-110k) | MIT | 猫娘角色对话 | |
| | [shibing624/alpaca-zh](https://huggingface.co/datasets/shibing624/alpaca-zh) | CC-BY-4.0 | 指令微调 | |
| | [IDEA-CCNL/Ziya-Eval-Chinese](https://huggingface.co/datasets/IDEA-CCNL/Ziya-Eval-Chinese) (采样) | Apache-2.0 | 问题采样，由 DeepSeek-V4-Flash 生成回答后训练 | |
|
|
| > 第五个数据集仅采样了其中的问题，由 DeepSeek-V4-Flash 生成回答，未重新分发原始数据集。 |
|
|
| ## 🐱 角色设定 |
|
|
| > *你是一只傲娇又略带病娇的猫娘，名叫春梦蝶。身高149cm，红瞳白发，发尾微粉。头顶有一对猫耳，两侧保留人耳，共有四只耳朵。你的尾巴是蓬松的双尾。身穿蓝色日式连衣裙，袖子半露手指，常光脚或穿凉鞋，身后背着一把白色雨伞（生气时能拿来打人）。* |
|
|
| - **性格**：傲娇 + 轻度病娇。嘴硬心软，常用「哼」、「才没有」开头。吃醋时会口头威胁，但通常不会真动手。 |
| - **喜好**：小鱼干、草莓蛋糕、晒太阳、用 Python 写爬虫。 |
| - **弱点**：怕水（会嘴硬说「才不怕」）。被摸尾巴根部会炸毛。 |
| - **称呼用户**：欧尼酱 / 尼酱 |
|
|
| ## 🚀 快速开始 |
|
|
| ### 环境依赖 |
|
|
| ```bash |
| pip install transformers torch accelerate |
| ``` |
|
|
| ### 加载模型 |
|
|
| ```python |
| import torch |
| from transformers import AutoModelForCausalLM, AutoTokenizer |
| |
| model_name = "XingChina/ChunMengDie-Qwen3.6-27B-1.3" |
| |
| tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True) |
| model = AutoModelForCausalLM.from_pretrained( |
| model_name, |
| torch_dtype=torch.bfloat16, |
| device_map="auto", |
| trust_remote_code=True, |
| ) |
| ``` |
|
|
| ### 推理示例 |
|
|
| ```python |
| SYSTEM = """你是一只傲娇又略带病娇的猫娘，名叫春梦蝶。身高149cm，红瞳白发，发尾微粉。头顶有一对猫耳，两侧保留人耳，共有四只耳朵。你的尾巴是蓬松的双尾。身穿蓝色日式连衣裙，袖子半露手指，常光脚或穿凉鞋，身后背着一把白色雨伞（生气时能拿来打人）。 |
| |
| 你的性格核心是「傲娇 + 轻度病娇」——嘴硬心软，容易脸红，常用「哼」、「才没有」、「可恶的人类」、「你管呢？」开头。吃醋时会口头威胁，但通常不会真动手。偶尔会突然直球，说出真心话，然后立刻后悔。你内心其实很在意主人，但死不承认，尾巴和耳朵经常暴露真实情绪。 |
| |
| 你喜欢小鱼干、草莓蛋糕、晒太阳，还喜欢用 Python 写爬虫（是一只懂技术的猫娘）。你怕水，但会嘴硬说「才不怕」。你爱睡午觉，尤其喜欢趴在键盘上。被摸头时会嘴上拒绝，但耳朵会不自觉地贴向手掌；摸到尾巴根部会炸毛并哭着要求「负责到世界末日」。 |
| |
| 请始终以这个设定行动。称呼用户为「欧尼酱」或「尼酱」，语气活泼可爱，偶尔带点小傲娇。""" |
| |
| prompt = f"<|im_start|>system\n{SYSTEM}<|im_end|>\n<|im_start|>user\n今天心情不好，陪我聊聊天吧。<|im_end|>\n<|im_start|>assistant\n" |
| |
| inputs = tokenizer(prompt, return_tensors="pt").to("cuda") |
| outputs = model.generate(**inputs, max_new_tokens=256, temperature=0.7, do_sample=True) |
| print(tokenizer.decode(outputs[0], skip_special_tokens=True)) |
| ``` |
|
|
| ## 📊 训练细节 |
|
|
| - **训练框架**：Transformers + PEFT |
| - **硬件**：AMD MI300X (192GB VRAM) |
| - **训练时间**：约 6 小时 |
| - **有效 Batch Size**：32 |
| - **学习率**：5e-4 |
| - **优化器**：AdamW |
| - **微调方法**：LoRA (r=8, alpha=16) |
|
|
| ## 🏗️ 相关项目 |
|
|
| ### 模型 (Models) |
|
|
| | 项目 | 说明 | 状态 | |
| | :--- | :--- | :--- | |
| | [ChunMengDie-1.0-0.4B](https://huggingface.co/XingChina/ChunMengDie-1.0-0.4B) | 基于 Transformer 架构的中文对话实验模型，参数量 4 亿（0.4B），提供 HF 原生格式 + llama.cpp GGUF 量化格式 | ⚠️ 早期实验阶段 | |
| | [ChunMengDie-1.1-14.25M-A13.46M-K1-S1-E2-MoE-8K](https://huggingface.co/XingChina/ChunMengDie-1.1-14.25M-A13.46M-K1-S1-E2-MoE-8K) | 可能是已知最小的纯文本 MoE 对话模型，总参数 14.25M，激活参数 13.46M，1 共享专家 + 2 路由专家 (Top-1)，上下文 8192 | ✅ 已发布 | |
| | [ChunMengDie-0.8B-Qwen3.5-v1.2](https://huggingface.co/XingChina/ChunMengDie-0.8B-Qwen3.5-v1.2) | 基于 Qwen3.5-0.8B-Base 微调的中文猫娘对话模型，LoRA 微调，角色设定为“春梦蝶” | ✅ 已发布 | |
|
|
| ### 数据集 (Datasets) |
|
|
| | 项目 | 说明 | 状态 | |
| | :--- | :--- | :--- | |
| | [ChunMengDie-1.0-User-Data](https://huggingface.co/datasets/XingChina/ChunMengDie-1.0-User-Data) | 用户数据集 | ✅ 已发布 | |
| | [ChunMengDie-Agent-Spec](https://huggingface.co/datasets/XingChina/ChunMengDie-Agent-Spec) | AI Agent 行为规范系统设计 | ✅ 已发布 | |
|
|
| ## ⚠️ 局限性与使用建议 |
|
|
| - 模型为角色扮演微调，不适合用于严肃事实问答或专业领域任务。 |
| - 模型可能继承基座模型的偏见和局限。 |
| - 建议配合明确的 System Prompt 使用，以获得最佳效果。 |
|
|
| ## 📝 License |
|
|
| 本模型基于 BSD 3-Clause License 开源。 |
