llm001 L04 SFT

4a0a28d verified 5 months ago

829 Bytes

base_model: dinghface/olmo3-190m-zh-full-sft
license: apache-2.0
language:
  - zh
tags:
  - llm001
  - olmo3
  - chinese
  - sft
  - supervised-finetuning

dinghface/olmo3-190m-zh-full-sft

SFT（有监督微调）版本：基于 dinghface/olmo3-190m-zh-full-sft，使用对话格式数据进行微调，学习指令遵循能力。

数据来源

训练数据：cmz1024/llm101-olmo3-zh-demo-data（来自 https://modelscope.cn/models/gongjy）
原始数据集：sft_t2t_mini.jsonl

训练配置

LR：5e-05（低 LR 避免灾难性遗忘）
Warmup：5.0%
Max Seq Length：2048

用法

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("dinghface/olmo3-190m-zh-full-sft")
tok = AutoTokenizer.from_pretrained("dinghface/olmo3-190m-zh-full-sft")