metadata
base_model: gfhdafdhd/olmo3-190m-zh-full
license: apache-2.0
language:
- zh
tags:
- llm001
- olmo3
- chinese
- continued-pretraining
gfhdafdhd/olmo3-190m-zh-full-continue
持续预训练版本：基于 gfhdafdhd/olmo3-190m-zh-full， 在 cmz1024/llm101-olmo3-zh-demo-data/continue 数据上继续训练。
训练配置
- 数据：cmz1024/llm101-olmo3-zh-demo-data/continue/full_v31.bin
- LR：2e-4（低 LR 防止灾难性遗忘）
- Warmup：10%
用法
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("gfhdafdhd/olmo3-190m-zh-full-continue")
tok = AutoTokenizer.from_pretrained("gfhdafdhd/olmo3-190m-zh-full-continue")