Hugging Face's logo

6shmqshy7q-dot
/
olmo3-190m-zh-nano-continue

Safetensors
Chinese
olmo3
llm001
chinese
continued-pretraining
Model card Files
xet
 Community
6shmqshy7q-dot commited on
Commit
f69bc41
·
verified ·
1 Parent(s): 28a18ce

llm001 L04 Continue

Browse files
Files changed (2) hide show
  1. README.md +2 -2
  2. model.safetensors +1 -1
README.md CHANGED
@@ -13,10 +13,10 @@ tags:
13
  # 6shmqshy7q-dot/olmo3-190m-zh-nano-continue
14
 
15
  持续预训练版本：基于 6shmqshy7q-dot/olmo3-190m-zh-nano，
16
- 在 cmz1024/llm101-olmo3-zh-demo-data/continue 数据上继续训练。
17
 
18
  ## 训练配置
19
- - 数据：cmz1024/llm101-olmo3-zh-demo-data/continue/full_v31.bin
20
  - LR：2e-4（低 LR 防止灾难性遗忘）
21
  - Warmup：10%
22
 
 
13
  # 6shmqshy7q-dot/olmo3-190m-zh-nano-continue
14
 
15
  持续预训练版本：基于 6shmqshy7q-dot/olmo3-190m-zh-nano，
16
+ 在 42ailab/llm101-v3.1-data/nano_0.5B.bin 数据上继续训练。
17
 
18
  ## 训练配置
19
+ - 数据：42ailab/llm101-v3.1-data/nano_0.5B.bin (500M 中文 tokens)
20
  - LR：2e-4（低 LR 防止灾难性遗忘）
21
  - Warmup：10%
22
 
model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:b9b20eaf78f2711286a89454c9e138938ebe202f775c11977babe029d6529120
3
  size 43959072
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:e8f5ebefe0a4300403dcbb0512961c1b90f05a3a6ac2c80ce9bd266c3b23c1e1
3
  size 43959072