Q1ngMang commited on
Commit
7747a2e
·
verified ·
1 Parent(s): 94278c2

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +16 -3
README.md CHANGED
@@ -22,9 +22,22 @@ tags:
22
  - 平台:LLaMA Factory
23
  - GPU:Tesla V100-SXM2-16GB
24
 
25
- | 项 | 学习率 | 微调方法 | LoRA秩 | LoRA缩放系数 | LoRA随机丢弃 | 预热步数 | 批处理大小 | 梯度累计 | 计算类型 | 量化方法 | 量化等级 | 对话模板 | 结束时Epoch | 结束时耗时 |
26
- | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
27
- | | 7e-5 | LoRA | 16 | 32 | 0.05 | 150 | 2 | 6 | pure_bf16 | bnb | 4 | gemma4n | ~0.245 | ~64.5小时 |
 
 
 
 
 
 
 
 
 
 
 
 
 
28
  ---
29
 
30
  ## ⚠️ 许可证与严格使用限制 (License & Restrictions)
 
22
  - 平台:LLaMA Factory
23
  - GPU:Tesla V100-SXM2-16GB
24
 
25
+ | 项 | |
26
+ | - | - |
27
+ | 学习率 | 7e-5 |
28
+ | 微调方法 | LoRA |
29
+ | LoRA秩 | 16 |
30
+ | LoRA缩放系数 | 32 |
31
+ | LoRA随机丢弃 | 0.05 |
32
+ | 预热步数 | 150 |
33
+ | 批处理大小 | 2 |
34
+ | 梯度累计 | 6 |
35
+ | 计算类型 | pure_bf16 |
36
+ | 量化方法 | bnb |
37
+ | 量化等级 | 4 |
38
+ | 对话模板 | gemma4n |
39
+ | 结束时Epoch | ~0.245 |
40
+ | 结束时耗时 | ~64.5小时 |
41
  ---
42
 
43
  ## ⚠️ 许可证与严格使用限制 (License & Restrictions)