MakiAi commited on
Commit
b17d5b3
·
verified ·
1 Parent(s): b42c0ef

Update README with training parameters (merged_16bit)

Browse files
Files changed (1) hide show
  1. README.md +56 -13
README.md CHANGED
@@ -1,21 +1,64 @@
1
  ---
2
- base_model: unsloth/gpt-oss-20b-unsloth-bnb-4bit
3
- tags:
4
- - text-generation-inference
5
- - transformers
6
- - unsloth
7
- - gpt_oss
8
  license: apache-2.0
 
 
 
 
 
 
 
9
  language:
10
- - en
 
11
  ---
12
 
13
- # Uploaded finetuned model
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
14
 
15
- - **Developed by:** MakiAi
16
- - **License:** apache-2.0
17
- - **Finetuned from model :** unsloth/gpt-oss-20b-unsloth-bnb-4bit
18
 
19
- This gpt_oss model was trained 2x faster with [Unsloth](https://github.com/unslothai/unsloth) and Huggingface's TRL library.
20
 
21
- [<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>](https://github.com/unslothai/unsloth)
 
1
  ---
 
 
 
 
 
 
2
  license: apache-2.0
3
+ base_model: unsloth/gpt-oss-20b
4
+ tags:
5
+ - reinforcement-learning
6
+ - grpo
7
+ - 2048-game
8
+ - unsloth
9
+ - lora
10
  language:
11
+ - en
12
+ pipeline_tag: text-generation
13
  ---
14
 
15
+ # GPT-OSS 2048 Reinforcement Learning Model
16
+
17
+ このモデルは、OpenAIのgpt-oss-20bを2048ゲームの戦略生成タスクで強化学習(GRPO)によりファインチューニングしたものです。
18
+
19
+ ## 📋 学習パラメータ
20
+
21
+ | パラメータ | 値 |
22
+ |-----------|-----|
23
+ | ベースモデル | `unsloth/gpt-oss-20b` |
24
+ | max_seq_length | 2048 |
25
+ | lora_rank | 32 |
26
+ | lora_alpha | 64 |
27
+ | batch_size | 1 |
28
+ | gradient_accumulation | 1 |
29
+ | 実効バッチサイズ | 1 |
30
+ | num_generations | 2 |
31
+ | max_steps | 10 |
32
+ | learning_rate | 5e-05 |
33
+ | warmup_ratio | 0.1 |
34
+ | 量子化 | 4bit |
35
+
36
+ ## 🎯 タスク
37
+
38
+ 2048ゲームのボード状態を入力として、最適な次の一手(W/A/S/D)を出力するPython関数を生成します。
39
+
40
+ ## 💾 保存形式
41
+
42
+ - **形式**: merged_16bit
43
+ - **生成日時**: 2025-12-25 20:03:07
44
+
45
+ ## 🚀 使用方法
46
+
47
+ ```python
48
+ from unsloth import FastLanguageModel
49
+
50
+ model, tokenizer = FastLanguageModel.from_pretrained(
51
+ model_name="MakiAi/gpt-oss-2048-rl-s10-r32-b1-16bit",
52
+ max_seq_length=2048,
53
+ load_in_4bit=True,
54
+ )
55
+ ```
56
+
57
+ ## 📎 関連リンク
58
 
59
+ - [Unsloth公式ドキュメント](https://docs.unsloth.ai/)
60
+ - [gpt-oss-20b](https://huggingface.co/unsloth/gpt-oss-20b)
 
61
 
62
+ ## ⚠️ ライセンス
63
 
64
+ Apache 2.0