README.md

---
license: apache-2.0
base_model: unsloth/gpt-oss-20b
tags:
  - reinforcement-learning
  - grpo
  - 2048-game
  - unsloth
  - lora
language:
  - en
pipeline_tag: text-generation
---

# GPT-OSS 2048 Reinforcement Learning Model (LoRA)

このモデルは、OpenAIのgpt-oss-20bを2048ゲームの戦略生成タスクで強化学習（GRPO）によりファインチューニングしたものです。
詳細な学習ログや可視化グラフもリポジトリに含まれています。

## 概要
unsloth/gpt-oss-20b を GRPO (Group Relative Policy Optimization) を用いて 2048 ゲームを解くように学習させた LoRA アダプターです。

## 📋 学習パラメータ

| パラメータ | 値 |
|-----------|-----|
| ベースモデル | `unsloth/gpt-oss-20b` |
| max_seq_length | 2048 |
| lora_rank | 32 |
| lora_alpha | 64 |
| batch_size | 2 |
| gradient_accumulation | 1 |
| 実効バッチサイズ | 2 |
| num_generations | 2 |
| max_steps | 3 |
| learning_rate | 5e-05 |
| warmup_ratio | 0.1 |
| 評価有効 | True |
| 評価ステップ | 1 |
| 量子化 | 4bit |

## 🎯 タスク

2048ゲームのボード状態を入力として、最適な次の一手（W/A/S/D）を出力するPython関数を生成します。

## 💾 保存形式

- **形式**: LoRA Adapter
- **生成日時**: 2025-12-26 20:36:12

## 🧪 学習環境
- GPU: Google Colab (L4/T4 推奨)
- アルゴリズム: GRPO
- フレームワーク: unsloth, trl

## 📊 可視化
学習中の報酬、KL離散、完了長などの推移が可視化されています。リポジトリ内の画像ファイルをご確認ください。

## 📎 関連リンク

- [Unsloth公式ドキュメント](https://docs.unsloth.ai/)
- [gpt-oss-20b](https://huggingface.co/unsloth/gpt-oss-20b)

## ⚠️ ライセンス

Apache 2.0