migrate to llm-jp-3-3.7b + LoRA (tabitay/meiji-llmjp-3.7b); CPU inference

README.md

@@ -1,14 +1,16 @@
----
-title: 明治文学 GPT-2
-emoji: 📜
-colorFrom: indigo
-colorTo: red
-sdk: gradio
-sdk_version: 6.13.0
-python_version: "3.11"
-app_file: app.py
-pinned: false
-license: mit
----
-
-[tabitay/meiji-gpt2](https://huggingface.co/tabitay/meiji-gpt2) のデモ。
+---
+title: 明治文学 LLM-jp
+emoji: 📜
+colorFrom: indigo
+colorTo: red
+sdk: gradio
+sdk_version: 6.13.0
+python_version: "3.11"
+app_file: app.py
+pinned: false
+license: apache-2.0
+---
+
+[llm-jp/llm-jp-3-3.7b](https://huggingface.co/llm-jp/llm-jp-3-3.7b) を青空文庫の明治期日本文学 14 作家 7.5M 字で QLoRA 微調整した [tabitay/meiji-llmjp-3.7b](https://huggingface.co/tabitay/meiji-llmjp-3.7b) のデモ。
+
+プロンプト先頭に `【作家名】` を付けると文体が変わります。無料 CPU Space で動作しているため、生成には 30 秒〜数分かかります。

app.py

@@ -1,6 +1,7 @@
-"""明治文学 GPT-2 デモ (tabitay/meiji-gpt2)
+"""明治文学 LLM-jp-3.7B LoRA デモ
 
-rinna/japanese-gpt2-medium を青空文庫の明治文学 7.5M 字でファインチューンしたモデル。
+llm-jp/llm-jp-3-3.7b を青空文庫の明治期日本文学 14 作家 7.5M 字で QLoRA 微調整
+（[tabitay/meiji-llmjp-3.7b](https://huggingface.co/tabitay/meiji-llmjp-3.7b)）。
 プロンプト先頭に【作家名】を付けると文体を切り替えられる。
 """
 from __future__ import annotations
@@ -9,12 +10,24 @@ import re
 
 import gradio as gr
 import torch
-from transformers import AutoModelForCausalLM, T5TokenizerFast
+from peft import PeftModel
+from transformers import AutoModelForCausalLM, AutoTokenizer
 
-MODEL_ID = "tabitay/meiji-gpt2"
+BASE_MODEL = "llm-jp/llm-jp-3-3.7b"
+ADAPTER = "tabitay/meiji-llmjp-3.7b"
 
-tokenizer = T5TokenizerFast.from_pretrained(MODEL_ID)
-model = AutoModelForCausalLM.from_pretrained(MODEL_ID)
+print(f"loading tokenizer from {ADAPTER}")
+tokenizer = AutoTokenizer.from_pretrained(ADAPTER, use_fast=True)
+
+print(f"loading base model {BASE_MODEL} (bf16, CPU)")
+base = AutoModelForCausalLM.from_pretrained(
+    BASE_MODEL,
+    torch_dtype=torch.bfloat16,
+    low_cpu_mem_usage=True,
+)
+
+print(f"attaching LoRA adapter {ADAPTER}")
+model = PeftModel.from_pretrained(base, ADAPTER)
 model.eval()
 
 _ASCII_PATTERN = re.compile(r"[A-Za-z0-9]")
@@ -48,20 +61,19 @@ def generate(prompt: str, author: str, max_new_tokens: int, temperature: float,
             top_p=float(top_p),
             top_k=int(top_k),
             repetition_penalty=float(repetition_penalty),
-            no_repeat_ngram_size=3,
             pad_token_id=tokenizer.pad_token_id or tokenizer.eos_token_id,
             bad_words_ids=BAD_WORDS_IDS if block_ascii else None,
         )
-    text = tokenizer.decode(out[0], skip_special_tokens=True)
-    return text
+    return tokenizer.decode(out[0], skip_special_tokens=True)
 
 
-with gr.Blocks(title="明治文学 GPT-2") as demo:
+with gr.Blocks(title="明治文学 LLM-jp") as demo:
     gr.Markdown(
-        "# 明治文学 GPT-2\n"
-        "`rinna/japanese-gpt2-medium` を青空文庫の明治文学 14 作家 7.5M 字で"
-        "ファインチューン（[tabitay/meiji-gpt2](https://huggingface.co/tabitay/meiji-gpt2)）。\n"
-        "プロンプト先頭に `【作家名】` を付けると文体が変わります。"
+        "# 明治文学 LLM-jp-3.7B LoRA\n"
+        "`llm-jp/llm-jp-3-3.7b` を青空文庫の明治期日本文学 14 作家 7.5M 字で "
+        "QLoRA 微調整（[tabitay/meiji-llmjp-3.7b](https://huggingface.co/tabitay/meiji-llmjp-3.7b)）。\n"
+        "プロンプト先頭に `【作家名】` を付けると文体が変わります。\n\n"
+        "**⚠ 無料 CPU Space で動作しています。1 回の生成に 30 秒〜数分かかります。**"
     )
     with gr.Row():
         with gr.Column():
@@ -72,11 +84,11 @@ with gr.Blocks(title="明治文学 GPT-2") as demo:
                 label="文語度を強める（英数字トークンを生成禁止）",
             )
             with gr.Accordion("サンプリング設定", open=False):
-                max_new_tokens = gr.Slider(32, 256, value=120, step=8, label="max_new_tokens")
+                max_new_tokens = gr.Slider(32, 200, value=100, step=8, label="max_new_tokens")
                 temperature = gr.Slider(0.1, 1.5, value=0.5, step=0.05, label="temperature")
                 top_p = gr.Slider(0.5, 1.0, value=0.85, step=0.05, label="top_p")
                 top_k = gr.Slider(1, 100, value=40, step=1, label="top_k")
-                repetition_penalty = gr.Slider(1.0, 2.0, value=1.2, step=0.05, label="repetition_penalty")
+                repetition_penalty = gr.Slider(1.0, 2.0, value=1.1, step=0.05, label="repetition_penalty")
             btn = gr.Button("生成", variant="primary")
         out = gr.Textbox(label="生成結果", lines=12)
     btn.click(generate,
@@ -85,9 +97,9 @@ with gr.Blocks(title="明治文学 GPT-2") as demo:
               outputs=out)
     gr.Examples(
         examples=[
-            ["文明の進歩は、", "（指定なし）"],
+            ["電子計算機とは、", "（指定なし）"],
+            ["人工知能の本質は、", "福沢諭吉"],
             ["学問の要は、", "福沢諭吉"],
-            ["電子計算機とは、", "森鷗外"],
             ["吾輩は", "夏目漱石"],
             ["石炭をば早や積み果てつ。", "森鷗外"],
         ],

requirements.txt

@@ -1,4 +1,6 @@
-torch
-transformers
-sentencepiece
-protobuf
+torch
+transformers
+peft
+accelerate
+sentencepiece
+protobuf