---
license: apache-2.0
base_model:
  - llm-jp/llm-jp-4.1-32b-a3b-thinking
language:
  - ja
  - en
pipeline_tag: text-generation
tags:
  - openvino
  - npu
  - intel
  - onw
  - moe
  - agent
library_name: onw
---

# llm-jp-4.1-32b-a3b-thinking for onw（INT8・高精度版） — Intel NPU だけで動く日本語 MoE

**日本語** | [English](README_en.md)

[llm-jp/llm-jp-4.1-32b-a3b-thinking](https://huggingface.co/llm-jp/llm-jp-4.1-32b-a3b-thinking) を **[onw](https://huggingface.co/ryugyosoft/onw)**（俺のNPUがこんなに動くわけない）用に変換したモデルです。onw は LLM を Intel NPU だけで動かすエンジンで、このリポジトリにはモデルだけが入っています（エンジンは別にダウンロードします）。

国立情報学研究所（NII）の LLM-jp が日本語を中心に一から学習した思考型の MoE です。全体 32B のうち 1 トークンで使うのは約 3B（128 個のエキスパートから 8 個）で、llm-jp-4.1-8b より大きな知識を、8B と同じくらいの速さで使えます。

**思考とツール呼び出し**：llm-jp-4.1-8b と同じ harmony 形式で、必ず考えてから答えます。思考は思考モードのときだけ `reasoning_content` で返ります。思考も文字数上限に含まれるので、`max_tokens` は 300 以上にしてください。ツールは OpenAI 互換 API の `tools` で使えます。

軽い INT4 版（16 GB、16 GB の PC でも動く）は [ryugyosoft/llm-jp-4.1-32b-a3b-thinking-onw](https://huggingface.co/ryugyosoft/llm-jp-4.1-32b-a3b-thinking-onw)。

| NPU 3720（Core Ultra 9 285HX、メモリ 192 GB） | |
|---|---|
| 入力 | テキスト |
| 生成速度 | **4.6 tok/s** |
| プロンプト処理 | 94 トークンで 11 秒 |
| ダウンロード | **30 GB** |
| 使用メモリ | 約 32 GB |
| 初回起動（NPU 向けコンパイル） | 約 9 分 |

**メモリの少ない PC**：メモリ 32 GB 以上の PC 向けです（16 GB の PC は INT4 版を使ってください）。

## 使い方

1. **onw（エンジン）1.2.0 以降を入れます**（[onw の「インストール」](https://huggingface.co/ryugyosoft/onw)）。
2. onw ウィンドウの「モデル」タブで **llm-jp-4.1-32B-A3B-thinking (INT8)** を選び、「ダウンロード」を押します（30 GB）。
3. 「サーバー」タブで「ロード」。あとは「チャット」や **OpenAI 互換 API**（`http://localhost:8000/v1`）で使えます。

上級者向け：`hf download ryugyosoft/llm-jp-4.1-32b-a3b-thinking-int8-onw` で取得したフォルダを `onw serve フォルダ` で起動できます。

## 仕組み

- 32 層それぞれを「前の層のエキスパート → この層のアテンション → ルーター」の区間にした静的グラフ。エキスパート・アテンションともチャネル単位の INT8。出力層は INT8 の独立した区間です。
- エキスパートはグラフに焼き込まず、選ばれた 8 個だけを毎回 NPU に渡します（メモリが足りない PC では SSD から読みます）。
- 詳しくは [onw の技術解説](https://huggingface.co/ryugyosoft/onw/blob/main/TECHNICAL.md)。

## 品質

元のモデル（bf16、CPU）と教師強制で比べると、300 トークンの日本語の回答で 292/300 トークンが一致、上位 5 候補のロジット差は平均 0.26（INT4 版は 270/300、1.6）。「日本の首都は？」には「日本の首都は東京です。」と答えます。

## ライセンス

Apache 2.0（元モデルと同じ）。重みは元モデルから再量子化・再構成したものです。学習はしていません。