ryugyosoft/llm-jp-4.1-32b-a3b-thinking-int8-onw

llm-jp-4.1-32b-a3b-thinking for onw（INT8・高精度版） — Intel NPU だけで動く日本語 MoE

日本語 | English

llm-jp/llm-jp-4.1-32b-a3b-thinking を **onw**（俺のNPUがこんなに動くわけない）用に変換したモデルです。onw は LLM を Intel NPU だけで動かすエンジンで、このリポジトリにはモデルだけが入っています（エンジンは別にダウンロードします）。

国立情報学研究所（NII）の LLM-jp が日本語を中心に一から学習した思考型の MoE です。全体 32B のうち 1 トークンで使うのは約 3B（128 個のエキスパートから 8 個）で、llm-jp-4.1-8b より大きな知識を、8B と同じくらいの速さで使えます。

思考とツール呼び出し：llm-jp-4.1-8b と同じ harmony 形式で、必ず考えてから答えます。思考は思考モードのときだけ reasoning_content で返ります。思考も文字数上限に含まれるので、max_tokens は 300 以上にしてください。ツールは OpenAI 互換 API の tools で使えます。

軽い INT4 版（16 GB、16 GB の PC でも動く）は ryugyosoft/llm-jp-4.1-32b-a3b-thinking-onw。

NPU 3720（Core Ultra 9 285HX、メモリ 192 GB）
入力	テキスト
生成速度	4.6 tok/s
プロンプト処理	94 トークンで 11 秒
ダウンロード	30 GB
使用メモリ	約 32 GB
初回起動（NPU 向けコンパイル）	約 9 分

メモリの少ない PC：メモリ 32 GB 以上の PC 向けです（16 GB の PC は INT4 版を使ってください）。

使い方

1. onw（エンジン）1.2.0 以降を入れます（onw の「インストール」）。
2. onw ウィンドウの「モデル」タブで llm-jp-4.1-32B-A3B-thinking (INT8) を選び、「ダウンロード」を押します（30 GB）。
3. 「サーバー」タブで「ロード」。あとは「チャット」や OpenAI 互換 API（http://localhost:8000/v1）で使えます。

上級者向け：hf download ryugyosoft/llm-jp-4.1-32b-a3b-thinking-int8-onw で取得したフォルダを onw serve フォルダ で起動できます。

仕組み

• 32 層それぞれを「前の層のエキスパート → この層のアテンション → ルーター」の区間にした静的グラフ。エキスパート・アテンションともチャネル単位の INT8。出力層は INT8 の独立した区間です。
• エキスパートはグラフに焼き込まず、選ばれた 8 個だけを毎回 NPU に渡します（メモリが足りない PC では SSD から読みます）。
• 詳しくは onw の技術解説。

品質

元のモデル（bf16、CPU）と教師強制で比べると、300 トークンの日本語の回答で 292/300 トークンが一致、上位 5 候補のロジット差は平均 0.26（INT4 版は 270/300、1.6）。「日本の首都は？」には「日本の首都は東京です。」と答えます。

ライセンス

Apache 2.0（元モデルと同じ）。重みは元モデルから再量子化・再構成したものです。学習はしていません。