hmwri/japanese-300m-base-onnx

Miyashita-Lab LLM 300M Base

FineWeb2 Edu Japanese sample_10BTでscratch事前学習した299M parameterの decoder-only Baseモデルを、ブラウザ推論用のQ4 ONNXへ変換したものです。

Model

• Architecture: Llama-compatible decoder-only Transformer
• Parameters: 299,157,376
• Layers: 28
• Hidden size: 896
• Attention heads: 14 query / 7 KV
• Context length: 4,096
• Vocabulary: 32,768 SentencePiece Unigram tokens
• Training tokens: 10,641,604,608
• Quantization: Q4 weights with FP32 activations

これはBaseモデルです。質問応答や指示追従ではなく、文章補完として使用してください。

Transformers.js

import { pipeline } from "@huggingface/transformers";

const generator = await pipeline(
  "text-generation",
  "hmwri/japanese-300m-base-onnx",
  { device: "webgpu", dtype: "q4" },
);

const result = await generator("人工知能とは、", { max_new_tokens: 96 });

Training data

事前学習にはhotchpotch/fineweb-2-edu-japaneseのsample_10BT subsetを使用しました。 trainは13,488,028 documents / 10.642B tokens、validationは7,720 documents / 6.16M tokensです。

model_q4f16.onnxも収録していますが、GPUやdriverによって生成が不安定になる場合が あるため、ブラウザではq4を推奨します。

Limitations

約3億parameterのBaseモデルであり、事実性、安全性、指示追従を保証しません。生成結果は 不正確または不適切な場合があります。