# 跑这个发布包需要的全部依赖。 # # pip install -r requirements.txt # pip install git+https://github.com/Ismantic/PieceTokenizer # python example_load.py # # **本目录自带 model.py / checkpoint.py / tokenizer.py** —— Qwen3 的 forward、 # safetensors 读取、piece 分词都在里面,所以不需要 transformers, # 也不需要 safetensors 库。 torch>=2.6 # piece 分词器是个编译的 C++ 扩展,pip 装不了,要从 GitHub 装: # pip install git+https://github.com/Ismantic/PieceTokenizer # 词表(Summer-Tokenizer.pt)和中文分词词典已在本目录,不用另外下。 # --- 可选:批量推理 --------------------------------------------------------- # example_vllm.py 要它。注意 `vllm serve` 开箱用不了 —— piece 不是 HF 分词器, # 必须 skip_tokenizer_init=True 加 TokensPrompt,见那个脚本。 # vllm>=0.21