| # Laya 本机加速 + 应用 | |
| [convaiinnovations/laya](https://huggingface.co/convaiinnovations/laya)：非自回归“System 1”决策模型（ModernBERT/mmBERT 编码器 + 决策头）， | |
| 一次前向同时回答多个 `choice / score / noul` 问题，输出校准概率，不生成文本。 | |
| ## 环境 | |
| ```fish | |
| source env.sh # HF 镜像 + 清华 PyPI + 关闭代理 | |
| .venv/bin/python ... # Python 3.12, torch 2.11+cu130, tilelang 0.1.14 | |
| ``` | |
| ## 应用（apps/） | |
| | 脚本 | 说明 | | |
| |---|---| | |
| | `apps/inbox_triage.py [正文]` | 多语言工单分诊：部门 / 紧急度 / 流失风险 / 情绪 | | |
| | `apps/moderator.py [file]` | 评论审核台：有害 / 垃圾 / 主题 / 严重度，按风险排序 | | |
| | `apps/hn_radar.py [N]` | 拉 Hacker News 热帖实时打标签 | | |
| | `apps/web_console.py [port]` | 零依赖 Web 决策台，自定义问题 JSON，实时概率条 | | |
| 在任何应用里加两行即可启用加速： | |
| ```python | |
| import sys; sys.path.insert(0, "kernels") | |
| from fast_laya import accelerate; accelerate(agent) | |
| ``` | |
| ## TileLang 加速（kernels/） | |
| * `tl_kernels.py` — GEMM(+bias/act 融合)、GEMM+GEGLU 融合、残差+LayerNorm 融合、原地 RoPE、 | |
| 带 padding 掩码与滑动窗口的 flash attention。行数 M 为运行时符号，每个 kernel 只编译一次。 | |
| * `fast_laya.py` — 用上述 kernel 重写整个编码器 + 决策头前向，bf16 权重常驻，按 (batch, L) 桶捕获 CUDA Graph。 | |
| `accelerate(agent)` 原地替换 `agent.model.forward`。 | |
| * `test_kernels.py` / `verify_and_bench.py` — 单 kernel 对拍、端到端数值一致性与延迟对比。 | |
| * `tune.py` — tile 参数扫描。 | |