English ｜ 中文
📄 Paper (arXiv) | 💻 GitHub | 🕹️ Demo
# OmniAlign > 面向**句对齐**与**词对齐**的通用多语言序列对齐模型。 **OmniAlign** 是一个通用多语言对齐模型，通过多阶段训练实现高效的**句对齐**与**词对齐**。它将用于 token 级对齐的上下文词嵌入与用于跨语言语义匹配的句嵌入相结合，并通过四阶段训练流程（预训练 → 无监督 → 有监督 → 蒸馏）逐步增强两者。 - **词对齐**：通过上下文词嵌入推断 token 相似度，并转换为子词级别的对齐。 - **句对齐**：将源句与目标句编码到共享向量空间，再通过动态规划两步法进行匹配——先确定近似的一对一锚点，再在锚点约束下搜索所有有效对齐。 - **四阶段训练**：通过四个训练阶段逐步增强词嵌入与句嵌入。 本模型是四阶段蒸馏流程产出的最终 checkpoint，基于 [`Alibaba-NLP/gte-multilingual-mlm-base`](https://huggingface.co/Alibaba-NLP/gte-multilingual-mlm-base) 构建。 > **本仓库只存放模型权重与配置。** > 推理代码、对齐脚本与可运行示例在 GitHub 仓库：[**MilkDargon/OmniAlign**](https://github.com/MilkDargon/OmniAlign)。 > 在这里加载权重只能得到编码器；词对齐 / 句对齐流程实现在 GitHub 的 `example/` 中。 --- ## 在线演示 Hugging Face Spaces 上提供交互式 Demo：[**omnialign-demo**](https://huggingface.co/spaces/hugging-apps/omnialign-demo)。 该应用运行在免费 ZeroGPU 上，基于本仓库构建。感谢 Hugging Face 开源团队制作这一 Space，让大家可以在浏览器中直接试用 OmniAlign。 --- ## 模型信息 | 属性 | 值 | |---|---| | **模型类型** | Transformer 编码器（GTE / NEW 架构） | | **基础模型** | [`Alibaba-NLP/gte-multilingual-mlm-base`](https://huggingface.co/Alibaba-NLP/gte-multilingual-mlm-base) | | **语言** | 多语言（针对 zh–en、en–es、en–it、en–de、en–fr、en–ru、de–fr 等优化） | | **参数量** | 约 305M | | **最大序列长度** | 8192 tokens | | **训练方式** | 四阶段：预训练 → 无监督 → 有监督 → 蒸馏 | --- ## 安装 请先克隆 **GitHub** 仓库（代码），再安装推理依赖。推荐 Python 3.12。 ```bash git clone https://github.com/MilkDargon/OmniAlign.git cd OmniAlign hf download WPS-Qingqiu/OmniAlign --local-dir OmniAlign pip install -r example/requirements.txt ``` example 仅需推理依赖（`torch`、`transformers`、`sentence_transformers`、`jieba`、`nltk`、`sentence_splitter`、`numpy`、`numba`、`faiss-cpu`）。 权重会从本 Hub 仓库下载到本地的 `OmniAlign/` 目录。若没有 `hf` 命令，先执行 `pip install -U huggingface_hub`。 --- ## 快速开始 在克隆下来的 GitHub 仓库中运行，并将 `--model_path` 指向刚下载的权重目录： ### 词对齐 ```bash python example/example.py \ --src "他没有遵守承诺" \ --tgt "He broke promise" \ --src_lang zh --tgt_lang en \ --task word_align \ --model_path OmniAlign ``` 输出： ``` ===Word Alignment Result === 他 <==> He 没有 <==> broke 遵守 <==> broke 承诺 <==> promise ``` ### 句对齐 ```bash python example/example.py \ --src "Large language models (LLMs) represent one of the most transformative breakthroughs in artificial intelligence over the past decade. Trained on terabytes of text data spanning books, websites, and academic papers, these models excel at capturing complex linguistic patterns, contextual nuances, and even logical reasoning." \ --tgt "大语言模型（LLMs）是过去十年人工智能领域最具变革性的突破之一。这些模型基于涵盖书籍、网站与学术论文在内的万亿字节级文本数据进行训练，擅长捕捉复杂的语言模式、语境细微差异乃至逻辑推理能力。" \ --src_lang en --tgt_lang zh \ --task sent_align \ --model_path OmniAlign ``` 输出： ``` ===Sentence Alignment Result === Large language models (LLMs) represent one of the most transformative breakthroughs in artificial intelligence over the past decade. <==> 大语言模型（LLMs）是过去十年人工智能领域最具变革性的突破之一。 Trained on terabytes of text data spanning books, websites, and academic papers, these models excel at capturing complex linguistic patterns, contextual nuances, and even logical reasoning. <==> 这些模型基于涵盖书籍、网站与学术论文在内的万亿字节级文本数据进行训练，擅长捕捉复杂的语言模式、语境细微差异乃至逻辑推理能力。 ``` 完整参数列表见 GitHub 仓库中的 [`example/README_zh.md`](https://github.com/MilkDargon/OmniAlign/blob/main/example/README_zh.md)。 --- ## 评测结果 ### 词对齐（AER，越低越好） 在标准词对齐测试集上的 AER（对齐错误率）。每个语言对中，最优结果红色加粗，次优结果蓝色下划线。| 方法 | zh-en | de-en | fr-en | ro-en | ja-en | es-en | pt-en | ru-en | it-en |
|---|---|---|---|---|---|---|---|---|---|
| FastAlign | 38.1 | 27.0 | 10.5 | 27.0 | 51.1 | - | - | - | - |
| GIZA++ | 35.1 | 20.6 | 5.9 | 26.4 | 48.0 | - | - | - | - |
| SimAlign | 21.6 | 16.6 | 7.5 | 22.3 | 46.6 | 14.2 | 14.1 | 15.4 | 17.7 |
| AwesomeAlign | 13.3 | 13.3 | 3.8 | 18.7 | 37.4 | 12.0 | 12.7 | 13.5 | 15.7 |
| AccAlign | 11.5 | 12.1 | 2.8 | 16.9 | 36.8 | 11.1 | 12.1 | 12.5 | 14.3 |
| WSPAlign (双语) | 13.1 | 11.1 | 2.8 | 10.1 | 19.3 | - | - | - | - |
| WSPAlign (多语) | 22.3 | 20.0 | 12.8 | 26.4 | 45.8 | 13.4 | 12.3 | 13.1 | 17.1 |
| BinaryAlign (双语) | 4.8 | 7.8 | 1.9 | 7.4 | 14.3 | - | - | - | - |
| OmniAlign（本工作） | 8.5 | 11.0 | 2.7 | 16.7 | 29.6 | 10.7 | 11.9 | 12.1 | 14.1 |
| 算法 | en-zh | en-es | en-it | en-de | en-fr | en-ru | de-fr |
|---|---|---|---|---|---|---|---|
| Gale–Church | 0.682 | 0.900 | 0.977 | 0.897 | 0.838 | 0.911 | 0.680 |
| BleuAlign | 0.782 | 0.819 | 0.901 | 0.806 | 0.757 | 0.791 | 0.770 |
| VecAlign | 0.957 | 0.892 | 0.956 | 0.869 | 0.880 | 0.921 | 0.902 |
| BertAlign | 0.969 | 0.897 | 0.984 | 0.900 | 0.909 | 0.938 | 0.939 |
| SentAlign | 0.968 | 0.872 | 0.978 | 0.892 | 0.903 | 0.920 | 0.932 |
| CrocoAlign | 0.660 | 0.696 | 0.864 | 0.804 | 0.788 | 0.783 | 0.714 |
| OmniAlign（本工作） | 0.970 | 0.906 | 0.978 | 0.913 | 0.912 | 0.935 | 0.922 |