基于实例的机器翻译系统构建指南

在本文中，将探讨如何使用Java在Linux平台上构建一个从英语到印地语的翻译系统。这种基于实例的机器翻译（EBMT）方法依赖于预先翻译的句子数据库来决定输入句子的合适翻译。数据库中预先翻译的句子越多，EBMT系统的准确性就越高。本文的灵感来源于Ralf Brown和Balakrishnan在该领域的广泛研究。

基于实例的翻译本质上是一种类比翻译。这意味着，如果EBMT系统提供了一组源语言（翻译来源）的句子及其对应的目标语言翻译，系统可以使用这些示例来翻译其他类似的源语言句子为目标语言句子。基本前提是，如果一个之前翻译过的句子再次出现，相同的翻译很可能再次正确。

使用的软件

开发自己的机器翻译系统是一项艰巨的任务。然而，有一些工具可以帮助加速这个过程。在EBMT系统中，使用了以下工具：

• Moses Decoder
• Giza++
• IRST-LM

系统模块

将整个EBMT系统分为四个模块。

在这个模块中，输入的英语句子首先与可用的双语语料库中的每个句子进行精确匹配检查。如果找到匹配项，相应的印地语句子将被检索并显示为输出。

如果输入是一个段落，那么输入首先被分解成句子，然后逐句翻译。

每种语言都有一些语法规则，描述句子中的单词应该如何组织。例如，英语遵循主语-动词-宾语（SVO）的语言结构，而印地语遵循主语-宾语-动词（SOV）的结构。

这个模块将输入语言转换为标记化格式。例如，上述英语句子被转换为：

这有助于概括翻译过程。此外，在翻译句子时还必须考虑许多其他语言规则。

当第一个模块无法翻译时，将句子分解成短语，并运行基于统计机器翻译的算法，以找到输入句子的最可能的翻译输出。

数学上，尝试找到：

这听起来可能很复杂，让解释一下如何得到这个方程的。

根据著名的贝叶斯定律（概率）：

在这种情况下，需要找到翻译句子A，它对于给定的输入句子B有最大的正确翻译概率。由于正在寻找最可能的结果A*对于一个固定的事件B，P(B)是常数，不起作用。

因此，想要：

这个模块试图通过找到短语H来找到英语句子的最可能的印地语翻译，该短语将最大化：

这些短语被组合在一起以完成句子。

注意：

使用了IRST-Language Model，它衡量印地语句子的流畅性和概率，并提供一组流畅的句子以测试潜在的翻译。

使用了Giza++，它衡量（英语，印地语）对给定印地语句子的忠实度，并测试一个给定的流畅句子是否是翻译。

使用了Moses Decoder，它使用启发式搜索有效地找到H*。

这是EBMT翻译输入句子的最后尝试。当模块三也无法翻译时，EBMT将句子分解成单词。对于每个单词，它尝试寻找字典翻译，然后将输出简单地拼接成翻译后的句子。

EBMT的设置

EBMT系统的基本准备工作需要执行以下操作：

• 开发一个双语语料库，包含从源语言到目标语言的预先翻译的句子。
• 一旦拥有了一个足够大的语料库，那么就需要在系统上安装Giza++、Moses和IRST。
• IRST还需要单语文件。这可以通过分离双语语料库轻松创建。
• 最后，需要使用giza++训练语料库。在后台，运行shell脚本和Perl脚本，计算概率并生成各种文件，如对齐文件、翻译表、生育文件、扭曲表等。

结果

使用Giza++进行训练需要1.5天。之后，EBMT系统就准备好了！