Meta 开源早期 AI 翻译工具，支持 200 种语言

社交媒体集团 Meta 创建了一个单一的 AI 模型，能够翻译 200 种不同的语言，包括当前商业工具不支持的许多语言。该公司正在开源该项目，希望其他人能够在其工作的基础上再接再厉。

人工智能模型是 Meta 雄心勃勃的研发项目的一部分，该项目旨在创建一个所谓的“通用语音翻译器”，该公司认为这对于从 Facebook 和 Instagram 到开发 VR 和 AR 等领域的许多平台的增长非常重要。机器翻译不仅可以让 Meta 更好地了解其用户（从而改进产生其 97% 收入的广告系统），而且还可以成为未来项目（如增强现实眼镜）的杀手级应用程序的基础。

模型的翻译绝对不会完美无缺

机器翻译专家告诉媒体，Meta 的最新研究雄心勃勃且彻底，但指出该模型的某些翻译质量可能远低于意大利语或德语等支持更好的语言。

“这里的主要贡献是数据，”德国慕尼黑大学计算语言学专家亚历山大弗雷泽教授告诉媒体。“重要的是 100 种新语言 [可以通过 Meta 的模型翻译]。”

有点自相矛盾的是，Meta 的成就源于其研究的范围和重点。虽然大多数机器翻译模型只处理少数几种语言，但 Meta 的模型是全包式的：它是一个能够在 200 种不同语言之间翻译超过 40,000 种不同方向的单一系统。但 Meta 也有兴趣在模型中包含“低资源语言”——公开翻译的句子对少于 100 万的语言。其中包括商业机器翻译工具通常不支持的许多非洲和印度语言。

“生产适合所有人的翻译技术需要什么？”

参与该项目的 Meta AI 研究科学家 Angela Fan 告诉媒体，该团队的灵感来自于对该领域这种资源较少的语言缺乏关注。“翻译甚至不适用于我们说的语言，所以这就是我们开始这个项目的原因，”范说。“我们有这样的包容动机——‘生产适合所有人的翻译技术需要什么’？”

范说，这里的一篇研究论文中描述的模型已经在测试，以支持一个帮助维基百科编辑将文章翻译成其他语言的项目。在创建模型中开发的技术也将很快集成到 Meta 的翻译工具中。

如何判断翻译？

在最好的情况下，翻译是一项艰巨的任务，而机器翻译可能是出了名的不稳定。当在 Meta 的平台上大规模应用时，即使是少量的错误也会产生灾难性的结果——例如，当 Facebook将一名巴勒斯坦男子的帖子从“早上好”翻译成“伤害他们”时，导致他被以色列逮捕警察。

为了评估新模型的输出质量，Meta 创建了一个测试数据集，该数据集由模型涵盖的每种语言的 3001 个句子对组成，每个句子对都由专业翻译和母语人士从英语翻译成目标语言。

研究人员通过他们的模型运行这些句子，并使用机器翻译中常见的基准 BLEU（代表BiLingualEvaluationUnderstudy）将机器翻译与人类参考句子进行比较。

META 的模型提供了改进的基准，但它们无法讲述整个故事

BLEU 允许研究人员分配数字分数来衡量句子对之间的重叠，Meta 表示其模型在支持的语言中产生了 44% 的 BLEU 分数提高（与以前的最先进的工作相比）。然而，正如人工智能研究中经常出现的情况一样，根据基准来判断进展需要上下文。

尽管 BLEU 分数允许研究人员比较不同机器翻译模型的相对进展，但它们并不能绝对衡量软件产生人类质量翻译的能力。

请记住：Meta 的数据集由 3001 个句子组成，每个句子仅由一个人翻译。这为判断翻译质量提供了一个基准，但是整个语言的总表达能力并不能被这么小的一部分实际语言所捕捉。这个问题绝不限于 Meta——它会影响所有机器翻译工作，在评估低资源语言时尤其严重——但它显示了该领域面临的挑战的范围。

在微软从事机器翻译工作的首席研究经理克里斯蒂安·费德曼 (Christian Federmann) 表示，该项目作为一个整体是“值得称赞的”，因为它希望将机器翻译软件的范围扩展到覆盖较少的语言，但他指出，BLEU 分数本身可以仅提供有限的输出质量度量。

“翻译是一个创造性的、生成的过程，它可能会产生许多不同的翻译，这些翻译可能好也可能坏，”费德曼告诉媒体。“不可能提供‘BLEU 分数优良’的一般水平，因为它们取决于所使用的测试集、它的参考质量，以及正在研究的语言对的固有属性。”

范说，BLEU评分也有人工评价的补充，这个反馈非常积极，也产生了一些令人惊讶的反应。

“一个非常有趣的现象是，说低资源语言的人通常对翻译质量的要求较低，因为他们没有任何其他工具，”范说，她自己是低资源语言上海话的使用者。“他们非常慷慨，所以我们实际上必须回去说'嘿，不，你需要非常精确，如果你发现错误，请指出。'”

企业人工智能的权力失衡

从事人工智能翻译工作通常被认为是一种明确的好处，但创建这个软件对于讲低资源语言的人来说尤其困难。对于一些社区来说，Big Tech 的关注是不受欢迎的：他们不想要将他们的语言保存在任何人手中所需的工具，除了他们自己。对于其他人来说，这些问题不那么存在，而是更关心质量和影响力的问题。

一些社区只是不希望大型科技公司控制他们的语言

Meta 的工程师通过采访 44 位使用低资源语言的人来探讨其中的一些问题。这些受访者提出了一些将他们的语言开放给机器翻译的积极和消极影响。

例如，一个积极的方面是此类工具允许演讲者访问更多媒体和信息。它们可用于翻译丰富的资源，例如英语维基百科和教育文本。但与此同时，如果资源匮乏的语言使用者消费更多由支持更好的语言的使用者生成的媒体，这可能会削弱以他们自己的语言创建此类材料的动力。

平衡这些问题具有挑战性，即使在最近的这个项目中遇到的问题也说明了原因。例如，Meta 的研究人员指出，在他们为探讨这些问题而采访的 44 位低资源语言使用者中，大多数受访者是“居住在美国和欧洲的移民，其中大约三分之一的人自称是技术工作者”——这意味着他们的观点可能与他们所在社区的观点不同，并且从一开始就有偏见。

慕尼黑大学的弗雷泽教授说，尽管如此，这项研究肯定是“以越来越多的母语人士参与的方式进行的”，而且这种努力是“值得称赞的”。

“总的来说，我很高兴 META 一直在这样做。”

“总的来说，我很高兴 Meta 一直在这样做。谷歌、Meta 和微软等公司在低资源机器翻译方面都有大量工作，这对世界来说是一件好事，”弗雷泽说。“当然，为什么以及如何做到这一点背后的一些想法也来自学术界，以及大多数上市研究人员的培训。”

范说，Meta 试图通过扩大他们在项目中咨询的专业知识来抢占许多这些社会挑战。“我认为，当 AI 开发时，它通常是非常工程化的——比如，‘好吧，我的计算机科学博士在哪里？让我们聚在一起建造它，因为我们可以。但实际上，为此，我们与语言学家、社会学家和伦理学家合作，”她说。“而且我认为这种跨学科方法侧重于人类问题。比如，谁想要建立这项技术？他们希望它如何建造？他们将如何使用它？”

范说，同样重要的是决定尽可能多地开源项目的元素——从模型到评估数据集和培训代码——这应该有助于纠正从事此类计划的公司固有的权力不平衡.Meta 还向希望为此类翻译项目做出贡献但无法为自己的项目提供资金的研究人员提供资助。

“我认为这非常非常重要，因为并不是一家公司就能全面解决机器翻译问题，”范说。“这是全球范围内的每个人，因此我们对支持这些类型的社区工作非常感兴趣。”