解决机器翻译,一次只需要一步

源节点: 795289

小时候,我以为我会长大成为数学家或物理学家。 我很早就了解到我想在其中一个领域中学习和研究,甚至成为一名老师。 我不知道什么是AI。 实际上,在计算机科学系本科的头几年里,很多时候我都觉得我应该转向数学。 我很高兴没有。

我的祖母并不真正了解我的工作,因为这样做,您必须使用互联网。 如果您不这样做,我告诉您,在Unbabel,我们正在使计算机自动执行人工操作,您可能只是坐在那里呆呆地盯着我。

从某种意义上说,我并没有像小时候那样在一个完全不同的地方生活。 我的意思是,整个机器翻译领域始于第二次世界大战后的沃伦·韦弗,当时数学家艾伦·图灵破解了Enigma代码。

想法是我们可以将语言视为代码。 不同之处在于代码是正式的,明确的; 而使翻译如此困难的原因恰恰是模棱两可。

机器翻译的状态

有些人对Unbabel的功能有一些了解:我们将特定语言的文本翻译成另一种语言。 但是其他人甚至都不知道人工智能是什么。 有人可能会认为AI所做的只是“机器人的事情”,而事实并非如此。 人工智能正在以某种方式模仿人类的行为, 在某些方面,它甚至比人类还要好 在它。

让我们从基础开始:机器学习系统做什么? 您向他们提供一个源对象(在本例中为一个句子),并要求他们预言一些东西,即目标句子。

翻译的困难在于没有黄金标准。 黄金标准代表着真实的事实。 如果您试图通过询问“这是猫还是狗?”来使机器检测图像,则存在黄金真理,因为特定的图像可能是另一幅图像。 在机器翻译中,这是不存在的,因为您可以拥有20种同样出色的翻译。 首先,这是一个更加困难的问题。 什么是好的翻译,什么不是? 还有一个事实,就是语言非常模棱两可。 在不同的上下文中,单词的含义可能完全不同。 因此,翻译问题在很大程度上尚未解决。

如果您对机器翻译有更深入的了解,尽管大多数人都认为,它并没有比几年前更好。 统计机器翻译系统的先前输出似乎非常不自然或机器人化。 今天,它们听起来似乎更流利,但与以前的那些相比,它们的声音还不够好,尽管通常很难理解,但通常具有正确的内容。 如今,机器翻译在内容方面可能会灾难性地失败,但听起来仍然很流利。 总的来说,这是一个更好的系统。

机器翻译已经到了至少可以理解文本要旨的地步。 尽管这些模型仍然非常基础,并且对语言的了解很少,但是它变得越来越流利。 他们仍主要在每个句子级别上处理一种句子。 因此,任何认为机器翻译已解决的人显然都没有使用它。

对于作为公司的Unbabel而言, 多语言支持解决方案 对于每天与成千上万的客户互动的大型公司而言,这是一个问题,因为在大多数情况下,当您提到机器翻译时, 人们立即想到它造成的错误。 您不能仅仅编造故事以使其看起来像机器翻译是完美的,这就是目前的情况。 它仍然需要一个循环中的人来给它额外的质量。

例如,在聊天中,有一个人正在与另一个人聊天,这意味着您可以更快地从错误中恢复。 如果您说的话没有意义,那么对方可能会说“什么? 我没听懂”,然后您将重试翻译。

这基本上意味着您是自己的质量估算,因为最终,您想要的是一个有效的对话。

质量评估的重要性

质量估算-我们用来评估翻译系统质量而无需访问参考翻译或人工干预的内容-是机器翻译的秘诀。 实际上,有人声称它可以解决“哪个是正确的翻译?”的问题,因为现在我们已经有了一个评估翻译质量的系统。 不一定表示翻译是 正确的,但是 a 正确的翻译。

但是质量评估与机器翻译一样都面临着同样的困难,这意味着您可以期望它具有相同水平的准确性。 机器翻译的最大问题是,它总是会犯错误,因为语言很难掌握。 由于模型由于计算能力而过于简单,或者由于任何机器学习系统都会出错,因此,最佳股权大约为90%。 这看起来可能很多,但是如果您考虑一下,这意味着每十个句子中就有一个是错误的。

质量评估正在尝试预测那些错误的句子,或者至少试图判断错误是否很严重。 基本上,这将使我们可以更加自信地使用机器翻译。

在Unbabel,我们投入了很多时间来解决质量估算问题。 基本的AI团队是最专注于它的团队,发现了新模型。 然后,来自应用程序人工智能和生产的大量工作将回答诸如以下问题:

  • 如何在管道上运行?
  • 它可扩展吗? 我们需要改变目标吗?
  • 它如何与我们的实际数据一起工作?
  • 您如何适应这些模型?

由于基本的AI主要在通用域数据上工作,因此,无论是否使用区分的音调,应用的AI都必须对其进行拾取,并确保它可以在我们的聊天或票务现实中使用。 有研究,然后将其发现应用到产品中。

我们坚信我们的质量评估系统。 我们也相信可重复的合作研究,这就是为什么几个月前 我们建立了Open Kiwi-一种实现最佳质量评估系统的开源框架,这使得在同一个框架下进行这些模型的实验和迭代以及开发新模型变得非常容易。

我们可能是最早在生产中使用质量评估的公司之一,并且我们已经针对该主题进行了很长时间的研究。 这意味着我们比从事质量评估的其他公司或研究人员拥有更好的模型和对问题的更好的理解。

奖项授予...

这就是为什么我很高兴我们 在世界机器翻译大会上再次获得全球最佳机器翻译质量评估系统的称号 今年早些时候。 不仅如此,我们还赢得了自动后期编辑方面的竞争。

这对我们非常重要,原因有两个。 首先是质量估算对生产管道的影响,以及从中获得的投资回报。 对于这一点,我们赢得这场比赛或任何其他比赛并不重要。

但是,另一方面,赢得如此久负盛名的奖项意味着对Unbabel品牌的认可,这对于吸引客户和投资者的关注至关重要。 对于AI团队来说,这也是一个重要的认可,他们的工作有时很难理解和赞扬。 人工智能风险很高,回报很高。 您可以工作一年,却一无所获。 例如,我们在人类素质评估方面所做的所有工作都没有奏效,因为我们没有合适的工具。

因此,这些奖项很容易获得认可,可以提高企业和学术界对Unbabel名称的认识,但对士气也有好处。 Unbabel是一家纯粹的AI公司。 我们不仅在使用AI,而且还在构建和发现尚不存在的AI。 并因此获得公众认可对我来说意味着世界。 我认为我9岁的,想成为数学家的自我会感到骄傲。

资料来源:https://unbabel.com/blog/best-machine-translation-quality-estimation/

时间戳记:

更多来自 不安