实时机器翻译的最佳评价方法？

Question

我知道有许多不同的方法，如BLEU，NIST，流星等，它们都有各自的优缺点，而且它们的有效性因语料库而异。我对实时翻译很感兴趣，这样两个人就可以一次打几句话，然后马上翻译出来。

这算什么语料库？是否认为案文太短，无法用大多数传统方法进行适当的评价？说话人不断切换的事实是否会使语境变得更加困难？

Answer 1

您所要求的，属于信任估计的领域，现在(机器翻译( MT )社区中)被称为质量评估，即“在不访问参考翻译的情况下为MT输出分配分数”。

对于MT评估(使用BLEU、NIST或流星)，您需要：

1. 假设翻译(MT输出)
2. 参考翻译(来自测试集)

在您的情况下(实时翻译)，您没有(2)。因此，你必须根据你的来源句和假设翻译的特点，以及你对MT过程的知识，来评估你的系统的性能。

有17个特征的基线系统在以下文件中作了说明：

• 特产，L.，Turchi，M.，Cancedda，N.，Dymetman，M.，& Cristianini，N. (2009 B)。机器翻译系统句子级质量的估计。欧洲机器翻译协会第十三届会议(第28-37页)
• 你可以找到here

质量评估是一个活跃的研究课题。最近的进展可以在WMT会议的网站上跟进。查找质量评估共享任务，例如http://www.statmt.org/wmt17/quality-estimation-task.html

Answer 2

你的语料库将是一种聊天或一种类型的问题和回答。如果你有很多句子建议，那么你可以尝试https://gitlab.com/Bachstelze/translation-metric/tree/master/ --这是一种句子层次上的向量空间模型方法，所以你不需要学习特定的语言系统，只要句子不太短，说话人之间的转换就不会是个问题。