正在阅读：谷歌翻译将用“注意力机制”解决一词多义难题！谷歌翻译将用“注意力机制”解决一词多义难题！

      【PConline资讯】机器学习已经成为一种非常有用的翻译工具，但它也有一些弱点。翻译模式的逐字翻译趋势，可能会导致严重的错误。谷歌在其研究博客上发表了一篇有趣的文章，详细描述了这个问题的性质及其解决方案。

　　这个问题在雅各布·尤兹克利特的自然语言处理部门中得到了很好的解释。思考下面这两句话：

　　I arrived at the bank after crossing the street.（穿过马路，我到了银行。）

　　I arrived at the bank after crossing the river.（过了河，我到了对岸。）

　　显然，“银行”在每句话中都有不同的含义，但是一种算法会一刀切就很容易选错词——因为在看到句尾之前它不知道哪个“bank”是正确的。一旦你开始寻找这种模棱两可的东西，这种模棱两可就会无处不在。

　　至于我，我会重新改写一下这个句子（斯特伦克和怀特都说过这句话），但翻译软件当然不会在两者中做选择。如果修改神经系统，将整个句子翻译过来看看是否有什么奇怪的地方，那就会非常低效，如果句子有问题的话，需要重新试一次。

　　谷歌的解决方案是所谓的“注意力机制”，将它内置在一个被称为“转换器”的系统中。它将每个单词与句子中的每一个单词进行比对，以确定它们是否会以某种关键的方式相互影响——例如，看“他”或“她”是否在说话，或者“银行”这个词是否以特定的方式表达。

　　当要翻译的句子被构造出来时，注意力机制会将每个词与其他词相比较。这个动图显示了整个过程。嗯，有点……

　　如果这一切听起来很耳熟，那可能是因为你在本周早些时候读到过这篇文章：一家竞争对手的翻译公司DeepL也使用了注意力机制。该公司的联合创始人提到了这个问题，因为他们也一直在努力解决此问题，甚至还提到了谷歌博客中的那篇文章（你只需要关注）——尽管很明显他们自己制作了自己的版本。这是一个非常有效的方法——甚至比谷歌的还要好。

　　谷歌的方法的有一个有趣的副作用，那就是它为系统的逻辑提供了一个窗口：因为转换器给每个单词与其他单词的匹配关系判定一个分数，你可以看到它认为与之相关的单词，或者可能是相关的：

　　很酷，对吧？嗯，我想是的。

       这是另一种模棱两可的说法，“它”指的是街道或动物，而只有最后一个词会把它去确定下来。我们会自动计算出来，但机器仍需学习。