| 吴霖,陈杭英,李亚*,余正涛,杨晓霞,王振晗. | |
| 抑制无监督神经机器翻译模型退化的简单方法 | |
| 中文信息学报 | |
| 2022 | |
| 在中英语料下复现 Facebook 提出的无监督神经机器翻译方法时,我们发现模型出现了退化现象。该文分析了退化的可能原因并提出三种简单方法来抑制模型退化。方法一,遮蔽非目标语输出;方法二,双语词典逐词翻译退化译文;方法三,在训练过程中,添加 10万句对的平行语料。结果显示,三种方法都能有效抑制模型退化。在无监督条件下,方法二的性能更好,BLEU值为 7.87:在 10万语料的低资源条件下,方法一效果更好,BLEU 值为14.28,该文还分析了产生此现象的原因。 | |
| 点击此处下载文章内容 | |