您好！欢迎访问云南省人工智能重点实验室
论文列表
论 文 作 者： |
王家琪,朱俊国,余正涛 |
|
论 文 名 称： |
基于梯度权重变化训练策略的低资源机器翻译 |
|
论文发表刊物： |
计算机科学与探索（2017） |
|
论文发表时间： |
2023 |
|
卷 号 页 码： |
|
|
论 文 描 述： |
|
|
收 录 情 况： |
|
| 论 文 摘 要： |
|
| 近年来 Transformer 等神经网络模型在机器翻译上取得了显著的成功，但训练这些模型需要依靠丰富的有标签数据，而低资源机器翻译因受限于平行语料库的规模，导致训练得到的模型表现不佳，同时很容易针对高频词汇过度拟合，从而降低模型在测试集上的泛化能力。为了缓解这一现象，本文提出了一种基于动态梯度权重变化的训练策略，在前期不断增大梯度的权重系数，削弱模型在高频词汇上的过度关注,在训练后期则降低权重系数以帮助模型收敛。我们在三个低资源的双语数据集上进行了翻译任务实验，所提出的方法在测试集上分别相对于基线模型提升了0.72、1.37和 1.04个 BLEU 得分。 | |
| 点击此处下载文章内容 | |
