您好！欢迎访问云南省人工智能重点实验室
论文列表
论 文 作 者： |
张迎晨,高盛祥,余正涛,王振晗,毛存礼 |
|
论 文 名 称： |
融合BERT与词嵌入双重表征的汉越神经机器翻译方法 |
|
论文发表刊物： |
计算机工程与科学（2017） |
|
论文发表时间： |
2023 |
|
卷 号 页 码： |
|
|
论 文 描 述： |
|
|
收 录 情 况： |
|
| 论 文 摘 要： |
|
| 神经机器翻译是目前主流的机器翻译方法,但在汉-越这类低资源的机器翻译任务中,由于双语平行语料规模小,神经机器翻译的效果并不理想。考虑到预训练语言模型中包含丰富的语言信息,将预训练语言模型表征融入神经机器翻译系统可能对低资源的机器翻译有积极作用,提出一种融合 BERT 预训练语言模型与词嵌入双重表征的低资源神经机器翻译方法。首先,使用预训练语言模型和词嵌入分别对源语言序列进行表示学习,通过注意力机制建立2种表征之间的联系后,使用拼接操作得到双重表征向量;然后,经过线性变换和自注意力机制,使词嵌入表征和预训练语言模型表征完全自适应融合在一起,得到对输入文本的充分表征,以此提高神经机器翻译模型性能。在汉越语言对上的翻译结果表明,相比基准系统,在包含 127 000个平行句对的汉越训练数据中,该方法的 BLEU 值提升了1.99,在包含70 000 个平行句对的汉越训练数据中,该方法的 BLEU 值提升了 4.34,表明融合 BERT预训练语言模型和词嵌入双重表征的方法能够有效提升汉越机器翻译的性能。 | |
| 点击此处下载文章内容 | |
