您好！欢迎访问云南省人工智能重点实验室
论文列表
论 文 作 者： |
王红斌*，张盼盼，李华锋 |
|
论 文 名 称： |
多头注意机制的多粒度文本-图像对齐 |
|
论文发表刊物： |
昆明理工大学学报：自然科学版（2017） |
|
论文发表时间： |
2023 |
|
卷 号 页 码： |
|
|
论 文 描 述： |
|
|
收 录 情 况： |
|
| 论 文 摘 要： |
|
| 基于文本的人物图像搜索任务存在文本和图像细粒度特征提取以及消除文本-图像模态间差距等方面的挑战:本文针对全局特征不足以表示全面的文本和图像模态特征的问题,提出了多头注意机制的多粒度文本-图像对齐方法,该方法引入多头注意力机制,在考虑全局匹配的基础之上,同时考虑局部图像特征和局部文本特征之间的匹配,并对局部图像特征和局部文本特征应用多头注意力机制,来获取文本和图像模态内的关系信息,提出模态间关系模块来获取两个模态之间的关系信息,使提取到的局部图像特征和局部文本特征自适应地对齐,从而提升基于文本的人物图像搜索任务的整体效果.在公共数据集 CUHK-PEDES 上进行了实验验证,模型的总体性能较 baseline 提高了3.0%,由此表明本文提出的模型在基于文本的人物图像搜索任务中的有效性。 | |
| 点击此处下载文章内容 | |
