基于孪生网络的无人机遥感图像拼接

作者：李嘉诚; 朱福珍^*

来源：黑龙江大学自然科学学报, 2023, 40(04): 496-504.

DOI：10.13482/j.issn1001-7011.2023.08.036

• 无人机遥感图像
• 图像拼接
• 孪生网络
• 图像配准

无人机(Unmanned aerial vehicle, UAV)遥感图像拼接是指将两幅或多幅具有相似场景内容的高分辨率无人机遥感图像拼接为一幅包含更多信息的大视野图像，在军事和地理测绘等领域得到了广泛应用。传统算法通常依赖于手工特征，无法有效地提取弱纹理图像的特征。若图像之间视差较大时，会导致拼接无法进行。为了解决上述问题，基于计算机视觉组(Visual Geometry Group-16, VGG-16)网络结合孪生网络框架提出了一种用于无人机遥感图像拼接的有监督模型。基于VGG-16网络设计了权值共享的孪生特征提取网络，解决特征提取不充分的问题。设计了能够回归图像之间空间变换关系的回归网络，并使用分组卷积代替普通卷积以提升网络速度。同时，为了解决将图像之间真实变换关系作为标签的图像拼接数据集难以获取的问题，基于一定程度的仿射变换，构建了自己的数据集。实验结果表明，本方法在无人机遥感图像拼接的主观视觉效果以及客观评价指标上均有较好的结果，与ORB算法(Oriented FAST and rotated BRIEF, ORB)和CAU-DHE算法(Content-aware unsupervised deep homography estimation, CAU-DHE)相比，主观视觉上图像拼接精度提升，结构相似性分别提高了约12.4%和2.3%,均方根误差分别降低了约15.0%和4.4%。

• 出版日期2023
• 单位电子工程学院; 黑龙江大学