目的像对稠密匹配是3维重建和SLAM(simultaneous localization and mapping)等高级图像处理的基础,而摄影基线过宽、重复纹理、非刚性形变和时空效率低下等问题是影响这类方法实用性的主要因素,为了更好地解决这类问题,本文提出一种面向重复纹理及非刚性形变的高效稠密匹配方法。方法首先,采用Deep Matching算法获得降采样后像对的匹配点集,并采用随机抽样一致算法剔除其中外点。其次,利用上一步得到的匹配结果估计相机位姿及缩放比例,以确定每个点对稠密化过程中的邻域,再对相应点对的邻域提取HOG描述符并进行卷积操作得到分数矩阵。最后,根据归一化后分数矩阵的数值以及下标距离的方差确定新的匹配点对以实现稠密化。结果在多个公共数据集上采用相同大小且宽高比为4∶3的像对进行实验,实验结果表明,本文方法具备一定的抗旋转、尺度变化与形变的能力,能够较好地完成宽基线条件下具有重复纹理及非刚性形变像对的匹配。与DeepMatching算法进行对比实验,本文方法在查准率、空间效率和时间效率上分别提高了近10%、25%和30%。结论本文提出的稠密匹配方法具有较高的查准率和时空效率,其结果可以运用于3维重建和超分辨率重建等高级图像处理技术中。
目的使用单幅RGB图像引导稀疏激光雷达(light detection and ranging,LiDAR)点云构建稠密深度图已逐渐成为研究热点,然而现有方法在构建场景深度信息时,目标边缘处的深度依然存在模糊的问题,影响3维重建与摄影测量的准确性。为此,本文提出一种基于多阶段指导网络的稠密深度图构建方法。方法多阶段指导网络由指导信息引导路径和RGB信息引导路径构成。在指导信息引导路径上,通过ERF(efficient residual factorized)网络融合稀疏激光雷达点云和RGB数据提取前期指导信息,采用指导信息处理模块融合稀疏深度和前期指导信息,并将融合后的信息通过双线性插值的方式构建出表面法线,将多模态信息融合指导模块提取的中期指导信息和表面法线信息输入到ERF网络中,提取可用于引导稀疏深度稠密化的后期指导信息,以此构建该路径上的稠密深度图;在RGB信息引导路径上,通过前期指导信息引导融合稀疏深度与RGB信息,通过多模态信息融合指导模块获得该路径上的稠密深度图,采用精细化模块减少该稠密深度图中的误差信息。融合上述两条路径得到的结果,获得最终稠密深度图。结果通过KITTI(Karlsruhe Institute of Technology and Toyota Technological Institute at Chicago)深度估计数据集训练多阶段指导网络,将测试数据结果提交到KITTI官方评估服务器,评估指标中,均方根误差值和反演深度的均方根误差分别为768.35和2.40,均低于对比方法,且本文方法在物体边缘和细节处的构建精度更高。结论本文给出的多阶段指导网络可以更好地提高稠密深度图构建准确率,弥补激光雷达点云稀疏的缺陷,实验结果验证了本文方法的有效性。
