点是否在矩形中判断 改进投影变换和保留结构特征的拼接图像修复算法(2)

0 引 言

图像拼接是将两幅或者多幅有重叠部分的图像叠加成一幅大型的具有较宽视角的图像，目前已广泛应用于机器视觉、医学图像处理、遥感数据分析等领域[1?2]。由于拍摄时刻、视点、设备的差异，浮动图像往往存在尺度变化[3]、透视形变、扭曲等差别。为了解决上述问题，文献[4]提出采用Moving DLT（Direct Line Transform）方法消除重叠区域的鬼影问题，但是对非重叠区域进行了过渡的拉伸。文献[5]提出SPHP（Shape Preserving Half Projective）变换，将单应性矩阵分为两个部分，分别执行投影变换和相似变换，最终实现拼接图像最少的形变和拼接结果更大的视角。拼接后的图像不可避免地会有不规则的边界产生[6]，然而人们的生活经验中，照片都是以矩形存在。文献[7]提出细缝裁剪算法，通过能量映射函数确定视觉显著的内容，利用动态规划算法查找能量最小的像素线，通过不断删除或复制这些低能量线实现图像缩放，但是只能应用矩形图像。文献[8]提出基于细缝线段（Seam Segment Carving，SSC）的图像裁剪算法，实现变换矩形图像到指定形状。文献[9]对拼接结果采用基于网格弯曲的图像形变算法，实现全景图像的修复，获得了较好的视觉效果。

影像修补（Image Completion）技术应用于移除影像中部分内容、修补照片中的瑕疵等，近些年也被应用到拼接图像处理中[10?11]。文献[12]提出利用优先权决定填补顺序对已知区域和待填补区域边缘线上的点都计算其优先权，共同决定填补的可信度和线性强度，但是在保留缺失区域结构信息的同时，也易修补出多余的线性结构。文献[13]提出马尔可夫随机场模型修补影像的方法，利用节点间相互传递信息同时改变接收到信息节点候选区块的可信度，迭代处理所有节点直到候选区块达到稳定为止，但是存在搜索范围过大，效率过低。文献[14]提出首先预测缺失区域在填补后的好坏程度，然后根据预测结果找到一个矩形，要求包含最多的已知区域和品质较好的未知区域，之后通过影像填补的方法进行填充，但是由于只是对矩形内的部分完成修补，所以仍然会损失一部分已知区域。endprint

根据传统投影变换、直接裁剪、样本块图像修复的特点和不足，提出采用形状保留半投影（SPHP）变换和细缝段裁剪算法（SSC）实现拼接图像的矩形修复，提高浮动图像和参考图像重叠区域的配准精度，减少非重叠区域的扭曲形变和边缘缺失像素面积；通过自定义边界增强能量函数，能够有效保护视觉敏感的边缘和结构信息，扩充后的图像具有更宽的视角和更好的视角效果。

1 拼接图像空间变换

1.1 全局投影变换模型

1.2 几何误差修正

由于两幅配准图像之间存在旋转、比例和扫描误差等因素，图像会出现相对几何形变，它降低了图像的信噪比和各项性能指标，甚至可能导致图像拼接失败。为了提高重叠区域配准的准确率，引入单应性矩形几何误差，文献[5]提出假设对图像坐标的扰动为高斯噪声，通过最小二乘法计算式（2）的几何误差，避免求解8次多项式的迭代过程陷入局部最优。采用旋转坐标系统的方式，将坐标[（x，y）]转换到新的坐标系下[（u，v）]，坐标变换如下：

1.3 SPHP投影变换

2 拼接图像矩形化扩充

2.1 细缝段裁剪（Seam Segment Carving）算法

细缝段是一条由相互连接的像素组成的低能量通路，由相互连接的像素[s1，s2，…，sn]组成，采用如下方法记录一条细缝段：[SX，n（st，ed）]。其中，[X]表示细缝段的方向，取值为L/R/T/B，分别表示垂直方向（左Left和右Right）和水平方向（上Top和下Buttom）的细缝段；[n]表示细缝段的大小，即包含了多少个像素；[（st，ed）]表示细缝段在行和列方向的开始位置和结束位置。