点是否在矩形中判断 改进投影变换和保留结构特征的拼接图像修复算法(4)

通过对比，可以发现传统的投影变换和改进的投影变换都实现了拼接图像的理想拼接，但是传统的投影变换对拼接图像非重叠区域形变严重，而改进的投影变换可以实现拼接图像重叠区域到非重叠区域的平滑过渡；并且后者相较于前者减少了拼接图像四周的黑色区域，为之后的修复提供了更好的条件。其中，图4（e）和图4（f）采用本文提出的SPHP+SSC方法，不仅保留了拼接图像四周像素，并且在未引入明显形变的情况下实现了拼接图像矩形修复。

针对已经完成拼接的边界不规则图像，选取数据集[14]中三组图片进行说明。实验主要与经典的Criminisi算法[12]、Komodakis算法[13]和Adobe Photoshop CS5（Content Aware Fill）进行比较，如图5所示。

比较不同方法，其中Criminisi算法（图5（b）列）修复后图像四周不同程度地出现了不确定的内容，修复的错误较多；Komodakis算法（图5（c）列）修复后图像四周出现了不同程度的模糊，其中第二幅图像上部分的木头引入了多余的结构信息，第三幅图像中间部分在修复后出现了原图像中不存在的多余路灯；图5（d）列中第一幅图像的四周也出现了模糊和不确定的内容，例如，在白云的地方出现了石头的像素，在第二幅中左上角出现了小孩子的衣服，不够合理，在第三幅中也出现了多余的路灯。对比本文提出方法，较好地解决了上述算法出现的问题，保留了原图像中全部内容信息和结构信息，修复图像四周内容清晰，没有模糊内容的产生，没有出现不合理的内容。

本文算法不仅能更好地满足人眼视觉效果要求，而且在客观评价指标上优于以上相关算法，如表2所示。通过峰值信噪比（Peak Signal?to?Noise Ratio， PSNR）的比较，可以看出本文方法处理后的图像与原图像之间失真更小；通过结构相似性（Structural Similarity， SSIM）的比较，可以看出本文的方法更好地保留了拼接图像的结构信息。

4 结 语

本文针对传统投影变换，Criminisi算法和Komodakis算法的不足，提出采用形状保留半投影变换（SPHP）和能量感知的细缝段裁剪（SSC）进行图像拼接和拼接后图像修复，有效实现了拼接过程中重叠区域精确配准，非重叠区域形变最小；修复后图像结构信息保持良好，边界清晰，图像质量更高。

注：本文通讯作者为吕晓琪。

参考文献

[1] SZELISKI R. Image alignment and stitching： a tutorial [J]. Foundations & trends in computer graphics & vision， 2006， 2（1）： 273?292.

[2] 王娟，师军，吴宪祥.图像拼接技术综述[J].计算机应用研究，2008，25（7）：1940?1943.

[3] BROWN M， LOWE D G. Automatic panoramic image stitching using invariant features [J]. International journal of computer vision， 2007， 74（1）： 59?73.

[4] BROWN M S， CHIN T J， ZARAZA J， et al. As?projective?as?possible image stitching with moving DLT [J]. IEEE transactions on pattern analysis & machine intelligence， 2014， 36（7）： 1285?1298.