基于SIFT算法和图结构的全景图像拼接
1绪论
1.1研究背景及意义
图像拼接技术最早始于摄影技术，人们通过手工方式把具有重叠区域的图片拼接在一起来获得更宽视野的图像。随着信息技术和微电子技术的快速发展，很多领域都需要高分辨率、宽视野的图像如医学领域，、卫星遥感，同时数码摄像机的普及使得普通大众也可以方便地拍摄图像，但是要获得高分辨率图像，如果借助宽视野照片的摄影设备（如广角镜头、扫描式相机）来获得，这些设备价格高昂且操作复杂，甚至使图像边缘出现扭曲变形。然而，数字图像处理中的图像拼接技术能够使数码相机拍摄到的高分辨且视野较窄的图像拼接在一起，从而得到宽视野、高分辨率图像或全景图像。
随着图像拼接技术的发展，其应用也在工程实践和科研中得到普遍的推广。目前，图像拼接技术在民用领域得到广泛的应用，其应用主要体现在以下几个方面：
在医学领域内，医生利用超声波或显微镜等仪器拍摄图像或细胞图像时，然而，由于拍摄的视角较小或者拍摄到由多个小碎片图像形成的大目标图像，医生无法获得比较完整的数据或信息来诊断病人的病情，故把多个相邻的图像拼接成一幅宽视角的图像能帮助医生获取病人信息来诊断病情。如医生使用含有多个摄像机的内窥镜对病人进行微创手术，提高了手术的成功率。
在虚拟现实领域内，首先利用摄像机或照相机拍摄多幅含有重合区域的真实场景，然后通过计算机图像学中三位几何模型的绘制技术和图像的拼接技术建立虚拟场景。目前，图像拼接技术在虚拟现实领域内取得了一定成果，如神话电视剧中的背景图像或手机游戏背景。
在交通控制系统中，首先在十字路口的四个方向上各放置一个摄像机，然后把捕获的四个单独视频流利用图像拼接技术进行全景图像拼接，最后把构建的全景图像传送到指挥室。该种方法降低了传送的数据量，减少交警的分析判断时间，提高了交通控制效率。
在卫星遥感领域内，通过飞机或者人造卫星在高空中从多个角度拍摄或从多个场景拍摄图像，然后将拍摄得到的图像拼接成一幅宽视角、完整的全景图像。如图像拼接技术在生态环境污染检测、国土资源勘探、城市规划、植被资源调查等方面具有广泛的应用。
1.2论文结构
本论文一共分为五章，具体结构介绍如下：
1.绪论。本论文首先讲述了图像拼接技术的研究背景及其意义，然后介绍了图像拼接技术在国内外的研究现状和本论文所研究的主要内容。
2.全景图像拼接技术概述。简要描述图像拼接技术的四个过程理论知识，同时讲述了其常用的算法。
3.基于图结构的全景图像拼接。经过SIFT算法进行特征点的提取和RANSAC算法对特征点进行提纯及求其变换模型后，对图像进行拼接。然而因多种因素影响使拼接后的新图像产生明显的拼接缝，本文基于强制改正法提出了一种渐入渐出的三角函数强制改正拼接缝两侧的像素灰度值，使图像具有平滑的过渡。同时针对多幅无序图像的拼接，釆用了无向连通图结构的搜索算法深度优先遍历搜索算法，以实现全景图像的自动拼接。
4.结论与展望。总结本论文中所取得的研究成果，同时分析工作中存在的问题，并对未来图像拼接技术的研究提出展望。
2全景图像拼接技术概述
全景图像拼接技术是将一系列具有重叠部分的图像拼接成一幅具有宽视角、高分辨率且无缝隙的全景图像。图像拼接技术的实现主要可分为四个过程：图像采集、图像预处理、图像配准以及图像融合，其整体流程图如图所示：
图像采集是通过照相机获取待拼接的图像。图像预处理是针对采集的失真图像利用数字图像处理技术去除噪声和校正几何畸变。图像配准是图像拼接的关键技术之一，主要是分别提取图像旳特征信息，然后在空间上对图像进行匹配。图像融合是为了将匹配后的图像拼接得自然、无视觉误差，采用一定的算法将两幅待拼接图像结合在一起，以实现图像的无缝拼接。
2.1图像采集
图像釆集是图像拼接技术的首要步骤，不同的图像釆集方法将选择不同的拼接算法，使其拼接效果也不同。目前常用的图像釆集方法有两种：一种是使用专业设备（如广角镜头、扫描式相机）直接拍摄环境图像，生成全景图像。这种方法能够快速的生成全景图像且图像质量高，但是这些专业设备价格高昂，普通人群无法消费。另一种是釆用普通相机拍摄一系列具有重叠部分的图像，然后运用图像拼接技术将这些具有重叠部分的图像序列拼接成一幅宽视野、高分辨率的全景图像。然而，使用第二种方法采集图像时，相机的移动方式的不同决定着图像拼接时所釆用的投影方式，主要分为以下三种情况:
1.旋转照相机拍摄
该方法是将照相机固定放置在照相机的三脚架上，然后围绕光轴垂直方向旋转拍摄一系列图像序列。但是，照相机在拍摄时旋转角度不能过大以保证两张图像有重叠区域。采用该方式拼接图像之前，需要将平面图像进行圆柱投影，投影半径为相机焦距。
2.平移照相机拍摄
该方法是将照相机放置在平行滑轨上，然后平行移动照相机拍摄一系列图像序列。但是，平移距离不能过大以保证两张图像有重叠区域。釆用该方式采集的图像为平面图像，故采用平面投影模型。
3.手持照相机拍摄
手持相机拍摄照片是大多数群众采用的方法，摄影师可以按照某一路线进行拍摄，也可以在原地环视四周拍摄。但是，利用这种方式在拍摄照片时会产生光轴方向或光轴垂直方向上的旋转，同时因光照、位置的移动等因素，所得图像存在视角变换、旋转、色差等多种变化。本文所研究的就是采用手持相机拍摄。
2.2图像预处理
图像采集后，拍摄图像的亮度、形状、灰度等属性由于图像采集设备及拍摄角度等复杂因素的影响产生不同，故在图像拼接之前，先对图像进行预处理，从而减少运算量、提高匹配速度和拼接的准确度。由于釆集到的图像因灰度、光照等复杂因素影响，在图像拼接过程中的特征提取和视觉上有一定影响，故采用图像增强和图像锐化两种预处理过程。
2.2.1图像增强
图像增强是通过数字处理技术突出某些感兴趣的特征，压缩其他信息，以增强图像的辨识能力，使图像变得更加清晰。由于图像釆集设备及拍摄角度等因素的影响，使得图像对比度小，显得灰暗，不利于人眼观察，因此在图像拼接之前要通过图像增强技术对图像进行处理，以便得到视觉效果较好的图像，图像增强的方法根据所在空间的不同，可分为两大类：空域增强法和频域增强法。
3基于SIFT特征的图像配准..................25
3.1几种常用特征点的提取算法..........25
4基于图结构的全景图像拼接............43
4.1图像拼接与融合.......43
4.1.1强制改正法..........43
4基于图结构的全景图像拼接
4.1图像拼接与融合
首先利用SIFT算法提取图像的特征点，使特征点具有尺度不变性和对旋转、遮挡等不敏感等属性，然后采用BBF算法进行特征点的匹配，提高特征点的匹配速度，最后通过RANSAC算法对匹配点对进行提纯和构建图像序列之间变换矩阵，最终根据变换矩阵确定图像的重叠区域，完成图像的拼接。然而，由于图像釆集设备及拍摄角度等自然因素或人为因素的影响，使拍摄得到的图像在拼接后产生明显的拼接缝，故对融合后图像进行拼接缝的消除。
结论与展望
全景图像拼接技术是数字图像处理领域中的一个重要分支，同时也在图像处理领域中逐渐发展起来。目前，全景图像拼接技术已实际科研和工程实践中有着广泛的应用，主要运用在航空图像、医学显微图像、视频监控、虚拟现实等领域。在国内外研究者越来越多的关注和研究下，全景图像拼接技术也逐渐全面起来，应用变得广泛起来。通过阅读大量文献资料，本文主要研究了基于SIFT算法和图结构的全景图像拼接，对多幅无序的图像进行预处理和SIFT特征提取和匹配，同时釆用无向图的深度优先遍历搜索原理，自动的实现了全景图像的拼接。
本文的主要工作如下：
1.首先介绍全景图像拼接的研究背景和意义，同时讲述图像拼接技术在国内外研究现状。然后详细讲述了图像拼接技术的过程图像采集、图像预处理、图像配准和图像融合四个步骤。另外，一方面本文重点讲述了图像配准中基于灰度的图像配准、基于模型的图像配准、基于变换域的图像配准和基于特征的图像配准四种方法，分析了其优缺点，比较其特点，从而本文中应用了基于特征的配准方法来实现图像的拼接。另一方面本文重点讲述了图像融合算法中常用的几种方法，分析每种融合算法的优缺点，为以后改进图像融合算法和深入研究图像拼接技术提供基础。
2.针对复杂情况下获取的图像在图像融合后产生明显的拼接缝问题，本文提出了一种渐入渐出的三角函数强制改正拼接缝两侧的灰度值，达到消除拼接缝的目的。
3.利用无向图的深度优先遍历搜索原理对多幅无序的待拼接图像构造多幅图像间的匹配，最后自动地生成全景图像。
参考文献（略）