基于关键特征点的多信息融合人脸识别研究

第1章 绪论

1.1 课题研究的背景和意义

如今社会，技术越来越发达，为了应对频繁发生的刑事案件、恐怖事件，人脸识别技术得到了众多研究者的青睐。人脸识别技术按照应用领域的不同可以分作以下的两种类别：应对于恐怖案件、犯罪事件或者证据获取等警方所用的技术，和应对于公司制度保障、商业机密方面的民用技术。前面一种的技术的运用相比于后一种更加繁琐，而且对准确率的要求会更加严格。后一种的运用场景与第一种相比，主要是为了减少人力方面的付出，故准曲率方面的要求会宽松一些。在判断的运算中，计算机利用人脸识别软件对输入信息中的数据做数据采集、面部定位、预操作、 和数据匹配等操作，从而甄别图像中的人。 人脸识别技术这一研究方向目前的成果。

1．香港研究并发明了极其准确的脸部认证软件

最近一段时间，香港中文大学的专家研究并发明创造了目前世界上最准确的脸部认证软件。本软件的准确率极高，有可能为人们在安全性领域带动巨大的革命。这个软件在世界测试的过程中，准确率可以达到 99%以上，高过目前世界上所以的此类软件，并且也高于人们自身的97%的准确率。

测试中，该软件可以从几千张的人脸图片中，准确的找到为同独自一人脸的图像，并且其抗环境因素干扰的能力特别强，不会受到光线等因素的干扰。

2．英国警方测试世界最快人脸识别技术

英国如今有着多于六百多万的摄像头在一起运行，所以英国成为了最受注视;的国家。为了进一步的让各种犯罪案件的发生率降低，其如今已经确定作为英国第一个使用 Neoface 的官方部门，其期望使用这个方式完全转变抓捕犯人的方法，进而提升效率。此系统的优势在于其识别速度十分快，能在 9 万多的图片中，快速的识别出上万个要识别的人脸。

1.2 人脸识别技术的研究现状与展望

1.2.1 研究现状与应用

针对二维人脸识别技术，国外投入在这个领域的时间比较早，并且投入了许多精力，故已经取得了很大的进展。伴随科技的进步，许多该技术所依赖的领域已经可以投入使用，故近几年，不但算法研究上取得了比较大的进步，而且许许多多成熟稳重的应用也出现在人们的视野中，为人们的生活提供者便利。鉴于此，国内众多学者也相继开始对人脸识别技术进行研究。其中主要包括清华大学、哈尔滨工业大学、北京工业大学等。目前主要的研究方法有：基于几何特征的人脸识别方法；基于主成分分析的人脸识别方法；基于奇异值分解的人脸识别方法；隐马尔科夫模型方法；基于图像重建的人脸识别方法。

近几年来，二维人脸识别的研究算法更多的倾向于基于稀疏表示的识别方法，正因为稀疏表示方法本身存在的优势，自2009年稀疏保持投影方法出现后，越来越多的改进方法开始出现，如加权稀疏表示，结构稀疏表示等方法，最近陈丽霞等又通过融合监督将维的方法对稀疏表示进行改进，取得了很好的识别效果。然而，虽然二维人脸识别技术已经取得的一定的成果，但是许多算法的研究都是在特定环境在进行的，仍然无法克服因光照、姿态、表情等环境因素的影响，也就导致对于二维人脸识别技术早已出现严重瓶颈，制约着其进一步的发展。

三维识别尽管把该技术带往了一个几乎可以说是全新的领域，不过其所面临的困难也是巨大的。主要有以下几种：1．信息来源方面的困难。2．海量存储和计算的困难。3．对人的生理认识的不足。4．实现方式和手段的不足。

第2章 人脸识别相关理论

2.1 引言

在人脸识别过程中主要涉及三个部分，分别为人脸检测、特征提取以及分类识别。本文改进算法主要针对特征提取和关键特征点定位两个方面，故这里对改进算法中相关理论知识进行介绍。一方面是针对特征提取过程中，由于数据维数过低包含信息较少或在原始的线性空间中数据线性不可分，通常采用核方法将原始数据映射到高维空间，使其变得线性可分。故这里对一些基本的核方法进行介绍。另一方面针对本文的关键特征点定位算法，检测到人脸信息后，我们往往要对人脸作预处理操作如滤波，这也是必不可少的一步，不仅影响特征点定位，也会影响后续提取和分类的效果。因此人脸图像预处理越来越得到研究学者们的重视，以保证特征提取算法不会因基础数据问题导致识别效果不佳。有效的预处理操作不仅能提高算法训练样本的可靠性和准确性，同时能够减少后面操作的实现复杂度，故这里对滤波去噪方法进行介绍，对比分析选取恰当的滤波方法。

2.2滤波去噪

恰当的预处理方法对于人脸识别算法的研究相当重要。通过预处理方法可以去除人脸图像中存在的孤立噪声，背景、服饰等干扰信息，尽最大可能减少环境因素对图像的影响，保留并增强有用的数据信息，从而提高人脸检测性，并提高图像信息质量以利于后续提取识别。

考虑到图像中包含的各种噪声干扰，我们需要采用有效的方法对图像执行滤波降噪处操作，来提高图像整体质量，以便于达到更好的识别效果，使用滤波的方式来消除噪声是十分有效的，通过对图像线性滤波处理能够降低或消除图像中存在的一系列噪声，其中较为常见的噪声有颗粒噪声、高斯噪声、椒盐噪声等。通常情况下我们首先需要分析判断图像中噪声所属类型，然后再根据噪声类型选取合适的滤波方法。线性滤波方法使用简便且执行效率较高，但是细节处理不够完善，易丢失边缘信息。相对于其他方法而言平滑滤波方法使用较为普遍，一是不能损坏图像的轮廓及边缘等重要信息；二是使图像清晰视觉效果好。下面具体描述三种常见的滤波方法。

1．线性滤波

常见线性滤波的方式有均值滤波、高斯滤波、维纳滤波等，接下来重点介绍均值和高斯滤波。 高斯滤波使用较多，选择它作为滤波器主要由于它属于低通滤波，这种方法通过计算标准差对图像平滑处理。将滤波区域像素点作加权处理，加权规则为越接近中心像素点分配权重值越大，然后再作平均计算。因此，同其它方法相比，通过该方法进行平滑处理依然能保留更清晰的边缘轮廓信息，不会失真。

另外一种典型的方式就是均值滤波，它通过以某像素点为中心给图像设置模板，然后对这个模板上的所有像素点作均值，并把该像素点的值赋值为计算得到的均值，具体如图2-2所示。

然而采用均值滤波的方法通常需要对像素点做均值操作，这样就会导致整个图像中所有像素点都是通过获取周围的点均值得到的，使得图像整体上变得不清晰。因此为了减少均值滤波所带来的不良影响，通常要对这种方法作一些改进，如对其进行加权处理，然而这种加权滤波方法的实现效果并不容乐观。所以为了本质上提高图像滤波效果，一种新的滤波去噪方式出现了，那就是中值滤波。

第3章 核的正交稀疏重构保持投影 ................. 16

3.1 引言 ............... 16

3.2 稀疏保留投影算法 .................... 16

第4章 三维人脸数据关键特征点定位算法 ................. 25

4.1 引言 ..................... 25

第5章 基于关键特征点的多信息融合人脸识别算法 .............. 37

5.1 引言 .................... 37

第5章 基于关键特征点的多信息融合人脸识别算法

5.1 引言

近些年来基于三维点云数据的人脸识别算法的研究越来越引起人们的关注，然而由于硬件设施的制约，对于三维人脸识别的研究一直处于理论阶段。不过随着科技发展三维扫描仪等设备的普及，使得实时化的三维人脸识别系统成为可能，然而三维人脸数据计算和存储困难依然存在。所以对将二维和三维两种模态信息融合起来的人脸识别算法研究已经开始成为人们关注的热点，充分利用三维点云模型与二维人脸信息各自的优势，能够有效的克服因光照、姿态、表情这三大因素的变化导致的二维人脸识别研究的限制，以便增强特征提取的鲁棒性和有效性。

经过多年的发展，在 NFC、国家自然科学基金等资助下，国内许多研究机构和组织对多种模态信息融合的人脸识别算法进行了相关研究，他们采用多种不同的方式将两种模态的信息(2D-3D)有效融合， 克服了因外界条件影响导致的非线性问题，并取得了理想的识别效果。天津大学研究团队通过将二维和三维人脸信息根据各自特点融合分析并进行有效的特征提取，最终达到了约98%的识别率。但是针对上面的方法依然还存在改进之处，值得我们深入进行研究。

本章提出了一种基于关键特征点的多信息融合人脸识别算法。通过将标记关键特征点的三维人脸模型映射到二维虚拟图像子集生成完备训练样本，并采用全局和局部加权融合的方法进行特征提取，最后获取融合多信息且具有较强聚类性的特征子空间进行人脸识别。

结论

在这个信息安全越来越被关注的时代，密码已经成为我们身边必不可少的东西，数字密码、指纹密码已经无法给我们更好的安全保障，然而人脸密码已经成为信息安全发展不可阻挡的趋势，因此对人脸识别的研究也越来越受到关注。针对稀疏保持投影(SPP)对原始样本进行稀疏重构时的误逼近问题以及二维人脸识别特征提取中因姿态光照出现的非线性问题，本文提出了三个创新点用于人脸关键特征点定位与特征提取，有效提高人脸识别算法的有效性。

1．提出一种核的正交稀疏重构保持投影(ODSPE)人脸识别算法。该算法利用核方法将人脸图像映射到高维特征空间使其线性可分变得更容易，尤其是那些在原本不可分的数据使其在高维线性空间变得可分，使得稀疏表示系数包含更多的鉴别信息，以便于更好的进行特征提取和识别。同时，重构稀疏系数权重，最大限度的向同类样本逼近，排除伪类样本的干扰，克服了因训练样本不太充足导致的缺乏类别信息问题。最后整体进行正交约束变换，使得稀疏保留投影矩阵能够保留更多的分类鉴别信息。通过在ORL和YALE_B人脸库中进行实验分析，ODSPE算法拥有良好的识别效果，相对于传统算法有更高的识别率与可行性，以及很好的应用前景。

2．提出了一种改进的三维人脸数据关键特征点定位算法。该算法通过中值滤波去除人脸深度数据中存在的孤立噪声防止噪声污染，然后使用二值化去除背景区域信息干扰，并根据水平、垂直积分曲线正确定位人脸所在区域，从而排除服饰、装饰等干扰信息，最后对人脸区域尽心分块，利用了候选块中包含的局部结构信息，综合深度信息和密度信息准确定位鼻尖点，坐标统一化配准三维人脸数据，根据人脸曲线定位关键特征点。与传统的特征点定位方法相比，能够很好的排除因服饰、姿态、以及人脸自身存在的干扰信息，大大提高了关键特征点定位的准确度，同时也提高了特征提取及识别的效率和鲁棒性。

3．提出了一种基于关键特征点的多信息融合人脸识别算法。一方面根据定位的特征点进行坐标统一化及模型配准，然后再次对三维人脸模数据作处理，获得充足的拥有不同姿态和光照强度且标记有特征点的多模态二维虚拟图像，从而提升人脸识别算法的鲁棒性；另一方面为了解决特征提取中存在的非线性问题，将得到的虚拟图像划分成包含聚类信息的子集。最后采用LFA进行特征提取，根据不同条件下特征点贡献度的不同进行加权处理，使得人脸局部;与全局;特征实现有效的加权融合。实验结果表明，本章提出的人脸识别方法能够很要的适应姿态和光照条件变化，取得较好的识别率。

综上所述，针对人脸识别过程中存在的一系列问题，三种算法从不同角度出发，对人脸识别算法进行优化，有效结合二维、三维人脸数据信息，大大提高了算法的鲁棒性和识别效果。

参考文献（略）