基于鲁棒判别式约束的字典学习算法研究

第 1 章 绪 论1.1 课题研究背景及意义随着信息技术的发展和应用，人们的生活越来越数字化、网络化和电子化，随之产生海量的数据，特别是大量的图像和视频数据在政府、军队、银行、社会福利保障、零售、电子商务和安全防务等领域中具有广阔的应用前景。因此，如何有效地利用这些海量数据对研究者是一个很大的挑战。最近，神经生物学的研究表明人类视觉系统采用稀疏表示策略处理外界刺激[1,2]。由于自然图像中含有大量的冗余信息，而稀疏表示策略使得人类可以利用有限的资源对信息进行高效的处理。因此，稀疏理论已经被广泛的应用于图像处理、模式识别和计算机视觉等领域[3-5]。然而，Zhang 等[12]认为是协同表示机制而不是1l 范数约束提高分类的性能，并在此基础上提出基于协同表示的分类算法（Collaborative Representation basedClassification, CRC）。此后，研究者提出许多改进的基于协同表示的分类方法[13-16]。其中，Xu 等[17]提出的两阶段测试样本表示方法，也属于协同表示方法的一种，在人脸识别等应用中取得较好的分类性能。此外，文献[18-20]都利用两阶段思想在图像超分辨率重构和人脸识别领域中也取得较好的性能。最近研究结果表明，利用从训练样本中学习的字典比直接利用训练样本能够取得更好的性能[21-23]。因此，作为稀疏理论中的一个重要研究分支，基于字典学习的模式分类问题，也即判别字典学习模型受到越来越多研究者的关注。判别字典学习的主要目的是从训练数据中学习字典，使其尽可能地保持训练数据的特征，同时又具有一定的判别性。判别字典学习算法的核心问题是如何设计判别式模型，增强字典的判别性，提高基于字典学习的模式分类性能。目前，判别式模型的设计主要有两种方式：一是对编码系数进行约束，通过利用训练样本的结构及类标等特征设计判别式，提高编码系数的判别性，增强基于字典学习的模式分类性能。然而，由于环境和网络传输等因素的影响，实际获得的数据往往不能真实地反映数据自身的特征属性。此外，训练数据的特征一旦确定，在字典学习过程中便无法更改，缺乏自我调节能力，影响判别式的鲁棒性，在一定程度上降低基于字典学习的模式分类性能；二是对字典中的原子特征进行约束，引入原子的自相关性和重构性等特征设计判别式，提高基于字典学习的模式分类性能。虽然原子特征具有一定的自适应性和鲁棒性，但是如果数据的结构特征非线性的嵌入到高维空间中，基于原子自相关性和重构性约束的判别式并不能反映数据间的结构特征，也在一定程度上降低了字典的判别性能。因此，如何设计鲁棒的判别式模型是基于字典学习的模式分类算法需要解决的重点和难点问题之一，这也是本文要研究的........1.2 字典学习算法概况字典学习是稀疏理论中的一个重要的研究方向，其主要目的是利用一定的策略获得测试样本的最优表示。由于在许多领域中都取得较好的性能，研究者提出许多字典学习算法，并把它们应用于人脸识别和分析[30-32]、图像的压缩[33]和重绘[34]、图像的降噪[35,36]和模糊[37,38]、图像的超分辨率重建[39,40]、图像分割[41,42]、模式分类[43,44]和聚类[45,46]等领域中。对于字典学习算法的研究进展及综述见文献[47-53]。判别字典学习是字典学习理论中一个重要研究分支，其主要的应用领域是模式分类，核心问题是如何设计判别式提高字典的判别性能。由于本论文主要研究判别字典学习模型的构建，因此，字典学习算法的概述也主要关注判别字典学习算法。根据字典学习模型的不同，判别字典学习算法大致可以分为五类：共享判别字典学习算法、特定类判别字典学习算法、共享和特定类判别字典学习算法、辅助判别字典学习算法和域自适应判别字典学习算法。在基于原子特征约束的判别字典学习算法中，利用共享字典对测试样本进行稀疏表示，然后根据表示结果对测试样本进行分类。因此，原子的自相关性越小，字典的判别性就越高。为此，研究者提出许多基于原子自相关性特征约束的共享判别字典学习算法[78-81]。Bao 等[81]利用原子的自相关性特征设计判别式，并提出了一种全局优化方法，提高字典的判别性能。然而，上述算法忽略了训练样本和字典的结构特征，在一定程度上降低字典的判别性能。...........第 2 章 Profiles 与原子的关系2.1 引言目前，为了提高字典的判别性能，研究者利用编码系数和训练样本的特征设计了许多判别式模型。典型算法有 Zheng 等[68]提出的 Graph-SC 算法，其利用训练样本的结构特征和编码系数设计判别式，使得字典尽可能地保持训练样本的结构特性，增强字典的判别性能。Zhang 等[60]提出的 D-SVD 算法利用训练样本的类标和编码系数构建分类误差项，促使同类的训练样本对应的编码系数尽可能地相似，增强编码系数的判别性能。最近，编码系数矩阵的行向量逐渐引起研究者的注意，并利用其设计原子选择和更新算法。Lu等[27]首次利用编码系数矩阵的行向量设计自适应原子个数选择算法。Sadeghi 等[28]把字典学习中编码系数矩阵的每个行向量定义为一个 profile，并把它应用到原子更新算法中。但是，利用编码系数的行向量结合其它特征设计判别式模型还未引起研究者的关注。在字典学习理论中，编码系数与训练样本是一一对应的，并反映该训练样本使用原子的情况。目前基于编码系数和训练样本特征约束的判别式的主要目的都是促使同类训练样本对应的编码系数尽可能地相似，提高字典的判别性能。根据 profiles 的定义，编码系数矩阵的行向量与原子是一一对应的，并且 profiles 可以反映训练样本集合使用对应原子的情况。因此，可以根据profiles 的定义，推导出 profiles 与原子间的相似性关系。.........2.2 相关工作介绍稀疏表示是机器学习和计算机视觉领域的研究热点，其核心思想是利用一组过完备基将输入信号线性表述出来，获得的系数可以在满足一定稀疏度情况下，获得对输入信息的近似表示。然而，研究者发现，尽管稀疏表示的目的是重建，但其表示结果却具有一定的判别性，能够应用于模式分类领域中。为此，研究者提出了许多基于稀疏表示的模式分类算法。根据稀疏表示系数约束的不同，基于稀疏表示的分类模型可以分为以下两种。为了更好地表示输入数据，研究者提出字典学习模型，其基本思想是从训练数据集合中学习一个字典，使其能够重构训练数据集合，并使得重构误差尽可能地小。虽然字典学习的主要目的是重构训练样本，但其也具有一定的判别性能。因此，判别字典学习算法受到越来越多研究者的关注，并通过设计不同的判别式模型提高字典的判别性能。字典是从训练样本中通过一定的策略学习得到的，不同的算法获得的字典具有较大的差异，其对测试样本的分类策略也有所不同。本节介绍两类常用的判别字典学习算法：第一类是共享判别字典学习算法的分类方法；第二类是特定类字典学习算法的分类方法。其它判别字典学习算法的分类大多是上述两类分类方法的改进和推广。.........第 3 章 基于自适应局部特征约束的字典学习算法.........333.1 引言 .... 333.2 相关工作介绍 ....... 343.3 ALC-DL 算法的目标函数 ........ 363.4 ALC-DL 算法的求解 ...... 383.5 ALC-DL 算法与相关算法的关系 ...... 413.6 实验结果...... 433.7 本章小结...... 51第 4 章 基于原子局部特征和类标嵌入约束的字典学习算法...........524.1 引言 .... 524.2 相关工作介绍 ....... 534.3 LCLE-DL 算法的目标函数 ...... 554.4 LCLE-DL 算法的求解 .... 594.5 LCLE-DL 算法与相关算法的关系 .... 624.6 实验结果及分析.... 654.7 本章小结...... 78第 5 章 基于 PROFILES 的 FISHER 判别和局部特征约束字典学习算法 .........795.1 引言 .... 795.2 相关工作介绍 ....... 815.3 FDLC-DL 算法的目标函数...... 845.4 FDLC-DL 算法的求解 .... 925.5 FDLC-DL 算法与其它算法的关系.... 945.6 实验及结果分析.... 97第 5 章 基于 Profiles 的 Fisher 判别和局部特征约束字典学习算法5.1 引言为了提高判别字典学习算法的分类性能，研究者提出利用编码系数结合其它特征设计判别式或编码系数正则项，然后利用编码系数的判别性设计分类器对测试样本进行分类。通常，利用编码系数设计判别式或正则项有以下几种方法：（1）编码系数的正则项常见的有0l ，1l 和2l 范数约束[54,68,104]。在字典学习中，对于编码系数进行范数约束是一种通用形式。一般情况下，0l 和1l 范数约束计算量较大，获得的编码系数具有一定的系数性，2l 范数约束的计算量较小，但是获得的编码系数不具有系数性。此外，非负约束[57]和低秩约束[58]也常用于编码系数的正则项约束中。（2）利用编码系数和训练样本的类标构造判别式，促使同类训练样本对应的编码系数尽可能地相似，增强编码系数的判别性能，典型算法包括 D-SVD[60]算法。该类算法的主要问题是忽略训练样本的结构特征，可能导致字典不能有效地提取训练样本的结构特征，降低了字典的判别性能。（3）利用编码系数与训练样本的结构特征设计判别式，促使相似的训练样本对应的编码系数也相似，增强编码系数的判别性能，典型算法包括Graph-SC[68]算法。该类算法的主要问题是训练样本的结构特征易受噪声和遮挡等因素的影响，降低了判别式的鲁棒性，也影响字典的判别性能。（4）利用 Fisher 准则与编码系数设计判别式，通过计算同类训练样本对应编码系数的类内散布矩阵和不同类训练样本对应编码系数的类间散布矩阵，使得同类训练样本对应编码系数比不同类的更相似，增强编码系数的判别性，典型算法包括 FDDL[103]算法。该类算法的主要问题是忽略了编码系数自身的结构特征以及原子的局部和类标特征，也可能降低字典学习算法的分类性能。

........结 论字典学习是模式识别和计算机视觉等领域中的研究热点，判别字典学习算法是字典学习的一个重要研究方向，其核心问题是如何设计判别式提高字典学习算法的分类性能。目前常用编码系数或原子自相关性等特征与训练样本的特征设计判别式。但是，训练样本易受光照和遮挡等因素的影响，导致直接提取训练样本的特征与实际存在误差。虽然通过学习得到的字典对于训练样本的光照和遮挡等具有一定的鲁棒性，但是直接利用训练样本特征设计判别式，并使字典在学习中保持该特征，降低了判别式的鲁棒性和字典的判别性能。此外，虽然原子的自相关性特征具有一定的自适应性，如果数据的结构特征非线性的嵌入在高维空间中，基于原子自相关性特征约束的字典学习算法并不能真正地反映训练数据间的结构特征，也会降低字典的判别性能。因此，如何设计鲁棒的判别式模型成为了本文研究的核心问题。本文首先从提高判别式的鲁棒性入手，提取 profiles 和原子的类标和结构特征，利用拉普拉斯图、流形学习和 Fisher 准则等理论构造判别式模型，增强字典的判别性能。以提高字典学习算法的分类性能为主要目的，提出三个基于鲁棒判别式约束的字典学习算法并给出相关的理论分析和实验验证，取得一定的研究成果和进展。本论文的主要创新点如下：（1）推导出 profiles 与原子的相似性定理，也即相似的 profiles 对应的原子也相似，反之亦然。在此基础上，设计原子局部特征约束的判别式模型，把训练样本的局部特征约束转换为原子的局部特征约束，增强判别式的鲁棒性。该模型不仅能够自适应地继承训练样本的结构特征，而且还可以保持原子自身的结构特征，提高字典的判别性能。（2）构造基于原子局部特征和原子类标嵌入约束的字典学习算法，把训练样本类标与编码系数间的关系转换为原子类标与 profiles 间的关系，并通过双重构约束模型促使局部特征与判别信息在字典学习过程中相互传递，增强判别式的鲁棒性。该算法不仅能够促使同类的原子尽可能地重构某一类训练样本，而且还可以促使编码系数矩阵尽可能地为块状对角矩阵，提高字典学习算法的分类性能。（3）构造 profiles 的基于 Fisher 判别准则和结构特征约束的判别式模型，把训练样本与编码系数的特征约束转换为原子与 profiles 的特征约束，增强判别式模型的鲁棒性。profiles 的基于 Fisher 判别准则约束的判别式模型促使同类原子对应 profiles 的类内散度尽可能地小和不同类原子对应 profiles 的类间散度尽可能地大，增强编码系数的判别性能。Profiles 的基于结构特征约束的判别式模型不仅能够保持编码系数的结构特征，而且能够减少原子间的自相关性，提高字典的判别性能。..........参考文献（略）