监控视频中异常事件检测方法研究

第一章 绪论1.1 研究背景随着我国社会经济的发展和硬件设施价格的下降，视频监控系统广泛应用在商场、银行、监狱和交通路口等场所，在维护社会治安稳固方面发挥着不容小觑的作用。目前的视频监控系统[1]仍属于传统的人工监控，通常在关键位置安装摄像机，通过传输设备将数据传到监控中心实时显示在监控屏幕上，监控人员通过观看监控屏幕对异常事件进行判断并对做出反应。该系统有以下局限性：首先，耗费人力，通常情况下需要监控人员轮流守候以保证监控可以全天候进行；其次，存在大量警告漏报，长期面对监控屏幕上的多个画面，监控人员很容易产生疲劳从而遗漏重要信息；最后，对异常事件没有预测作用，更多时候只能充当事后查询工具。计算机科技发展迅速，图像处理、机器视觉和模式识别等技术相应成熟稳重起来，为突破传统视频监控系统的局限性提供了可能，也使监控视频中异常事件的主动监控成为了可能。在智能视频监控系统中，可以对异常事件进行实时的监控，当有异常事件或者潜在威胁事件发生时，系统自动通知安防人员快速做出反应，采取相应措施，减少意外事故带来的损失甚至避免意外事故的发生。这样可以极大地提高社会安全水平，提升公民安全感，降低安防人员的劳动强度，减少公共损失。监控视频中异常事件检测是智能视频监控系统的关键组成部分，研究异常事件检测技术，提升它的检测性能和时间效率，具有重要的研究意义和实际意义。..........1.2 研究现状和难点目前，异常事件检测技术得到了世界范围的广泛研究以及特定场所的初级应用。1997 年，美国国防高级研究计划局（DARPA，Defense Advanced Research ProjectsAgency）与卡内基梅隆大学（CMU，Carnegie Mellon University）和麻省理工学院（MIT，Massachusetts Institute of Technology）等高等院校合作启动视觉监控工程（VSAM，Visual Surveillance And Monitoring ），它运用计算机视觉和模式识别等技术对战场上的异常时间全方位监控[2]。20 世纪伊始，欧盟国家启动了基于图像识别的上下文感知视觉项目（CAVIAR，Context Aware Vision using Image-based Recognition）主要分析商场内顾客的行为，监测闹市区抢劫偷盗和聚众闹事等异常[3, 4]。除了国家层面的重视外，近些年来世界各地的科研人员对异常事件检测技术兴趣盎然，计算机视觉类重要国际会议如 CVRP（Conference on Vision and Pattern Recognition）等都将异常事件检测作为重要的研究课题；国际著名期刊如图像与计算视觉（Image and VisionComputing）等出版了许多异常事件检测相关的论文和专利。相对于国外，我国监控视频中异常事件检测技术研究稍稍滞后，但是近年来我国对该领域的投入逐步增多，相关的研究机构也逐渐建立起来。中国科学院在智能视频检测方面成就卓越，下属研究所的模式识别实验室在相关邻域取得重要科研成果，胡卫明通过自组织神经网络模型模拟目标对象轨迹判别异常事件，其中的异常主要包括停车场中行为可疑的人和交通场景下运动方向异常的车等[5]。吴金勇的异常入侵事件检测方法达到实时监控的效果[6]。国内高校也是异常检测技术的重要力量。上海交通大学研发了城市交通监控系统，实时监控车辆和行为，并跟踪异常行为对象[1]。四川大学和香港大学研究人员提出光流法异常检测算法[7]。浙江大学研究人员采用动静态混合阀值系统，设计出新型智能视频监控系统，在应用中效果良好[8]。一个理想的异常事件检测算法不仅能准确检测异常事件，还能随着时间推移对自身进行有效更新。国内外研究人员虽然在异常事件检测方面取得了一些成果，但仍面临巨大挑战，除了摄像机角度多样、运动对象尺度变化和存在遮挡等问题带来的挑战外[9]，还存在着以下难点：第一，对基本事件的定义缺乏统一的观点。研究人员从不同的细分领域尝试对表示基本事件，目前基本事件的表示方法包括提取低层特征、进行轨迹跟踪和构建社会力模型等。第二，大部分算法不能实时检测。由于算法模型的复杂性和视频数据的不间断性，目前大部分算法很难做到这一点。第三，现有检测算法缺乏场景适用性，比如一个在行人场景下表现优秀的检测算法在车辆场景下并不一定能够取得同样好的检测效果。第四，大部分算法不能实时更新自身。目前，大部分的算法还停留在只使用固定的样本对模型进行训练的阶段，不能在检测过程中对自身模型进行更新。..........第二章 监控视频中异常事件检测综述本章从问题描述、事件的表示、异常检测模型的分类、經典的异常视频数据库以及检测方法的评价指标等方面对异常事件检测技术展开阐述。2.1 监控视频中的异常事件问题描述在监控视频中，将事件判断为异常事件是很主观的，取决于预期用途和特定情境。本文将异常事件定义为训练样本中没有出现过的事件。异常事件可以分为局部异常事件和全局异常事件，局部异常事件是指与正常的事件相比局部三维模式不匹配的事件，全局异常事件是指多个正常事件以错误的方式发生了交互。图 2.1 是数据集UCSD[12]（University of California，San Diego）的异常事件示例图，数据集来自人行道监控的拍摄画面。图（a-c）为局部异常事件示例，（a）中未发生任何异常，（b）中的汽车为局部异常事件，（c）中的汽车和骑自行车的人为局部异常事件，异常原因为汽车和骑自行车的人与训练数据集中的行人的三维模式不匹配；图（d-f）是全局异常事件示例，（d）中为出现任何异常，图中间的两个人相向而行是正常事件，（e）中两个人打招呼后相互交谈并有肢体接触，为全局异常事件，异常的原因为训练集中未出现此类交互方式，（f）中两个人背向而行是正常事件。异常事件检测的方法虽然多种多样，但是一般都会按照图 2.2 的基本流程[13]检测异常事件，基本流程具体如下：（1）图像预处理：为了减少原始监控视频噪声的干扰，我们会在预处理阶段对图像进行降噪处理，一般的降噪处理方法是用3 3的高斯核对图像进行高斯滤波。（2）基本事件表示：选取恰当的特征描述符对基本事件进行表示。由于基本事件的定义模糊，所以事件的表示方法也很多。（3）异常检测模型构建：选用恰当的建模方法对基本事件进行建模。（4）异常事件判断：为已建立的异常检测模型设定对于事件是否异常的评价标准，并对事件是否异常进行判断。........2.2 基本事件的表示如何对表示基本事件是异常检测过程中的关键问题。从是否跟踪的角度对现有方法进行分类，可以分为两类：跟踪的方法和非跟踪的方法。在跟踪的方法里，运动对象的轨迹一直被记录，在目标对象较少且遮挡较少的场景中比较适用；在非跟踪的方法里，将运动和纹理等特征应用到给定场景中。本文换一种思路，按照是否具有现实物理意义对事件的表示进行分类：没有物理意义的一类，使用低级的视觉特征表示基本事件；存在物理意义的一类，使用高级语义特征表示基本事件。基于低级视觉特征的事件表示的一般做法是利用重叠、非重叠或者时空兴趣点的方式采集视频块，将视频块视为基本事件，从视频块中提取低级视觉特征表示基本事件[14, 15]。目前，使用较多的低级视觉特征有光流、梯度和纹理等。异常事件的发生总会伴随速度的变化，由于光流[16, 17]是一种计算像素点瞬时速度的特征得到了广泛的应用。许多研究人员对原始的光流特征进行了改进，比如光流直方图[18, 19]（OFH，OpticalFlow Histogram）、多尺度光流直方图[20]（MHOF，Multi-scale Histogram ofOpticalFlow）特征等。方向梯度直方图[21]（HOG，Histogram ofOriented Gradient）能描述目标的运动，该特征也从二维平面特征向三维空间拓展，现在有 HOG3D[22]特征和极坐标下的HOG3D 特征[15]等。低级视觉特征描述基本事件，计算复杂度低，可以详细刻画对象局部的运动，但存在较高的噪声，缺乏物理意义。高级语义特征在一定程度上克服了低级视觉特征的缺点。..........第三章 基于分层特征的局部和全局异常事件检测.......133.1 问题描述........ 133.2 局部和全局异常事件检测流程........ 133.3 局部和全局异常事件检测方法........ 153.3.1 时空兴趣点的降噪处理......... 153.3.2 局部异常事件检测........ 173.3.3 全局异常事件检测........ 193.4 实验结果........ 253.4.1 实验结果展示....... 263.4.2 实验结果定量分析........ 323.5 本章小结........ 34第四章 基于改进单元分析的异常事件检测..........354.1 问题描述........ 354.2 基于单元分析的异常事件检测流程......... 364.3 基于单元分析的异常事件检测方法......... 364.3.1 特征描述符的计算........ 374.3.2 各特征的独立建模........ 394.3.3 异常事件的判断............ 414.4 实验结果........ 424.4.1 实验结果展示....... 424.4.2 实验结果定量分析........ 454.5 本章小结........ 47第五章 总结与展望.....485.1 工作总结........ 485.2 未来展望........ 48第四章 基于改进单元分析的异常事件检测在本章中，我们对基于前景对象运动、大小和纹理特征的单元分析异常检测技术[11]进行了研究，在原有的基础上，针对存在的特征描述符粗糙的问题做出了相应的改进。4.1 问题描述针对对象大小和纹理特征异常漏检的问题，Reddy[11]提出了一种基于前景对象运动、大小和纹理特征的单元分析异常检测方法。该算法将视频划分成非重叠单元（小块区域）作为异常事件分析的基本单位，借助前景掩码信息利用运动、大小和纹理三个低级特征对基本事件进行描述，各个特征独立建模并设计了运动分类器和大小、纹理分类器对异常事件进行检测。通过实验验证和算法推理，我们发现该方法存在由于描述符粗糙导致异常事件的漏检和误检问题。主要表现在两个方面：第一，运动特征描述符粗糙，将单元内前景的平均光流值作为运动特征，只能检测对象速度大小的异常，不能检测对象运动方向的异常。第二，纹理特征描述符粗糙，选取 4 个角度依次进行伽柏滤波并累加得到纹理特征，该特征只有四个维度，不能精确地区分正常和异常纹理。本章结合原有的框架，针对该算法存在特征描述粗糙的问题做了以下改进工作：第一，针对运动特征描述符较为粗糙的问题，本文提出了极坐标下的 HOG3D 特征[43]作为运动特征，这里仅对单元内前景像素点的位置进行采样、投票。第二，针对纹理特征描述符较为粗糙的问题，本文提出了使用等价模式的 LBP 特征[44]对纹理进行描述。

.........总结本文主要从事件的表示方式入手，针对目前的检测方法不注重全局异常事件和没有充分利用运动、大小和纹理等特征来描述事件两个角度出发对监控视频中的异常事件进行了研究并根据其中存在的问题提出了改进方法。本文的主要工作内容总结如下：第一，对检测局部异常和全局异常的方法进行了研究，该方法用时空兴趣点作为低级特征表示局部事件，用多个时空兴趣点构成的集合体表示作为高级特征表示全局事件，构成分层特征，利用 均值聚类和最小二乘法分别建模并判断局部异常和全局异常事件。本文对其中存在的问题和不足做了改进和实验验证：首先通过前景掩码对时空兴趣点进行筛选降噪的方法，将异常的分析区域严格限制在最小的范围。其次利用最小二乘法进行建模的方法，在基本保证原有准确率的前提下，将检测速度提升了4.3 倍左右。第二，利用运动、大小和纹理特征的基于单元分析的异常检测方法进行了研究，该方法利用运动、大小和纹理三种低级视觉特征独立建模并建立两个分类器判断异常事件。本文针对该方法存在的描述符粗糙导致异常事件误检、漏检的问题，提出了改进方法：首先，针对运动特征描述符较为粗糙，只能够检测对象速度大小上的异常，无法检测对象运动方向上的异常的问题，本文提出了极坐标下的 HOG3D 特征作为运动特征可以同时检测对象运动速度和方向上的异常。其次，针对纹理特征描述符较为粗糙导致漏检的问题，本文提出了采用等价模式的 LBP 特征对纹理进行描述的方法。经过的改进工作，我们在 UCSD 数据集上取得了可观的结果：在检测率方面，本文算法的平均错误率为 20%，比經典方法 MDT 方法低 5 个百分点；在检测时间方面，本文算法高达 7 帧每秒，与 MDT 方法的 25 秒每帧相比是量级上的提升。..........参考文献（略）