基于计算机视觉的PCB板焊点缺陷检测及分类
1 绪论
1.1 研究背景与意义
基于 PCB 板的电子产品已经成为当今电子行业的一个重要组成部分。随着现代技术向着完全数字化的方向发展，可以预见，PCB 板的生产也将会逐步的增长。在这一方面，马来西亚已经迈出了重要的一步，在全国范围内已经有37个生产PCB板的上市公司。
随着现代工业的快速发展，电子产品向着更薄，更轻的方向发展，也就决定了PCB 向着密度更高，精度更高，层数更多的方向发展。通过使用 PCB，电子产品在可靠性，生产效率上有了极大的提升，成本也有了显著的下降。
PCB 焊点在焊接过程中可能由于某些原因导致焊点出现缺陷，若将这些电路板应用到电子产品中，可能导致后期电子产品出现各种问题,从而造成重大损失，甚至整个电子产品也会因此而报废。
为了确保将高质量的 PCB 板转换为高质量、高可靠的电子产品，实现对于 PCB 板焊接的零缺陷，PCB 板的焊点质量监测也变得尤为重要。
最初 PCB 板的焊点缺陷检测主要借助人工方式，这种检测方式导致较高的工作成本，并且很容易出错。随着印刷电路板向着更高密度，更复杂排版的方向发展，人工检测方式已经不再适宜 PCB 板的检测，因此有必要寻找一种新的自动而有效的方法，使得检测工作更加规范与智能。
1.2 国内外研究现状
基于视觉检测技术的自动光学检测(Automated Optical Inspection, AOI)技术已经广泛应用到了电路板的生产过程中。AOI 技术主要通过相机对 PCB 板进行扫描获取到PCB 板焊点区域的图像，提取相应焊点的特征，根据提取的焊点特征与数据库中标准特征进行对比，确定焊接缺陷类型并标示，等待相关人员处理。
基于 AOI 的检测方式，相对于传统的人工检测方式来说，提高了 PCB 板焊点缺陷的检测精度，同时 AOI 技术编程简易，成本低廉，缺陷类型覆盖率高，在 PCB 领域已经得到了广泛的使用。
在国外，由于研究时间较早，AOI 技术已经相对成熟稳重，目前国际上的主要 PCB 板生产厂商有日本欧姆龙(Omron)，英国安捷伦(Agilent)，以色列奥宝(Arbotech)及康代(Camte)，韩国美陆(Mirtec)，美国安维普(Mvp)等。
相对于国外的 AOI 技术，国内由于研究较晚，并且研究机构较少，技术落后，PCB 板焊点缺陷检测技术还处于一个相对早期的水平。国外 AOI 设备功能较全，技术相对先进，但是由于价格高昂，国内中小型企业无力购买，因此一个好的 PCB 焊点缺陷检测算法，在国内有着广泛的应用前景。
2 PCB 板焊接图像颜色空间的选择
PCB 板焊点区域在不同颜色空间、不同颜色通道呈现不同的图像特性；监控现场的环境光照也会不同程度的影响图像质量。为确保 PCB 板焊点区域缺陷的有效检测与识别，本章将首先基于几种典型的颜色空间模型，进行 PCB 板焊点图像的颜色空间及颜色通道的选择。
本章将首先引入几种典型的颜色空间模型；分别考察不同的颜色模型下 PCB 板图像，并结合实验进行颜色空间及颜色通道选择，以最大化保留焊点区域用于缺陷检测与识别的关键信息。
2.1 彩色图像颜色模型
2.1.1 RGB 彩色模型
作为经常应用于硬件系统的彩色模型之一，RGB 模型主要应用在了彩色视频摄像机或者彩色扫描仪等设备中，它通过红，绿，蓝三原色的加法混合来描述某种颜色。RGB 模型可以建立在笛卡尔坐标系中。如图所示，三个颜色分量分别对应三个坐标轴，黑色位于原点位置，白色位于距离原点最远点的位置。其余位置表示其它的颜色，为了方便，通常将 RGB 立方体归一化为单位立方体，确保各个颜色分量取值都在[0, 1]之间，如图 2.1 所示为用于 RGB 空间描述的单位立方体。
2.1.2 CMY 和 CMY 彩色模型
CMY 模型一般用于彩色打印。它与 RGB 模型互为补色。CMY 模型是通过蓝绿(C), 品红(M)，黄(Y)三个分量组成，分别是红绿蓝三原色的补色。在实际使用中，由于颜料中的杂质等原因，三补色所叠加的颜色并不是黑色，而是接近于深棕色，所以，一般都会在颜料中专门增加黑色，也就是所谓的CMY四色模型。归一化的CM模型与RGB 模型转换方式如下:
2.2 实验结果及分析
借助彩色相机获取到 PCB 板的焊接后的图像之后，我们基于上述几种典型的颜色空间模型，分别考察了不同颜色通道下焊接图像的质量、以及光照效果的影响。我们结合现场实测的焊接图像分析，实验表明：对于 RGB 颜色空间，基于 R 通道描述的PCB 焊接图像，总体效果较好。
3 基于简易形态学处理的 PCB 板焊点缺陷检测 ................ 54
3.1 PCB 图像平滑滤波 ............... 54
3.1.1 平滑滤波器 ..................... 54
4 基于图像配准的 PCB 板焊点缺陷检测 ............. 70
4.1 图像配准 ..................... 70
5 总结及展望 ..................... 91
4 基于图像配准的 PCB 板焊点缺陷检测
为实现对于 PCB 板焊点区域的鲁棒提取及缺陷类型识别，本章给出一种基于图像配准的 PCB 板焊点缺陷与识别方法。该方法首先借助摄像头获取未经焊接的 PCB 板图像，作为标准参考图像；选取 PCB 板中待检测的焊点位置及感兴趣区域；借助自动图像配准，将检测流水线上的 PCB 板焊接图像中感兴趣的焊点区域进行几何校正；以参考图像中焊点模板为基准，构建焊点缺陷检测与识别规则，根据焊点特征进行缺陷检测及焊点缺陷类型的识别。
本章首先引入图像配准的一般流程，明确图像配准的关键环节，介绍几种典型的图像配准方法，在此基础上选择适宜PCB板图像特点的图像配准方法；图像配准中的一个典型环节就是基于两幅图像坐标系中的同名点对，估计输入图像与参考图像之间的空间变换模型，本章给出了一种基于最小二乘的空间变换模型参数估计方法。
4.1 图像配准
图像配准通过在两幅图像坐标系之间建立某种空间变换关系，实现两幅图像对于相同监控区域的空间对齐。一般来说，图像配准首先需要获取来自两幅图像坐标系之间的同名点对，这通常是借助特征提取及特征匹配来完成；之后，基于同名点对，确定两幅图像之间的全局或局部空间变换模型；在此基础上，以其中一幅图像所在的坐标系为基准，选择合适的插值方式，实现其对于另外一幅图像内容的几何校正，最终输出一对配准图像。
5 总结及展望
稳定，快速，正确率高的 PCB 焊点缺陷检测方法在工业生产中已经成为了越来越迫切的需求[29]，本文结合格力公司 PCB 板特定区域焊点缺陷检测与识别的背景需求，基于计算机视觉技术，对 PCB 板焊点缺陷进行分析，针对短路，漏焊，少锡，多锡等四种典型缺陷的检测及识别，提供实用的解决方案。
本论文介绍了两种针对 PCB 焊点缺陷的基于计算机视觉的检测方法，第一种虽然速度较快，但是对整幅图像进行处理，由于工业环境等原因并不能保证准确提取出焊点，并且由于是通过焊点绝对面积来判断焊点缺陷类型，会受到摄像机位置的影响，这导致不得不在每次摄像机移动之后都要重新调整阈值以适应新的情况，鲁棒性较差。
第二种方法是对第一种方法的改进，使用了一些技术将焊接后图像映射到参考图像坐标系中，之后可以方便的提取出焊点，以后的操作将仅对焊点区域进行处理，不仅提高了处理效率，而且避免了图像其它区域上噪声的影响，另外，最后通过计算焊点面积与标准模板面积比来判断焊点缺陷类型，使得焊点缺陷的判断不易受到摄像机的影响，增强了算法的鲁棒性。
参考文献（略）