技术文章
计算机视觉新技术及其在ＩＣ标记质量检验中的
日期：2014-07-15
来源：三姆森科技
计算机视觉技术在农业、通信、交通、生物医学等领域有着广泛用途。在以往的计算机视觉系统中，图像采集卡和PC机之间基本上都需要有专门的图像处理装置。这些图像处理装置通常以专门的CPU或高速DSP芯片为核心，需要设计专门的电路，用汇编或C等语言编程。因此，使得整个系统的开发工作量大，周期长，成本高。近几年来，日新月异的计算机技术促进了基于PC机的测控仪器（也称为虚拟仪器，其中包括计算机视觉系统）技术的发展。计算机和电子测量领域不断有新的技术推出，例如为增强多媒体功能而开发的MMX技术、数据传输率达132MB/S的PCI局部总线和速度越来越快的CPU，以及功能越来越强大的操作系统和图像处理软件，还有性能优异的图像采集卡等；使得PC机的图像处理能力大大增强。在新型的计算机视觉系统中，PC机可直接对图像采集卡采集到信号进行快速的处理，在功能和速度等方面能满足大多数工程应用的要求。 目前，在IC生计算机视觉技术在工业、产过程中的大部分工序中都利用计算机视觉系统进行在线的过程监控。其中的一个工序是IC标记质量的在线检验。标记质量检验包括对IC表面的标记（商标图案和字符）的位置、角度、清晰程度、是否缺损和错漏等情况的检验。IC上的标记通常用激光刻绘或印刷的方法加工而成。据了解，国内的半导体器件制造业所配置的计算机视觉系统均为外国产品，IC标记质量检验计算机视觉系统的主要生产商是ICOS公司和HP公司，国内现在使用的系统基本上是需要专门图像处理装置的旧式结构的系统。 根据一家IC生产厂家所提出的技术要求，我们采用计算机视觉新技术设计了一套IC标记质量检验系统（以下简称为IC检验系统）。该系统具有结构简单灵活、功能强和性能价格比高等特点。
1 IC检验系统的结构和配置
1．1 系统的结构 IC检验系统由光源、镜头、CCD摄像机、图像采集卡、PC机和专门的应用软件组成。IC检验系统结构示意图如图1所示。
在工厂中，IC检验系统需与专门的传送包装系统相互配合才能完成IC标记质量的检验和包装工作。IC标记质量检验工序主要有以下几个步骤：首先由传送包装系统先将IC逐个装入条状塑料包装带的空格内，包装带在IC检验系统的镜头下方一格一格地快速移动。包装带每移动一次，传送包装系统就会通过接口电路查询IC检验系统是否处于准备就绪的状态；是则发出信号通知IC检验系统对IC进行测试。若检验合格，包装带前移一格，再重复前面的步骤。若IC不合格，IC检验系统发出信号通知传送包装系统更换IC，待IC更换后，再进行检验。 1．2 系统的配置 CCD摄像机：敏通公司的MTV－1881EX型1/2″黑白摄像机，795（H）596（V）图像像素，600TV线水平分辨率，最低照度0.021x，信噪比优于48dB。 图像采集卡：美国国家仪器（NI）公司的PCI－1408型单色图像采集卡，采用PCI总线，具有8位分辨率，更新速率为25帧/S（APL）该卡有4根触发信号和８根同步信号线，可用于与其它DAQ卡或外部设备通信联络。 PC机：联想PIII/450，64M内存，8.4G硬盘。 操作系统：Windows98。 应用软件：自行开发的IC标记质量检验程序。
2 开发工具软件
以软件为中心是虚拟仪器的一大特点，虚拟仪器的开发往往以软件为主。因此，选择好的开发工具软件十分重要。我们采用了NI公司的虚拟仪器开发平台LabVIEW5.1和图像处理软件包IMAQ5.0作为开发工具。 2．1 LabVIEW LabVIEW是一种基于图形编程语言的虚拟仪器应用软件开发平台，特别适用于测试、测量、仪器控制、过程监控和工业自动化等方面的工程应用软件的开发。它采取编译方式生成的应用程序可脱离开发平台而独立运行，运行速度与C语言相当。它在数据采集、信号处理和数据表达等方面有很强的能力，并且具有直观易学和编程效率高等特点。与通用编程语言（例如VC和VB）相比，可节省一半以上的软件开发时间。它可通过DLL等多种方式与其它语言的应用程序连接。LabVIEW 5.1版在很多方面作了改进，例如加强了信号处理和分析、3D图形显示和报告生成的功能，以及ActiveX和网上数据交换等方面的功能。 2．2 IMAQ Visionfor LabVIEW IMAQ Vision包含一系列MMX优化函数。它使LabVIEW具有科研和工程中常用的图像处理功能，例如各种类型的滤波、统计、几何变换和图像显示的功能，还有模型匹配、边缘检测、斑点分析和测量等功能。IMAQ Vision5.0在模型匹配和感兴趣区域ROI的控制等方面作了进一步的改进，总体性能有了明显的提高。
3 模型匹配的新技术
IC检验系统采用了IMAQ Vision中的图像处理新技术，其中最有特色的是模型匹配技术。模型匹配是最常用的图像处理方法之一。传统的模型匹配常采用相关算法。该方法处理速度较慢，而且对匹配对象的大小比例和角度的变化有很大的限制。 IMAQ Vision5.0的模型匹配技术采用了三种新方法：高效率的非均匀图像采集、与旋转和大小比例无关的样板信息提取，以及图像的几何建模。这些新方法大大提高了模型匹配的速度。 将一幅图像转换成数字信息时，往往包含大量冗余信息。如果对一幅图像的所有信息进行模型匹配处理，将会很费时。但是，如果只对图像中有代表意义的部分进行采样，就可以大大减小要处理的信息量，从而加快了处理速度。图2是非均匀采样法原理示意图。图2（a）是样板（Template）的原始图像，图2（b）中的黑点用来表示那些代表样板图像的信息。显然，在图像中灰度均匀的区域采样点较少，灰度变化大的区域采样较多，采样的密度随图像内的情况自动调整。
边缘检测的方法能提供有关图像结构的信息，一个图像中图形边缘的信息远远少于整个图像的信息。边缘信息还可以作进一步处理，以提取图像中几何形状图形有关的数据，例如被测图像中直线和园形的数量等。模型匹配中匹配对象的计数可简化为几何图形的匹配处理。图３是边缘检测和几何建模技术示意图。图3（a）是样板图像，图3（b）是图形边缘强化后的图像，图3（c）是以几何形状表示图形边缘的图像。 IMAQ Vision中与模型匹配相关的函数综合运用了非均匀采样、边缘检测和几何建模等方法，令模型匹配快速而准确，并允许匹配对象可以有0～360度的旋转和一定范围的大小比例变化。即使是在照明状况有变化（指均匀变化）、镜头聚焦不太好和部分图形被隐藏的情况下，也能取得相当准确的结果。
4 软件设计
4．1 LabVIEW编程的基本方法
用LabVIEW开发的应用程序主要由面板和流程图组成。面板的设计相当简便快捷，因为LabVIEW有很丰富的控件库，其中包含工程上常用的各种各样的开关、旋钮，表头、数值指示器和波形显示器等仪表面板部件。设计面板的基本工作就是从控件库中选取所需的控件，并以很简便方法为它们设置合适的属性（例如尺寸、颜色、量程等）和位置。如有需要，这些属性可通过程序进行调整。面板上的所有控件都会在流程图中自动生成对应的图标。LabVIEW的函数库内有上千种函数和子程序，它们也是以图标形式出现。流程图主要由面板上控件的图标、函数图标和连线组成。通常情况下，在图标左侧连接输入参数，而输出参数从图标右侧引出。设计流程图的基本方法是：从函数库中选取所需的函数图标，并按照数据在程序中传送的顺序把它们和控件图标的位置统一编排好，再用连线工具将图标都连接起来。 4．2 模型匹配函数的编程 IMAQ Vision中的模型匹配函数IMAQ Match Pattern可提供所有查找到的匹配对象的检测结果，其中包括匹配对象的数目、位置坐标、旋转角度、大小比例和相似程度计分（以1000分为满分）。模型匹配函数需要以下几个相关函数的配合才能得到正确的结果。
（1）学习模式设置函数（IMAQ ）用于设定建立样板模型时的学习模式。学习模式有三种：仅允许样板位移的模式，仅允许样板旋转的模式，以及允许样板位移和旋转的模式。
（2）学习建模函数（IMAQ ）运用模型匹配新方法将样板的原始图像转换成描述数据形式的样板模型。
（3）模型匹配参数设置函数IMAQ Match Pattern用于集合最小对比度和匹配模式等多种参数。 图4是一个模型匹配程序（流程图）实例，用来说明模型匹配的基本编程方法。 我们用自编的测试程序对模型匹配函数的几项主要技术指标进行了测试，测试是在IC检验系统的软硬件配置条件下进行的，测试结果如表1所示。
4．3 IC 标记检验系统应用程序的设计 IC检验系统应用程序的面板如图5所示。图5中的1、2、3等数字表明有关控件（按键和数值输入等）操作的主要步骤和程序运行的基本顺序。 测试项目 测试条件 测试结果 备 注 搜索时间 在640480的图像中查找与100100的样板匹配的对象，不允许样板旋转 约20ms 与最小对比度等参数相关 搜索时间 在640480的图像中查代与100100的样板匹配的对象，允许样板旋转360度 约200ms 与最小对比度等参数相关 相似程度计分误差 允许样板位移和旋转360度 小于+1%
位移检测精度
允许样板位移和旋转360度 0.25像素
角度检测精度
允许样板位移和旋转360度 0.1度
（1）“制作标准图像”按钮用于为一个完全符合要求的IC拍摄一幅标准图像，作为模型匹配样板图像的基准。
（2）“设定搜索区域”按钮用作在标准图像的中间位置上自动生成一个搜索矩形框，该框用来限定标记检验搜索区域。搜索区域应选择IC的主体为宜。因为，搜索区域不仅是作为符号匹配检验的搜索区域，而且是作为IC主体的样板图像，它作为基准被转换为IC主体的样板模型。在每个IC检验的开始阶段，该样板模型与被检验IC的图像进行模型匹配，找到IC主体并校正其坐标位置和角度。
（3）“调整搜索区域位置”数字式和滑动式数值控件可上下左右地移动搜索矩形框，而“调整搜索区域大小”的数值控件则用来改变搜索矩形框的边长；这两种操作交替地进行即可精确地选择搜索区域。
（4）“增加检验符号”按钮用于选择待检验的字符。先用鼠标框选要检验符号，再用“增加检验符号”按钮确认这一选择。框选的位置没有限制，但字符选择框的边长不能小于8个像素，也不能超出搜索区域。框选字符的数目最多可达200个。框选字符的目的是缩小匹配处理的范围，提高检测准确性。
（5）“学习建模”按钮启动为所有被选符号建立样板模型的工作。这些样板模型被用来作为符号检验的基准。
（6）在检验参数和检验方式设置栏目中，“对比度”控件用于设定被检验IC图像的最小对比度。“合格分数”、“位移上限”和“旋转上限”控件的设定值是判断IC标记质量是否合格的门限值，它们均可由用户根据实际要求来设定。例如，按照图5中这几项的设定值，被检验的符号匹配计分达700分，而且位移未超过25μｍ，旋转角度未超过0.3度时，为合格符号。所有被测符号均合格时，IC标记质量才算合格。
（7）“开始IC检验”按钮用于发出IC检验系统已做好准备的信号。若传送包装系统亦已准备好，它会发出信号让IC检验系统开始检验工作。 此外，统计数据栏中的“存盘”和“打印”按钮用于存储或打印IC标记质量检验的统计数据。
图5中名为搜索区域的图像是待测IC主体部分的图像，而名为角度校正的图像是以标准IC图像为基准的经角度校正后的图像，校正的目的是准确地计算出被检验符号的位置偏移和角度变化。字符质量检验的其它项目由相似程度计分来统一判断。 总之，借助于电子和计算机等领域的最新技术，新型计算机视觉系统在结构和性能等方面有了突破性的进展。功能强大和高效率的虚拟仪器和图像处理工具软件为计算机视觉系统的开发和推广应用提供了更加有利的条件。在IC标记质量检验系统中所采用的光学符号检验新技术除了可用于各类型印刷符号的检验外，也适用于各种产品的元器件安装方位和缺漏等检测项目。而且，基于PC机的计算机视觉系统还可以利用网络技术与其它虚拟仪器或测控设备组成网络化的产品质量监控系统。
1 IC检验系统的结构和配置
1．1 系统的结构 IC检验系统由光源、镜头、CCD摄像机、图像采集卡、PC机和专门的应用软件组成。IC检验系统结构示意图如图1所示。
2 开发工具软件
以软件为中心是虚拟仪器的一大特点，虚拟仪器的开发往往以软件为主。因此，选择好的开发工具软件十分重要。我们采用了NI公司的虚拟仪器开发平台LabVIEW5.1和图像处理软件包IMAQ5.0作为开发工具。 2．1 LabVIEW LabVIEW是一种基于图形编程语言的虚拟仪器应用软件开发平台，特别适用于测试、测量、仪器控制、过程监控和工业自动化等方面的工程应用软件的开发。它采取编译方式生成的应用程序可脱离开发平台而独立运行，运行速度与C语言相当。它在数据采集、信号处理和数据表达等方面有很强的能力，并且具有直观易学和编程效率高等特点。与通用编程语言（例如VC和VB）相比，可节省一半以上的软件开发时间。它可通过DLL等多种方式与其它语言的应用程序连接。LabVIEW 5.1版在很多方面作了改进，例如加强了信号处理和分析、3D图形显示和报告生成的功能，以及ActiveX和网上数据交换等方面的功能。 2．2 IMAQ Visionfor LabVIEW IMAQ Vision包含一系列MMX优化函数。它使LabVIEW具有科研和工程中常用的图像处理功能，例如各种类型的滤波、统计、几何变换和图像显示的功能，还有模型匹配、边缘检测、斑点分析和测量等功能。IMAQ Vision5.0在模型匹配和感兴趣区域ROI的控制等方面作了进一步的改进，总体性能有了明显的提高。
3 模型匹配的新技术
IC检验系统采用了IMAQ Vision中的图像处理新技术，其中最有特色的是模型匹配技术。模型匹配是最常用的图像处理方法之一。传统的模型匹配常采用相关算法。该方法处理速度较慢，而且对匹配对象的大小比例和角度的变化有很大的限制。 IMAQ Vision5.0的模型匹配技术采用了三种新方法：高效率的非均匀图像采集、与旋转和大小比例无关的样板信息提取，以及图像的几何建模。这些新方法大大提高了模型匹配的速度。 将一幅图像转换成数字信息时，往往包含大量冗余信息。如果对一幅图像的所有信息进行模型匹配处理，将会很费时。但是，如果只对图像中有代表意义的部分进行采样，就可以大大减小要处理的信息量，从而加快了处理速度。图2是非均匀采样法原理示意图。图2（a）是样板（Template）的原始图像，图2（b）中的黑点用来表示那些代表样板图像的信息。显然，在图像中灰度均匀的区域采样点较少，灰度变化大的区域采样较多，采样的密度随图像内的情况自动调整。
4 软件设计
4．1 LabVIEW编程的基本方法
（1）学习模式设置函数（IMAQ ）用于设定建立样板模型时的学习模式。学习模式有三种：仅允许样板位移的模式，仅允许样板旋转的模式，以及允许样板位移和旋转的模式。
（3）模型匹配参数设置函数IMAQ Match Pattern用于集合最小对比度和匹配模式等多种参数。 图4是一个模型匹配程序（流程图）实例，用来说明模型匹配的基本编程方法。 我们用自编的测试程序对模型匹配函数的几项主要技术指标进行了测试，测试是在IC检验系统的软硬件配置条件下进行的，测试结果如表1所示。
4．3 IC 标记检验系统应用程序的设计 IC检验系统应用程序的面板如图5所示。图5中的1、2、3等数字表明有关控件（按键和数值输入等）操作的主要步骤和程序运行的基本顺序。 测试项目 测试条件 测试结果 备 注 搜索时间 在640480的图像中查找与100100的样板匹配的对象，不允许样板旋转 约20ms 与最小对比度等参数相关 搜索时间 在640480的图像中查代与100100的样板匹配的对象，允许样板旋转360度 约200ms 与最小对比度等参数相关 相似程度计分误差 允许样板位移和旋转360度 小于+1%
位移检测精度
允许样板位移和旋转360度 0.25像素
角度检测精度
允许样板位移和旋转360度 0.1度
（1）“制作标准图像”按钮用于为一个完全符合要求的IC拍摄一幅标准图像，作为模型匹配样板图像的基准。
（2）“设定搜索区域”按钮用作在标准图像的中间位置上自动生成一个搜索矩形框，该框用来限定标记检验搜索区域。搜索区域应选择IC的主体为宜。因为，搜索区域不仅是作为符号匹配检验的搜索区域，而且是作为IC主体的样板图像，它作为基准被转换为IC主体的样板模型。在每个IC检验的开始阶段，该样板模型与被检验IC的图像进行模型匹配，找到IC主体并校正其坐标位置和角度。
（3）“调整搜索区域位置”数字式和滑动式数值控件可上下左右地移动搜索矩形框，而“调整搜索区域大小”的数值控件则用来改变搜索矩形框的边长；这两种操作交替地进行即可精确地选择搜索区域。
（4）“增加检验符号”按钮用于选择待检验的字符。先用鼠标框选要检验符号，再用“增加检验符号”按钮确认这一选择。框选的位置没有限制，但字符选择框的边长不能小于8个像素，也不能超出搜索区域。框选字符的数目最多可达200个。框选字符的目的是缩小匹配处理的范围，提高检测准确性。
（5）“学习建模”按钮启动为所有被选符号建立样板模型的工作。这些样板模型被用来作为符号检验的基准。
（6）在检验参数和检验方式设置栏目中，“对比度”控件用于设定被检验IC图像的最小对比度。“合格分数”、“位移上限”和“旋转上限”控件的设定值是判断IC标记质量是否合格的门限值，它们均可由用户根据实际要求来设定。例如，按照图5中这几项的设定值，被检验的符号匹配计分达700分，而且位移未超过25μｍ，旋转角度未超过0.3度时，为合格符号。所有被测符号均合格时，IC标记质量才算合格。
（7）“开始IC检验”按钮用于发出IC检验系统已做好准备的信号。若传送包装系统亦已准备好，它会发出信号让IC检验系统开始检验工作。 此外，统计数据栏中的“存盘”和“打印”按钮用于存储或打印IC标记质量检验的统计数据。
