基于长线列扫描周视红外成像的多目标提取方法

来源: 新机器视觉

随着红外成像技术的不断发展,在军事和民用中得到了广泛的应用。在空间遥感、多目标的探测识别、成像制导等军事用途中的应用尤为重要。大视场搜索和远距离探测不断发展的实际需求,高分辨率、多像元、大视场成像成为红外探测系统发展的方向。系统中需要解决的主要技术难题是周视扫描或者大视场复杂背景下的红外弱小目标检测。目前长线列扫描周视红外成像搜索系统输出的图像的分辨率可达288×50000、576×50000、768×120000或者更高的像素数。其中长线列器件是指列阵长度有几百列探测元,宽度只有几列探测元的探测器。随着视场的不断变大,红外图像中的干扰物质也会变得更多,例如,云朵、建筑物、海面等,使背景变得更加复杂,数据量也急剧增大,对于此类图像的处理,实时性是非常重要的一个评价指标。


长线列红外探测器是周视红外成像系统中重要的组成部分,周视红外成像是通过将探测器安装在伺服驱动电机上旋转一周完成的。系统通过俯仰控制机构来调节主反射镜完成对俯仰方向的搜索;内部的伺服电机匀速旋转来控制方向和方位,达到水平方位上接近360︒的周视搜索,同时产生按照线列顺序排列的信号,扫描一圈具有50000列、120000列,甚至更多列的数据,从而实现周视成像,为红外搜索系统提供具有高分辨率、高清晰度的全景图像。


长线列红外探测器基本上都是以探测器列阵的形式排列,并且列数较少,目前使用的有4列、6列等,与传统的焦平面阵列有很大的区别。


长线列扫描周视红外系统检测的对象主要是飞机或者导弹等快速运动目标。对利用此系统得到的可能同时包含有多个面目标和红外弱小目标的图像进行目标检测和提取。其中面目标是指在红外图像中占几十个、几百个甚至更多像素数的红外目标,一般有较高的对比度和比较清晰的形状、纹理信息等;红外弱小目标目前并没有一个十分标准的定义,结合国内外相关文献将红外弱小目标定义为成像尺寸小于80个像素,即小于256×256的图像像素总数的0.15%的目标或者是成像面积在1×1-9×9之间的目标,而且具有如下特点:目标和边界均模糊不清、目标的信噪比低、无法识别目标形状、纹理等特征。长线列扫描周视红外图像中包含的弱小目标,由于图像的背景复杂度高,长波红外探测器获取的图像细节特征较弱,距离较远时,目标只能呈现为一个点,所以一般都是点状目标,在红外图像中只占有1-10个像素数。


由于红外弱小目标本身具有的特点,当多个红外弱小目标包含在长线列扫描周视红外图像中,由于此图像的背景复杂度较相同情况下焦平面阵列或者凝视器件得到的单帧红外图像的复杂度高很多,在这种情况下,使得弱小目标点与背景更加难以区分,所以如何将多个红外弱小目标从长线列扫描周视红外图像中提取出来是一个值得深入研究的问题。


本文分析了长线列扫描周视红外图像的特点,说明了其与传统焦平面阵列产生红外图像的不同。对当前研究中应用的长线列扫描周视红外成像的多目标提取方法进行了概述,并详细介绍了不同方法面临的问题和解决思路,探讨了以上方法对长线列扫描周视红外图像多目标提取的适用性和指导意义。


1 长线列扫描周视红外成像的多目标提取方法


在相同的环境和背景下,相比于凝视系统或者焦平面面阵输出的单帧图像,长线列扫描周视红外系统单帧输出图像具有分辨率高、清晰度高、背景复杂度高、360︒周视的特点。


重点结合长线列扫描周视红外图像中包含的目标具有的特点来寻求一种高效的方法,排除背景和噪声的干扰,在满足系统要求的情况下完成对多目标的提取是最终要达到的目的。


基于长线列扫描周视红外成像的多目标提取方法


对于得到的长线列扫描周视红外图像的处理主要分为了两个部分,首先是针对长线列扫描周视红外图像的实时处理,在保证不丢失红外目标的情况下来减少后续算法需要处理的数据量是研究的重点与难点;然后,结合长线列扫描周视红外图像中的红外目标的特点,利用合适的算法完成图像中多个红外目标的确认。


总结长线列扫描周视红外图像的多目标检测技术的研究有两个必须解决的问题:①长线列扫描周视红外图像的实时处理;②长线列扫描周视红外图像中多目标的提取。


1.1 长线列扫描周视红外图像的快速处理


长线列扫描周视红外图像的实时处理方法,重点研究是如何防止图像中红外弱小目标丢失,同时如何减少长线列扫描周视红外图像多目标提取的处理数据量。科研人员对此问题正在不断地尝试和更加深入地研究,寻求不同的有效的解决方案。目前应用较好的处理方法有:图像子帧法、粗检测和精检测法、兴趣区域快速提取法。


1)图像子帧法


“图像子帧”的基本思想是将长线列扫描周视红外图像进行分块减少单此处理的数据量。此方法在处理过程中需要解决的主要问题是图像子帧列数的选取和目标点在图像子帧中的位置对于目标确认带来的影响。


基于长线列扫描周视红外成像的多目标提取方法


李一芒等为了满足系统实时性要求,定义了“图像子帧”,即线阵探测器推扫若干列所成图像作为一个“子帧”,考虑到目标可能跨越多幅子帧的情况,为了减少跨越所产生的影响可以通过调节子帧大小和有效目标的设定,采用在FPGA内部进行多路处理的方法代替传统方法解决目标跨子帧问题。郭志军对于得到的超大数据量的巨幅图像,提出了新的“图像子帧”和“图像子块”的概念。“图像子帧”就是连续的Ⅳ列图像作为一个子帧图像。“图像子块”则可以理解为包含有可疑目标的最小外接矩形的图像块,并包含在“图像子帧”中。郭志军分析了目标与图像子帧和图像子块之间的关系,先对图像子帧进行搜索得到图像子块,提取出图像子块进行图像处理,目标识别等。这种方法极大地降低了需要处理的数据量,提高了目标检测的实时性。但是对于特征不显著的情况,无法检测出图像子块,会造成目标点的丢失,影响整体算法的检出率。同时作者对于包含可疑弱小目标的图像子块在图像子帧中的位置进行了说明,针对不同情况,需要保留前、后子帧来进一步判别。


从文献中可以看出图像子帧的获取方式并不相同,前者是通过线列传感器推扫直接得到的,后者是对得到单帧图像再分割得到的。上述两种方法都重点说明了目标点的在图像子帧中位置对于目标检出的影响。


针对上述问题,李一芒采用了硬件多路处理的方法,提高了系统整体实时性。并在实际工程中成功应用。此方法同硬件单路顺序处理相比,需要更短的时间完成对图像的处理。文献中通过软件处理方法的改进来提升算法的实时性,在“图像子帧”的基础上提出了“图像子块”的概念,极大地降低了需要处理的数据量。利用这种方法则考虑图像子块在图像子帧中的出现不同位置,会对目标检测带来的影响,作者采用保留相关帧的方法,进行处理。结合文献中作者提出的图像子帧处理方法,对于目标存在于图像子帧中,图像子帧边缘或者跨过多个图像子帧的情况,都是利用的目标点的连通性特征来进行可疑目标的判别和分析。


2)粗检测和精检测法


“粗”检测的思想是快速去除明显的背景和噪声干扰,降低后续程序需要处理的数据量;“精”检测是为了进一步排除可疑目标点的干扰,最终快速有效的确认目标。此方法需要解决的问题是如何在保证可疑目标点不丢失的情况下,快速地剔除背景信息的干扰,主要的影响因素在粗检测算法的阈值选取。


杨磊等给出了一种可在“粗”尺度上对原始红外图像进行区域描述的办法。首先是将红外图像进行分块,即将原始红外图像在行和列方向按一定比例均匀划分;然后得到红外图像的分块图像能量矩阵;最后通过对能量矩阵的“粗”处理,获取可能存在小目标的分块图像区域。然后对获得的分块图像进行“精”检测,获得弱小目标。朱振平对于周视全景图像大数据量实时处理的难题提出了一种基于空域粗检测十时空融合精检测的目标检测算法。空域粗检测要求保证高检测率、强实时性。为保证实时性,需尽量降低算法的复杂度。粗检测首先检测到的是探测图像中包括真实目标、云层边缘、噪声等的高频部分。精检测是对粗检测到的图像中的高频部分进一部处理,得到疑似目标的图像部分,最后利用目标的运动特性进一步确定目标,降低虚警率。


粗检测的目的是为了保留弱小目标并排除明显的干扰信息,降低需要处理的数据量。在实际的粗检测处理过程中,一般需要提高粗检测处理的虚警率来保证弱小目标不被剔除。文献中的方法基于初始图像提取可能包含有目标的区域,保留了较少的数据量,并且证明了这个方法的有效性。文献中对于粗检测是采用对一个整幅图像进行处理,利用简单有效的算法剔除大部分的背景和干扰信息,利用此方法处理后仍保留了较多的信息,随后精检测为了进一步减少需要处理的数据量,对可能包含有目标的区域进行处理。


3)兴趣区域快速提取法


兴趣区域快速提取法是从目标可能出现的区域入手,将探测图像分块,提取每块图像的特征参数,根据特征参数做目标存在与否的估计,排除其他区域,减少了图像处理的数据量,加快后续目标检测的速率,提高算法的整体实时性。此方法存在的问题是如何进行目标潜在区域的提取,考虑存在目标个数未知、分块中包含目标的概率难以预测等一系列问题。提取策略的选取对算法的整体效能评价起着决定性作用,如图3所示。


基于长线列扫描周视红外成像的多目标提取方法


孙刚结合大视场红外图像具有单帧数据量大、背景复杂、目标信杂比低等特点,提出了两种基于兴趣区快速提取算法:①基于傅里叶频谱滤波的红外图像显著性检测;②基于分块图像加权熵值矩阵的兴趣区提取。第一种算法:为了快速地实现兴趣区的提取,在频域上通过离散傅里叶变换建立视觉注意模型,即可获得图像中包含的显著性信息。此算法可以降低检测的虚警率,并且有较高的运算效率。此算法也体现了频域处理的高效性。第2种算法:首先将图像分块;进而利用分块图像加权局部熵的度量函数分类;最后根据加权局部熵矩阵的特性,运用自适应阂值处理的方法消除背景干扰,最终实现对大视场中感兴趣目标区域提取。朱振平提出一种基于目标潜在区域提取的全景图像快速目标检测算法。首先将得到的红外图像进行分块,然后提取每块图像的特征参数,如灰度信息,纹理信息等,根据以上参数判定目标是否存在,最后在存在目标的分块区域上作检测,此方法使需要处理的数据量极大减少,有效地解决了实时处理的问题。


兴趣区域快速提取法与文献中粗检测的方法的基本思想一致,文献中的第二种方法在传统的兴趣区域分块提取算法的基础上作了进一步的改进,利用加权的方式突出可疑目标点与背景区域的区别,可以更快的提取出兴趣目标区域。需要说明的是文献中建立视觉注意模型的方法,利用红外图像的频域特性,在频域上对图像进行了处理,给本文针对长线列扫描周视红外图像多目标提取处理提供一个新的思路。


本节主要结合长线列扫描周视红外图像和其中包含目标的特点,总结以上3种处理方法,目的是降低处理图像的运算数据量,加快运算速率,提高算法整体的时效性。然而同时如何保留长线列扫描红外图像中包含的红外目标信息,成为了研究的难点,可以结合以上方法和思路,进一步改进和完善针对长线列扫描周视红外图像的处理方案。


1.2 长线列扫描周视红外图像中多目标提取


结合长线列扫描周视红外图像中可能包含有面目标和弱小目标的情况,对于面目标的确认结合其特点可以通过基于单帧图像的跟踪前检测(Detect before track, DBT)算法或者基于序列图像的检测前跟踪(Trackbefore detect,TBD)算法完成;对于弱小目标的确认结合其特点基于DBT法容易造成弱小目标点的丢失,而基于TBD算法可以结合图像时域信息进一步完成红外弱小目标的确认,避免目标点的丢失。DBT法和TBD法的实现步骤如图4和图5所示。


基于长线列扫描周视红外成像的多目标提取方法

基于长线列扫描周视红外成像的多目标提取方法


考虑长线列扫描周视红外图像中包含的目标点的特点,DBT算法虽然具有算法简单、流程直观,并且易于在硬件实现的优点,但是对于长线列扫描周视红外图像中的弱小目标点的检测并不适用,因为弱小目标点在红外图像中只有1个或者几个像素的大小,对比度和信噪比都特别低,易造成目标点的丢失,无法达到系统的可靠性要求。虽然TBD算法由于多帧探测会造成计算量和存储量大,但是结合长线列扫描周视红外图像中目标点的特点,在单帧图像中无法完成对弱小目标的提取时,TBD算法为长线列扫描周视红外图像中的弱小目标的稳健检测提供了新思路。而且同时可以很好地检测出图像中包含的面目标。


对图像的进一步处理主要是针对长线列扫描周视红外图像中的多目标确认,重点结合图像中包含红外弱小目标的特点,利用序列图像处理的方法检出和确定弱小目标。


序列图像弱小目标检测算法的提出,主要针对基于单帧图像的空间信息不能准确的确认目标而提出的,引入时域信息利用多帧图像来进一步确认目标,排除干扰。对于长线列扫描周视红外图像中包含目标的特点,只有结合这种方法才能完成对于红外弱小目标的确认。


目前研究的基于序列图像多目标检测的算法有帧间差分法、背景建模法、光流法、能量累积法、粒子滤波法、神经网络法、多尺度分析法、时空上下文学习法、主成分分析法、目标稀疏表示法和图像显著性检测法等。


1)帧间差分法


帧间差分法目前应用较为广泛的有两帧差分法和三帧差分法。此方法能适用于摄像机移动和存在多个运动目标的情况。缺点是帧间时间间隔对其影响较大,选取不当会造成“空洞”和“拖影”现象;不能完整提取出对象区域,只能提取出目标区域的边界。


图6中所示为图像的基本差分运算,是利用相邻两帧图像做差并求绝对值得到的差分图像。针对以上存在的问题,屈晶晶等提出了一种结合连续帧间差分法和背景差分法运动目标检测方法;高美凤等提出了分块帧差和背景差相融合的运动目标检测方法。


图6 差分示意图


对于帧间差分存在的问题,文献中采用与背景差分结合的方法,文献提出分块帧差和背景融合的方法,这两种方法运算简单,易于实现,具有较好的实用价值。总的来说,对于长线列扫描周视红外图像中多目标的提取只采用背景差分法并不能实现最终目的,需要结合其他算法消除差分法中存在的问题完成红外目标的确认。


2)背景建模法


背景建模的目的是当取得估计的背景后,把视频帧图像转换为背景和运动前景两类,然后对其进行相应的处理,并得到检测结果。背景建模的常用方法有卡尔曼滤波法、高斯背景建模、VIBE算法等。背景建模的缺点是背景突变会导致检测失败;运动目标速度很慢时会被加入背景中,影响检测;模板的选取和更新会消耗大量的时间。


王继平等提出了一种基于Kalman滤波的检测前跟踪算法。陈俊超等提出了基于背景建模与帧间差分的目标检测改进算法。王辉等提出了一种基于阈值的自适应Vibe目标检测算法。Gao Chenqiang等新颖地将小暗目标视为复杂背景噪声的特殊稀疏噪声分量,并采用高斯混合(Mixing of Gaussian,MoG)和马尔可夫随机场(Markov random field,MRF)来模拟这个问题,实现小目标的检测。


在以上文献中提出的改进算法均是结合背景建模法存在的问题而提出的,提升了系统对于多个红外目标的检出率。对于模板的选取方法和更新策略也进行了详细的说明,满足整体实时性的要求。文献中作者新颖地将复杂背景中的弱小目标和背景进行了划分,结合贝叶斯框架下的MRF引导的MoG噪声模型来模拟小目标检测,最终实现目标与背景的分离,为以后的研究提供了全新的思路与方法。结合长线列扫描周视红外成像系统的特点,得到的红外图像背景变化缓慢,并且主要是对飞机、导弹等目标进行测,所以利用此方法可以比较有效地实现红外目标的确认。


3)光流法


光流的概念是Gibson在1950年首先提出来的,它是关于视域中的物体运动检测中的概念,用于描述相对于观察者的运动所造成的观测目标、表面或边缘的运动。缺点是计算量大,耗时太长。


袁国武等提出了利用三帧差分法和光流法的运动目标检测算法。JeromeRevaud,Weinzaepfel Philippe等提出了一种新的光流估计方法,针对目标在运动过程中被明显遮挡的情况。它由两个步骤组成:①通过稀疏匹配集进行边保留插值的稠密匹配;②用密集匹配初始化使变分能量最小化。


光流法可以比较准确地实现对运动目标的检测与确认,然而光流法计算量大的缺点严重限制了其在实际工程中的应用,目前只能结合不同的方法降低光流法的复杂度,以满足应用中的算法实时性要求。对长线列扫描周视红外图像中的目标提取有较好的效果。


4)能量累积法


侯旺、于起峰等利用二维最小均方差滤波器对红外序列图像进行滤波,获得包含有红外弱小目标及残差的红外序列图像。然后通过在序列图像速度域上应用改进的迭代运动目标检测算法进行能量累积,从而将弱小目标的运动速度在速度域进行累积增强,达到检测弱小目标的目的。Chen Shangfeng等提出了一种动态规划(DP)算法,图像信噪比增加和目标预检阶段。通过进行指数衰减能量累积和在DP之前增加方向权重运算来实现增强。该方法具有高检测概率和低虚警概率,低计算量和低内存消耗,并且易于实现硬件和优秀的实时性能。


能量累积法主要是解决弱小目标低信噪比问题,通过对目标点进行能量的累计来确认目标。此方法有利于长线列扫描周视红外图像中包含的弱小目标点的提取与确认。


5)粒子滤波法


粒子滤波法是通过寻找一组在状态空间传播的随机样本,之后对概率密度函数进行近似,并以样本均值代替积分运算,从而获取状态最小方差分布的过程的一种方法。


郭姗姗研究了结合粒子滤波和TBD的红外弱小目标检测算法。杨洋基于粒子滤波的红外弱小目标检测前跟踪算法的性能与硬件实现。


粒子滤波存在算法复杂度高的问题,但是在图像处理中解决了很多难题,类如目标遮挡、交叉等,取得了较好的结果。在以后的对于背景更加复杂的长线列扫描周视红外图像的研究中可能会得到更好的应用与发展。


6)神经网络法


神经网络法具有复杂度高,运算时间长,对于硬件的要求高的特点。针对这些问题科研人员正在不断的研究和改进,Jing Hu等先采用双边滤波方法进行背景抑制,阂值分割后,提取每帧中的可疑目标,然后使用LSTM(长短期记忆)神经网络预测下一帧目标的坐标。这是一种全新的方法,它基于序列图像中目标的运动特征,可以响应过去和未来值之间关系的变化。虽然目前的方法无法满足长线列扫描红外图像的实时性要求,相信随着科学技术的发展它们会得到的更多的应用。


7)多尺度分析法


多尺度分析法检测目标主要采用了对图像背景进行估计的,即去除具有灰度边缘奇异性的点,并以周围像素对该点的灰度值进行估计,随后用合适的分类器进行分类后获得目标位置。


Shi Yafei等提出了一种新的基于高增压的多尺度局部对比度测量(Highly pressurized multi-scale local contrast measurement,HB-MLCM)方法,过程中主要应用了一种简单的MLCM,用于进一步增强目标并抑制背景。


此方法可以将二维图像更好的表达,具有方向性和各向异性的特征,可以为图像处理提供更加灵活的表示。但是在图像或视频采集过程中很容易受到环境的影响,使得要检测的目标发生形状上的变化,会导致检测失败;此外,同样类型的目标物体形状可能会有很大差异,不同类型的目标物体的形状差异可能较小,这也给运动目标检测和识别带来了挑战。


8)时空上下文学习法


时空上下文学习法是通过贝叶斯框架对要跟踪的目标和它的局部上下文区域的时空关系进行建模,得到目标和其周围区域低级特征的统计相关性。然后综合这一时空关系和生物视觉系统上的视觉注意特性来评估新的一帧中目标出现位置的置信图,置信最大的位置就是我们得到的新的一帧的目标位置。


Jin Qian等提出了一种基于上下文学习的有效快速算法来跟踪红外弱小运动目标。该算法是使用快速傅里叶变换实现的,因此很容易实现。对各种杂波背景序列的实验验证了该方法的跟踪能力。实验结果表明,该方法可以提供比几种经典算法更高的精度和速度。


需要注意的是本方法只适合在固定背景下使用,对于背景高速运动的情况效果较差。


9)主成分分析法


主成分分析法主要利用统计学的原理,根据样本集在多维特征空间中的位置分布,以样本集在空间中变化最大的方向(方差最大的方向)作为主成分方向来实现样本的特征提取和压缩。


Wang Xiaoyang等提出了一种基于全变分正则化和主成分追踪(Total  variationregularization and principal component tracking,TV-PCT)的新方法。该方法在不同背景下具有较高的检测能力,特别是具有良好的背景抑制性能和较低的误报率。


此方法不需要设定相关指标,还可以实现样本数据的降维,提升图像的信噪比,而且可以适应大部分的红外图像,具有较好的鲁棒性。但是数据降维的过程相对比较复杂。


10)目标稀疏表示法


目标稀疏表示的目的就是在给定的超完备字典中用尽可能少的原子来表示信号,可以获得信号更为简洁的表示方式,从而使我们更容易地获取信号中所蕴含的信息。


Liu Depeng等提出了一种基于天空杂波和目标稀疏表示的红外小目标检测方法,以应对杂波和目标的表示不确定性。该方法可以提高小目标检测性能,特别是在重杂波下,背景杂波可以被分形背景过完备字典(Fractal background overcomplete dictionary,FBOD)有效地感知和抑制,并且广义高斯目标超完备字典(generalized Gaussian target overcomplete dictionary,GGTOD)也可以准确地表示变化目标。


该方法属于机器学习的范畴,它不需要对目标模型和背景模型进行训练,通过求解一个线性规划问题来完成目标检测,可以较好地抑制背景,突出目标。但是该方法需要在足够大的图像空间条件下才能实现,图像的中心也要大致对齐才行。


11)图像显著性检测法


目前红外图像中应用的显著性检测法是通过模仿人的视觉特点,提取图像中的显著区域,即人类感兴趣区域。


Wang Xiaoyang等提出了一种基于布尔图显著性和运动特征的红外弱小目标检测方法。此方法不仅可以获得准确的检测结果,而且可以减少错误报警,适合实际使用。


本方法具有多种实现模型,不同的模型应用于不同的方面。目前的方法如果使用了不恰当的对比区域可能导致“不一致突出显著区域”和“突出图像背景”两个问题的发生。


本章总结了针对红外弱小目标的多帧图像提取方法,以上所有的方法都可以较好地实现红外弱小目标的提取,同时结合实际工程应用,传统的方法的具有较好的实时性,而目前大部分新的算法的复杂度较高,并不能满足系统的实时性要求。随着科技的发展,相信会有更多的优秀算法可以应用到实际工程中。


2 总结与展望


本文结合天空背景下长线列扫描周视红外图像的特点,分析了与传统焦平面成像的本质区别。介绍了目前对周视红外图像应用效果较好的若干种方法,分析比较不同方法的处理效果和采用此方法主要面临和解决问题的思路,为长线列扫描周视红外图像多目标提取的研究提供了进一步的思路。


目前已有的周视红外图像的处理方法在实际的工程应用中已经取得较好的效果,但是对长线列扫描周视红外图像多目标提取方法仍需要进一步的发展:


1)如何快速排除复杂背景的干扰降低图像的数据量。具体是指如何快速提取可疑目标,根本要求是在保证弱小目标检测率的情况下,快速降低图像数据量。目前针对长线列扫描周视红外的图像处理方法相对较少,未来的研究中,需要研究更多实际有效的方法来丰富对于长线列扫描周视红外图像的处理。


2)如何在复杂背景中如何快速提取出红外目标。具体是指如何来确定红外目标,红外目标可能包含面目标和点目标,通过序列图像处理方法,才能达到弱小目标检测的可靠性要求。但是效果较好且较新的算法复杂度较高,如何降低有效算法的复杂度,改进已有的算法和研究新的算法是如何确认长线列扫描周视红外图像中的多目标的3个可行方向。


最新评论(0)条评论
不吐不快,我来说两句

还没有人评论哦,抢沙发吧~