文章快速检索  
  高级检索
静态阴影检测的研究进展
田建东, 王占鹏, 唐延东    
中国科学院沈阳自动化研究所机器人学国家重点实验室, 辽宁 沈阳 110016
摘要:阴影给许多计算机视觉任务带来困难,例如图像分割、物体识别、边缘检测等. 正确的阴影检测不但可以避免上述问题,同时也是阴影去除的基础. 因此,阴影检测技术是图像处理和计算机视觉等相关领域的一个研究热点,近年来提出了大量算法. 目前,关于视频中的动态阴影,在权威期刊已发表数篇综述性文献,但针对图像中的静态阴影,国内外尚未发表相关的评述性文献. 本文对近年来提出的静态阴影检测算法按照基于模型的检测算法、基于本征图像的检测算法和基于统计学习的检测算法进行了分类和评述,总结了静态阴影检测的研究现状,分析了存在的问题并进行了展望.
关键词静态阴影     单幅图像     阴影检测    
Static Shadow Detection: A Survey
TIAN Jiandong, WANG Zhanpeng, TANG Yandong    
State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences, Shenyang 110016, China
Abstract:Shadows cause problems in many computer vision tasks, including image segmentation, object recognition, and edge detection. Shadow detection can be used to avoid the above-mentioned problems and can aid in shadow removal. Therefore, shadow detection is a popular topic in both image processing and in computer vision. Many shadow detection algorithms have been proposed in recent years. Currently, several review articles for moving shadow detection algorithms have been published; however, such a paper has not yet appeared for static shadow detection algorithms. In this study, we divide recent static shadow detection approaches into three categories: model-based methods, intrinsic image-based methods, and statistical learning-based methods. We survey and summarize the current status of these areas of research. We also discuss the open problems and future development.
Key words: static shadow     single image     shadow detection    

1 引言

计算机视觉系统已经广泛应用于户外场景,如城市交通、 视频监控、 航拍、 遥感成像等. 然而,阴影作为自然界中普遍存在的一种物理现象,它给计算机视觉任务带来诸多不利影响. 如图 1(a)、 1(b)所示,阴影的覆盖会破坏灰度值的连续性,进而影响特征提取、 图像分割等视觉任务; 又如图 1(c)所示,在动态目标识别、 跟踪等任务中,由于阴影随着目标物体一同运动,从而影响目标分割和形状提取的准确度. 阴影带来的种种不利影响增加了问题处理的难度,降低了算法的鲁棒性. 有效的阴影检测会大大提高计算机视觉处理算法的性能,是计算机视觉领域中重要的研究课题之一.

阴影属于光照处理的研究范畴,目前,在计算机视觉的光照处理相关方法研究中,单一光源下的光照恒常是目前研究最多和进展最大的一个方向. 已经存在一些优秀的理论和方法,比如Retinex[1]、 Gamut mapping[2]、 Gray world[3]等. 光照恒常的研究对象是整幅图像的光照变化,然而,在室外场景中,由于日光相对稳定,除了傍晚的图像有些颜色偏红之外,图像偏色的现象并不多见. 事实上,很多光照恒常算法的实验用图都是通过镜头前加滤光片来产生的偏色图像. 实际应用中,更为常见、 影响更大的是局部光照变化问题,比如阴影和反光,其中尤以阴影问题最为棘手. 阴影的出现相当于场景中多了一个光源,相对于单光源的颜色恒常问题,阴影问题具有更大的不确定性和处理难度. 这是因为首先要确定每个像素的光源是什么,即是否处在阴影中,这就涉及到阴影检测问题.

图 1 图像和视频中的阴影Fig. 1 Shadows in images and videos

根据所使用的图像数量,阴影检测技术可以分为基于视频序列的动态阴影检测和基于单幅图像的静态阴影检测. 目前的阴影检测方法大多偏重于动态阴影检测[4, 5, 6, 7, 8, 9]. 这类方法首先利用帧差法检测出动态的目标及其伴随阴影,然后再对目标和阴影进行分离. 动态阴影检测可以利用多幅图像的信息,信息量大,已经取得了较大进展,并且在权威期刊已经发表了相关的综述性文献[10, 11, 12, 13]. Sanin等人在文[10]给出了基于图像序列的阴影检测方法综述,将现有方法按照所使用的特征进行归类,包括色度特征、 物理特征、 几何特征和纹理特征. Prati等[11, 12]将动态阴影检测的方法分为有参数统计学习方法、 无参数统计学习方法、 确定性的基于模型的方法、 确定性的不基于模型的方法. Najdawi等[13]将动态阴影检测算法在室内和室外视频上的表现进行了分类评价. 动态阴影检测虽然研究较多、 进展较大,但这类方法对于单幅图像上的静态阴影无能为力. 许多视觉任务的研究对象是单幅图像(如场景分类、 图像分割、 图像检索等),因此对静态阴影的检测理论和算法需求迫切,这吸引了学者广泛的研究.

静态阴影检测虽然难度较大,开展较晚,但国内外的研究机构也取得了一定的成果. 英国东英吉利大学计算科学系的Finlayson教授(http://www.uea.ac.uk/computing/people/profile/g-finlayson/)以像素点的颜色恒常性为基础提出了基于光照无关图的阴影检测算法,取得了较好的检测效果,但这种算法对图像质量要求较高. 英国学者Barnard领导的跨学科视觉智能实验室(http://www.ivilab.org/)在颜色恒常、 光照建模等理论的基础上提出了阴影检测方法,并且在物体识别、 图像理解、 3D跟踪等方面取得了广泛应用. 伊利诺伊大学香槟分校计算机科学系的Hoiem(http://web.engr.illinois.edu/~dhoiem/)开展了物理地面场景解读、 图像空间理解、 物体识别等一系列研究,其中阴影检测是一项关键技术. 香港科技大学的Wu等[14]利用贝叶斯统计理论对单幅图像中的静态阴影检测做了尝试. 该方法虽然可以检测静态阴影,但是需要手工画出阴影的大概区域,无法应用在自动化程度需求较高的任务中. 美国纽约州立大学石溪分校的Panagopoulos等[15]利用Mises-Fisher统计模型进行阴影检测,对于简单图像取得了较好的效果. 加拿大西蒙弗雷泽大学的Lu等[16]利用马尔科夫随机场建模的方法实现了单幅图像中阴影的自动识别,但该方法只对简单场景的图像做了测试. 文[17, 18, 19, 20]利用机器学习的思想对阴影进行检测,但该类方法的性能对训练集依赖较大. 孙静等[21]利用Retinex理论进行阴影检测,对于具有较复杂纹理的图像,可以自动检测阴影. 田建东等[22, 23]根据图像中阴影的形成机理推导了阴影和非阴影之间的衰减关系,提出了基于三色衰减模型的阴影检测方法,能够自动有效地检测静态阴影,并能应用于较为复杂的场景,但该方法对于日出日落时间的阴影常常会失效. 还有一些学者将阴影检测应用在某些特殊的任务中,比如台湾的Chung等[24]利用多阈值技术对航空图像的阴影进行检测,中南大学的高韬等[25]及郑文武等[26]分别对车辆阴影和TM(thematic mapper)影像中云的阴影进行了检测.

2 静态阴影检测方法的分类

从阴影检测技术出发点来说,阴影检测可以分为3类: 基于模型的方法、 基于本征图像的方法、 和基于统计学习的方法.

2.1 基于模型的方法

基于模型的方法可以进一步分为基于物理模型的方法和基于非物理模型的方法,作为区分两种方法的标准是基于物理模型的方法需要对光照条件和相机响应等成像要素进行建模,从物理成因角度来对阴影进行检测. 而基于非物理模型的方法通常是采用人类视觉模型或数学模型来对阴影进行建模和检测.

2.1.1 基于物理模型的方法

光源是成像的必需因素,许多自然现象如阴影、 雾、 落日余晖等都和室外光源的特性有紧密关系. 如图 2所示,阴影是由光源受到物体遮挡产生的,包括全影和半影. 在室外场景下,光源可以看作是由直射太阳光和散射天空光组成. 全影部分太阳光完全被遮挡,只能受到天空散射光的照射,半影部分的光源是天空散射光以及少量的太阳直射光,非阴影区域的光源是日光(太阳光+天空光). 由于天空光是日光的一部分,因此阴影处的亮度必然要低于对应非阴影背景区域的亮度,这是区别阴影与非阴影部分的显著特征. 表 1给出了阴影和非阴影区域光源 与亮度情况.

图 2 阴影形成的物理解释Fig. 2 Physical illustration for shadow generation

图 3表示了室外图像的物理成像过程,可简单概括为光线从太阳出发,经过大气传播,照射到物体表面,再经过物体反射,进入相机经相机响应曲线加权,再经CCD(charge coupled device)积分完成光电转换最终形成图像.

图 3 室外场景图像形成过程示意图Fig. 3 Illustration for image formation in outdoor scenario

表 1 阴影和非阴影区域的光源和亮度Tab. 1 Light sources and intensity of shadow vs non-shadow regions
光源亮度
非阴影区域日光
半影部分太阳光+天空光
全影散射光

基于物理模型的检测方法主要是对阴影图像的成像过程进行建模,通过对相机成像不同阶段进行合理的假设,设计不同的检测算法. Finlayson等的研究成果比较具有代表性,他们在文[27]中假设光源为普朗克光源,成像表面为朗伯表面,相机的响应函数为冲击响应. 田建东等[28]推导了RGB三通道的阴影内外线性关系模型. 在此模型中,成功消除了相机响应的影响,可以在不使用先验知识的情况下对复杂场景图像进行阴影验证、 本征图像提取和阴影去除.

针对遥感图像中阴影的特点,Makarau等[29]利用黑体辐射模型提出了一种自适应检测阴影的方法,可以有效地检测遥感图像阴影,但是需要提前知道遥感相机传感器数据. 董琦等[30]通过光照成像模型,推导了一系列适用于半影的阴影特征,对软边界阴影的检测取得了较好的效果.

图 4给出了两例基于物理模型的阴影检测方法的结果. 总的来说,基于物理模型方法的特点是具有很好的物理解释,紧密联系物理世界,对于失败案例也容易分析原因. 但这类方法一般需要做一些假设如黑体辐射[27, 29]、 相机窄带响应[27],或某些先验如相机标定[32]或针对特定任务所设计,如移动车辆的投射阴影检测[33]、 航拍图像的阴影检测[34, 35]、 室内阴影检测[36].

图 4 基于物理模型的阴影检测方法结果举例Fig. 4 Results by physical-based shadow detection algorithms

2.1.2 基于非物理模型的方法

Jung等[31]利用Retinex模型推导了高阶残留模型: r(n)(x,y)=I(x,y)-R(x,y)n,其中I(x,y)为原图像,R(x,y)为Retinex输出图像,并且发现当n=4时,可以取得最好的阴影检测效果. 孙静等[21]利用Retinex模型,将阴影检测和阴影去除统一在一个变分方程中. 刘艳丽等[30]利用Sigmoid模型来建模阴影亮度及亮度变化率,可以较好地检测阴影的软边界. Wu等[14]事先手工画出阴影的大概区域,然后利用贝叶斯统计模型可以实现阴影的精确检测、 抠图及去除.

图 5给出了两例基于非物理模型的阴影检测方法的结果. 与基于物理模型的阴影检测方法不同,基于非物理模型的阴影检测方法主要依赖人类视觉模型和数学模型来对阴影进行建模和检测. 这类算法的特点是泛化性能较强,但模型参数无法与物理光照条件及相机响应建立关联,多依靠经验设定.

图 5 基于非物理模型的阴影检测方法结果举例Fig. 5 Results of non-physical based shadow detection algorithms

2.2 基于本征图像的阴影检测方法

本征图像是指消除了光照影响的图像,也称光照不变图像或者光照不敏感空间变换图像. 如图 6所示,基于本征图像的阴影检测方法通常需要分别提取原图像的边缘和本征图像的边缘,然后通过两幅边缘图像的差异来得到阴影检测结果.

图 6 基于本征图像的阴影检测过程Fig. 6 Procedure of intrinsic image based shadow detection

本征图像常常通过把原图像变换到光照不敏感空间获得. 光照不敏感空间变换后的图像在某种程度上对图像成像条件如观察角度、 物体表面方向和光照条件等变化不敏感. Salvador等[38]总结了几种常用的光照不敏感空间,认为采用C1C2C3空间更适用于他们的算法,并对一些简单阴影图像进行了检测. 刘艳丽等[45]也采用了C1C2C3空间,通过总结阴影在C3通道的特点来选择阴影种子点,然后结合马尔可夫随机场和信任传导算法等对阴影区域进行扩充,可以成功地检测投影和半影. 屈靓琼等[39]提出了一种基于正交投影的彩色本征图像分解方法,能够将单幅图像分解为本征图像和光照图像. 该方法对图像整体光照变化及局部阴影问题都能进行快速有效的处理. Cucchiara等[40]认为HSV空间中阴影区域亮度变化明显,但色度和饱和度变化不明显,并藉此来区分运动物体和阴影,取得了良好的效果.

Finlayson等[37]通过最小熵来寻找最优投影方向来获得本征图像,然后利用原图像的边界减去本征图像的边界获得阴影边界. 王涛等[41]以色彩理论为基础,分析了航空影像中阴影的性质. 通过使用RGB颜色空间的RG分量和HSV色彩空间的HV分量,再结合灰度直方图分割,可以成功地对航空图像阴影进行检测. 王树根等[42]指出光照函数集中在影像亮度的低频段,而地表景物因具有细节、 边缘和纹理等特征而使反射函数集中在影像亮度的高频段. 将图像由RGB空间转到HSI空间,然后利用低频特性对阴影进行检测.

图 7给出了两例基于本征图像的阴影检测算法的结果. 基于本征图像的阴影检测方法的特点是检测算法本身非常简单,但检测结果严重依赖于本征图像的质量,遗憾的是,本征图像的鲁棒性抽取在计算机视觉领域仍然是一个难点.

图 7 基于本征图像的阴影检测算法结果举例Fig. 7 Results by intrinsic image based shadow detection algorithms

2.3 基于统计学习的阴影检测方法

近年来,随着机器学习领域的不断发展,基于大规模图像数据库的统计学习方法不断被提出. 该类方法首先需要对阴影图像进行特征提取,然后利用所提取的特征对分类器进行训练,最后再通过训练好的分类器对图像进行阴影检测. 阴影最明显的特征就是它降低了所覆盖区域的亮度,即阴影区域亮度比周围区域亮度要低. 该特征被几乎所有基于特征学习的阴影检测方法所采用. 其它的阴影特征如纹理、 直方图、 几何、 色彩比率、 梯度等也被广泛采用. 有时,单一特征并不足以识别阴影(比如阴影区域较暗,但是较暗的区域不一定就是阴影). 因此,许多方法需要结合多种特征来检测阴影区域.

Zhu等[18]尝试对单色图像进行阴影检测,他们认为并不是所有的传感器都能获得彩色图像. 作者结合决策树和条件随机场对单色自然场景的阴影图像进行检测. Lalonde等[17]提出一个基于条件随机场的方法来检测地面上的阴影,其中关键假设是将地面场景简化为沥青、 砖、 石头、 水泥、 草、 混凝土等常见材质,在复杂场景的图像上也能有较高的准确率,其缺点是在特殊材质的地面上检测效果较差. 与之前按像素或者边缘信息来检测阴影的传统方式不同,Guo等[20]将整张图像分成光照相同区域和光照不同区域来进行考虑,然后通过SVM(supprt rector machine)分类器对标记阴影和非阴影区域进行特征提取和训练,进而检测图像中的阴影. Huang等[32]将物理模型和统计学习的方法进行结合,对物理特征进行学习. 首先对光照和遮挡进行建模,从阴影成因的角度,推导出了新的颜色向量角和颜色梯度方向特征. 然后通过使用SVM和AdaBoost两种不同分类器分别对特征进行训练,实验结果表明新的特征能够有效提高阴影检测准确率. Tomas等[43]首先使用SLIC(simple linear iterative clustering)超像素分割方法对图像进行分割,得到候选阴影区域,然后使用SVM分类器进行多特征训练,再将检测结果通过马尔可夫链进行修复,检测结果较之前有了明显提高. Panagopoulos等[44]利用Fisher分布模型对阴影进行建模与学习,但该模型需要3维几何信息作为先验信息.

图 8给出了两例基于统计学习方法的结果. 基于统计学习的阴影检测方法的性能一般依赖于训练集,也就是说,在不同的训练集上训练会产生不同的检测结果. 此外,由于这些学习方法需要提取复杂的统计特征如纹理、 直方图等来训练分类器,因此它们一般都比较耗时,会给这类方法在实际应用中带来困难.

图 8 基于统计学习方法的结果举例Fig. 8 Results by statistical learning based shadow detection algorithms

2.4 静态阴影检测的主要算法总结

在以上内容中,本文对静态阴影检测方法进行了分类,并对每种类型中的代表性算法进行了简要描述. 表 2对近年来静态阴影检测的主要算法进行了更为细致的总结,描述了它们的检测方法以及所使用的特征,指出了检测的阴影类型和对象,并且总结了各自的优缺点.

3 静态阴影检测算法的现状分析及展望

3.1 现状分析及存在的问题

图像的颜色和亮度等像素信息以及在此基础上衍生出的各种图像特征(如角点、 边缘、 梯度、 纹理等)是计算机视觉领域处理问题的根本. 阴影的出现恰恰改变了所覆盖区域像素的颜色和亮度信息,从而在根本上影响了图像分析、 特征提取、 图像分割等视觉任务的准确度与鲁棒性.

表 2 静态阴影检测的主要算法总结Tab. 2 Summary of main recent static shadow detection algorithms
文献方法描述检测类型/对象优点缺点
Makarau[29]利用黑体辐射模型和相机窄带响应假设推导阴影色度特征并进行检测投影/区域针对于遥感图像鲁棒性较高假设条件较多,适用范围窄
Tian[22, 23]推导了三色衰减模型,利用该模型提取阴影投影/边界能迅速、 准确对阴影进行检测模型只能适用于室外阴影
Wu[14]利用高斯混合模型及贝叶斯方法优化纹理、 梯度来提取阴影投影/区域将阴影提取与去除统一到一个计算模型下自动化程度低,需要人工画出阴影大致区域
Dong[30]利用Sigmoid函数来建模亮度及亮度变化率半影/边界模型简单,只利用亮度信息就可以检测出阴影软边界适用于场景和背景都比较简单的图像
Jung[31]利用Retinex模型与Weibull分布推导的高阶残留特征进行检测投影/区域不依赖传统物理模型,检测迅速,特征新颖有些局部区域处理不好,测试图像场景较单一
Finlayson[37]利用本征图像和原图像的边缘差提取阴影投影/边界可以快速地提取阴影边界需要对相机、 光源等进行假设,效果取决于本征图像的质量
Zhu[18]利用亮度差、 偏态、 梯度、 纹理、 离散熵等特征训练分类器,实现阴影检测投影/区域可以对灰度图像进行阴影检测运行时间长,算法复杂
Lalonde[17]利用颜色比率、 纹理、 亮度差、 偏态特征训练分类器,实现阴影检测投影/边界可以对较复杂的场景进行检测,对图像质量要求不高运行时间长,只能检测地面阴影,对场景中大部分都是地面的图像误检测较多
Guo[20]利用颜色纹理、 直方图、 颜色比率特征训练分类器,实现阴影检测投影/区域提出了用于阴影检测及去除的数据库检测时间长,算法鲁棒性不高
Huang[46]利用颜色比率、 颜色向量角、 颜色梯度方向特征训练分类器,实现阴影检测投影/边界通过物理模型推导了颜色向量角、 颜色梯度方向两个新特征不能检测室内阴影
Tomas[43]利用纹理、 颜色直方图、 颜色比率、 颜色序列特征训练分类器,实现阴影检测投影/区域使用MRF(Markov random field)提高了检测准确率适应于一些内容简单的图像

因此,阴影识别与处理是许多计算机视觉任务所面临的难题,如能有效解决将会显著提高许多计算机视觉算法的性能. 在计算机视觉研究领域,研究者早已认识到阴影处理的必要性并进行了广泛的研究. 总体来说,目前关于动态阴影处理的研究进展较大. 相比而言,单幅图像中尤其是复杂场景下的静态阴影检测尚缺乏行之有效的手段,研究结果还不能满足实际应用的需求. 究其原因,除了静态阴影处理难度更大的之外,还有以下几个问题需要重视和解决.

3.1.1 高鲁棒性的阴影特征

好的阴影特征对检测效果至关重要,可以明显提高检测效率. 就单一特征来讲,它们的鲁棒性和特异性还远远达不到要求,比如阴影最显著的特征就是阴影区域的亮度会比周围非阴影区域的亮度暗,但是图像中一些亮度比较低的物体同样会比周围背景暗. 再如,色度特征认为阴影区域虽然在亮度上比周围区域暗,但是在色度上仍然保持不变. 但许多情况下,阴影和非阴影在常用的色度特征如C1C2C3、 Normalized RGB上仍然差别较大,给后续处理带来困难. 当前主流做法是将几种阴影特征组合到一起使用来提高检测准确率,如文[47, 48, 49],但即使这样也很难达到非常高的检测率,并且多维特征在提取和训练过程中耗时较长,因此提出鲁棒性更高的阴影特征应该才是解决问题的根本.

3.1.2 完善的阴影数据库

一个检测算法往往需要一个包含有大量原图像及相应的Ground Truth(人工标记的正确分类)图像的数据库,用来进行训练、 检测以及对算法进行评价. 在某些领域如人脸识别,已经存在成熟和公认的数据库,但在阴影检测领域,尚缺少这样的数据库. 这是一项工作量很大的工作,首先要采集大量的各种类型的阴影图像. 数据库中的阴影图像至少需要包括以下几种不同的情形: 1) 不同时间、 地点、 光照强度和角度; 2) 不同的地面场景,如水泥、 草地、 砖、 土地、 雪地、 马路等; 3) 不同的阴影类型,如半影、 全影、 投影、 自影及不同的物体(如树木、 楼房、 行人、 车辆等的)投射阴影; 4) 不同类型相机拍摄的图像,如单反相机、 卡片相机、 监控相机、 手机摄像头等. 除了包含大量不同类型的阴影图像,还需要对数据库图像人工标记出阴影(主要有对阴影边界标记和对阴影区域标记两种方式). 正是由于这些困难,目前在阴影识别领域还没有成熟的、 得到公认的数据库. Zhu等人[18]在2010年建立了第一个阴影数据库,它包含245张基于区域标记的阴影图像. 在这个数据库中,有117张图片是作者在室外环境下拍摄的,有74张是航拍图像,还有54张来自Label me数据库. 同年Lalonde等[17]提出了一个包含72张图像的数据库,并对所有图像进行了边界标记. Guo等[20]在2011年提出了一个包含108张阴影图像的数据库,每张图像都以区域的形式进行了标记. 虽然这些数据库在一定程度了得到了应用,但随着单幅图像静态阴影检测技术的发展,对数据库的要求也逐渐提高,目前存在的数据库还没有达到要求. 没有完善和公认的数据库也是阻碍静态阴影检测技术进步的一个原因.

3.1.3 算法的实用性

目前提出的静态阴影检测算法在运行速度、 检测准确率、 鲁棒性等方面还难以达到工程要求,这影响了算法的大范围应用. 究其原因,一方面是因为实际图像中的阴影过于复杂,难以用单一的模型完整建模,这就需要提出新的阴影特征和新的算法. 其次,目前所有的方法都是人工挑选有阴影的图像去测试算法性能,其相关文献均没有给出算法在无阴影图像上的测试结果(比如是否存在误检测). 在实际应用中,如果算法将不存在阴影的图片检测出阴影,在这种情况下反而会给视觉系统的后续工作带来干扰. 因此,对阴影处理方法的实际应用来说,能否自动判定一副图像上有无阴影也是至关重要的.

3.2 发展趋势分析

静态阴影检测方法分为基于模型的方法(可进一步分为基于物理模型的方法和基于非物理模型的方法)、 基于本征图像的方法、 基于统计学习的方法. 从近年来发表的论文情况看,基于物理模型的方法和基于统计学习的方法已经逐渐成为主流方法,而关于非物理模型的方法及本征图像的方法的研究则逐渐减少. 基于物理模型的方法可以和光照条件及相机响应建立关联,发现阴影的规律,有利于高鲁棒性的阴影特征的提出,进而可以显著提高检测效率. 基于统计学习的阴影检测方法模式简单(特征+分类器),可以借助机器学习领域的最新成果,利用阴影数据库进行训练分类,可以方便地尝试不同特征及不同分类器之间相互组合的性能,往往能够取得不错的效果. 基于非物理模型的方法往往依赖于人类视觉模型,但由于相机和人眼的工作机理相差甚远且人类视觉机理至今未明,因此这类算法的模型建立多依赖于经验、 假设和仿真,其理论基础及结果的可解释性都有待提高. 基于本征图像的阴影检测方法十分简单,但其结果极大地依赖于本征图像的质量,遗憾的是本征图像的鲁棒性抽取本身难度就很大,因此近年来学者对这种阴影检测方法的研究也在逐渐减少.

参考文献
[1] Bertalm M, Caselles V, Provenzi E. Issues about retinex theory and contrast enhancement[J]. International Journal of Computer Vision, 2009, 83(1): 101-119.
[2] Farup I, Gatta C, Rizzi A. A multiscale framework for spatial gamut mapping[J]. IEEE Transactions on Image Processing, 2007, 16(10): 2423-2435.
[3] Chen C, Lin S. Formulating and solving a class of optimization problems for high-performance gray world automatic white balance[J]. Applied Soft Computing, 2011, 11(1): 523-533.
[4] Qi M, Dai J, Zhang Q, et al. Cascaded cast shadow detection method in surveillance scenes[J]. International Journal for Light and Electron Optics, 2014, 125(3): 1396-1400.
[5] Benedek C, Szirnyi T. Bayesian foreground and shadow detection in uncertain frame rate surveillance videos[J]. IEEE Transactions on Image Processing, 2008, 17(4): 608-621.
[6] Choi J, Yoo Y. Adaptive shadow estimator for removing shadow of moving object[J]. Computer Vision and Image Understanding, 2010, 11(4): 1017-1029.
[7] Joshi A, Papanikolopoulos N. Learning to detect moving shadows in dynamic environments[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(11): 2055-2063.
[8] Huang J, Chen C. Moving cast shadow detection using physics-based features[C]//IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ, USA: IEEE, 2009: 2310-2317.
[9] 韩忠民, 刘志, 张兆杨, 等. 视频分割中运动阴影消除的新方法[J]. 中国图象图形学报, 2009, 14(10): 2110-2113. Han Z M, Liu Z, Zhang Z Y, et al. A new approach to moving cast shadow removal in video segmentation[J]. Journal of Image and Graphics, 2009, 14(10): 2110-2113..
[10] Andres S, Sanderson C, Lovell B. Shadow detection: A survey and comparative evaluation of recent methods[J]. Pattern Recognition, 2012, 45(4): 1684-1695.
[11] Prati A, Mikic I, Trivedi M, et al. Detecting moving shadows: Algorithms and evaluation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(7): 918-923.
[12] Prati A, Cucchiara R, Mikic I, et al. Analysis and detection of shadows in video streams: A comparative evaluation[C]//IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ, USA: IEEE, 2001: 571-576.
[13] Al-Najdawi A, Bez H E, Singhai J, et al. A survey of cast shadow detection algorithms[J]. Pattern Recognition Letters, 2012, 33(6): 752-764.
[14] Wu T P, Tang C K. A Bayesian approach for shadow extraction from a single image[C]//IEEE Conference on ICCV. Piscataway, NJ, USA: IEEE, 2005: 480-487.
[15] Panagopoulos A, Samaras D, Paragios N. Robust shadow and illumination estimation using a mixture model[C]//IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NI, USA: IEEE, 2009: 651-655.
[16] Lu C, Drew M. A Markov random field framework for finding shadows in a single colour image[C]//The Tenth Congress of the International Colour Association. Bellingham, WA, USA: SPIE, 2005: 8-13.
[17] Lalonde J E, Efros A A, Narasimhan S G. Detecting ground shadows in outdoor consumer photographs[C]//European Conference on Computer Vision. Berlin, Germany: Springer, 2010: 322-335.
[18] Zhu J, Samuel K, Masood S Z, et al. Learning to recognize shadows in monochromatic natural images[C]//IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ, USA: IEEE, 2010: 223-230.
[19] Brisson N, Zaccarin A. Kernel-based learning of cast shadows from a physical model of light sources and surfaces for low-level segmentation[C]//IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ, USA: IEEE, 2008: 24-26.
[20] Guo R, Dai Q, Hoiem D. Single-image shadow detection and removal using paired regions[C]//IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ, USA: IEEE, 2011: 2033-2040.
[21] Sun J, Tian J D, Du Y K, et al. Retinex theory-based shadow detection and removal in single outdoor image[J]. Industrial Robot: An International Journal, 2009, 36(3): 263-269.
[22] Tian J D, Sun J, Tang Y D. Tricolor attenuation model for shadow detection[J]. IEEE Transactions on Image Processing, 2009, 18(10): 2355-2363.
[23] Tian J D, Zhu L, Tang Y D. Outdoor shadow detection by combining tricolor attenuation and intensity[J]. EURASIP Journal on Advances in Signal Processing, 2012, 11(6): 1-8.
[24] Chung K, Lin Y, Huang Y. Efficient shadow detection of color aerial images based on successive thresholding scheme[J]. IEEE Transactions on Geoscience and Remote Sensing, 2009, 47(2): 671-681.
[25] Gao T, Liu Z G, Yue S H, et al. Robust background subtraction in traffic video sequence[J]. Journal of Central South University of Technology, 2010, 17(1): 187-195.
[26] 郑文武, 邓运员. 基于LSMA的TM影像云和阴影的检测与去除方法[J]. 测绘科学, 2010, 35(3): 62-65. Zheng W W, Deng Y Y. Detecting and removing cloud and shade on TM imagery based on LSMA[J]. Science of Surveying and Mapping, 2010, 35(3): 62-65.
[27] Finlayson G, Hordley S, Drew M. Removing shadows from images[C]//European Conference on Computer Vision. Berlin, Germany: Springer, 2002: 823-836.
[28] Tian J D, Tang Y D. Linearity of each channel pixel values from a surface in and out of shadows and its applications[C]//IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ, USA: IEEE, 2011: 985-992.
[29] Makarau A, Richter R, Muller R. Adaptive shadow detection using a blackbody radiator model[J]. IEEE Transactions on Geoscience and Remote Sensing, 2011, 49(6): 2049-2059.
[30] Dong Q, Liu Y, Zhao Q, et al. Detecting soft shadows in a single outdoor image: From local edge-based models to global constraints[J]. Computers & Graphics, 2014, 38(2): 310-319.
[31] Jung C, Kim W, Kim C. Detecting shadows from a single image[J]. Optics Letters, 2011, 36(22): 4428-4430.
[32] Jiang H, Drew M. Tracking objects with shadows[C]//International Conference on Multimedia and Expo. Bellingham, WA, USA: SPIE, 2003: 100-105.
[33] Martel-Brisson N, Zaccarin A. Moving cast shadow detection from a Gaussian mixture shadow model[C]//IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ, USA: IEEE, 2005: 643-648.
[34] Nadimi S, Bhanu B. Physical models for moving shadow and object detection in video[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(8): 1079-1087.
[35] Yao J, Zhang Z. Hierarchical shadow detection for color aerial images[J]. Computer Vision and Image Understanding, 2006, 102(1): 60-69.
[36] Wang Y, Loe K, Wu J. A dynamic conditional random field model for foreground and shadow segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(2): 279-289.
[37] Finlayson G D, Hordley S D, Lu C, et al. On the removal of shadows from images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(1): 59-68.
[38] Salvador E, Cavallaro A, Ebrahimi T. Cast shadow segmentation using invariant color features[J]. Computer Vision and Image Understanding, 2004, 95(2): 238-259.
[39] Qu L, Tian J D, Han Z, et al. Pixel-wise orthogonal decomposition for color illumination invariant and shadow-free image[J]. Optics Express, 2015, 23(3): 2220-2239.
[40] Cucchiara R, Grana C, Piccardi M, et al. Detecting moving objects, ghosts, and shadows in video streams[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(10): 1337-1342.
[41] 王涛, 王伟超, 张刚. 正射影像上阴影区域检测与消除的方法[J]. 地理空间信息, 2010(5): 70-72. Wang T, Wang W C, Zhang G. Methods for shadow detection and shadow removal in ortho images[J]. Geospatial Information, 2010(5): 70-72.
[42] 王树根, 李德仁. 正射影像上阴影和遮蔽的信息处理方法研究[J]. 测绘信息与工程, 2004, 29(4): 1-4. Wang S G, Li D R. Method for information processing of shadows and occlusion on orthophotos[J]. Journal of Geomatics, 2004, 29(4): 1-4.
[43] Tom F, Yago V, Yu C, et al. Single image shadow detection using multiple cues in a supermodular MRF[C]//British Machine Vision Conference. London, UK: British Machine Vision Association, 2013: 1-12.
[44] Panagopoulos A, Samaras D, Paragios N. Robust shadow and illumination estimation using a mixture model[C]//IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ, USA: IEEE, 2009: 651-658.
http://dx.doi.org/10.13976/j.cnki.xk.2015.0215
中国科学院主管,中国科学院沈阳自动化研究所、中国自动化学会共同主办。
0

文章信息

田建东, 王占鹏, 唐延东
TIAN Jiandong, WANG Zhanpeng, TANG Yandong
静态阴影检测的研究进展
Static Shadow Detection: A Survey
信息与控制, 2015, 44(2): 215-222
INFORMATION AND CONTROL, 2015, 44(2): 215-222.
http://dx.doi.org/10.13976/j.cnki.xk.2015.0215

文章历史

收稿日期:2014-11-06
录用日期:2015-01-30
修回日期:2015-02-09

相关文章

工作空间