文章快速检索  
  高级检索
基于张量鲁棒主成分分析的视网膜眼底图像序列变化检测
赵星1, 白建豪2, 傅迎华1    
1. 上海理工大学光电信息与计算机工程学院, 上海 200093;
2. 同济大学附属第十人民医院, 上海 200072
摘要: 在计算机辅助诊断系统中,视网膜眼底图像序列的变化检测是一项重要且具有挑战性的任务。针对视网膜眼底图像序列采样帧少、光照干扰大、难以获得稳健的背景模型,提出了一种基于张量鲁棒主成分分析(tensor robust principal component analysis,TRPCA)的变化检测方法。该方法以TRPCA为模型,通过对序列背景扩充,再利用张量分解而获得变化区域:首先,先选择出序列中最接近正常状态的一张图像作为背景模型;然后,通过预处理将单帧背景模型扩张成多帧背景使得背景模型包含更丰富的光照变化;接着,将整个序列建模为一个3维张量体;最后,利用总变分约束背景模型和变化区域的时空连续性,通过Tucker分解分离出背景模型,获得变化区域。实验结果表明,与基于矩阵的鲁棒主成分分析(matrix robust principal component analysis,Matrix RPCA)方法,Masked-RPCA方法以及不加总变分约束的TRPCA方法相比,基于总变分约束的TRPCA方法能够更准确地分离出变化区域,对血管和光照干扰更具有鲁棒性。
关键词: 变化检测    视网膜眼底图像序列    张量鲁棒主成分分析    Tucker分解    
Change Detection Based on Tensor Robust Principal Component Analysis for Retinal Fundus Image Serial
ZHAO Xing1, BAI Jianhao2, FU Yinghua1    
1. School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China;
2. Tenth People's Hospital, Tongji University, Shanghai 200072, China
Abstract: The change detection of retinal fundus image serial is an important and challenging task in computer-aided diagnosis systems. Major challenges for retinal fundus image serial include few sampling frames and large interference of illumination, making it difficult to obtain a robust background model. A change detection method based on tensor robust principal component analysis (TRPCA) is proposed. The method takes TRPCA as the model, expands the serial background, and uses a tensor decomposition to obtain the change region: First, an image closest to the normal state in the serial is selected as the background model. Then, the single-frame background model is expanded into multi-frame backgrounds by pre-processing so that the background model contains more abundant illumination changes. The whole serial is modeled as a three-dimensional tensor volume. Finally, the time-space continuity of the background model and the change region is constrained by the total variation, and the background model was separated using Tucker decomposition to obtain the change region. The experimental results show that compared with the matrix robust principal component analysis (Matrix RPCA), masked-RPCA, and TRPCA methods without total variation constraints, the TRPCA method with total variation constraints more accurately separated the change region and is more robust to the interference of blood vessels and illumination.
Keywords: change detection    retinal fundus image serial    tensor robust principal component analysis    Tucker decomposition    

0 引言

在视频监控[1-2]、遥感[3-9]和医学图像分析[10-11]等领域,图像的变化检测一直是一个热门话题。医学图像序列通常是在患者病情反复变化的情况下采集得到。图像序列表现出病情的动态演化过程,因此序列的变化检测可为医生提供更多的可视化信息,为病情治疗和药物使用提供量化分析[12]。同时这些变化检测方法减轻了医生的负担,并可能缓解由于观察者的经验不同带来的差异性。

医学图像中的变化检测方法主要关注图像对之间的变化,一般通过点对点的像素亮度值比较来实现变化检测,主要可分为图像差分和图像熵的方法[13-14]。逐点比较的方法受噪声影响较大,对图像配准和亮度校正要求较高,很难生成干净的变化区域。基于矩阵RPCA(robust principal component analysis)的方法将参考图像看作背景,通过序列扩张和背景相减方法检测出变化区域[15]。该方法能够利用背景的低秩性,较好地过滤图像间全局的光照差异性,生成较为干净的变化区域。

医学图像长序列变化检测在实际研究中讨论较少。医学图像长序列往往包含多帧图像,这些图像基本都含有病变信息,不存在没有病灶的正常图像模型,这给序列变化检测的解释性带来一定挑战。在临床上,医生为了评估病情和疗效通常将序列中的每个状态与最接近正常的状态进行比较,可以通过生成的变化序列为病情治疗提供定量化的评判结果。一方面,选择序列中最接近正常的状态图像为背景模型,基于单帧背景建模的变化检测为临床应用的可解释性带来了很大的便利。另一方面,序列中两两相邻图像对之间的变化只能提供局部动态信息,无法反映整个序列动态的变化过程。基于单帧背景建模的的长序列变化检测能更好地分析病情的演化过程,成为医学临床分析的一个重要研究内容。

长序列变化检测在视频监控中应用广泛,基于背景建模和背景相减的方法受到很大的关注[1, 16-17]。视频序列中通常会采集到很多的背景帧,背景建模方法可根据这些背景帧学习出一个稳健的背景模型。统计背景建模对光照差异性和动态背景具有较好的鲁棒性而成为一种实用的背景建模方法[18]。WATERS等[19]观察到视频序列中背景有很强的时间相关性和前景目标具有稀疏性,提出了采用RPCA模型检测序列变化的方法。该方法将序列的背景模型和前景目标同时分离出来,稳健地检测出变化的前景目标。KHALILIAN-GOURTANI等[20]认为稀疏的前景覆盖在背景上,提出Masked-RPCA模型将稀疏的前景目标分离出来。

RPCA模型一般将视频序列当成观测矩阵,因此该方法会将视频的每一帧转变为一个列向量。图像的向量化操作破坏了原图像的空间结构关系,不利于提取与空间位置相关的信息。为此,许多张量RPCA(TRPCA),比如ETRPCA(enhanced TRPCA)、TRPCA-TNN(TRPCA with Tensor Nuclear Norm)等方法被提出来[21-23]。TRPCA将序列建模成一个3维张量体,每一帧作为原始图像矩阵保存,保留了原有图像的空间结构特征,在视频监控中被广泛的应用[24]

但医学图像序列与视频序列有着较大的差异。首先,在视频监控中,采样帧较多且采样间隔较短。而在医学图像序列中,采样帧较少,通常只包含两张或几张图像,并且连续帧之间的时间跨度较长,通常持续数周或数月。较长的采样间隔使得医学图像序列受环境等因素影响较大,如图像间的亮度差异和成像条件;其次,视频监控中的连续帧采样间隔是几秒,许多背景帧被用来背景建模,通过这些帧可学习出稳健的背景模型。对于医学图像序列,仅选择单幅图像作为背景而对整个序列背景模型建模对背景模型的稳健性提出了极大的挑战[15]

对序列中的光照干扰问题,许多光照及亮度校正技术被提出来[10, 25-26],包括图像内容校正的Retinex方法[25]和图像间亮度校正的归一化方法[26]。迭代鲁棒同态曲面拟合(IRHSF)通过计算视网膜表面的曲率来对眼底图像的光照模型进行建模[10],能很好地去除图像内局部光照。Matrix RPCA方法将图像内亮度校正与图像间亮度归一化方法相结合,可缩小图像间的全局光照差异性,采用线性插值方法进一步缩小相邻图像间的全局亮度差异性[15]。Matrix RPCA的亮度归一化在一定程度上缓解了光照带来的干扰,但图像间局部亮度的跳跃仍然会干扰变化检测结果。

Matrix RPCA的变化检测方法较好地处理了图像间的光照差异性,提供了一种在单帧背景模型下进行变化检测的有效方法,首次通过利用低秩分解检测出较为干净的变化区域[15]。由于Matrix RPCA方法将序列的每一帧转化为列向量,忽视了背景模型的空间相关性,同时也没有考虑变化区域的时空连续性。针对现有的视网膜眼底图像序列变化检测中存在的问题,本文提出一种基于TRPCA的变化检测方法。该方法将整个图像序列建模成一个3维张量,序列每一帧作为张量的一个切片完整保存了图像的空间结构信息,同时采用总变分方法对背景模型和变化区域的时空连续性进行约束,保证背景模型的稳健性和变化的连续性,使得分解出来的背景模型更稳定,变化区域更干净清晰,能有效避免光照影响。

本文所提方法的优势如下:首先,使用TRPCA检测序列变化,将矩阵分解扩展到基于张量的Tucker分解,保存了原有图像之间的时空相关性;其次,该方法通过3维总变分对背景模型和变化区域施加约束,充分考虑了背景模型和变化区域的时间和空间连续性;最后,基于块的TRPCA(patch-group-based TRPCA,PG-TRPCA)通过构建局部张量体,降低了随机噪声的干扰,获得的变化区域更加清晰和准确。

1 视网膜眼底图像序列变化检测 1.1 数据

图 1所示的序列1是针对同一病人左眼从2019年9月17日到2021年5月5日采集得到的9张图像,平均每两个月采集1张图像。图像按照从上到下,从左到右的顺序依次排列。原始图像的大小为2 736×1 824,通过缩小裁剪后图像大小调整到456×456。患者长期患有湿性老年性黄斑变性。序列1中的第9张图像是病人病情最接近正常的状态,选择这张图像作为背景模型。序列1中的第1张到第6张图像与背景模型相比包含更多更明显的病变,第7张和第8张图像与背景模型相比变化较小。这说明病人在眼科医生的治疗下,病情先是动态变化然后趋于稳定。如图 2所示的序列2来自于同一病人右眼从2019年9月9日到2021年7月6日采集得到的10张图像,缩小裁剪后图像大小为456×456。序列2中的第4张图像是该病人病情最接近正常的状态,选择这张图像作为序列2中的背景模型。

图 1 视网膜眼底图像序列1 Fig.1 Retinal fundus image serial 1
图 2 视网膜眼底图像序列2 Fig.2 Retinal fundus image serial 2
1.2 预处理

在进行序列变化检测前,一般需要对图像进行亮度校正和归一化及图像配准。

通过亮度校正可以平滑图像内部的光照,使得光照呈现出缓慢的变化。IRHSF是一种针对视网膜眼底图像提出的光照校正方法,能很好地去除图像内局部光照,增强图像信息[8]。分辨率为M×N的图像F(xyλ)可以建模为光照分量FI(xyλ)和反射分量FR(xyλ)的向量积:

(1)

其中,λ表示颜色通道的波长。

IRHSF的参数曲面拟合方程公式为

(2)

其中,FL=FL(xy)=lg(F(xyλ)),Q是光照参数,

通过式(3)~式(5)计算光照参数Q、光照分量FI和反射分量FR

(3)
(4)
(5)

VNM×NM对角矩阵,V中非零元素对应于在感兴趣区域中像素的亮度值。

图 3(b)图 3(c)分别是序列1中校正后的背景模型和IRHSF光照模型。图 4图 5分别是序列1和序列2经过IRHSF亮度校正后的序列图像。

图 3 IRHSF光照处理 Fig.3 IRHSF illumination treatment
图 4 IRHSF亮度校正后的眼底图像序列1 Fig.4 Fundus image serial 1 with IRHSF intensity correction
图 5 IRHSF亮度校正后的眼底图像序列2 Fig.5 Fundus image serial 2 with IRHSF intensity correction

视网膜眼底图像通过PIIFD方法[27]进行配准。PIIFD是一种基于Harris特征检测子的视网膜图像自动配准方法。该方法先使用特征检测子检测出角点,然后匹配角点周围具有亮度不变性的特征区域。在序列1中第1张图像与背景模型之间的配准结果如图 6所示。

图 6 特征点检测与匹配 Fig.6 Feature point detection and matching
1.3 本文方法

预处理后图像内局部亮度差异减弱,但是序列图像之间仍然存在亮度差异,而且难以通过学习单帧的背景来构建出稳健的背景模型,因此需要进行背景扩张。

1.3.1 背景扩张

采用图像间亮度归一化方法实现背景扩张,将背景模型的亮度与当前图像的亮度尽量保持一致,使得背景模型能适应比较多的亮度变化,同时单帧背景扩充到多帧背景,从而构建出更加稳健的背景模型。

亮度归一化方法如下:假设序列中有D张图像,I1I2,…,IDD>2。Ib是背景模型,b∈[1,D]。经过亮度校正后序列可表示为Ĩ1Ĩ2,…,ĨD,将所选背景Ĩb的亮度归一化为序列中其他图像的亮度,公式如下:

(6)

其中,ĨbiĨb与序列中第i个图像Ĩi的亮度归一化后产生的新的背景模型,μiμb分别是ĨbiĨb的平均值,σiσb分别是ĨbiĨb的标准差。

背景扩张后,眼底图像序列可表示为I={ĨiĨbĨbiibi=1,2,…,D}。背景扩张后的眼底图像序列1和序列2分别如图 7图 8所示。然后使用TRPCA对序列I进行变化检测。

图 7 背景扩张后的视网膜眼底图像序列1 Fig.7 Retinal fundus image serial 1 with background expansion
图 8 背景扩张后的视网膜眼底图像序列2 Fig.8 Retinal fundus image serial 2 with background expansion
1.3.2 张量模型

TRPCA将每张眼底图像视为张量体中的一个切片,整个眼底图像序列被建模为一个3维张量体:={12,…,D},其中D是图像的张数,序列中的第i张图像为切片ii∈ℝH×W(i=1,2,…,D),H×W是图像的大小。张量体可由静态背景分量和变化分量组成,公式如下:

(7)

其中,分别表示背景张量和变化张量。静态背景分量又可分解为时间维度的低秩分量和扰动ε之和,故张量体I可进一步表示为

(8)
1.3.3 变化区域建模

对于变化体,病情随着时间的推移而动态变化,变化区域通常位于某个连续的区域内,它们随着时间而缓慢变化。这意味着变化区域与背景模型的扰动ε不同,变化区域具有时间和空间的连续性,故可对变化体增加时空连续性约束。本文采用3维总变分来度量这种连续性。对于变化体中的任一体素(ijk),它的时空连续性定义为

(9)

其中,(ijk)表示体素(ijk)处的亮度。

变化体的3维总变分定义为

(10)

将TVijk(C)分别沿高度、宽度和时间方向展开,则可得到(ijk)沿3个不同方向的连续性表示:

(11)
(12)
(13)

假设Dh(C)、Dw(C)和Dt(C)分别为张量hwt的向量化表示,从而

(14)

||Dh(C)||1和||Dw(C)||1表示了变化区域在空间上的连续性,||Dt(C)||1表示了变化区域在时间方向上的连续性,||D(C)||1则显示了变化区域的时空连续性。

1.3.4 背景建模与TRPCA

对于静态背景张量,序列中的每张图像都包含许多相同的解剖结构,具有很强的时间相关性,可将分别沿着高度,宽度和时间方向展开得到S(1)S(2)S(3)

(15)
(16)
(17)

其中,U1是秩小于H的高秩矩阵,U2是秩小于W的高秩矩阵,U3是秩远小于D的低秩矩阵。E(1)E(2)E(3)是扰动。

Tucker分解可以将一个张量分解为一个核张量与每一个方向上对应矩阵的乘积。对静态背景分量使用Tucker分解,可以得到:

(18)

其中,是核张量,ε是扰动,表示背景模型重建时的误差,×i表示两个张量沿第i个方向展开,展开后的矩阵再做矩阵乘积。则

(19)

其中,低秩分量为理想的背景模型。

式(18)和式(19)意味着眼底图像序列的背景可以由理想的背景模型和扰动ε组成,并且利用理想背景模型的低秩性,通过Tucker分解来重建背景[28]。在Tucker分解中,引入变化区域的时空连续性和理想背景模型的低秩性,则可得到序列变化检测的通用模型,如式(20)所示。这个模型也就是全局的TRPCA(holistic TRPCA,H-TRPCA)。

(20)

其中,Vec (×1U1×2U2×3U3)是理想背景模型的向量化表示。

与基于整个张量体建模的H-TRPCA不同,基于块的PG-TRPCA首先将张量体分割成许多重叠的大小为r×r×D的3D块,然后将这些3D块组成一个块集 ,其中是块集中的第i个3D块,Γ是一个索引集。

根据眼底图像中相同解剖结构的局部相似性,背景张量可以被分成K个簇,每个簇都是一个4阶张量。假设S的向量化表示,RkS中第K个张量簇的向量化表示,RkS∈ℝr2DNk×1。由于簇内的相似性,用低秩张量k来近似表示Ten (RkS),k∈ℝr×r×D×Nk,重建S则可通过求解以下优化问题得到:

(21)

式(21)的解析解为

(22)

k是与第K个簇有关的4阶张量。由于理想背景模型沿时间方向具有强相关性,k在时间方向上是低秩的,即(k)3是低秩的。此外,第K个簇中的3D块具有相似的结构,这意味着(k)4也是低秩的。结合k在第3和第4个方向上的低秩性,k可以通过Tucker分解进行建模:

(23)

其中,k是核张量,U1kU2kU3U4k是列正交的矩阵因子。组合式(14)和式(23)可得到PG-TRPCA的通用模型:

(24)

H-TRPCA与PG-TRPCA都通过ADMM(alternating direction method of multipliers)[29-31]求解。

2 实验仿真

本文实验所用的是intel Xeon E5-2670 V3处理器,128 GB内存,NVIDIA Quadro K5200显卡的电脑,操作系统是Windows 7,实验软件是Matlab R2018b。实验所采用的数据为图 1图 2所示的视网膜眼底图像序列1和序列2。

本文使用ROC曲线和PR曲线量化实验结果和定量分析。TPR和FPR分别是ROC曲线的纵坐标和横坐标,定义如下:

(25)
(26)

Precision和Recall是PR曲线坐标的纵坐标和横坐标,定义如下:

(27)
(28)

其中,TP、FP、N和FN分别代表正确被分为变化区域的像素点、错误被认为是变化区域的背景像素点、正确被分为背景的像素点和错误被认为是背景的变化区域像素点。AUC值(ROC曲线下面积)用于评估算法的性能以及精度,MAP值(PR曲线下面积)用于计算平均精度值。

图 9展示了序列1中第2张图像经过PG-TRPCA得到的差分图像。所选择的背景模型包含少部分病变,因此第2张图像与重构的背景模型相比,既有增加的病变部分,也有减少的病变部分。在差分图像中,深白色区域是第2张图像与重构的背景模型相比增加的病变部分,如图 9(c)红色圆圈所示。深灰色区域是相比而言减少的病变部分,如图 9(c)绿色圆圈所示,这些都是发生变化的部分。

图 9 序列1中第2张图像经过PG-TRPCA得到的结果 Fig.9 The result of the 2nd image in serial 1 obtained by PG-TRPCA

图 10是序列1中第1张图像的变化检测结果。(a)、(d)和(g)分别是Matrix RPCA、H-TRPCA和PG-TRPCA重构的背景,(b)、(e)和(h)分别是经过Matrix RPCA、H-TRPCA和PG-TRPCA得到的差分图像,(c)、(f)和(i)分别是经过Matrix RPCA、H-TRPCA和PG-TRPCA得到的变化检测结果。如图 10(b)所示,在Matrix RPCA得到的差分图像中,检测结果受血管等解剖结构影响较大,这是因为Matrix RPCA将图像向量化破坏了变化区域的空间连续性。而H-TRPCA和PG-TRPCA采用3维总变分对背景模型和变化区域施加时空连续性约束,血管等解剖结构的小偏移被认为是理想背景模型的小扰动,从而能很好地应对血管干扰。由H-TRPCA得到的差分图像如图 10(e)所示,由PG-TRPCA得到的差分图像如图 10(h)所示。与H-TRPCA的结果相比,PG-TRPCA的结果中血管干扰更小,这是因为PG-TRPCA基于张量块建模,更关注局部特征,对血管干扰更具有鲁棒性。由图 10(c)10(f)10(i)可知,PG-TRPCA和H-TRPCA的检测结果比Matrix RPCA的检测结果更加清晰。

图 10 序列1中第1张图像的结果 Fig.10 The result of the 1st image in serial 1

为了进一步评估H-TRPCA和PG-TRPCA的检测结果,将其与Masked-RPCA[20]方法以及两种不加总变分约束的TRPCA:ETRPCA[21]和TRPCA-TNN[22]方法进行对比,实验结果如图 11~图 13所示。图 11~图 13分别是序列1中第2张、第6张图像以及序列2中第9张图像的变化检测结果。(a)、(c)、(e)、(g)、(i)和(k)分别是Matrix RPCA、H-TRPCA、PG-TRPCA、ETRPCA、Masked-RPCA和TRPCA-TNN重构的背景,(b)、(d)、(f)、(h)、(j)和(l)分别是经过Matrix RPCA、H-TRPCA、PG-TRPCA、ETRPCA、Masked-RPCA和TRPCA-TNN得到的变化检测结果。Masked-RPCA与Matrix RPCA一样,将序列中每一帧转化为列向量,破坏了图像空间结构信息,光照和血管等干扰对检测结果影响较大,如图 11(j)图 12(j)图 13(j)所示。ETRPCA和TRPCA-TNN将序列建模为一个3维张量体,保留了原有图像的空间结构特征,因此光照等干扰对检测结果影响较小,但是由于没有对背景模型和变化区域施加总变分约束,重构出的背景不稳定,图像轮廓处较模糊,如图 11(g)图 11(k)等所示。背景相减后图像轮廓对变化检测结果影响较大,如图 11(h)图 11(l)等所示。PG-TRPCA和H-TRPCA将序列作为一个3维张量体,同时采用3维总变分对背景模型和变化区域施加约束,重构出来的背景稳健,变化检测结果也比其他方法清晰、准确。

图 11 序列1中第2张图像的结果 Fig.11 The result of the 2nd image in serial 1
图 12 序列1中第6张图像的结果 Fig.12 The result of the 6th image in serial 1
图 13 序列2中第9张图像的结果 Fig.13 The result of the 9th image in serial 2

图 14~图 16分别是序列1中第2张和第6张图像以及序列2中第9张图像检测结果的ROC曲线和PR曲线。图 17图 18分别是序列1和序列2中不同算法的平均ROC和PR曲线。黑线表示PG-TRPCA,黄线表示H-TRPCA,绿线表示Matrix RPCA,紫红线表示ETRPCA,蓝线表示Masked-RPCA,红线表示TRPCA-TNN。从图 14~图 16可知,PG-TRPCA和H-TRPCA在这3张图像检测结果的AUC值和MAP值均高于其他4种方法。从图 17图 18可以看出,PG-TRPCA在序列1中的AUC和MAP以及序列2中的MAP值取得最大值,在序列2中的AUC值仅次于H-TRPCA。故PG-TRPCA的检测结果更好,更能检测出变化的情况,H-TRPCA的检测结果次优。

图 14 序列1中第2张图像上不同算法的ROC和PR曲线 Fig.14 ROC and PR curve for the result of different algorithms on the 2nd image in serial 1
图 15 序列1中第6张图像上不同算法的ROC和PR曲线 Fig.15 ROC and PR curve for the result of different algorithms on the 6th image in serial 1
图 16 序列2中第9张图像上不同算法的ROC和PR曲线 Fig.16 ROC and PR curve for the result of different algorithms on the 9th image in serial 2
图 17 序列1中不同算法的平均ROC和PR曲线 Fig.17 Average ROC and PR curve for the result of different algorithms in serial 1
图 18 序列2中不同算法的平均ROC和PR曲线 Fig.18 Average ROC and PR curve for the result of different algorithms in serial 2

图 19显示了PG-TRPCA方法中块的大小对ROC和PR曲线的影响,实验采用的数据集为序列1。黑线、黄线和绿线分别表示块的大小取8、20和32。当块的大小取20时,AUC和MAP值均取得最大值,分别为0.960 97和0.746 55。图 20(a)20(b)20(c)分别是PG-TRPCA中块的大小取8、20和32时序列1中第1张图像的变化检测结果。可以看出随着块的大小增大,检测出的变化区域越清晰,如图中红色圆圈所示。但是噪声等干扰对检测结果的影响也越大,如图中绿色圆圈所示。因此,实验中PG-TRPCA所选块的大小为20。

图 19 PG-TRPCA中块的大小对ROC和PR曲线的影响 Fig.19 Influence of block size on ROC and PR curve in PG-TRPCA
图 20 PG-TRPCA中块的大小对序列1中第1张图的检测结果的影响 Fig.20 Influence of block size in PG-TRPCA on the detection result of the 1st image in serial 1

图 21显示了突然的光斑对检测结果的影响。序列1中第3张图像的右边存在一个光斑,如图 21(a)的红色圆圈所示。这种光斑通常来自于图像采样中外部光照的随机干扰。从图 21(d)21(e)21(f)21(g)21(h)的红色圆圈可看出这个光斑对Matrix RPCA和Masked-RPCA方法的检测结果影响较大,而它对PG-TRPCA、H-TRPCA、ETRPCA和TRPCA-TNN方法的检测结果影响较小。这是因为Matrix RPCA只考虑了背景的时间连续性,忽视了变化区域的时间连续性,光照干扰区域会被误检测为变化区域。Masked-RPCA是一种基于RPCA的变体方法,与Matrix RPCA一样忽视了变化区域的时间连续性。ETRPCA和TRPCA-TNN的检测结果中光斑影响较小,但是由于没有对背景模型和变化区域施加总变分约束,图像轮廓对检测结果影响较大。而H-TRPCA和PG-TRPCA采用3维总变分对背景模型和变化区域施加时间和空间连续性约束,能很好地处理随机的光照干扰,同时检测结果较为准确、清晰。

图 21 突然的光斑对检测结果的影响 Fig.21 Influence of sudden light spot on detection results
3 结论

基于TRPCA的视网膜眼底图像序列的变化检测方法将整个序列作为一个三维张量体,通过Tucker分解分离出背景模型,通过三维总变分建模变化区域。与Matrix RPCA和Masked-RPCA相比,它将序列的每个图像保存在一个张量的切片中,不会破坏原始图像的空间结构信息;与ETRPCA和TRPCA-TNN相比,它对背景模型和变化区域采用三维总变分进行约束,保持了背景和变化区域的时空连续性,重构的背景更加稳健,减少了外部噪声的随机干扰;最后,PG-TRPCA以块为基础对背景进行建模,降低了血管等解剖结构对检测结果的干扰。实验证明,本文所提方法是一种有效的视网膜眼底图像序列变化检测方法。

本文采用图像内亮度校正和图像间亮度归一化方法降低光照干扰,但是图像的亮度差异仍然对变化检测结果有一定影响,故需要采取更加有效的方法进一步处理光照干扰,增强图像信息。此外,选择出的背景模型虽然最接近于正常状态,但仍包含一些病变,怎样对该背景进行处理得到更加干净的背景模型。这些都是未来的研究方向。

参考文献
[1]
BOUWMANS T. Recent advanced statistical background modeling for foreground detection-A systematic survey[J]. Recent Patents on Computer Science, 2011, 4(3): 147-176.
[2]
SOBRAL A, VACAVANT A. A comprehensive review of background subtraction algorithms evaluated with synthetic and real videos[J]. Computer Vision and Image Understanding, 2014[2021-11-12]. http://www.researchgate.net/publication/259340906. DOI: 10.1016/j.cviu.2013.12.005.
[3]
LU X, YUAN Y, ZHENG X. Joint dictionary learning for multispectral change detection[J]. IEEE Transactions on Cybernetics, 2016, 47(4): 884-897.
[4]
ZHANG W, LU X, LI X. A coarse-to-fine semi-supervised change detection for multispectral images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(6): 3587-3599. DOI:10.1109/TGRS.2018.2802785
[5]
LIU J, GONG M, QIN K, et al. A deep convolutional coupling network for change detection based on heterogeneous optical and radar images[J]. IEEE Transactions on Neural Networks and Learning Systems, 2016, 29(3): 545-559.
[6]
GONG M, ZHAO J, LIU J, et al. Change detection in synthetic aperture radar images based on deep neural networks[J]. IEEE Transactions on Neural Networks and Learning Systems, 2015, 27(1): 125-138.
[7]
GONG M, ZHAN T, ZHANG P, et al. Superpixel-based difference representation learning for change detection in multispectral remote sensing images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(5): 2658-2673. DOI:10.1109/TGRS.2017.2650198
[8]
佟国峰, 李勇, 丁伟利, 等. 遥感影像变化检测算法综述[J]. 中国图象图形学报, 2015, 20(12): 1561-1571.
TONG G F, LI Y, DING W L, et al. Review of remote sensing image change detection[J]. Journal of Image and Graphics, 2015, 20(12): 1561-1571. DOI:10.11834/jig.20151201
[9]
黄亮. 多时相遥感影像变化检测技术研究[J]. 测绘学报, 2020, 49(6): 801.
HUANG L. Research on change detection technology in multi-temporal remote sensing images[J]. Acta Geodaetica et Cartographica Sinica, 2020, 49(6): 801.
[10]
ARASIMHA-IYER H, CAN A, ROYSAM B, et al. Robust detection and classification of longitudinal changes in color retinal fundus images for monitoring diabetic retinopathy[J]. IEEE Transactions on Biomedical Engineering, 2006, 53(6): 1084-1098. DOI:10.1109/TBME.2005.863971
[11]
傅迎华, 李江, 潘东艳, 等. 基于稀疏表示的视网膜图像对变化检测[J]. 中国生物医学工程学报, 2019, 38(5): 540-548.
FU Y H, LI J, PAN D Y, et al. Change detection based on sparse representation for retina fundus image pair[J]. Chinese Journal of Biomedical Engineering, 2019, 38(5): 540-548. DOI:10.3969/j.issn.0258-8021.2019.05.004
[12]
MOOKIAH M R K, ACHARYA U R, CHUA C K, et al. Computer-aided diagnosis of diabetic retinopathy: A review[J]. Computers in Biology and Medicine, 2013, 43(12): 2136-2155. DOI:10.1016/j.compbiomed.2013.10.007
[13]
GONG M, LI Y, JIAO L, et al. SAR change detection based on intensity and texture changes[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014, 93(7): 123-135.
[14]
BAEK W K, JUNG H S. A review of change detection techniques using multi-temporal synthetic aperture radar images[J]. Korean Journal of Remote Sensing, 2019, 35(5): 737-750.
[15]
FU Y, WANG C, WANG Y, et al. Automatic detection of longitudinal changes for retinal fundus images based on low-rank decomposition[J]. Journal of Medical Imaging and Health Informatics, 2018, 8(2): 284-294. DOI:10.1166/jmihi.2018.2110
[16]
唐钦宇, 周益民, 曾鹏, 等. 可变块大小监控视频背景建模与编码[J]. 计算机辅助设计与图形学学报, 2018, 30(1): 138-146.
TANG Q Y, ZHOU Y M, ZENG P, et al. Background modeling and coding of surveillance video with variable block size[J]. Journal of Computer-Aided Design & Computer Graphics, 2018, 30(1): 138-146.
[17]
周密, 宋占杰. 基于稀疏与低秩矩阵分解的视频背景建模[J]. 计算机应用研究, 2015, 32(10): 3175-3178.
ZHOU M, SONG Z J. Video background modeling based on sparse and low-rank matrix decomposition[J]. Application Research of Computers, 2015, 32(10): 3175-3178. DOI:10.3969/j.issn.1001-3695.2015.10.069
[18]
BOUWMANS T. Subspace learning for background modeling: A survey[J]. Recent Patents on Computer Science, 2009, 2(3): 223-234. DOI:10.2174/2213275910902030223
[19]
WATERS A, SANKARANARAYANAN A, BARANIUK R. SpaRCS: Recovering low-rank and sparse matrices from compressive measurements[C]//Advances in Neural Information Processing Systems. Granada, Spain: Curran Associates Inc, 2011: 1089-1097.
[20]
KHALILIAN-GOURTANI A, MINAEE S, WANG Y. Masked-RPCA: Moving object detection with an overlaying model[J]. IEEE Open Journal of Signal Processing, 2020. DOI:10.1109/OJSP.2020.3039325
[21]
GAO Q, ZHANG P, XIA W, et al. Enhanced tensor RPCA and its application[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 43(6): 2133-2140.
[22]
U C, FENG J, CHEN Y, et al. Tensor robust principal component analysis with a new tensor nuclear norm[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019, 42(4): 925-938.
[23]
LIU Y, CHEN L, ZHU C. Improved robust tensor principal component analysis via low-rank core matrix[J]. IEEE Journal of Selected Topics in Signal Processing, 2018, 12(6): 1378-1389. DOI:10.1109/JSTSP.2018.2873142
[24]
SHAKERI M, ZHANG H. Moving object detection under discontinuous change in illumination using tensor low-rank and invariant sparse decomposition[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway, USA: IEEE, 2019: 7221-7230.
[25]
PARIHAR A S, SINGH K. A study on Retinex based method for image enhancement[C]//2nd International Conference on Inventive Systems and Control. Piscataway, USA: IEEE, 2018: 619-624.
[26]
ZHANG Q, FENG W, WAN L, et al. Active recurrence of lighting condition for fine-grained change detection[C]//27th International Joint Conference on Artificial Intelligence. Keystone, USA: AAAI Press, 2018: 4972-4978.
[27]
CHEN J, TIAN J, LEE N, et al. A partial intensity invariant feature descriptor for multimodal retinal image registration[J]. IEEE Transactions on Biomedical Engineering, 2010, 57(7): 1707-1718. DOI:10.1109/TBME.2010.2042169
[28]
ZARE A, OZDEMIR A, IWEN M A, et al. Extension of PCA to higher order data structures: An introduction to tensors, tensor decompositions, and tensor PCA[J]. Proceedings of the IEEE, 2018, 106(8): 1341-1358. DOI:10.1109/JPROC.2018.2848209
[29]
CAO W, WANG Y, SUN J, et al. Total variation regularized tensor RPCA for background subtraction from compressive measurements[J]. IEEE Transactions on Image Processing, 2016, 25(9): 4075-4090.
[30]
ROBINSON D P, TAPPENDEN R. A flexible ADMM algorithm for big data applications[J]. Journal of Scientific Computing, 2017, 71(1): 435-467.
[31]
LIU Y, SHANG F, LIU H, et al. Accelerated variance reduction stochastic ADMM for large-scale machine learning[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 43(12): 4242-4255.
http://dx.doi.org/10.13976/j.cnki.xk.2023.2131
中国科学院主管,中国科学院沈阳自动化研究所、中国自动化学会共同主办。
0

文章信息

赵星, 白建豪, 傅迎华
ZHAO Xing, BAI Jianhao, FU Yinghua
基于张量鲁棒主成分分析的视网膜眼底图像序列变化检测
Change Detection Based on Tensor Robust Principal Component Analysis for Retinal Fundus Image Serial
信息与控制, 2023, 52(1): 115-128.
Information and Control, 2023, 52(1): 115-128.
http://dx.doi.org/10.13976/j.cnki.xk.2023.2131

文章历史

收稿/录用/修回: 2022-03-25/2022-06-22/2022-07-05

工作空间