2. 中国科学院网络化控制系统重点实验室, 辽宁 沈阳 110016;
3. 中国科学院机器人与智能制造创新研究院, 辽宁 沈阳 110169;
4. 中国科学院大学, 北京 100049;
5. 沈阳化工大学, 辽宁 沈阳 110142
2. Key Laboratory of Networked Control Systems, Chinese Academy of Sciences, Shenyang 110016, China;
3. Institutes for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences, Shenyang 110169, China;
4. University of Chinese Academy of Sciences, Beijing 100049, China;
5. Shenyang University of Chemical Technology, Shenyang 110142, China
0 引言
碳纤维复材以其轻质、抗疲劳、抗冲击、耐腐蚀、整体成型、结构功能一体化的特点[1-2]，广泛应用于航空航天、汽车等高端制造业[3-4]。纹理方向反映了复材料片铺叠方向与激光投影基准线方向的偏差，是决定碳纤维复材性能的重要参数[5]，如果纹理方向偏差10°，飞机整体抗疲劳性能将下降50%[6]。由此可见，针对复材纹理方向的检测对于提升碳纤维复材性能具有重要作用。
目前，针对复材纹理方向检测方法主要分为传统的人工检测方法和基于视觉的检测方法。人工检测方法受环境、工具、经验等因素制约，经常需要现场工人借助塞尺、专用量具等方式进行反复测量，耗费人力、物力。基于视觉的检测方法具有灵活、高效、安全等优势[7-9]，相较于超声、热红外等[10-11]方法，抗干扰能力更强，检测精度更高。
针对基于视觉的复材纹理方向检测，国内外学者开展了大量的研究工作，主要可分为两类：基于模型的方法和基于学习的方法。基于模型的方法通过提取复材纹理的固有特征、过滤角度噪声，对整体角度进行回归从而得到检测结果。文[12]提出了一种用于旋转不变量纹理分类的局部编码变换特征直方图，分别在特征和尺度空间上对图像内的联合信息进行显式编码，具有较好的鲁棒性。文[13]提出了一种相邻评估局部三元计数(AELTC)模型进行纹理分析，与局部二进制模式(LBP)不同，AELTC模型使用相邻的评估窗口来更改阈值方案，从而提高了纹理分类性能。文[14]提出了一种拉普拉斯特征映射(LEMS)和最小角度回归(LARS)相结合的方法进行纹理角度检测，利用LEMS将成矿预测因子转化为拉普拉斯谱以提高数据分类能力，在LARS中利用拉普拉斯谱进行金矿找矿模拟。然而，上述基于模型的检测方法在处理具有复杂背景和不同光照的纹理时，泛化性较差，这对于复杂多变的工业应用场景显然是不适用的。
基于学习的方法能够在复杂环境下自适应地提取复材纹理特征，检测精度较高且泛化性较好。文[15]提出了一种基于Gabor变换的表面纹理分析方法，该方法对料片图像进行Gabor变换，再进行归一化处理，根据不同方向的特征熵分析出复材纹理的方向。文[16]提出了语义线检测的概念，采用卷积神经网络的LoI(Level of Interests)池化方式来提取线段，通过双线性差值的方式找到沿线方向的特征。文[17]提出了一种结构线检测方法，该方法将传统的霍夫变换直线检测方法和深度神经网络模型结合起来，提取场景中具有语义特性的线段。文[18]将注意力机制和双立方插值与YOLOv4网络结合在一起，分析了缝隙区域的纹理特征，采用多尺度特征融合方法获得最佳的关注区域(ROI)。文[19]提出了一种纹理转换器网络模型，该模型能够从低分辨率图像中恢复真实的纹理信息，从而得到更多复材纹理的ROI(Region of Interests)信息。虽然上述基于学习的检测方法在检测准确性、泛化性方面具有明显优势，但是仍然存在着一些问题：
1) 现有模型对于复材区域和背景区域的区分度较低，导致检测精度较低；
2) 现有模型对于具有多个方向或特征的复杂纹理难以准确训练和量化，导致回归一致性差，检测精度较低。
针对以上问题，本文提出了一种基于霍夫神经网络模型的复材纹理方向检测方法，主要贡献包括3个方面：
1) 针对复材区域和背景区域区分度低导致方向检测精度低或检测失效的问题，采用通道注意力残差融合网络模型来分割图像中的目标区域(复材纹理区域)。
2) 针对复材区域纹理方向检测效果一致性差和精度低的问题，提出一种由粗到精的纹理方向检测方法，首先基于霍夫神经网络模型筛选出正确的纹理方向候选集，再针对候选集进行霍夫变换回归出更精确的纹理方向。
3) 本文所提方法在建立的碳纤维复材纹理图像数据集上进行了大量的测试和分析，验证了所提方法的可行性和有效性。
1 CARF-UNet网络 1.1 网络架构为了解决碳纤维复材纹理区域易受背景干扰问题，引入了CARF-UNet(channel attentional residual fusion U-Net)，如图 1所示。其中，编码网络主要由卷积序列块(convolution sequence block，CSB)、通道注意力残差特征融合层(channel attentional residual feature fusion layer，CARFFL)、池化层组成。每个卷积层序列块包括一个3×3卷积层、批量归一化层和一个ReLU激活函数层。首先，输入一张224×224的纹理图像经过CSB转为224×224×64的特征图；其次，CARFFL将特征图与输入特征图进行特征通道融合，得到224×224×64的残差特征图；最后，经过池化层残差特征图通道数加倍、尺寸减半，得到112×112× 128的特征图(如图 2)，重复以上操作得到尺寸为14×14×256的深层语义特征图。
|
| 图 1 CARF-UNet架构 Fig.1 CARF-UNet framework |
|
| 图 2 编码网络输出示例 Fig.2 Illustration of the encoding network output |
解码网络主要由卷积层序列块、上采样层和最后的卷积层组成。编码网络输出的深层语义特征图通过上采样层的转置卷积将深层特征图的尺寸、通道转化对应的浅层特征图尺寸、通道，再完成特征图拼接融合得到28×28×128的特征图。经过多次上采样层、CBS，最后通过1×1卷积层将高维特征转化为2通道特征(纹理区域与背景区域)，得到尺寸224×224的最终预测掩膜(图 3所示为最后一次上采样、通道融合、卷积预测的结果)。
|
| 图 3 解码网络输出示例 Fig.3 Illustration of the decoding network output |
在碳纤维复材纹理图像中，纹理区域与背景区域均是成块出现，由于铺叠过程中存在异构件，相机采集的纹理区域与背景区域占比不对称，纹理区域与背景区域之间存在样本类别的不平衡问题。在分割任务中，交叉熵损失函数对分割结果的每个像素点进行判断，若运用在类别不平衡的分割任务中，易出现过拟合现象。因此，为了提高分割模型的鲁棒性，本文在交叉熵损失函数的基础上引入动态缩放系数γ来调节样本贡献，以增强网络模型对纹理区域的分割能力。联合损失函数定义为
|
(1) |
式中，n为像素总数，f(xi)为像素xi的真实值，
由于HNN模型将连续角度测量转化为了有限离散分类，从而导致测量精度下降。针对这一问题，本文对HNN模型进行了改进，提出了I-HNN(Improved HNN)回归模型。首先，利用HNN获得粗筛选后的纹理角度；然后，通过基于霍夫变换的角度联合筛选算法对融合图像进行霍夫变换，得到连续的角度候选集；最后，设计一个由粗筛选到细筛选的筛选机制，通过联合筛选角度候选集与预测角度，获得精度更高的纹理角度。
2.1 特征提取在对融合图像做特征提取过程中，考虑到融合图像缺少背景噪声干扰以及后续霍夫变换对特征图分辨率的限制，故选择浅层卷积神经网络用来提取图像特征。此外，由于小尺寸卷积核具有较小的感受野更适用于提取细微纹理特征，因此本文采用基于VGG-4(visual geometry group 4)的特征提取网络，其中卷积核大小为3×3。
2.2 基于霍夫变换的角度联合筛选融合图像经过特征提取网络后输出尺寸112×112×64的特征图，HNN模型通过对特征图进行霍夫变换，进而将连续的角度值转化为了有限离散的类别标签，再通过对特征向量进行预测，完成角度值的分类。该网络由HNN模块、角度测量模块等组成。其中，HNN模块用于提取特征图中的纹理角度信息，而角度测量模块将提取的特征映射为方向向量，并完成角度分类。
为了弥补HNN模型在角度预测方面精度较低的问题，本文提出了基于霍夫变换的角度联合筛选算法。该算法通过对纹理边缘图像进行霍夫变换，获得连续角度候选集，再联合HNN模型的角度预测，从角度候选集中筛选出精度更高的纹理角度。
1) 纹理边缘检测
在消除了背景区域噪声干扰的情况下，边缘检测算子能够更加关注图像的纹理信息，但融合图像因黑色填充带来伪边缘，并且纹理区域具有大量的长宽不一致的纹理，导致边缘检测算法易提取出的大量弱边缘，因此为了抑制弱边缘与伪边缘对后续霍夫变换的影响，本文结合纹理区域最大内接矩形分割与Canny边缘检测算法，抑制弱边缘与伪边缘噪声。具体步骤如下：(1)计算纹理区域内接矩形位置，确定内接矩形纹理区域；(2)使用高斯滤波器对矩形纹理区域进行高斯模糊，得到高斯模糊图像；(3)对高斯模糊图像使用Sobel算子计算图像的梯度大小与方向，得到纹理边缘图像；(4)对纹理边缘图像进行非极大值抑制、双阈值检测，以达到抑制纹理弱边缘的效果。
2) 联合筛选预测
融合图像经过纹理边缘检测后得到n张纹理边缘图像集Si(i=1，2，…，n)，对S进行霍夫变换得到(θs，i，rs，i)(i=1，2，…，n)，统计S对应的(θs，rs)，得到连续纹理候选角度θs：
|
(2) |
式中，(x，y)为纹理边缘图像S对应的纹理边缘坐标。
通过对纹理角度θs进行角度统计直方图，结合HNN模型预测角度进行联合预测。如图 4所示，n张纹理边缘图像通过霍夫变换生成多组参数(θ，r)，并依据θ得到连续角度θs。由于θs的数量较多，为了在提高预测精度的同时降低计算量，引入HNN模型预测角度θHNN。以θHNN±1°为尺度，索引在此范围内的θs，完成角度统计直方图，依据投票策略完成纹理角度测量。
|
| 图 4 联合筛选预测 Fig.4 Joint filtering prediction |
为了评估所提模型的检测性能，搭建了碳纤维复材纹理方向检测实验平台。实验平台由RGB相机(Hikvision MV-CA050-12GC2，相机镜头型号和焦距分别为Hikvision MVL-KF2524M-25MP、25 mm) 及检测系统(笔记本电脑，CPU为Intel Core i7，内存为16 G)组成。
3.2 数据集与模型训练为有效评估本文所提模型的检测性能，建立了碳纤维复材纹理图像数据集。
为了充分评估CARF-UNet网络的性能，掩膜图像需要具有足够的复杂性。因此，本文采用B样条曲线来随机生成多张掩模图像。同时，根据实际情况，确保掩模的面积占整张图像的10%到70%之间。生成的掩模图像具有不同的形状、大小及复杂程度，如图 5所示。
|
| 图 5 掩模图像 Fig.5 Mask images |
为了验证所提模型的鲁棒性，数据集应能够尽可能反映真实复材铺叠场景。因此，本文采用工业场景中常见的纹理背景作为干扰背景(具有复杂的纹理特征，如图 6)，使得模型在更接近于真实的工业场景中进行检测，从而更全面地验证模型的鲁棒性。
|
| 图 6 纹理背景图像 Fig.6 Texture background images |
此外，为了增加数据集分割难度，利用大津二值法计算纹理图像分割阈值，并通过该阈值调整背景图像的整体灰度值，使得背景图像与纹理图像在灰度信息上更为接近。同时，调整纹理图像和背景图像的角度差(角度差在±2°以内)，使得背景图像与纹理图像在角度信息上更加接近，处理流程如图 7所示。
|
| 图 7 图像处理流程 Fig.7 Images processing flow |
根据上述处理方法，已经成功生成了一个包含10 000张碳纤维复合材料纹理图像的数据集。为了增加数据集的多样性，进一步采集了不同场景下的图像，包括改变光照强度、拍摄距离等，以使数据集更具代表性和适用性。经过整理和筛选，最终形成了一个包含40 000张图像的碳纤维复材纹理数据集。
使用碳纤维复材纹理图像数据集对模型进行训练，如图 8所示。在第一阶段，训练基于通道注意力的U-Net网络；在第二阶段，训练基于I-DHN的角度测量回归网络，输入图像经过CARF-UNet网络处理后生成的分割掩膜，将其与输入图像融合得到融合图像，再使用融合图像对I-HNN回归模型进行训练。
|
| 图 8 模型训练流程 Fig.8 Model training flow |
本文采用Precision、Recall、F1指标进行模型性能评估，并在此基础上引入交并比(Intersection over Union，IoU)来衡量分割结果，并且引入平均绝对误差(mean absolute error，MAE)和均方根误差(root mean square error，RMSE)来评价检测模型的总体性能。评价指标如下：
|
(3) |
式中，TP和FP分别表示真阳性和假阳性，TN和FN分别代表真阴性和假阴性，ŷi∈{ŷ1，ŷ2，…，ŷn}为预测值，yi∈{y1，y2，…，yn}为真实值。
3.4 性能分析 3.4.1 CARF-UNet网络性能分析采用碳纤维复材纹理图像数据集对CARF-UNet网络进行性能分析，并与U-Net[20]网络、DeepLabV3+[21]网络进行对比。考虑到数据集使用样条曲线分割，IoU更能体现出模型在曲线分割区域的结果。因此，采用Precision、Recall、F1和IoU评估模型性能，实验结果表 1所示。
由表 1可知，CARF-UNet网络的Precision为95.63%，Recall为98.50%，F1为97.04%，IoU为94.26%，均优于U-Net网络和DeepLabV3+网络，具有较好的性能指标。这是由于CARF-UNet网络中加入了CARFFL层，通过多通道感知输入、输出特征与融合特征的语义信息，自适应地调节融合特征通道权重，提高了网络的分割能力。
3.4.2 I-HNN网络模型收敛性分析采用碳纤维复材纹理图像数据集分别对HNN[17]模型和I-HNN模型进行4 000轮次的迭代训练，训练损失结果如表 2所示。
I-HNN网络模型在训练过程中比HNN网络模型收敛所需的轮次更少，收敛速度更快。这是由于I-HNN网络去除了背景区域的干扰，可以更加关注纹理区域，从而达到了更好的收敛效果。
3.4.3 检测性能对比分析分别采用Canny+HT[22]模型(具有Canny边缘检测器的霍夫变换模型)、HNN[17]模型对碳纤维复材纹理图像数据集中的纹理方向进行检测(如图 9)，将检测结果与本文提出的模型进行对比，对比结果如表 3所示，其中F1(N)表示误差为N情况下计算的F1值。
|
| 图 9 检测示例图 Fig.9 Inspection examples |
由表 3可知，Canny+HT模型在检测性能方面表现最差，这是由于模型容易受到环境光照、背景区域等因素干扰，导致测量结果不准确；同时，由于模型中需要调整阈值参数，不恰当的参数选择也会影响测量结果。HNN模型的检测性能优于Canny+HT模型，但与本文模型还有一定差距。这是由于HNN模型缺少分割网络，不能准确定位图像的纹理区域，导致网络测量准确率低、精度差。此外，HNN模型将连续的角度值转化为有限离散的类别标签，这种离散化处理在一定程度上简化了模型的复杂度和训练难度，但也带来了一定测量精度的损失。本文模型以HNN模型为粗筛模型，并融入了Canny+HT模型的精细角度集，通过角度直方图投票的方式，实现由粗到精的纹理方向检测。该模型在各项检测性能均优于Canny+HT模型和HNN模型，这是由于本文模型中的CARF-UNet网络可以有效消除纹理背景干扰，并且在HNN模型的基础上进行优化，设计的I-HNN回归模型有效解决了HNN模型在测量角度中精度损失的问题。
图 10为不同训练轮次下，HNN模型与本文模型MAE和RMSE的变化情况。由图 10可知，本文模型的MAE和RMSE均优于HNN模型，MAE和RMSE波动较小，且收敛速度较快。再次证明了本文模型中的CARF-UNet网络能够增强对纹理区域的特征提取能力，有效降低训练难度；同时，I-HNN模型中的联合筛选机制实现了由粗到精的纹理方向检测，有效提高了检测精度。
|
| 图 10 MAE、RMSE对比 Fig.10 Comparisons of MAE and RMSE |
本文针对现有复材纹理方向检测方法存在的问题，提出了一种基于霍夫神经网络模型的纹理方向检测模型。首先，模型通过CARF-UNet网络对图像进行分割，消除了纹理背景干扰；在此基础上，对HNN模型进行改进，针对筛选出的纹理方向候选集进行霍夫变换回归出更精确的纹理方向。实验结果表明，所提模型相比于现有模型具有更好的检测性能，能够较准确地检测出碳纤维复材纹理方向。
| [1] |
FARROKHABADI A, ASHRAFIAN M M, GHAREHBAGHI H, et al. Evaluation of the equivalent mechanical properties in a novel composite cruciform honeycomb using analytical and numerical methods[J/OL]. Composite Structures, 2021[2023-01-06]. https://www.researchgate.net/publication/353433974_Evaluation_of_the_Equivalent_Mechanical_Properties_in_a_Novel_Composite_Cruciform_Honeycomb_using_Analytical_and_Numerical_Methods. DOI: 10.1016/j.compstruct.2021.114410.
|
| [2] |
MEISTER S, WERMES M, STUVE J, et al. Cross-evaluation of a parallel operating SVM-CNN classifier for reliable internal decision-making processes in composite inspection[J]. Journal of Manufacturing Systems, 2021, 60: 620-639. DOI:10.1016/j.jmsy.2021.07.022 |
| [3] |
SUN L, TAN C B, HU S J, et al. Quality detection and classification for ultrasonic welding of carbon fiber composites using time-series data and neural network methods[J]. Journal of Manufacturing Systems, 2021, 61: 562-575. DOI:10.1016/j.jmsy.2021.10.010 |
| [4] |
PRIYARANJAN S, PANDU R V, ARABINDA M, et al. Recent progress in aluminum metal matrix composites: A review on processing, mechanical and wear properties[J]. Journal of Manufacturing Processes, 2020, 59: 131-152. DOI:10.1016/j.jmapro.2020.09.010 |
| [5] |
WANG S Y, XU Y X, WANG W Q, et al. Enhancing interfacial bonding in friction stir lap welding of light metal and carbon fiber reinforced polymer composite[J]. Journal of Manufacturing Processes, 2022, 83: 729-741. DOI:10.1016/j.jmapro.2022.09.038 |
| [6] |
董雷霆, 周轩, 赵福斌, 等. 飞机结构数字孪生关键建模仿真技术[J]. 航空学报, 2021, 42(3): 113-141. DONG L T, ZHOU X, ZHAO F B, et al. Key technologies for modeling and simulation of airframe digital twin[J]. Acta Aeronautica et Astronautica Sinica, 2021, 42(3): 113-141. |
| [7] |
孔德磊, 方正. 基于事件的视觉传感器及其应用综述[J]. 信息与控制, 2021, 50(1): 1-19. KONG D L, FANG Z. A review of event-based vision sensors and their applications[J]. Information and Control, 2021, 50(1): 1-19. |
| [8] |
郁怀波, 胡越黎, 王佳乐, 等. 改进视觉背景提取模型的前景目标检测算法[J]. 信息与控制, 2019, 48(2): 164-171. YU H B, HU Y L, WANG J L, et al. Foreground object detection algorithm based on improved visual background extraction model[J]. Information and Control, 2019, 48(2): 164-171. |
| [9] |
ZHANG Y L, ZHENG X Y, LIANG W, et al. Visual surveillance for human fall detection in healthcare IoT[J]. IEEE MultiMedia, 2022, 29(1): 36-46. DOI:10.1109/MMUL.2022.3155768 |
| [10] |
裘进浩, 张超, 季宏丽, 等. 面向航空复合材料结构的激光超声无损检测技术[J]. 航空制造技术, 2020, 63(19): 14-23. QIU J H, ZHANG C, JI H L, et al. Non-destructive testing for aerospace composite structures using laser ultrasonic technique[J]. Aeronautical Manufacturing Technology, 2020, 63(19): 14-23. |
| [11] |
左宪章, 常东, 钱苏敏, 等. 脉冲涡流热成像裂纹检测机理仿真分析[J]. 激光与红外, 2012, 42(9): 998-1003. ZUO X Z, CHANG D, QIAN S M, et al. Simulation analysis of crack detecting mechanism using pulsed eddy current thermography[J]. Laser & Infrared, 2012, 42(9): 998-1003. DOI:10.3969/j.issn.1001-5078.2012.09.008 |
| [12] |
SONG T C, LI H L, MENG F M, et al. LETRIST: Locally encoded transform feature histogram for rotation-invariant texture classification[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2018, 28(7): 1565-1579. DOI:10.1109/TCSVT.2017.2671899 |
| [13] |
SREE C S, RAO C S. Adjacent evaluation of completed local ternary count for texture classification[C]//7th International Advance Computing Conference. Piscataway, USA: IEEE, 2017: 690-696.
|
| [14] |
CHEN Y L, ZHENG C Y, SUN G S. Gold prospectivity modeling by combination of Laplacian eigenmaps and least angle regression[J]. Natural Resources Research, 2022, 31(4): 2023-2040. DOI:10.1007/s11053-021-09942-1 |
| [15] |
BABASHAKOORI S M. Average fiber diameter measurement in scanning electron microscopy images based on Gabor filtering and Hough transform[J]. Measurement, 2019, 141: 364-370. |
| [16] |
LEE J T, KIM H U, LEE C, et al. Semantic line detection and its applications[C]//International Conference on Computer Vision. Piscataway, USA: IEEE, 2017: 3229-3237.
|
| [17] |
ZHAO K, HAN Q, ZHANG C B, et al. Deep Hough transform for semantic line detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(9): 4793-4806. |
| [18] |
HUI T, XU Y L, JARHINBEK R. Detail texture detection based on YOLOv4-tiny combined with attention mechanism and bicubic interpolation[J]. IET Image Processing, 2021, 15(12): 2736-2748. |
| [19] |
YANG F Z, YANG H, FU J L, et al. Learning texture transformer network for image super-resolution[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway, USA: IEEE, 2020: 5790-5799.
|
| [20] |
WU X, HONG D F, CHANUSSOT J. UIU-Net: U-Net in U-Net for infrared small object detection[J]. IEEE Transactions on Image Processing, 2023, 32: 364-376. |
| [21] |
ZHOU F, HANG R L, LIU Q S. Class-guided feature decoupling network for airborne image segmentation[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(3): 2245-2255. |
| [22] |
SONG R J, ZHANG Z Q, LIU H Y. Edge connection based Canny edge detection algorithm[J]. Pattern Recognition and Image Analysis, 2017, 27: 740-747. |