0 引言
滚动轴承作为重要的机械零件被广泛应用于各种类型的工业设备。在实际生产运行过程中,高速旋转的机械设备工作环境恶劣,导致滚动轴承受到不同载荷的多重作用,容易产生各种形式的缺陷性故障,给工业生产带来巨大的经济损失[1-2]。因此,研究一种有效的轴承故障诊断方法十分必要。
传统滚动轴承故障诊断方法主要分为轴承数据特征的提取和分类[3],特征提取过程取决于领域内的专家知识和信号处理技术,如时域统计特征[4]、短时傅里叶变换[5]、小波包变换[6]等。特征分类步骤相当于将特征空间中获得的信息映射到故障空间中,常用的算法有人工神经网络[7]、支持向量机[8]、随机森林[9]、K近邻[10]等。上述都属于浅层机器学习方法,其学习能力与样本数据的准确性和完整性有关,当诊断精度达到一定的高度时,很难有再大的提高。
随着深度学习技术的发展,深度卷积神经网络(CNN)已逐渐应用于故障诊断领域。文[11]采用改进深度残差网络对滚动轴承进行端到端的故障诊断。文[12]采用深度卷积神经网络对齿轮箱的时频数据图进行分析,并将其用于故障诊断中。目前,基于卷积神经网络进行故障诊断的方法主要集中在网络结构优化和样本数据预处理方面,通过学习高维训练数据在低维空间中的映射,将压缩后的特征表示应用于分类或回归等下游任务。然而这种网络的缺点是只能使用人工提供的样本,并且受限于卷积核大小,难以充分捕捉轴承故障信号在时间上的内在关联,影响最终的分类效果。
生成对抗网络(GAN)作为一种生成式模型,在模型训练过程中,生成与真实样本相似的新样本参与训练,可以更好地学习到数据的潜在分布规律[13]。深度卷积生成对抗网络(DCGAN)提出将CNN与GAN相结合[14],添加批量归一化处理和LeakyReLU激活函数,以缓解传统GAN模型训练时存在的梯度消失和模式崩溃问题。辅助分类生成对抗网络(ACGAN)提出将GAN与半监督学习相关联,不同于原始GAN的训练过程,在生成器和判别器中加入了输入数据的类别标签,从而实现输出数据的可控性生成[15]。在轴承诊断问题中,不同工作环境下一般有多个故障类别,因此判别器不仅要判断给定输入样本的真实性,还应判断输入样本的类别,故ACGAN更适合分析此类问题。
传统GAN通过固定低分辨率特征空间中的局部点生成高分辨率的细节特征,很容易学到数据特征图中的纹理特征,但其难以捕捉特征空间中的特定结构和几何特征[16]。自注意力机制(self-attention mechanism)于2017年被提出,首次应用于自然语言领域,如文本分割、场景分割等。自注意力机制可以便捷地捕获局部与全局的关系,提高对某些区域的观察精度,减少模型对外部信息的依赖,并且其网络模型复杂度较小。
受上述方法的启发,本文提出了一种基于自注意力机制辅助分类生成对抗网络(SA-ACGAN)的故障诊断模型,结合DCGAN和ACGAN的优点,摒弃传统GAN多层感知机结构,以卷积神经网络作为模型主体结构,融入数据的标签信息进行训练,利用生成式模型强大的深层特征学习能力,提取更为丰富的数据特征。同时,针对轴承数据的时序性和卷积计算的局限性引入自注意力机制,以此来加强特征图中远距离特征的相关性,该网络不仅改善模型训练过程不稳定的问题,而且与原始ACGAN相比有更高的故障诊断准确率。
1 理论基础 1.1 生成对抗网络生成对抗网络是由Goodfellow等提出的一种无监督生成式模型,灵感来源于博弈论中零和博弈的思想[13]。如图 1所示,通过生成器G和判别器D不断博弈,最终达到一个动态纳什均衡。随机噪声z采样于先验分布Pz(z),x采样于真实数据分布Pdata(x)。生成器G和判别器D均为全连接层网络结构,G(z)为生成样本。判别器D的激活函数为Sigmoid,真实样本x和生成样本G(z)同时进入判别器D中,输出为判断其为真实样本的概率。训练判别器D使得判别概率最大化,同时训练生成器G最小化,这个优化过程被归结于一个二元极小极大博弈。定义目标函数:
(1) |
判别器D目的在于能够尽可能地判别出真实数据和生成数据,也就是要求V(D,G)尽可能地大。生成器目的在于生成尽可能接近于真实的数据,即V(D,G)尽可能地小。训练过程采用生成器G和判别器D交替优化相互对抗的方法进行,当判别器D的输出为0. 5时,达到最优解。
1.2 辅助分类生成对抗网络ACGAN是GAN的一种变体,能够利用辅助分类标签以优化模型的性能。ACGAN框架如图 2所示,生成器G有2个输入,分别是类别标签c及随机噪声z,得到的生成数据为G(c,z)。对于判别器D,不仅要判别数据来源是否为真实数据,而且需要判断数据的类别。ACGAN的代价函数包含2个部分,如式(2)和式(3)所示,第1部分Ls为数据真实与否的代价函数,第2部分Lc为记录数据分类正确的代价函数。
(2) |
(3) |
要求判别器D能够判断生成数据和真实数据,并准确的对数据来源进行分类,因此判别器D被训练为等于Ls+Lc的最大值,同时希望生成器G生成的数据被判别器D识别为真实数据且正确分类,因此生成器能被训练的最大值为Lc-Ls。
1.3 自注意力机制自注意力机制的本质是通过一系列注意力权重系数突出或强调目标对象的重要信息[17],抑制一些无关的细节信息,可以对全局信息进行关联,灵活且一步到位地捕捉局部和全局的联系。本文自注意力机制模块参考了压缩和激励网络(squeeze and excitation network)[18],原理如图 3所示。
该模块是一种轻量级的自注意力机制网络,在压缩阶段通过全局平均池化将原有输入为[W,H,C]的特征图平均池化成[1,1,C]的尺寸,如式(4)所示:
(4) |
式中,c为通道数,W和H为特征图尺寸,xcij为第c个通道中对应位置神经元的值,yc即为对应通道的输出。
为了增强重要通道的特征,弱化非重要通道的特征,在激励阶段通过全连接层映射激活函数对特征通道间的相关性进行建模,如式(5)所示:
(5) |
式中,Wijl第l层第i个神经元与第l+1层第j个神经元之间的权值,xl(i)代表第l层第j个神经元的值,bjl是第l层的偏置值,yl+1(j)代表神经元输出值。特征映射过程存在一个比例参数,不同的比例参数代表将特征映射到不同维度空间。
scale操作代表矩阵乘法,实现权重分配,解决在卷积过程中,不同特征图通道重要性带来的损失问题,将自注意力机制引入到轴承故障诊断领域,能够充分捕捉特征,学习轴承数据的时间依赖性,有助于进一步提高故障诊断效率。
2 SA-ACGAN构建及故障诊断流程本文在ACGAN中引入自注意力机制,生成器能够从不同位置挖掘特征信息,生成样本纹理细节,判别器能判断远距离特征信息是否相同,提高网络的表现能力。考虑到轴承这类非平稳信号信息成分复杂,使用原始信号作为输入的诊断模型必然需要更复杂的网络结构,从而造成较大的计算负荷,采用快速傅里叶变换(FFT)对信号进行预处理,虽然会丢失一些轴承数据信息,但也减少了无效的噪声干扰,使模型更容易捕捉到轴承的故障特征。
2.1 生成器、判别器参数生成器结构如图 4所示,输入为100维高斯噪声(Noise),经过全连接映射层(Dense)和Reshape层转为图像格式数据,自注意力机制模块(SE)比例参数设定为0. 25。采用上采样层(Ups)和单步卷积层(Conv)代替反卷积层避免棋盘格效应,卷积核大小为3×3,前3层卷积层使用ReLU激活函数实现非线性表示,并在完成卷积后进行批量归一化(BN)处理。第4层卷积层输出使用Sigmoid激活函数将生成器输出限制在[0, 1]范围,更加符合轴承数据的实际情况。
判别器结构如图 5所示,共包含3层卷积层及2个全连接层,卷积核大小为5×5,步长s为2,SE模块参数不变,全连接层输出为给定样本的真假判断及该样本属于某个类别的概率。每次卷积结束后进行Dropout处理,增加泛化能力。卷积层之间激活函数为LeakyReLU函数,以防出现梯度消失。
2.2 诊断流程根据模型结构对滚动轴承故障信号进行诊断,诊断流程如图 6所示。主要分为数据集获取、模型训练和故障测试三个部分,具体步骤为:
1) 通过振动信号采集设备获取滚动轴承不同状态下的振动信号,对原始轴承1维时序振动信号进行FFT处理,归一化处理后转为2维灰度数据格式,最后将处理后的数据集按一定比例划分为训练集和测试集。
2) 搭建SA-ACGAN模型,以卷积神经网络作为主体结构,设置迭代次数、批量大小、学习率等参数。将训练集按批量方式输入到网络模型,通过相互对抗的方式提取特征,使用Adam优化器逐层更新网络参数,迭代过程具体如式(6)~式(10)所示,直到达到迭代次数或者诊断精度。
(6) |
(7) |
(8) |
(9) |
(10) |
其中,mt和nt为目标函数梯度gt的1阶矩阵和2阶矩阵,下标t表示当前时刻,下标t-1表示前一时刻;β1和β2表示矩阵指数衰减速率;
3) 将训练好的判别器模型单独提取出来,利用测试集进行测试,得到轴承故障诊断指标,最终实现滚动轴承的故障诊断。
3 实验 3.1 数据介绍实验数据选取江南大学提供的轴承数据集[19]来验证本文所提出的SA-ACGAN算法对实际机械设备轴承故障诊断的有效性,江南大学轴承数据集由600 r/min、800 r/min和1 000 r/min三个不同转速的轴承振动数据集组成,数据采集频率为50 kHz,采集装置如图 7所示。该数据集有1种健康状态和3种故障状态,包括正常状态(n)、内圈故障(ib)、外圈故障(ob)和滚动元件故障(tb)。因此,在不同的工作条件下,轴承类别总数为12个。
3.2 数据准备实验数据采样方式为重叠采样,即从原始信号进行样本采集时,相邻样本数据之间有重叠部分。从数据起始段以宽度为8 192的窗口按照一定的偏移量进行平移,每次平移窗口内的所有数据点即作为一个样本,快速傅里叶变换处理后数据左右对称所以只取一半数据,最终数据宽度为4 096,如图 8所示,经过2维转换(Reshape)后为64×64的灰度图数据格式。
每一类型数据采集1 100次,训练集样本数量为1 000,测试集样本数量为100,数据集细节如表 1所示。
故障类型 | 转速/(r/min) | 训练集数量 | 测试集数量 | 样本点数 |
600 | 1 000 | 100 | 64×64 | |
ib | 800 | 1 000 | 100 | 64×64 |
1000 | 1 000 | 100 | 64×64 | |
600 | 1 000 | 100 | 64×64 | |
ob | 800 | 1 000 | 100 | 64×64 |
1 000 | 1 000 | 100 | 64×64 | |
600 | 1 000 | 100 | 64×64 | |
tb | 800 | 1 000 | 100 | 64×64 |
1 000 | 1 000 | 100 | 64×64 | |
600 | 1 000 | 100 | 64×64 | |
n | 800 | 1 000 | 100 | 64×64 |
1 000 | 1 000 | 100 | 64×64 |
在基于Python的keras深度学习框架下对本文所提出的SA-ACGAN算法进行模型的搭建与训练,训练轮数(epoch)设为5 000,模型批处理样本数目为64,生成器学习率设定为0. 000 4,判别器学习率设定为0. 000 1。
判别器分类准确率及真假判别准确率如图 9所示,在第3 000个epoch时就能对轴承数据的不同故障类型进行很好地区分,生成器生成的数据与真实轴承数据真假判别准确率在0. 5上下浮动,判别器分辨不出真假样本的来源,达到纳什平衡,证明模型训练成功。
轴承故障诊断准确率最终在1附近小幅度震荡,可能出现过拟合效应,将训练好的判别器单独提取出来进行测试集验证,每个数据类型100个样本,测试集混淆矩阵如图 10所示,虽然有个别样本被错分到其他类别,但每一类轴承状态基本都能被准确区分。
为了进一步显示模型对于不同轴承类别特征的学习能力,运用t-SNE降维算法对原始输入数据和模型分类后的数据进行特征可视化,如图 11所示。
虽然同一类间轴承数据没能很好地紧密聚合,但是可视化效果显示不同类型轴承数据都能明显地区分开,模型具有较强的特征提取能力,轴承数据故障诊断的目标得到实现,验证了所提算法的有效性。
3.4 对比实验介绍为了比较本文算法与目前主流智能故障诊断算法的优劣,选择了具有代表性的支持向量机(SVM)、反向传播神经网络(BPNN)、1维卷积神经网络[20] (1DCNN)、2维卷积神经网络[21](LeNet5)、稀疏自动编码器[22](SAE)和原始ACGAN算法,各个智能故障诊断算法的参数设置为:
BPNN:多层感知机结构,包含4个隐层,网络机构为1024-512-256-128-64-12。
1DCNN:采用ReLU激活函数,网络机构为4个卷积层、2个池化层和3个全连接层。
LeNet5:经典LeNet5结构,网络包含2个卷积层、2个池化层和3个全连接层。
SAE:采用ReLU激活函数和批量归一化处理,网络结构为1024-512-256-128-64-12。
ACGAN:网络结构与本文提出结构相同,去除自注意力机制模块。
每种算法进行5次重复性实验取平均准确率,图 12为不同方法的详细诊断准确率结果,测试集的平均诊断正确率实验结果如表 2所示。
单位: % | |||||||||||||||||||||||||||||
算法 | 准确率 | 标准差 | |||||||||||||||||||||||||||
SVM | 88.12 | 1.31 | |||||||||||||||||||||||||||
BPNN | 96.07 | 0.56 | |||||||||||||||||||||||||||
1DCNN | 93.86 | 0.13 | |||||||||||||||||||||||||||
LeNet5 | 94.78 | 0.11 | |||||||||||||||||||||||||||
SAE | 96.44 | 0.53 | |||||||||||||||||||||||||||
ACGAN | 96.68 | 0.28 | |||||||||||||||||||||||||||
SA-ACGAN | 99.75 | 0.05 |
由表 2可知,SVM属于小样本学习算法,对于多分类大规模训练样本难以进行,诊断准确率仅88%。BPNN虽然取得较高的故障识别率,但其隐层层数和神经元个数都过多,极大增加了模型的训练时间。传统判别式算法1DCNN和LeNet5准确率均低于生成式算法SAE和ACGAN,因为生成模型更接近于统计学,训练过程会学习数据的统计信息,更快的收敛于真实模型。本文在ACGAN基础上引入自注意力机制,通过直接计算轴承数据特征图中任意两点之间的关系,捕捉特征的时间依赖性,获取特征图的全局几何特征。对比上述故障诊断算法,本文模型具有更高的识别率,且稳定性也更好。
3.5 样本生成和评估本文提出的SA-ACGAN模型不仅使用真实数据样本进行训练,生成样本也参与训练,在模型训练结束后将生成器单独提取出来,根据不同的输入标签生成不同类型的轴承数据,将模型生成的2维灰度数据转为1维数据,与真实轴承数据作对比,如图 13、图 14所示True_ib600代表轴承在600 r/min
转速下发生内圈故障真实数据,Gen_ib600代表生成器生成600 r/min转速下内圈故障轴承数据,其他依次类推。生成器生成的数据样本分布接近真实故障样本分布,与真实数据之间相似但又不完全相同,这说明模型在有效学习到故障特征的同时,又保证了合成样本的高质量、多样性。为了比较生成样本和真实样本之间的相似性,计算余弦相似度(CS)和弗雷切特起始距离(FID)[23]来定量测量生成样本和真实样本之间的相似性。通常,FID越小意味着数据间存在显著的相关性。类似地,CS通过计算两个样本向量之间角度的余弦值来评估数据分布的相似性,值越高,表示相似度越高。FID和CS的值都在[0, 1]的范围内。随机多次生成12类轴承数据,与真实数据对比平均结果如图 15所记录,虽然ob800和ob1000两种轴承数据FID评估分数略高,但总体生成数据与原始数据具有高度相似的分布。
3.6 抗噪性能验证在实际工业生产中,轴承会产生不规则的振动,为了验证模型的抗噪性能,在轴承数据测试集中加入不同信噪比的高斯白噪声进行测试,来模拟多种干扰强度下的工况。由于在原始训练集训练过程中模型不能提前预测噪声的干扰,所以这种测试方法更贴近于实际应用场景。不同模型在信噪比为5 dB~20 dB场景下的诊断结果如图 16所示。
随着噪声强度的增加,模型的诊断精度逐渐下降,但SA-ACGAN模型的诊断精度均高于其他模型,在5 dB的强噪声下依旧保持80%以上的准确率,当信噪比超过12 dB时准确率达到模型对原始信号的识别精度,其原因是训练过程中生成样本也参与训练,在一定程度上生成样本可以看作真实样本的加噪数据,从而使模型在训练过程中具有更好的鲁棒性,同时自注意力机制也能更好地提取抽象特征,所以本文所提模型在干扰环境下仍然具有较强的抗噪性能。
4 结论本文提出一种基于SA-ACGAN的滚动轴承故障诊断方法,能够有效地对轴承振动信号进行特征提取与故障分类,在一定程度上实现了端到端的轴承故障诊断。结合生成式模型强大的深层特征学习能力,在训练过程中利用生成样本参与训练,相比于现有算法,测试集信噪比从5 dB~20 dB变化时,SA-ACGAN模型均具有最佳的准确度以及稳定性。对于具有一定周期性的轴承振动信号,单一的卷积核结构难以充分捕捉故障信号在时间上的内在关联,引入自注意力机制对不同特征图位置上的信息进行动态加权融合,解决了传统卷积网络结构只能提取局部特征的问题,进一步提高模型的故障诊断性能,实验对比结果表明本文所提模型有效提高了轴承故障诊断准确率。
[1] |
Liu R N, Yang B Y, Zio E, et al. Artificial intelligence for fault diagnosis of rotating machinery: Areview[J]. Mechanical Systems and Signal Processing, 2018, 108: 33-47. DOI:10.1016/j.ymssp.2018.02.016 |
[2] |
曲建岭, 余路, 袁涛, 等. 基于卷积神经网络的层级化智能故障诊断算法[J]. 控制与决策, 2019, 34(12): 2619-2626. Qu J L, Yu L, Yuan T, et al. Hierarchical intelligent fault diagnosis algorithm based on convolutional neural network[J]. Control and Decision, 2019, 34(12): 2619-2626. DOI:10.13195/j.kzyjc.2018.0253 |
[3] |
曲星宇, 曾鹏, 李俊鹏. 基于RNN-LSTM的磨矿系统故障诊断技术[J]. 信息与控制, 2019, 48(2): 179-186. Qu X Y, Zeng P, Li J P. Fault diagnosis technology of grinding system based on RNN-LSTM[J]. Information and Control, 2019, 48(2): 179-186. |
[4] |
Wang D, Tsui K L. Statistical modeling of bearing degradation signals[J]. IEEE Transactions on Reliability, 2017, 66(4): 1331-1344. DOI:10.1109/TR.2017.2739126 |
[5] |
Tao H F, Wang P, Chen Y Y, Stojanovic V, et al. An unsupervised fault diagnosis method for rolling bearing using SIFT and generative neural networks[J]. Journal of the Franklin Institute, 2020, 357(11): 7286-7307. DOI:10.1016/j.jfranklin.2020.04.024 |
[6] |
Song L Y, Wang H Q, Chen P. Vibration-based intelligent fault diagnosis for roller bearings in low-speed rotating machinery[J]. IEEE Transactions on Instrumentation and Measurement, 2018, 67(8): 1887-1899. DOI:10.1109/TIM.2018.2806984 |
[7] |
Wang H Q, Chen P. Intelligent diagnosis method for rolling element bearing faults using possibility theory and neural network[J]. Computers & Industrial Engineering, 2011, 60(4): 511-518. |
[8] |
徐可, 陈宗海, 张陈斌, 等. 基于经验模态分解和支持向量机的滚动轴承故障诊断[J]. 控制理论与应用, 2019, 36(6): 915-922. Xu K, Chen Z H, Zhang C B, et al. Rolling bearing fault diagnosis based on empirical mode decomposition and support vector machine[J]. Control Theory & Applications, 2019, 36(6): 915-922. |
[9] |
Wu D Z, Jennings C, Terpenn J, et al. A comparative study on machine learning algorithms for smart manufacturing: Tool wear prediction using random forests[J]. Journal of Manufacturing Science and Engineering: Transactions of the ASME, 2017, 139(7): 179-187. |
[10] |
Wang D. K-nearest neighbors based methods for identification of different gear crack levels under different motor speeds and loads: Revisited[J]. Mechanical Systems and Signal Processing, 2016, 70/71: 201-208. DOI:10.1016/j.ymssp.2015.10.007 |
[11] |
田科位, 董绍江, 姜保军, 等. 基于改进深度残差网络的轴承故障诊断方法[J]. 振动与冲击, 2019, 36(20): 247-254. Tian K W, Dong S J, Jiang B J, et al. A bearing fault diagnosis method based on an improved depth residual network[J]. Journal of Vibration and Shock, 2019, 36(6): 915-922. |
[12] |
Wang P, Ananya, Yan R Q, et al. Virtualization and deep recognition for system fault classification[J]. Journal of Manufacturing Systems, 2017, 44: 310-316. DOI:10.1016/j.jmsy.2017.04.012 |
[13] |
Goodfellow I J, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]//Advances in Neural Information Processing Systems. Cambridge, USA: MIT, 2014: 2672-2680.
|
[14] |
Viola J, Chen Y Q, Wang J. FaultFace: deep convolutional generative adversarial network (DCGAN) based ball-bearing failure detection method[J]. Information Sciences, 2021, 542: 195-211. DOI:10.1016/j.ins.2020.06.060 |
[15] |
王坤峰, 苟超, 段艳杰, 等. 生成式对抗网络GAN的研究进展与展望[J]. 自动化学报, 2017, 43(3): 321-332. Wang K F, Gou C, Duan Y J, et al. Generative adversarial networks: The state of the art and beyond[J]. Acta Automatica Sinica, 2017, 43(3): 321-332. |
[16] |
王雪松, 晁杰, 程玉虎. 基于自注意力生成对抗网络的图像超分辨率重建[J]. 控制与决策, 2021, 36(6): 1324-1332. Wang X S, Chao J, Chen Y H. Image super-resolution reconstruction based on self-attention GAN[J]. Control and Decision, 2021, 36(6): 1324-1332. |
[17] |
黄伟建, 李永涛, 黄远. 基于混合神经网络和注意力机制的混沌时间序列预测[J]. 物理学报, 2021, 70(1): 235-243. Huang W J, Li Y T, Huang Y. Chaotic time series prediction based on hybrid neural network and attention mechanism[J]. Acta Physica Sinica, 2021, 70(1): 235-243. |
[18] |
Hu J, Shen L, Albanie S, et al. Squeeze-and-excitation networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(8): 2011-2023. |
[19] |
Li K, Ping X L, Wang H Q, et al. Sequential fuzzy diagnosis method for motor roller bearing in variable operating conditions based on vibration analysis[J]. Sensors, 2013, 13(6): 8013-8041. |
[20] |
冯浩楠, 付胜, 胥永刚. 基于BN-1DCNN的旋转机械故障诊断研究[J]. 振动与冲击, 2021, 40(19): 302-308. Feng H N, Fu S, Xu Y G. Fault diagnosis of rotating machinery based on BN-1DCNN model[J]. Journal of Vibration and Shock, 2021, 40(19): 302-308. |
[21] |
陈意伟. 基于改进LeNet-5网络的滚动轴承故障诊断方法研究[D]. 湖南: 湖南工业大学, 2021. Chen Y W. Research on rolling-element bearing fault diagnosis using improved LeNet-5 network[D]. Hunan: Hunan University of Technology, 2021. |
[22] |
Zhao Z B, Li T F, Wu J Y, et al. Deep learning algorithms for rotating machinery intelligent diagnosis: An open source benchmark study[J]. ISA Transactions, 2020, 107: 224-255. |
[23] |
Yaniv B, Tomer G, Sagie B, et al. Evaluation metrics for conditional image generation[J]. International Journal of Computer Vision, 2021, 129: 1712-1731. |