2. 计算智能与智能系统北京市重点实验室, 北京 100124;
3. 数字社区教育部工程研究中心, 北京 100124
2. Beijing Key Laboratory of Computational Intelligence and Intelligent System, Beijing 100124, China;
3. Engineering Research Center of Digital Community, Ministry of Education, Beijing 100124, China
0 引言
近年来，随着系统越来越复杂、非线性越来越强，其建模变得越来越困难[1].人工神经网络由于具备以任意精度逼近非线性函数的能力，为复杂非线性系统建模问题提供了一条新途径[2].深度学习由人工神经网络模型发展而来，包含多层非线性运算单元，已成功应用于多种人工智能问题的研究[3-5].神经科学证明，人脑的认知过程是逐层进行、逐步抽象的，并且深层结构的神经网络能够有效提高工作效率[6].因此，Hinton等提出一种基于无监督学习算法的深度信念网络(deep belief network，DBN)[7]，实现了人工神经网络在多隐含层结构的突破，促进了深度学习网络在建模方面的应用. Lü等提出将深度自编码网络用于交通流量预测，通过堆叠自编码模型学习数据特征，实现了良好的预测效果[8].然而，深度自编码模型在训练过程中容易出现过拟合问题，因此，Hossain等建立了一个堆积降噪自编码模型，通过对输入引入噪声产生更高质量的特征来预测美国内达华州天气，结果明显优于标准多层前馈神经网络[9]. Kuremoto等利用DBN强大的非线性映射能力，提取时序数据中的特征，并通过实验证明了DBN在时序预测中的优越性[10].然而，神经元的激活函数定义了对神经元输出的映射，提供网络的非线性建模能力，因此选择合适的激活函数对深度网络的性能至关重要.文[11]指出，近几年，整流线性节点(Rectified Linear Unit，ReLU)函数及常见的双曲正切(tanh)函数和Sigmoid函数已广泛应用于DBN的训练中. Nair等提出采用ReLU作为激活函数改进限制玻尔兹曼机(restricted Boltzmann machines，RBM)的方法，通过保留信息传递过程中相关强度的信息特征，实现了较好的目标识别效果[12].然而，ReLU在训练过程中易导致神经元的死亡，阻碍信息的传播.为了解决神经元死亡的问题，Li等针对每个隐含节点的不同激活率，提出一种利用整流分段线性节点(rectifier piecewise linear unit，RePLU)函数提高深度神经网络性能的方法，该方法保留ReLU优势的同时，在生物学上也更具有解释性[13]. Zheng等提出采用softplus作为激活函数改进RBM的方法，有效地提高了模型性能和收敛速度[14]. Stosic等提出一种基于q高斯激活函数的神经网络模型，通过改变熵指数，灵活地建立复杂决策边界的模型，实现了良好的分类效果，但其在时序预测方面的应用还有待研究[15].分析可知，包含多层非线性映射层的深度结构比浅层结构更加高效，选择合适的激活函数提高DBN性能仍是需要解决的问题[16-18].
针对上述问题，本文提出将径向基函数(radial basis function，RBF)作为DBN神经元的激活函数，设计一种基于RBF的DBN(RBF-DBN).利用对比分歧算法[3]对径向基函数的权值、中心和宽度进行调整；其次利用反向传播对网络连接权值进行优化；最后将该RBF-DBN应用于非线性系统建模、Lorenz混沌序列预测、大气CO2趋势预测及出水NH4-N浓度预测问题的研究.结果表明，RBF-DBN能够实现更稳定和更准确的预测.
1 改进型深度学习算法DBN结构如图 1所示，包含一个输入层v，两个隐含层h1、h2和一个输出层y.除输出层外，每相邻两层构成一个RBM，层间全连接，层内无连接，通过信息提取保留数据的相关特征[19].
|
| 图 1 深度信念网络结构 Figure 1 Structure of the DBN |
RBF具备强大的非线性逼近能力及局部响应特性，因此，选取RBF作为激活函数应用于计算RBM神经元的激活状态，其能量函数为
|
(1) |
式中，vi表示可视层第i个节点值；hj表示隐含层第j个节点值；可视层的节点数为I，隐含层的节点数为J；wij为输入节点i与隐含节点j之间的连接权值；ci、cj分别代表输入层和隐含层神经元中心；σi、σj分别代表输入层和隐含层神经元宽度. RBM的学习和推理过程如式(2)和式(3)所示：
|
(2) |
|
(3) |
式中，||·||表示变量之间的欧氏距离.
模型关于可视向量v的边缘概率如式(4)所示：
|
(4) |
式中，
实际中，通过目标函数的梯度近似更新参数.由于RBM模型的结构是对称的，并且神经元的状态是条件独立的，使用Gibbs采样方法对训练数据得到足够好的近似[20]，具体算法如式(5)所示：
|
(5) |
式中，v0表示可视层的输出向量，h0表示隐含层的输出向量，v1表示一次Gibbs采样后的可视层输出向量，h1表示一次Gibbs采样后的隐含层输出向量.以此类推，不断循环采样过程，直到完成k步Gibbs采样，获得分布较好的数据样本，其中，k一般取1.
在初始化过程中，通过式(2)更新隐含节点的激活状态，给定当前的隐含节点的状态，再根据式(3)得到可视节点的激活概率，从而产生可视层的重构[21].令θ=[W，c，σ]，对式(4)进行对数求导，得到训练数据的对数概率梯度，如式(6)所示：
|
(6) |
参数的更新规则为
|
(7) |
式中，τ表示第τ次无监督训练过程.根据对比分歧(contrastive divergence，CD)准则，权值调节量如式(8)所示，可视层节点与隐含层节点的中心和宽度调节量分别如式(9)~式(12)所示：
|
(8) |
|
(9) |
|
(10) |
|
(11) |
|
(12) |
式中，〈·〉0表示平均初始采样状态，〈·〉1表示运行一次马尔科夫迭代后状态采样获得的状态. μw、μci、μcj、μσi、μσj为学习速率.
2 实验及分析时序预测普遍存在于现实生活中，易受自身及外部环境的影响，使得预测建模成为一个较复杂的非线性问题[22].将RBF-DBN应用于非线性系统建模、Lorenz时序预测、大气CO2趋势预测及出水NH4-N浓度预测进行测试，验证该算法的有效性.均方根误差(root mean square error，RMSE)作为预测效果评价指标，如式(13)所示：
|
(13) |
式中，y(t)代表t时刻的真实值，
常用如式(14)所示的非线性系统来检验神经网络算法的性能：
|
(14) |
其中，y(0)=0，y(1)=0，u(t)=sin(2πt/25).
该模型可以用式(15)表示：
|
(15) |
在RBF-DBN中存在3个输入(y(t)，y(t-1)，u(t))和一个输出(y(t+1)).式(14)在t=1和t=1 000之间共产生1 000组数据，其中700组用于训练，300组用于测试，网络结构为3-3-3-1，实验结果如图 2所示.
|
| 图 2 非线性系统建模结果 Figure 2 Modeling results of the nonlinear system |
图 2是非线性系统建模结果图.其中，图 2(a)是RBF-DBN训练效果，图 2(b)是RBF-DBN训练误差，图 2(c)是RBF-DBN测试效果，图 2(d)是RBF-DBN预测误差.从图 2(a)和图 2(c)可以看出，在训练和测试过程中，网络整体表现出较好的逼近能力和泛化能力.从图 2(b)可以看出，网络的收敛速度较快，最后训练误差稳定于一个较小值.从图 2(d)可以看出，除了少量峰值的数据预测误差稍大之外，其余数据的预测误差都在一个较小的范围，具有较好的预测性能.在总的神经元数保持一致的情况下，将RBF-DBN与其它几种方法相比较，如表 1所示.
结果显示，通过RBF-DBN与DBN、基于tanh函数的DBN(tanh-DBN)，基于ReLU函数的DBN(ReLU-DBN)、径向基神经网络(radial basis function neural network，RBFNN)[23]、模糊神经网络(fuzzy neural network，FNN)[24]及反向传播神经网络(back propagation neural network，BPNN)[25]相比较，RBF-DBN的训练误差和测试误差最小，分别为0.020 4和0.003 8，具有良好的非线性建模能力.因此，该实验证明了文中提出的基于改进型深度学习的非线性建模方法具有较好的逼近能力.
2.2 Lorenz时序预测Lorenz混沌时序预测是评价学习算法有效性的基准问题之一.其方程为
|
(16) |
式中，x是对流强度；y表示上升与下沉气流之间水平温度差；z为垂直温度差；参数α=10，β=28，γ=8/3[26].采用4阶Runge-Kutta方法产生时间序列，得到训练数据1 500组，测试数据1 000组.使用3-3-3-1的网络结构对时间序列进行一步预测，即用前3个时刻数据预测下一时刻的信息.
图 3是Lorenz时序预测结果图.其中，图 3(a)是RBF-DBN训练效果，图 3(b)是RBF-DBN训练误差，图 3(c)是RBF-DBN预测效果，图 3(d)是RBF-DBN预测误差.从图 3(a)和图 3(c)可以看出，在训练和测试过程中，除了少量数据存在难以学习和预测的问题，网络整体性能较好，最终训练误差为0.019 6，测试误差0.021 8.将RBF-DBN与其它几种方法相比较，如表 2所示.
|
| 图 3 Lorenz时序预测结果 Figure 3 Predicting results of the Lorenz time series |
表 2结果显示，通过RBF-DBN与连续性深度信念网络(continuous deep belief network，cDBN)[22]、tanh-DBN、ReLU-DBN、RBFNN[23]、基于实时递归学习的递归神经网络(recurrent neural network with real-time recurrent learning，RNN-RTRL)[27]及BPNN[25]相比较，RBF-DBN的训练误差和测试误差最小，表现出较好的逼近能力.
2.3 大气CO2趋势预测将RBF-DBN应用于大气CO2趋势预测实验，检验该算法在处理实际问题时的效果.实验选取190组夏威夷某地区的CO2浓度数据，其中，训练数据选取103组，测试数据87组[20].选用3-20-20-1的网络结构学习和预测该地区的CO2浓度，结果如图 4所示.
|
| 图 4 CO2浓度趋势预测结果 Figure 4 The predicting results of CO2 concentration |
图 4为CO2浓度趋势预测结果图.其中，图 4(a)是RBF-DBN训练效果，图 4(b)是RBF-DBN训练误差，图 4(c)是RBF-DBN的预测效果，图 4(d)是RBF-DBN预测误差.从图 4(a)和图 4(c)中可以看出，该地区CO2浓度存在逐年上升的趋势，可以较好地实现对CO2浓度变化的学习和预测.将RBF-DBN与传统DBN、cDBN[22]、Dropout DBN(DrDBN)[28]及BPNN[22]相比较，得到结果如表 3所示.在神经元个数相同的情况下，RBF-DBN的训练误差为0.885 0，测试误差为1.113 5.相比之下，应用基于改进型深度学习算法的RBF-DBN训练误差与测试误差明显小于其它几种方法，可以实现大气CO2趋势的精确预测.
出水NH4-N严重影响污水处理的效果，因此，实时预测其浓度十分必要.实验采用北京某污水处理厂的真实数据，经过预处理之后，保留170组数据.其中，100组数据进行训练，70组数据进行测试.使用6-5-5-1的网络结构对该污水处理厂NH4-N浓度进行学习预测，得到结果如图 5所示.
|
| 图 5 出水NH4-N浓度预测结果 Figure 5 The predicting results of NH4-N concentration |
图 5为出水NH4-N浓度预测结果图.其中，图 5(a)是RBF-DBN训练效果，5(b)是RBF-DBN的预测效果.从图 5可以看出，RBF-DBN应用于实际污水处理过程中，通过学习NH4-N数据特征，可以实现出水水质的精准预测.如表 4所示，将该方法与DBN，tanh-DBN，ReLU-DBN，BPNN[29]，RBFNN[30]及FNN[31]相比较可以看出，RBF-DBN的训练时间和测试时间分别为5.63 s、0.51 s，与其它几种方法相差无几.但RBF-DBN训练误差为0.040 8，测试误差为0.073 1，明显小于其它方法，具有更高的预测精度.因此，RBF-DBN在满足实时性要求的情况下具有更好的预测效果.
针对非线性系统难以建模的问题，本文提出的改进型深度学习算法设计的主要工作有：
1) 设计基于高斯径向基函数的DBN训练模型，首先采用CD算法对径向基函数的权值、中心和宽度进行训练；其次，利用BP算法优化网络连接权值.
2) 将RBF-DBN应用于非线性系统建模、Lorenz时序预测、大气CO2趋势预测及出水NH4-N浓度预测，实验结果表明RBF-DBN具备较高的预测精度及较好的收敛性能.
通过以上分析，本文提出的改进型深度学习算法适用于非线性系统的建模，后续研究将结合自组织机制，实现网络结构的动态调整，提高非线性系统的建模能力.
| [1] |
李军, 桑桦.
基于SCKF的Elman递归神经网络在软测量建模中的应用[J]. 信息与控制, 2017, 46(3): 342–349, 357.
Li J, Sang H. Elman recurrent neural network method based on SCKF algorithm and its application to soft sensor modeling[J]. Information and Control, 2017, 46(3): 342–349, 357. |
| [2] |
席剑辉, 王海丹.
基于改进RBF网络的多变量序列建模和预测[J]. 信息与控制, 2012, 41(2): 159–164.
Xi J H, Wang H D. Modeling and prediction of multivariate series based on an improved RBF network[J]. Information and Control, 2012, 41(2): 159–164. |
| [3] |
唐贤伦, 周家林, 张娜, 等.
基于深度信念网络的运动想象脑电信号识别[J]. 信息与控制, 2015, 44(6): 717–721, 738.
Tang X L, Zhou J L, Zhang N, et al. Recognition of motor imagery EEG based on deep belief network[J]. Information and Control, 2015, 44(6): 717–721, 738. |
| [4] | Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation, 2006, 18(7): 1527–1554. DOI:10.1162/neco.2006.18.7.1527 |
| [5] | Schmidhuber J. Deep learning in neural networks:An overview[J]. Neural Networks, 2015, 61: 85–117. DOI:10.1016/j.neunet.2014.09.003 |
| [6] |
潘广源, 柴伟, 乔俊飞.
DBN网络的深度确定方法[J]. 控制与决策, 2015, 30(2): 256–260.
Pan G Y, Chai W, Qiao J F. Calculation for depth belief network[J]. Control and Decision, 2015, 30(2): 256–260. |
| [7] | Hinton G E, Salakhutdinov R R. Reducing the dimensionality of data with neural networks[J]. Science, 2006, 313(5786): 504–507. DOI:10.1126/science.1127647 |
| [8] | Lü Y, Duan Y, Kang W, et al. Traffic flow prediction with big data:A deep learning approach[J]. IEEE Transactions on Intelligent Transportation Systems, 2015, 16(2): 865–873. |
| [9] | Hossain M, Rekabdar B, Louis S J, et al. Forecasting the weather of Nevada: A deep learning approach[C]//2015 International Joint Conference on Neural Networks. Piscataway, NJ, USA: IEEE, 2015: 1-6. |
| [10] | Kuremoto T, Kimura S, Kobayashi K, et al. Time series forecasting using a deep belief network with restricted Boltzmann machines[J]. Neurocomputing, 2014, 137: 47–56. DOI:10.1016/j.neucom.2013.03.047 |
| [11] | LeCun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436–444. DOI:10.1038/nature14539 |
| [12] | Nair V, Hinton G E. Rectified linear units improve restricted boltzmann machines[C]//27th International Conference on Machine Learning. Madison, Wisconsin, USA: Omnipress, 2010: 807-814. |
| [13] | Li J, Zhang T, Luo W, et al. Sparseness analysis in the pretraining of deep neural networks[J]. IEEE Transactions on Neural Networks and Learning Systems, 2017, 28(6): 1425–1438. DOI:10.1109/TNNLS.2016.2541681 |
| [14] | Zheng H, Yang Z, Liu W, et al. Improving deep neural networks using softplus units[C]//2015 International Joint Conference on Neural Networks. Piscataway, NJ, USA: IEEE, 2015: 1-4. |
| [15] | Stosic D, Stosic D, Zanchettin C, et al. QRNN:q-generalized random neural network[J]. IEEE Transactions on Neural Networks and Learning Systems, 2017, 28(2): 383–390. DOI:10.1109/TNNLS.2015.2513365 |
| [16] |
陈珍, 夏靖波, 柏骏, 等.
基于进化深度学习的特征提取算法[J]. 计算机科学, 2015, 42(11): 288–292.
Chen Z, Xia J B, Bo J, et al. Feature extraction algorithm based on evolutionary deep learning[J]. Computer Science, 2015, 42(11): 288–292. |
| [17] | Bengio Y. Deep learning of representations for unsupervised and transfer learning[J]. ICML Unsupervised and Transfer Learning, 2012, 27: 17–36. |
| [18] |
刘建伟, 刘媛, 罗雄麟.
深度学习研究进展[J]. 计算机应用研究, 2014, 31(7): 1921–1930.
Liu J W, Liu Y, Luo X L. Research and development on deep learning[J]. Application Research of Computers, 2014, 31(7): 1921–1930. DOI:10.3969/j.issn.1001-3695.2014.07.001 |
| [19] | Panigrahy R, Rahimi A, Sachdeva S, et al. Convergence results for neural networks via electrodynamics[J/OL]. ArXiv: 1702.00458.[2017-11-21]. http://arxiv.org/abs/1702.00458. |
| [20] |
李飞, 高晓光, 万开方.
基于动态Gibbs采样的RBM训练算法研究[J]. 自动化学报, 2016, 42(6): 931–942.
Li F, Gao X G, Wan K F. Research on RBM training algorithm with dynamic gibbs sampling[J]. Acta Automatica Sinica, 2016, 42(6): 931–942. |
| [21] | Le Roux N, Bengio Y. Representational power of restricted Boltzmann machines and deep belief networks[J]. Neural Computation, 2008, 20(6): 1631–1649. DOI:10.1162/neco.2008.04-07-510 |
| [22] |
乔俊飞, 潘广源, 韩红桂.
一种连续型深度信念网的设计与应用[J]. 自动化学报, 2015, 41(12): 2138–2146.
Qiao J F, Pan G Y, Han H G. Design and application of continuous deep belief network[J]. Acta Automatica Sinica, 2015, 41(12): 2138–2146. |
| [23] | Han H G, Guo Y N, Qiao J F. Self-organization of a recurrent RBF neural network using an information-oriented algorithm[J]. Neurocomputing, 2017, 225: 80–91. DOI:10.1016/j.neucom.2016.11.010 |
| [24] | Leng G, Prasad G, Mcginnity T M. An on-line algorithm for creating self-organizing fuzzy neural networks[J]. Neural Networks the Official Journal of the International Neural Network Society, 2004, 17(10): 1477–1493. DOI:10.1016/j.neunet.2004.07.009 |
| [25] | Chang L C, Chen P A, Chang F J. Reinforced two-step-ahead weight adjustment technique for online training of recurrent neural networks[J]. IEEE Transactions on Neural Networks and Learning Systems, 2012, 23(8): 1269–1278. DOI:10.1109/TNNLS.2012.2200695 |
| [26] | Vergara J R, Est? vez P A. A strategy for time series prediction using segment growing neural gas[C]//201712th International Workshop on Self-Organizing Maps and Learning Vector Quantization, Clustering and Data Visualization. Piscataway, NJ, USA: IEEE, 2017: 1-8. |
| [27] | Mirikitani D T, Nikolaev N. Recursive Bayesian recurrent neural networks for time-series modeling[J]. IEEE Transaction on Neural Networks, 2010, 21(2): 262–274. DOI:10.1109/TNN.2009.2036174 |
| [28] |
潘广源.深度信念网的无监督学习算法研究与应用[D].北京: 北京工业大学, 2016. Pan G Y. Research on university learning of deep belief network[D]. Beijing: Beijing University of Technology, 2016. http://www.wanfangdata.com.cn/details/detail.do?_type=degree&id=Y3173756 |
| [29] |
杨琴, 谢淑云.
BP神经网络在洞庭湖氨氮预测中的应用[J]. 水资源与水工程学报, 2006, 17(12): 65–70.
Yang Q, Xie S Y. Application of BP neural network into predicting NH3-N concentration of Dong Ting Lake[J]. Journal of Water Resources & Water Engineering, 2006, 17(12): 65–70. |
| [30] | Deng C, Kong D, Song Y, et al. A soft-sensing approach to on-line predicting ammonia-nitrogen based on RBF neural networks[C]//International Conference on Embedded Software and Systems. Piscataway, NJ, USA: IEEE, 2009: 454-458. |
| [31] | El Houari M B, Zegaoui O, Abdallaoui A. Development of an artificial neural network model to predict the monthly air temperature in the region of Meknes (Morocco)[J]. Development, 2015, 2(11): 18–27. |