文章快速检索  
  高级检索
基于多模态扰动的集成即时学习软测量建模
金怀平1, 李建刚1, 钱斌1, 陈祥光2, 杨彪1     
1. 昆明理工大学信息工程与自动化学院, 云南 昆明 650500;
2. 北京理工大学化学与化工学院, 北京 100081
摘要: 近年来,即时学习软测量方法已被广泛用于过程工业中难测参数的在线估计.然而,常规的即时学习软测量方法仅依靠单一的学习配置,忽略了即时学习性能的多样性,导致预测性能不佳.为此,提出了一种基于多模态扰动的集成即时学习软测量建模方法,称为DSS-ELWPLS (Diverse Subspaces and Similarity measures based Ensemble Locally Weighted Partial Least Squares).该方法以局部加权偏最小二乘算法(LWPLS)为基学习器,通过输入特征扰动和相似度扰动以激发即时学习的多样性,然后基于进化多目标优化构建满足多样性和准确性的即时学习基模型.随后采用Stacking集成学习策略,实现即时学习基模型的融合.通过在青霉素发酵过程和工业混炼胶过程中的应用,验证了DSS-ELWPLS方法的有效性和优越性.
关键词: 软测量     即时学习     集成学习     多模态扰动     多目标优化     局部加权偏最小二乘    
Soft Sensor Development Based on Ensemble Just-in-time Learning with Multimodal Perturbation
JIN Huaiping1, LI Jiangang1, QIAN Bin1, CHEN Xiangguang2, YANG Biao1     
1. Faculty of Information Engineering and Automation, Kunming University of Science and Technology, Kunming 650500, China;
2. School of Chemistry and Chemical Engineering, Beijing Institute of Technology, Beijing 100081, China
Abstract: Recently, just-in-time learning (JIT) based soft sensors have been widely used to provide online estimates of difficult-to-measure variables in process industry. However, conventional JIT soft sensors rely only on a single learning configuration while ignoring the diversity of JIT learning, leading to poor prediction performance. To address this issue, we propose a multimodal perturbation-based ensemble JIT learning soft sensing algorithm, referred to as diverse subspaces, and similarity measures based on ensemble locally weighted partial least squares (DSS-ELWPLS). This method achieves diversity creation of JIT learning by exploiting input feature and similarity perturbations. Then, we generate a set of base JIT learners that are accurate but diverse through evolutional multi-objective optimization, with locally weighted partial least squares as the base learner. Finally, we combine all base JIT learners using the stacking strategy. The effectiveness and superiority of the proposed DSS-ELWPLS soft sensor method are demonstrated through its application to the penicillin fermentation and industrial rubber mixing processes.
Keywords: soft sensor     just-in-time learning     ensemble learning     multimodal perturbation     multi-objective optimization     locally weighted partial least squares    

0 引言

软测量技术是实现难测参数在线实时估计的一种有效手段,在冶金、造纸、制药、石油、化工等生产过程的监测、控制及优化中扮演着日益重要的角色.与传统检测方法相比,软测量具有实时性高、成本低廉、维护简单、受现场干扰小等优势.作为一种重要的间接测量手段,软测量技术已经成为各种先进自动化技术成功实施的基础和关键[1-2].

软测量技术的核心在于准确构建主导变量(难测变量)与辅助变量(易测变量)之间的函数关系,即一个数学建模问题.传统的软测量模型旨在建立一个适应所有过程状态信息的全局预测模型,并期望获得较高的预测性能.但是,全局建模训练效率低,而且不能有效表征过程的局部特征,导致模型预测性能受限.因此,局部学习软测量建模日益受到青睐[3-5].作为一种典型的局部学习方法,近年来,即时学习(just-in-time learning,JIT)已成为软测量建模领域的一个研究热点[6-9].

即时学习,又称为懒惰学习(lazy learning)[10],其灵感来源于局部建模和数据库技术.与传统建模方法相比,即时学习有3个主要特征:接到查询请求以后才开始建模;根据相似度准则,计算查询样本与历史样本之间的相似度,然后通过样本选择或加权的方式建立局部模型;完成预测后抛弃局部模型.

长期以来,即时学习软测量建模围绕相似度函数的定义[11-14]、数据库管理[15]、新型局部建模技术的引入[16-17]、与其他方法混合建模[18-21]等方向开展了大量研究.近年来,概率即时学习[22]和半监督即时学习[23-26]在软测量建模领域也逐步受到重视.但是,大多数现有的即时学习软测量方法仅使用单一的学习框架,忽略了建模配置的多样性.

一个常规的即时学习建模配置包括:一个数据库、一种回归算法、一组输入特征、一个相似度函数、一组模型超参数.大多数研究围绕提升一个或多个环节的性能,但始终保持“五个一”的单一配置不变.但是,受限于过程数据的有限性和专家知识的局限性,实际无法获得最优的建模配置.而且实际工业过程通常呈现多种复杂过程特征(如非线性、多时段性、多模式、时变性等)共存的现象.对于此类过程,单一的建模配置无法保证即时学习器适应所有的过程状态.因此,基于单一配置的即时学习建模只是一种理想化操作,即时学习预测性能的多样性在实际应用中不可避免.由于无法构建单一的全局最优即时学习器,而构建一系列次优学习器却相对容易,因此基于集成学习构建高性能的即时学习软测量模型成为了一个新的研究方向,在此称其为集成即时学习(EJIT)软测量建模.

目前,有关EJIT软测量建模的研究成果尚少,在此列举几例. Liu等[27]提出JIT-ENS方法,通过引入多种局部建模技术构建多样性的即时学习基模型. Kaneko等[28]通过移动窗口策略实现数据分组,以LWPLS为基学习器,提出ELWPLS集成即时学习软测量建模方法. Liu等[29]通过扰动学习参数的方式构建多样性即时学习模型,提出了EJKL建模方法. Yang等[30]通过构建多样性输入特征集的方式,提出了EJITGPR软测量建模方法.这些研究成果初步表明了通过集成学习提升即时学习预测性能的可行性.但是目前依然缺乏系统性的EJIT软测量建模框架.

EJIT兼顾了集成学习和即时学习的优良特性,本质上是即时学习,从集成层面上看则是集成学习.理论和实践表明,建立高性能的集成学习模型其关键在于建立满足多样性和准确性的基模型[31-32].因此,建立高性能的EJIT软测量模型需要解决两个关键问题:其一,以何种方式激发即时学习模型的多样性?其二,如何构建多样性的即时学习基模型?

但是,目前的EJIT建模研究主要采用单模态扰动方式,而且多样性基模型的构建方法经验性强,多样性和准确性指标难以得到有效保证.事实上,影响EJIT性能的因素是多方面的,一种更为合理的做法是采用多模态扰动方式激发即时学习多样性.此外,由于多样性和准确性指标往往存在相互冲突,因此即时学习基模型的构建问题本质上是一个多目标优化问题.

综上所述,本文提出了一种基于多样性子空间和相似度的EJIT软测量建模框架,简称为DSS-ELWPLS(diverse subspaces and similarity measures based ensemble LWPLS).该方法采用多模态扰动机制,同时考虑输入特征扰动和相似度扰动,以更好地激发即时学习模型的多样性.然后,以LWPLS算法为基学习器,将多样性和准确性的LWPLS基模型构建问题转化为一个多目标优化问题,并基于进化多目标优化方法实现问题求解.最后,采用Stacking集成策略对局部预测输出进行融合.将该方法应用到青霉素发酵过程和工业混炼胶过程中,实验结果表明了所提法的有效性和优越性.

1 算法简介 1.1 局部加权偏最小二乘算法(LWPLS)

LWPLS是一种典型的即时学习软测量建模方法[33].假设建模样本的输入输出矩阵为X∈RN×MY∈RN×L,第n个样本的输入、输出可表示为

(1)
(2)

式中,N为样本数,ML分别为输入和输出维度.

通过如下步骤可以获得查询样本xq∈RM所对应的预测输出

1) 假设隐变量个数为R,第一个隐变量序号r=1.

2) 计算相似度矩阵Ω

(3)

其中,ωxq与历史样本之间的相似度.

3) 对建模样本和查询样本做如下预处理:

(4)
(5)
(6)
(7)
(8)

其中,1N∈RN为全1的列向量,m=1,2,…,Ml=1,2,…,L.

4) 计算X的第r个主成分:

(9)

式中,ωrXrTΩYrYrTΩXr的最大特征值对应的特征向量.

5) X的第r个负载向量和回归系数向量分别计算如下:

(10)
(11)

6) 计算xq的第r个主成分:

(12)

7) 如果r=R,计算查询样本的预测输出值

(13)

计算结束.否则,令:

(14)
(15)
(16)

8) 令r=r+1,并转到第4)步.

1.2 多目标优化

多目标优化是指通过优化算法求解两个或两个以上目标函数的最优解,其数学形式描述如下:

(17)
(18)

其中,ft(x)为待优化的目标函数(t=1,2,…,T);x为决策向量;lbub分别是决策向量的下限和上限约束;Aeq*x=beq是线性等式约束;Axb是线性不等式约束.

对于多目标优化问题,子目标之间往往存在冲突,不可能使各个子目标都达到最优,只能通过各子目标之间协调折中处理.因此多目标优化问题一般不寻求单一的最优解,而是获得一组Pareto最优解.

2 DSS-ELWPLS软测量建模方法 2.1 基于多模态扰动的即时学习多样性产生机制

即时学习的基本思想是:根据某种相似度准则选择与查询样本xq高度相似的历史样本集进行局部建模,完成预测任务后抛弃模型.其中,相似度指标的定义尤为关键.因此通过扰动相似度函数能够激发即时学习模型的多样性.此外,输入特征选择结果的差异也势必导致即时学习模型的多样性.因此,考虑引入多模态扰动机制以构建多样性的即时学习基模型.

1) 相似度扰动

常见的相似度指标是基于样本距离定义的,如欧氏距离、马氏距离、闵氏距离等[34].其中,闵式距离相似度定义如下:

(19)
(20)

式中,σd是{dn}n=1N的标准差,ψ是一个局部化参数,p是距离指数.实际上,欧氏距离是闵氏距离的一个特例,当p=2时即为欧氏距离.

从式(19)和(20)可看出,通过设置不同的pψ值,可以获得不同的相似度量.这就意味着通过设置不同的pψ值组合即可获得性能不同的相似度,即多样性的相似度.

2) 输入特征扰动

数据集通常用一组特征来描述,不同的特征子空间可能提供观察数据的不同视角.因此,从不同的特征子空间训练获得的基模型可能具有较高程度的多样性[35-38].但是,常见的输入特征扰动主要采用随机选择输入特征的方式,难免导致选择结果的冗余,不利于确保基模型的多样性.因此,本文采用直接构造子空间的方式,以获得多样性的输入子空间{S1S2,…,SK}.

确定了多样性扰动机制后,随之而来的问题是:如何为多样性相似度的pψ参数赋值?如何为多样性输入子空间选择具体的输入变量?这一问题的解决将在下一节详细介绍.

2.2 基于进化多目标优化的多样性即时学习模型构建

构建高性能集成即时学习软测量模型的关键是生成满足多样性和准确性的即时学习基模型,这本质上是一个多目标优化问题.因此,本文通过多目标优化技术解决即时学习基模型的生成问题.

首先,需要确定多目标优化问题的决策向量、目标函数、约束条件:

1) 决策向量.根据2.1节介绍的多模态扰动机制可知,多样性相似度和子空间是构建满足多样性和准确性指标的即时学习基模型的必要条件.因此,决策向量包括相似度函数中的pψ参数和输入子空间的变量选择参数.其中,输入子空间中的变量选择过程可以用一组二进制变量来表示.例如,对于子空间SK,其二进制变量组合表示为Vk={Vk,1Vk,2,…,VkM},其中VkM定义如下:

(21)

式中,VkM=1表示选中变量xmVkM=0表示没有选中变量xm.

根据上述分析,假设需要构建K个满足多样性和准确性指标的即时学习基模型,则决策向量由K组相似度参数和输入变量选择二进制变量构成,即Γ=[V1p1ψ1V2p2ψ2,…,VKpKψK].其中,{pkψk}k=1K优化为实数优化,{Vk}k=1K优化为整数优化.因此{Vkpkψk}k=1K的优化为混合整数优化.

2) 目标函数.多目标优化的目的在于最大化基模型的准确性和多样性:

(22)

其中,Γ为决策向量,facc(Γ)和fdiv(Γ)分别表示准确性和多样性目标函数.

准确性指标用于评估模型预测值与真实值之间的接近程度.这里采用基模型在验证样本集Dval={xvalyval}上的均方根误差(RMSE)评价模型精度. RMSE越小,预测精度越高.不失一般性,第k个基模型的验证误差估计如下:

(23)

式中,Nval代表验证样本数. yval,i分别表示实际输出和预测输出.

然后,K个基模型的准确性优化目标确定如下:

(24)

多样性指标用于评估基模型之间的差异性程度,如何衡量基模型的多样性是集成学习的一个难点.本文采用相关系数评价基模型之间的差异性,基本思想为:首先采样基模型对验证集进行预测,获得相应的残差序列,然后估计残差序列之间的相关系数.相关系数越大,说明两个基模型之间的差异性越大.假设两个基模型获得的验证误差序列为EiEj,则对应的相关系数估计如下:

(25)

其中,Cov(·,·)和Var(·)分别为协方差和方差算子.

为了衡量K个基模型的多样性,一种简单的方法是首先评价每对基模型对应的误差序列相关系数,然后对所有的相关系数评价结果进行平均作为多目标优化的多样性评价指标,即:

(26)

根据上述分析可知,由于RMSEavg,val越小,基模型的准确性越高;ravg,val越小,基模型的差异性越大.因此,式(22)中的最大化优化问题可转化为一个最小化优化问题求解:

(27)

3) 约束条件.式(27)多目标优化问题没有涉及等式约束和不等式约束,只对决策向量进行上下限约束.变量选择指示变量Vkm采用{0,1}赋值,相似度参数pψ优化范围表示如下:

(28)

其中,lbpubp分别为p的上下限,lbψubψ分别为ψ的上下限.

通过上述步骤即可将多样性即时学习模型的生成转化为一个多目标优化问题.接下来需要对该问题进行求解,即对{Vkpkψk}k=1K参数进行优化.由于传统多目标优化方法存在诸多缺陷,本文采用一种优秀的进化多目标优化方法,即NSGA-II[39],实现问题求解.

基于NSGA-II优化的多样性即时学习模型生成原理如图 1所示.给定初始种群Npop,最大迭代数Ngen,通过NSGA-II优化可以获得一组Pareto最优解集.其中,每一个解均对应一组多样性的相似度函数和输入子空间.实际应用中,我们只选择一组最佳的{Vkpkψk}k=1K优化结果.

图 1 基于NSGA-II多目标优化的多样性即时学习模型构建原理 Fig.1 Diagram of generating diverse JIT learners through NSGA-II multi-objective optimization
2.3 多样性即时学习模型的集成

给定一个查询样本xnew,基于多样性的即时学习基模型可以获得一组局部预测输出,再通过合适的集成策略得到最终的预测输出.常见的融合策略有简单平均法、加权平均法,但这些融合策略忽略了模型间存在差异性的事实.因此本文使用Stacking[40]集成策略来处理这一问题.其基本思想是:从初始数据集构建初级学习器;然后生成一个新的数据集用于构建次级学习器,也称为元学习器.为了避免过拟合问题,本文采用训练集构建多样性的即时学习器,然后对验证集进行预测,将预测输出数据和验证输出分别作为元学习器的训练输入输出数据.假设基学习器的预测输出为,则集成预测输出可表示如下:

(29)

其中,fens表示元学习器. fens模型的训练可以采用线性或非线性建模技术,如PLS、GPR、ANN、SVR等,至于选择何种建模技术则需根据实际应用需求、结合仿真实验确定.

2.4 实施原理

图 2呈现了DSS-ELWPLS软测量建模方法的基本原理,包含如下主要步骤:

图 2 DSS-ELWPLS软测量建模方法原理框图 Fig.2 Diagram of the proposed DSS-ELWPLS soft sensor method

1) 采集过程建模数据,构建训练集和验证集,分别用于模型训练和参数优化.

2) 结合相似度扰动和输入特征扰动,将多样性即时学习基模型的构建问题转化为一个多目标问题,确定决策向量、目标函数和约束条件.

3) 通过进化多目标优化算法NSGA-II对多样性相似度参数和多样性输入子空间输入变量选择进行优化,即优化{Vkpkψk}k=1K.

4) 基于验证集和Stacking集成策略建立融合模型.

5) 当查询点xnew到来时,基于多样性相似度和输入子空间构建多样性LWPLS基模型,然后给出相应的预测值.

6) 通过Stacking集成模型对基模型预测输出进行融合,并将集成输出作为最终预测输出.

7) 当新的查询点到来时,转到第5)步.

3 应用研究

为了验证DSS-ELWPLS建模方法的有效性和优越性,将该方法应用于青霉素发酵过程和工业混炼胶过程.实验中对以下软测量建模方法进行比较:

1) PLS:全局PLS模型,使用全部输入特征和全部训练样本;

2) LWPLS:基于样本相似度加权的即时学习,使用全部输入特征和欧氏距离相似度;

3) DSS-ELWPLS:本文提出的方法.该方法同时考虑输入特征扰动和相似度扰动,基于NSGA-II优化构建多样性的即时学习器,然后通过集成学习实现模型融合.实验中对三种集成策略进行比较:简单平均(Simple averaging)、PLS stacking、GPR stacking[41].

实验计算机配置如下:OS:Windows 10(64 bit);CPU:Intel(R) Core(TM) i7-6700(3.40 GHz×2);RAM:8.00 GB;MATLAB版本:R2016a.采用均方根误差RMSE和决定系数R2对模型性能进行评价:

(30)
(31)

其中,Ntest为测试样本数,分别为输出的估计值、实际值及实际值的均值.

实验过程中,将建模样本分为训练集、验证集和测试集.其中,训练集用于模型训练,验证集用于参数调整和NSGA-II优化目标计算,测试集用于模型性能评估.需要确定的模型参数如下:

1) PLS:主成分个数R

2) LWPLS:主成分个数R,局部化参数ψ,局部建模样本数Nlocal

3) DSS-ELWPLS:主成分个数R,局部建模样本数Nlocal;NSGA-II优化参数,包种群数Npop、最大迭代代数Ngen、相似度参数pψ的上下限{[lbpubp],[lbψubψ]}.

上述模型参数中,RψNlocal通过最大化验证误差确定;NSGA-II优化中的NpopNgenpψ上下限通过经验分析确定.一般而言,NSGA-II多目标优化的决策变量优化范围设置不宜太大或太小,范围太大会导致优化耗时大幅增加,范围太小可能会导致找不到合适的优化解.

3.1 青霉素发酵过程

青霉素是微生物次级代谢产物,具有广泛的临床医学价值,其生产过程是一个典型的多时段、非线性的间歇过程[4].在青霉素培养过程中,使用两个级联控制器分别控制酸/碱和冷/热水流量来维持pH和温度.同时,将无菌基质和空气连续送入生物反应器,为细胞生长和产物形成提供营养,并保持微生物所需的氧气消耗.但是,青霉素浓度无法在线实时测量,只能通过离线化验获得,严重影响了该过程的生产效率和自动化水平.因此,可通过软测量模型实现青霉素浓度的在线预测.

实验数据来源于Pensim[42]仿真平台,它能够模拟不同操作条件下的青霉素发酵过程. Pensim平台可从以下网址获得:http://simulator.iit.edu/web/pensim/index.html.采样间隔设为2 h,发酵持续时间设为400 h,其它发酵参数采用默认设置,共收集9批发酵过程数据.其中5批作为训练集,用于模型训练;2批作为验证集,用于参数选择和多目标优化;另外2批作为测试集,用于评估模型预测性能.软测量建模所用的输入变量如表 1所示.

表 1 青霉素发酵过程中用于软测量建模的输入变量 Tab.1 Input variables of soft sensors in penicillin fermentation process
序号 变量描述(单位)
1 培养时间/h
2 通气速率/(L/h)
3 搅拌功率/W
4 基质进料速率/(L/h)
5 基质进料温度/K
6 溶解氧浓度/(g/L)
7 培养体积/L
8 二氧化碳浓度/(g/L)
9 pH值
10 发酵罐温度/K
11 产生热/千卡
12 酸流量/kcal
13 基本流量/(L/h)
14 冷却水流量/(L/h)

本案例中,各软测量模型的参数优化如下:LWPLS和DSS-ELWPLS的局部建模样本数为50、主成分个数为10;DSS-ELWPLS建模中,输入子空间个数为5,用于NSGA-II优化的种群个数为100、最大迭代数为100、相似度参数pψ的优化范围分别设定为0.1 < p < 1.5和0.01 < ψ < 10.

在DSS-ELWPLS建模方法中,通过多目标优化得到的Pareto前沿如图 3所示.该图表明待优化的两个目标(即基模型的准确性和多样性)确实呈此消彼长之势.尽管NSGA-II获得了多个Pareto最优解,但DSS-ELWPLS建模中仅需选择其中一个解进行解码,然后用于构建多样性的输入子空间和相似度函数.

图 3 青霉素发酵过程中DSS-ELWPLS方法获得的Pareto前沿 Fig.3 Pareto front obtained from DSS-ELWPLS in penicillin fermentation process

图 4显示了NSGA-II优化获得的输入子空间变量组成和相似度函数参数.图中纵坐标值为1和0分别代表相应变量被选中和未选中. LWPLS即时学习模型之间的差异性主要由输入特征扰动和相似度扰动所致,即使用了不同的输入子空间和相似度参数.由图 4可见,各个子空间对应的相似度参数pψ存在显著差异.对于子空间来说,尽管只是使用了部分输入变量,但所有子空间对原始输入变量的覆盖率为100%.

图 4 青霉素发酵过程中DSS-ELWPLS方法优化获得的多样性输入子空间和相似度参数 Fig.4 Diverse subspaces and similarity parameters for DSS-ELWPLS in penicillin fermentation process

接下来,在表 2中比较了不同软测量方法的预测RMSE和R2.可以看出,本应用案例中,PLS和LWPLS方法的预测误差较高.相比之下,DSS-ELWPLS的预测性能明显优于其他方法,这主要归功于多模态扰动策略和集成学习思想的引入.集成策略也是影响DSS-ELWPLS预测性能的一个重要因素.从表中可看出,Stacking集成策略优于简单平均集成.对比PLS stacking和GPR stacking对应的预测性能可看出,本应用案例中,线性集成和非线性集成性能相近,这可能是因为基模型输出与实际输出之间呈弱非线性关系.总体而言,DSS-ELWPLS获得了最佳的预测性能.

表 2 不同软测量方法在青霉素发酵过程中的预测性能比较 Tab.2 Prediction results comparison from different soft sensors in penicillin fermentation process
算法 RMSE R2
PLS 0.027 6 0.996 4
LWPLS 0.025 7 0.996 9
DSS-ELWPLS (Simple averaging) 0.014 3 0.999 3
DSS-ELWPLS (PLS stacking) 0.013 1 0.999 2
DSS-ELWPLS (GPR stacking) 0.013 6 0.999 1

图 5显示了DSS-ELWPLS方法采用PLS stacking集成策略时的青霉素浓度预测趋势曲线.从图中能清楚看到预估值与实际值高度吻合,由此可见DSS-ELWPLS软测量方法能对难测变量进行准确的在线估计.

图 5 基于DSS-ELWPLS (PLS stacking)方法的青霉素浓度预测趋势曲线 Fig.5 Trend of penicillin concentration predictions using DSS-ELWPLS (PLS stacking) method

此外,分析了DSS-ELWPLS算法的在线预测实时性能.由实验得知,三种集成方法对应的平均CPU耗时分别为0.045 s(Simple averaging)、0.045 s(PLS stacking)、0.094 s(GPR stacking).可看出基于所提方法的青霉素浓度在线预测实时性很高,完全能满足实际应用需求.

3.2 工业混炼胶过程

橡胶和轮胎工业在国民经济发展中扮演着重要角色.本研究涉及的工业混炼胶过程来源于华东一家轮胎生产企业,其工艺原理如图 6所示.在橡胶混合过程中,根据技术配方将各种配合剂加入生料中,并在混合器中进行复杂的化学反应以制备合成橡胶.将生产配方置于计算机中,由PLC控制器完成混炼胶生产过程的控制.

图 6 工业混炼胶生产过程 Fig.6 Industrial rubber mixing process

为了获得高质量的橡胶产品,有必要实时跟踪关键的质量参数,以便在发生异常时及时进行分析和纠正.一般情况下,在橡胶混合过程的监控中,门尼粘度是一个关键的质量指标.如果在橡胶混合过程的批次运行中门尼粘度令人不满意,将导致难以获得最佳和均匀的混合橡胶质量,在没有完全反应的情况下则会浪费大量原料.然而,在实际的橡胶混合过程中,门尼粘度的检测只能在每批胶料混合结束后通过粘度计测量,这通常需要超过4 h.因此,一种有效的解决方法是构建软测量模型用于实时在线估计门尼粘度.

用于软测量建模的输入变量包括混合室温度、电机功率、冲击压力、电机转速和能量.但值得注意的是,门尼粘度是一个批过程的终点产品质量参数,与其相关的变量包括这个批生产周期内不同时刻对应的过程变量.因此,将时刻0 s,14 s,18 s,22 s,…,118 s对应的过程变量作为软测量模型的输入变量,共计获得140个输入变量.

建模数据分别从3个橡胶混合器中收集得到,共计1 172批次.其中,822批作为训练集,175批作为验证集,另外175批作为测试集.

在PLS、LWPLS和DSS-ELWPLS建模中,各模型参数确定如下:局部建模样本数为50;主成分个数为1;DSS-ELWPLS建模方法中,输入子空间个数为5,用于NSGA-II优化的种群个数为200、最大迭代代数为300、相似度参数pψ的优化范围分别为0.1 < p < 1.5和0.01 < ψ < 10.图 7给出了NSGA-II优化获得Pareto前沿,图 8给出了一个Pareto解对应的多样性输入子空间和相似度参数优化结果.

图 7 混炼胶过程中DSS-ELWPLS方法获得的优化Pareto前沿 Fig.7 Pareto front obtained from DSS-ELWPLS in rubber mixing process
图 8 混炼胶过程中DSS-ELWPLS方法优化获得的多样性输入子空间和相似度参数 Fig.8 Diverse subspaces and similarity parameters for DSS-ELWPLS in rubber mixing process

不同软测量建模方法对门尼粘度的预测误差结果如表 3所示,相比而言,DSS-ELWPLS(GPR stacking)建模方法取得最好的预测性能,其预测趋势曲线如图 9所示.可以看出,PLS的预测性能相当糟糕,这是因为该方法无法有效处理过程的非线性特征.相比之下,LWPLS的预测性能要好很多,这主要得益于它在处理非线性特性方面的独特优势.然而,LWPLS没有考虑输入特征选择的和相似度参数的多样性,预测性能受限.为此,在常规LWPLS的基础上引入多模态扰动和集成学习,使得DSS-ELWPLS的模型预测性能获得了显著提升.此外,对比三种集成策略可看出,本案例中,简单平均集成方法效果欠佳,PLS stacking集成略有改善,GPR stacking集成预测性能显著优于其他两种集成策略.综合表 3图 9可知,相较于传统的PLS和LWPLS方法,DSS-ELWPLS表现优秀,特别是基于GPR stacking集成策略的情形.

表 3 各模型门尼粘度测试误差结果 Tab.3 Mooney viscosity test error results for each model
算法 RMSE R2
PLS 7.220 7 0.806 1
LWPLS 4.207 1 0.934 2
DSS-ELWPLS (Simple averaging) 3.887 3 0.943 8
DSS-ELWPLS (PLS stacking) 3.743 4 0.947 9
DSS-ELWPLS (GPR stacking) 3.078 3 0.964 8
图 9 基于DSS-ELWPLS (GPR stacking)方法的门尼粘度预测趋势曲线 Fig.9 Trend plot of Mooney viscosity predictions using DSS-ELWPLS (GPR stacking) method

此外,通过实验可知,基于DSS-ELWPLS方法的门尼粘度预测平均CPU耗时分别为0.121 s(Simple averaging)、0.249 s(PLS stacking)、0.252 s(GPR stacking).与青霉素浓度预测相比,门尼粘度耗时更长,这主要是因为模型输入变量规模增加所致.但总体来看,预测平均耗时均不高于0.3 s,完全满足生产过程的实时性需求.

4 结论

本文以传统即时学习方法为基础,通过引入输入特征扰动和相似度扰动激发即时学习的多样性,然后基于多目标优化技术构建多样性即时学习基模型,最后采用Stacking集成策略实现模型融合,从而提出一种基于多模态扰动和进化多目标优化的集成即时学习软测量建模方法DSS-ELWPLS.在青霉素发酵过程和工业混炼胶过程的应用研究中表明,DSS-ELWPLS能有效提升即时学习软测量模型的预测性能.

相比于常规的即时学习软测量方法,DSS-ELWPLS方法获得了显著的预测性能提升,其根源在于通过多模态扰动机制充分挖掘了即时学习预测性能的多样性.因此,除了本文提及的输入特征扰动和相似度扰动,若能与其他形式的多样性扰动机制相结合,有望进一步提升模型的预测性能.此外,DSS-ELWPLS方法虽然只考虑了LWPLS和NSGA-II两种关键技术,但该方法实质上提供了一个较为灵活的框架,可以与其他高性能的即时学习方法和多目标优化技术相结合,以构建性能更强的集成即时学习软测量模型.

参考文献
[1] Fortuna L, Graziani S, Rizzo A, et al. Soft sensors for monitoring and control of industrial processes[J]. Springer Science & Business, 2007.
[2] 曹鹏飞, 罗雄麟. 化工过程软测量建模方法研究进展[J]. 化工学报, 2013, 64(3): 788–800.
Cao P F, Luo X L. Modeling of soft sensor for chemical process[J]. Journal of Chemical Industry and Engineering, 2013, 64(3): 788–800. DOI:10.3969/j.issn.0438-1157.2013.03.003
[3] Kadlec P, Gabrys B. Local learning-based adaptive soft sensor for catalyst activation prediction[J]. AIChE Journal, 2011, 57(5): 1288–1301. DOI:10.1002/aic.12346
[4] Jin H, Chen X, Yang J, et al. Multi-model adaptive soft sensor modeling method using local learning and online support vector regression for nonlinear time-variant batch processes[J]. Chemical Engineering Science, 2015, 131: 282–303. DOI:10.1016/j.ces.2015.03.038
[5] Liu Y, Fan Y, Zhou L, et al. Ensemble correntropy-based mooney viscosity prediction model for an industrial rubber mixing process[J]. Chemical Engineering & Technology, 2016, 39(10): 1804–1812.
[6] Jin H, Chen X, Yang J, et al. Adaptive soft sensor modeling framework based on just-in-time learning and kernel partial least squares regression for nonlinear multiphase batch processes[J]. Computers & Chemical Engineering, 2014, 71: 77–93.
[7] Mei C, Chen X, Ding Y, et al. On-line calibration of just in time learning and Gaussian process regression based soft sensor with moving-window technology[J]. Chemical Engineering Transactions, 2018, 70: 1417–1422.
[8] Chen K, Liu Y. Adaptive weighting just-in-time-learning quality prediction model for an industrial blast furnace[J]. ISIJ International, 2017, 57(1): 107–113. DOI:10.2355/isijinternational.ISIJINT-2016-292
[9] Yuan X, Zhou J, Wang Y, et al. Multi-similarity measurement driven ensemble just-in-time learning for soft sensing of industrial processes[J]. Journal of Chemometrics, 2018, 32(9): e3040. DOI:10.1002/cem.3040
[10] Aha D W. Lazy learning[M]. Dordrecht: Springer, 1997.
[11] Kim S, Okajima R, Kano M, et al. Development of soft-sensor using locally weighted PLS with adaptive similarity measure[J]. Chemometrics and Intelligent Laboratory Systems, 2013, 124: 43–49. DOI:10.1016/j.chemolab.2013.03.008
[12] Fujiwara K, Kano M, Hasebe S, et al. Soft-sensor development using correlation-based just-in-time modeling[J]. AIChE Journal, 2010, 55(8): 1754–1765.
[13] 孙茂伟, 杨慧中. 局部加权混合核偏最小二乘算法及其在软测量中的应用[J]. 信息与控制, 2015, 44(4): 481–486.
Sun M W, Yang H Z. Local weighted mixed kernel partial least squares algorithm and its applications in to soft-sensing[J]. Information and Control, 2015, 44(4): 481–486.
[14] 潘贝, 金怀平, 杨彪, 等. 基于多样性加权相似度的集成局部加权偏最小二乘软测量建模[J]. 信息与控制, 2019, 48(2): 217–223.
Pan B, Jin H P, Yang B, et al. Soft sensor development based on ensemble locally weighted partial least squares using diverse weighted similarity measures[J]. Information and Control, 2019, 48(2): 217–223.
[15] Kaneko H, Funatsu K. Adaptive database management based on the database monitoring index for long-term use of adaptive soft sensors[J]. Chemometrics & Intelligent Laboratory Systems, 2015, 146: 179–185.
[16] Min H, Luo X L. Enhanced just-in-time soft sensor calibration method using data density estimation[J]. Chemometrics & Intelligent Laboratory Systems, 2017, 161: 79–87.
[17] Zhang X, Kano M, Li Y. Locally weighted kernel partial least squares regression based on sparse nonlinear features for virtual sensing of nonlinear time-varying processes[J]. Computers & Chemical Engineering, 2017, 104: 164–171.
[18] Jin H, Chen X, Wang L, et al. Dual learning-based online ensemble regression approach for adaptive soft sensor modeling of nonlinear time-varying processes[J]. Chemometrics and Intelligent Laboratory Systems, 2016, 151: 228–244. DOI:10.1016/j.chemolab.2016.01.009
[19] Chen M, Khare S, Huang B. A unified recursive just-in-time approach with industrial near infrared spectroscopy application[J]. Chemometrics and Intelligent Laboratory Systems, 2014, 135: 133–140. DOI:10.1016/j.chemolab.2014.04.007
[20] Liu Y, Chen J. Integrated soft sensor using just-in-time support vector regression and probabilistic analysis for quality prediction of multi-grade processes[J]. Journal of Process Control, 2013, 23(6): 793–804. DOI:10.1016/j.jprocont.2013.03.008
[21] 熊伟丽, 徐保国. 一种基于EGMM的高斯过程回归软测量建模[J]. 信息与控制, 2016, 45(1): 14–19.
Xiong W L, Xu B G. A soft sensor modeling method based on EGMM using Gaussian process regression[J]. Information and Control, 2016, 45(1): 14–19.
[22] Yuan X, Ge Z, Huang B, et al. A probabilistic just-in-time learning framework for soft sensor development with missing data[J]. IEEE Transactions on Control Systems Technology, 2017, 25(3): 1124–1132. DOI:10.1109/TCST.2016.2579609
[23] Yuan X, Ge Z, Huang B, et al. Semisupervised JITL framework for nonlinear industrial soft sensing based on locally semisupervised weighted PCR[J]. IEEE Transactions on Industrial Informatics, 2017, 13(2): 532–541. DOI:10.1109/TII.2016.2610839
[24] Yao L, Ge Z. Locally weighted prediction methods for latent factor analysis with supervised and semisupervised process data[J]. IEEE Transactions on Automation Science and Engineering, 2017, 14(1): 126–138. DOI:10.1109/TASE.2016.2608914
[25] Zheng J, Song Z. Semisupervised learning for probabilistic partial least squares regression model and soft sensor application[J]. Journal of Process Control, 2018, 64: 123–131. DOI:10.1016/j.jprocont.2018.01.008
[26] Zheng W, Liu Y, Gao Z, et al. Just-in-time semi-supervised soft sensor for quality prediction in industrial rubber mixers[J]. Chemometrics and Intelligent Laboratory Systems, 2018, 180: 36–41. DOI:10.1016/j.chemolab.2018.07.002
[27] Liu Y, Huang D, Li Y. Development of interval soft sensors using enhanced just-in-time learning and inductive confidence predictor[J]. Industrial & Engineering Chemistry Research, 2012, 51(8): 3356–3367.
[28] Kaneko H, Funatsu K. Ensemble locally weighted partial least squares as a just-in-time modeling method[J]. AIChE Journal, 2016, 62(3): 717–725. DOI:10.1002/aic.15090
[29] Liu Y, Zhang Z, Chen J. Ensemble local kernel learning for online prediction of distributed product outputs in chemical processes[J]. Chemical Engineering Science, 2015, 137: 140–151. DOI:10.1016/j.ces.2015.06.005
[30] Yang K, Jin H, Chen X, et al. Soft sensor development for online quality prediction of industrial batch rubber mixing process using ensemble just-in-time Gaussian process regression models[J]. Chemometrics and Intelligent Laboratory Systems, 2016, 155: 170–182. DOI:10.1016/j.chemolab.2016.04.009
[31] Brown G, Wyatt J, Harris R, et al. Diversity creation methods:A survey and categorization[J]. Information Fusion, 2005, 6(1): 5–20. DOI:10.1016/j.inffus.2004.04.004
[32] Zhou Z H. Ensemble methods: Foundations and algorithms[M]. New York: Chapman and Hall/CRC, 2012.
[33] Kim S, Kano M, Hasebe S, et al. Long-term industrial applications of inferential control based on just-in-time soft-sensors:Economical impact and challenges[J]. Industrial & Engineering Chemistry Research, 2013, 52(35): 12346–12356.
[34] Shirkhorshidi A S, Aghabozorgi S, Wah T Y. A Comparison study on similarity and dissimilarity measures in clustering continuous data[J]. PloS One, 2015, 10(12): e0144059. DOI:10.1371/journal.pone.0144059
[35] Nanni L, Lumini A. Evolved feature weighting for random subspace classifier[J]. IEEE Transactions on Neural Networks, 2008, 19(2): 363–366.
[36] Kotsiantis S. Combining bagging, boosting, rotation forest and random subspace methods[J]. Artificial Intelligence Review, 2011, 35(3): 223–240. DOI:10.1007/s10462-010-9192-8
[37] Zhou Z H, Chen Z Q. Hybrid decision tree[J]. Knowledge-Based Systems, 2002, 15(8): 515–528. DOI:10.1016/S0950-7051(02)00038-2
[38] 金怀平, 黄思, 王莉, 等. 基于进化多目标优化的选择性集成学习软测量建模[J]. 高校化学工程学报, 2019(03): 680–691.
Jin H P, Huang S, Wang L, et al. Selective ensemble learning based on evolutionary multi-objective optimization for soft sensor development[J]. Journal of Chemical Engineering of Chinese Universities, 2019(03): 680–691. DOI:10.3969/j.issn.1003-9015.2019.03.023
[39] Deb K, Pratap A, Agarwal S, et al. A fast and elitist multiobjective genetic algorithm:NSGA-Ⅱ[J]. IEEE Transactions on Evolutionary Computation, 2002, 6(2): 182–197. DOI:10.1109/4235.996017
[40] Wolpert D H. Stacked generalization[J]. Neural Networks, 1992, 5(2): 241–259.
[41] Rasmussen C E, Williams C K I. Gaussian process for machine learning[M]. London: MIT press, 2006.
[42] Birol G, ündey C, Cinar A. A modular simulation package for fed-batch fermentation:Penicillin production[J]. Computers & Chemical Engineering, 2002, 26(11): 1553–1565.
http://dx.doi.org/10.13976/j.cnki.xk.2020.9311
中国科学院主管,中国科学院沈阳自动化研究所、中国自动化学会共同主办。
0

文章信息

金怀平, 李建刚, 钱斌, 陈祥光, 杨彪
JIN Huaiping, LI Jiangang, QIAN Bin, CHEN Xiangguang, YANG Biao
基于多模态扰动的集成即时学习软测量建模
Soft Sensor Development Based on Ensemble Just-in-time Learning with Multimodal Perturbation
信息与控制, 2020, 49(3): 257-266.
Information and Control, 2020, 49(3): 257-266.
http://dx.doi.org/10.13976/j.cnki.xk.2020.9311

文章历史

收稿/录用/修回: 2019-05-28/2019-07-22/2020-03-04

工作空间