g MISO-FIR系统的梯度追踪辨识算法
文章快速检索  
  高级检索
MISO-FIR系统的梯度追踪辨识算法
陶太洋1, 刘艳君1,2, 丁锋1,2    
1. 江南大学物联网工程学院,江苏 无锡 214122;
2. 江南大学“轻工过程先进控制”教育部重点实验室,江苏 无锡 214122
摘要:针对含有未知时滞的多输入单输出有限脉冲响应系统,根据系统参数化后具有的稀疏特性,基于压缩感知原理,将匹配追踪方法和梯度搜索原理相结合,在有限采样数据下,提出了可以同时估计系统参数和时滞的梯度追踪算法.该算法同正交匹配追踪算法相比,梯度追踪算法具有较小的计算量.最后通过仿真验证了算法的有效性.
关键词梯度追踪     参数辨识     时滞估计     正交匹配追踪算法    
Gradient Pursuit Identification Algorithm for MISO-FIR Systems
TAO Taiyang1, LIU Yanjun1,2 , DING Feng1,2     
1. School of Internet of Things Engineering, Jiangnan University, Wuxi 214122, China;
2. Key Laboratory of Advanced Process Control for Light Industry (Ministry of Education), Jiangnan University, Wuxi 214122, China
Abstract:For multiple-input single-output finite impulse response (MISO-FIR) systems with unknown time delays, we combine the matching pursuit method and the gradient search principle, according to the sparsity of the parameterized model based on the compressed sensing theory, and propose a gradient pursuit algorithm for simultaneously estimating parameters and time delays with limited sampling data. The proposed method reduces the associated computational burden compared with that of the orthogonal matching pursuit algorithm. The simulation results show the effectiveness of the proposed algorithm.
gradient pursuit     parameter identification     time-delay estimation     orthogonal matching pursuit algorithm    
1 引言

时滞在实际系统(如热工系统,化工过程等)中普遍存在,且在很多情况下未知,而时滞对系统的控制有较大影响; 另外,在系统模型已知的情况下,参数辨识是对系统进行控制的前提; 因此参数和时滞的辨识具有十分重要的实际意义[1, 2]. 通常,辨识系统参数前,要预先估计出系统时滞. 但是,对于具有大时滞的多输入单输出(multiple-input single-output,MISO)系统,常用的时滞估计方法可能会有较大的近似误差[3, 4]. 此外,采用常规算法辨识参数[5, 6, 7]和时滞时需要大量的采样数据,增加了采样成本. 因此,对于含有较大时滞的多变量系统,为了提高辨识效率,找到一种能够在有限的采样数据下有效辨识系统参数和时滞的方法是非常必要的.

实际系统中模型的阶次通常较低,也就是说,对于含有较大时滞的多变量系统,参数化得到的高维参数向量中仅含有少量非零参数且非零参数的位置未知,这样的参数向量称为稀疏向量; 由稀疏向量表示的系统称为稀疏系统[8, 9, 10]. 压缩感知(compressed sensing,CS)理论[11, 12, 13, 14, 15]是研究稀疏系统的一种重要理论,CS重构理论能够根据低维的观测数据和测量矩阵重构未知的高维稀疏信号[16, 17]; 在许多领域基于该理论对稀疏系统已经进行了深入的研究[18, 19],然而在控制理论的研究还不多,文[8]针对含有时滞的确定性ARX(Auto Regressive with eXternal input)模型,在有限采样数据量下采用分块正交匹配追踪算法辨识系统参数和时滞; 文[20]针对含有时滞的单输入单输出ARX模型,在有限的采样数据量下提出了一种l1正则化算法辨识系统参数和时滞; 文[21]针对噪声干扰中存在离群点的情况,采用基于压缩感知的方法对系统进行辨识.

本文针对含有未知时滞的多输入单输出有限脉冲响应系统,研究在有限的采样数据量下参数和时滞的辨识问题,提出一种梯度追踪算法,同时估计系统的参数和时滞. 文[8]中采用分块正交匹配追踪算法估计系统的非零参数,但该算法需要计算协方差矩阵,特别是当协方差矩阵维数较大时,计算量较大[22]. 针对这一问题,本文考虑将匹配追踪思想和梯度搜索方法相结合以避免求解协方差矩阵,从而减小计算量,提高辨识效率.

2 系统描述

考虑如下MISO-FIR系统:

其中,ui(t)是系统第i个通道的输入,y(t)是系统的输出,di是第i个输入通道的时滞,v(t)是零均值方差为σ2的白噪声,Bi(z)是时间移位算子z-1(i.e., z-1u(t)=u(t-1))的常系数多项式.
其中,阶次nbi已知,参数bij(j=1,2,…,nbi)以及输入通道时滞di未知. 不失一般性,假设当t≤0时,y(t)=0,ui(t)=0,v(t)=0.

若不直接考虑时滞di,定义:

其中,l为输入数据回归长度,l的取值应大于系统最大时滞di和最高阶次nbi之和,即l>max(di+nbi),则系统模型(1)可改写为
由式(2)、 式(3)可知,参数向量θ是仅有少量非零参数的高维参数向量,这样的向量是稀疏向量; 式(4)所示的系统称为稀疏系统[8].

当有m组采样数据,即t=1,2,…,m时,定义:

可得式(4)的堆积形式:

如果m$ \gg $N,可采用最小二乘方法直接得到参数向量的估计:

然而,式(6)中参数向量θ的维数N较高,若采用最小二乘算法将耗费大量的采样时间,增加辨识成本. 本文将压缩感知重构理论应用于该系统的辨识,仅需要有限的采样数据量(甚至m<N),即可有效地估计系统的参数和时滞.

3 梯度追踪算法

根据压缩感知重构,稀疏系统(6)的辨识问题可描述为

其中,ε>0为设定的允许误差上界. 上式中θ0表示θ的0范数,定义为║θ0:={#i|θi≠0,i=1,2,…,N}=K,其中#表示计个数,即0范数表示参数向量中非零元素的数目,而K称为θ的稀疏度[10].

φi表示信息矩阵Φ的第i列; θi表示参数向量θ的第i个参数; 式(6)中输出向量Y可改写为信息矩阵各列的线性组合加噪声向量的形式,即:

由于θ的稀疏度为K,因此上式右侧只有K个非零项. 辨识的目的就是确定上式右侧这K个非零项的位置,并根据输入输出数据估计非零项的参数,进而根据已知条件估计系统的未知时滞.

k=1,2,…为迭代变量,λk为第k次迭代选出φi的索引,索引集Λk={λ1,…,λk}; ΦΛkΛk指示的φi所构成的信息矩阵; ${\hat \theta }$k表示第k次迭代得到的参数估计; ${\hat \vartheta }$kRN是根据Λk的指示由${\hat \theta }$k恢复的参数估计,${\hat \vartheta }$0=0; 每次迭代的残差用rk表示,初始残差r0=Y,残差rk由下式计算:

定义准则函数:

使ξ(i)最小的φiθi为第k次迭代选出的非零项. 极小化ξ(i)可得
θi代入ξ(i)可得
由式(9)可知,若要ξ(i)最小则需残差rk与$\frac{\phi }{{\parallel {\phi _i}\parallel }}$的内积最大,因此第k次迭代选择的非零项的位置可由下式确定:
式中,λk用于指示选出的φi的位置,并将选出的φiφλk表示. 根据λk更新Λk
并根据Λk获取子信息矩阵ΦΛk.

定义准则函数:

应用最小二乘原理,将J(θk)对θk求导并令其为0,则有:

由式(13)可得第k次迭代的参数估计:

根据得到的${\hat \theta }$k,由式(8)更新残差rk. 然后按照Λk的指示将${\hat \theta }$k恢复为N维的参数向量${\hat \vartheta }$k,并同${\hat \vartheta }$k-1比较,若║${\hat \vartheta }$k-${\hat \vartheta }$k-1║>ε0(式中ε0>0为设定的允许误差),则令k=k+1继续迭代; 否则停止迭代,得到参数估计k.

值得注意的是,用${\hat \theta }$k代替式(13)中的θk,并将式(8)代入式(13),则有:

上式说明残差rkΦΛk中所有的列正交; 因此,式(8)、 式(10)~式(14)的算法称为正交匹配追踪(orthogonal matching pursuit,OMP)算法. 然而,OMP算法每次迭代需要计算协方差矩阵Sk:=[ΦTΛkΦΛk]-1,随着k的增加,计算量将显著增加. 针对这一问题,下面采用最速下降法求解参数估计.

采用负梯度搜索原理极小化J(θk)得

式中,μk是迭代步长. 然而,上式并未用到第k次迭代选择的信息向量,且${\hat \theta }$k-1是k-1维的并不能更新第k次迭代的参数向量; 为了解决这一问题,在更新参数估计值前,根据Λk在${\hat \theta }$k-1中增加一个零元素构造一个k维的参数向量${\hat \theta }$Λk,并用${\hat \theta }$Λk代替式(15)中的${\hat \theta }$k-1,用ΦΛk代替ΦΛk-1,则有
值得说明的是,${\hat \theta }$Λk中与第k次选择的φi相对应的参数为0,即有ΦΛkΛk=ΦΛk-1k-1.

为使${\hat \theta }$k收敛,式(14)中[I-μkΦTΛkΦΛk]的所有特征值都应在单位圆内,文[23]给出了迭代步长μk的范围,一种可行的保守方法是迭代步长μk满足:

式中,${\bar \lambda }$max(X)表示对称矩阵X的最大特征值. 下面求解最佳迭代步长,将式(16)代入式(12)得
极小化g(μk)并令其导数为0,则有:
可得最佳迭代步长μk
式中,$\nabla $k:=ΦTΛk(Y${\bar \varphi }$Λk${\hat \theta }$Λk). 残差rk可由式(8)计算,但式(8)需要进行矩阵和向量的乘法运算,计算量较大. 这里将式(16)代入式(8),有:
上式为rk的递推表达式,由于ΦΛk$\nabla $krk-1已经得到,因此,式(16)同式(8)相比可减少计算量. 式(10)、 式(16)~式(19)构成了含有未知时滞MISO-FIR模型的梯度追踪(gradient pursuit,GP)算法,具体实施步骤如下:

(1) 收集有限的输入输出数据{ui(t),y(t): i=1,2,…,rt=1,2,…,m},设定参数估计精度ε0.

(2) 由式(5)构造堆积输出向量Y,信息矩阵Φ.

(3) 令k=k+1,设置初值,令r0=YΛ0=∅,${\hat \vartheta }$0=0.

(4) 根据式(10)确定索引λk,并根据式(11)更新集合Λk,由Λk获取子信息矩阵ΦΛk.

(5) 根据Λk由${\hat \vartheta }$k构造${\hat \theta }$Λk.

(6) 由式(18)计算第k次的迭代步长μk,由式(16)计算第k次迭代的参数估计${\hat \theta }$k; 根据Λk将${\hat \theta }$k恢复为N维的${\hat \vartheta }$k.

(7) 比较${\hat \vartheta }$k和${\hat \vartheta }$k-1,如果║${\hat \vartheta }$k-${\hat \vartheta }$k-1║>ε0由式(16)更新残差rk,令k=k+1回到步骤(4)继续迭代; 否则迭代停止,获得参数估计向量${\hat \vartheta }$k.

根据得到的参数估计值${\hat \vartheta }$∈RN,结合输入通道的数据回归长度l以及阶次nbi,则可估计出系统每个输入通道的时滞. 由式(2)、 式(3)可知,中共有r+1个零元素块,用ni(i=1,2,…,r+1)表示零元素块中零元的个数,则输入通道的时滞估计为

4 性能分析

收敛性分析是辨识算法研究的一项重要内容. 本小节给出GP算法的收敛性能及其计算量分析.

定理1  对于GP算法(10),式(16)~式(19),在每次迭代中总存在依赖于子信息矩阵ΦΛk的常数0<ck<1,使得下式成立:

证明  式(19)等号两边取范数的平方可得[24]

将式(18)代入上式得

由于$\nabla $k=ΦTΛkrk-1,根据矩阵范数的相容性,上式可写为

式中,║ΦTΛkrk-1表示矩阵ΦTΛkrk-1的∞范数. 由文[25]中的定理9、10可知,对于任意的残差rk,存在常数ω>0使得║ΦTrk2>ωrk2成立. 由Λk的选择过程可知: ║ΦTrk2=║ΦTΛkrk2. 因此,对式(21)存在常数ω使得
ck=(1-ω/║ΦΛk2),则定理1得证.

与OMP算法相比,GP算法每次迭代不需要计算协方差矩阵Sk=(ΦTΛkΦΛk)-1,因而有较小的计算量. OMP算法和GP算法的计算量如表 1所示.

表 1 OMP算法与GP算法的计算量比较 Tab. 1 The computational burden comparison between the OMP algorithm and the GP algorithm
算法计算步骤乘法计算量加法计算量
OMPSk:=ΦTΛkΦΛkmk2k2(m-1)
Sk′:=S-1kk3k3-k2
βk:=ΦTΛkYmkk(m-1)
${\hat \theta }$k=Sk′βkk2k(k-1)
rk=Y${\bar \varphi }$Λk${\hat \theta }$kmkmk
加法或乘法的总计算量k3+k2+(k2+2k)mk3+(k2+2k)(m-1)
全部计算量: N12k3+2mk2+4mk-2k
GP$\nabla $k=ΦTΛk(Y${\bar \varphi }$ΛkΛk)2mk(2m-1)k
GkΛk$\nabla $kmk(k-1)m
μk=〈rk-1Gk〉/║Gk22m+12(m-1)
${\hat \theta }$k=${\hat \theta }$Λk+μk$\nabla $kkk
rk=rk-1-μkGkmm
加法或乘法的总计算量(3m+1)(k+1)3mk+2m-2
全部计算量: N26mk+5m+k-1
计算量差值: V:=N1-N2k(2k2-3)+m(2k2-2k-5)+1
5 仿真例子

考虑如下MISO-FIR系统:

系统各输入通道的时滞分别为d1=20,d2=3,d3=32,d4=47,d5=10. l=50,系统的参数向量为

式中,0i表示有i个零元素的行向量,θ的维数N=lr=250,稀疏度为K=$\sum {_{i = 1}^5} $nbi=10.

仿真时,输入ui(t)采用随机不相关的零均值单位方差信号,噪声v(t)采用均值为零方差为σ2的白噪声序列. 定义参数估计误差δ:=║θ-${\hat \vartheta }$k║/║θ║. 取采样数据长度m=200,噪声方差为σ2=0.102,分别采用OMP算法和GP算法辨识系统,参数估计误差δ随迭代次数k的变化如表 2所示; GP算法的参数估计误差δ随迭代次数k的变化如图 1所示.

表 2 参数估计及误差随迭代次数k的变化(m=200,σ2=0.102) Tab. 2 Parameter estimation and parameter estimation errors VS. k (m=200,σ2=0.102)
算法kb11b12b21b22b31b32b41b42b51b52δ /%
10.000 00.000 00.000 00.000 00.000 00.000 00.000 00.000 01.609 50.000 083.850 2
21.339 90.000 00.000 00.000 00.000 00.000 00.000 00.000 01.569 90.000 070.602 9
OMP51.375 90.881 31.248 40.000 00.000 00.000 00.000 00.000 01.653 6-0.968 847.753 1
101.504 80.801 81.209 9-0.606 0-0.786 90.495 1-1.009 30.407 81.804 7-0.902 70.702 5
151.506 90.803 91.209 5-0.610 0-0.785 40.494 6-1.009 90.411 81.804 6-0.901 20.836 7
10.000 00.000 00.000 00.000 00.000 00.000 00.000 00.000 01.609 50.000 083.850 2
21.338 70.000 00.000 00.000 00.000 00.000 00.000 00.000 01.609 50.000 070.496 2
GP51.366 20.863 61.265 30.000 00.000 00.000 00.000 00.000 01.548 5-0.942 048.146 9
101.509 10.820 01.190 8-0.587 0-0.824 90.487 5-0.993 90.396 11.795 3-0.907 01.232 2
151.510 50.818 21.190 6-0.587 0-0.804 10.490 2-0.993 50.394 51.798 5-0.904 80.917 2
真值1.500 00.800 01.200 0-0.600 0-0.800 00.500 0-1.000 00.400 01.800 0-0.900 0

图 1 GP算法的参数估计误差δ随迭代次数k的变化(m=200,σ2=0.102) Fig. 1 The parameter estimation errors δ of the GP algorithm vs. k(m=200,σ2=0.102)

梯度追踪算法得到的稀疏参数向量如表 3所示,最终辨识得到的参数估计为

表 3中第一行是辨识得到的稀疏参数向量中非零参数的位置,中零元素块的数目分别为n1=20,n2=31,n3=77,n4=63,n5=11,n6=38. 结合式(20)可得系统的时滞估计为

表 3 GP算法得到的稀疏参数向量 Tab. 3 The sparse parameter vector estimated by the GP algorithm
参数位置21225455133134198199211212
参数值1.510 50.818 21.190 6-0.587 0-0.804 10.490 2-0.993 50.394 51.798 5-0.904 8

定义节约的计算量为η:=$\frac{{{N_1} - {N_2}}}{{{N_1}}}$×100%. 当k=15时,OMP算法和GP算法的计算量以及η分别为

综合表 1表 2图 1,式(24)和式(25)可知:

(1) GP算法和OMP算法的参数估计误差随迭代次数k的增加都逐渐减少,最终趋于稳定;

(2) 该稀疏系统在有限采样数据量下,GP算法的辨识精度接近OMP算法,见表 2

(3) GP算法能够在有效估计系统参数的同时还能有效地估计系统的未知时滞$\hat{d}$i

(4) GP算法能够有效地减少计算量,见式(25).

6 结论

针对含有未知时滞的MISO-FIR系统的参数与时滞辨识问题,本文提出了一种梯度追踪算法辨识系统参数和时滞,对于大时滞的系统,该算法可以在有限的采样数据下同时估计出系统的参数与时滞. 性能分析表明该算法收敛且具有较小的计算量. 数值仿真验证了算法的有效性.

参考文献
[1] Ljung L. System identification: Theory for the user[M]. 2nd ed. Englewood Cliffs, NJ, USA: Prentice-Hall, 1999.
[2] 丁锋. 系统辨识新论[M]. 北京: 科学出版社, 2013: 1-33. Ding F. System identification - New theory and methods[M]. Beijing: Science Press, 2013: 1-33.
[3] Unbehauen H, Rao G P. Continuous-time approaches to system identification - A survey[J]. Automatica, 1990, 26(2): 23-25.
[4] 王建宏, 王道波, 王志胜. 多个未知时延的MISO系统的递推辨识[J]. 控制与决策, 2010, 25(1): 93-98. Wang J H, Wang D B, Wang Z S. Recursive identification of MISO systems with multiple unknown time delays[J]. Control and Decision, 2010, 25(1): 93-98.
[5] Ding F. Hierarchical multi-innovation stochastic gradient algorithm for Hammerstein nonlinear system modeling[J]. Applied Mathematical Modelling, 2013, 37(4): 1694-1704.
[6] Liu Y J, Ding F, Shi Y. An efficient hierarchical identification method for general dual-rate sampled-data systems[J]. Automatica, 2014, 50(3): 962-970.
[7] Ding J, Ding F, Liu X P, et al. Hierarchical least squares identification for linear SISO systems with dual-rate sampled-data[J]. IEEE Transactions on Automatic Control, 2011, 56(11): 2677-2683.
[8] Sanandaji B M, Vincent T L, Wakin M B, et al. Compressive system identification of LTI and LTV ARX models[C]//50th IEEE Conference on Decision and Control and European Control Conference. Piscataway, NJ, USA: IEEE, 2011: 791-798.
[9] Tropp J A. Just relax: Convex programming methods for identifying sparse signals in noise[J]. IEEE Transactions on Information Theory, 2006, 52(3): 1030-1051.
[10] Elad M. Sparse and redundant representations: From theory to applications in signal and image processing[M]. Berlin, Germany: Springer-Verlag, 2010.
[11] Donoho D L. Compressed sensing[J]. IEEE Transactions on Information Theory, 2006, 52(4): 1289-1306.
[12] Candès E J, Wakin M B. An introduction to compressive sampling[J]. IEEE Signal Processing Magazine, 2008, 25(2): 21-30.
[13] Baraniuk R. A lecture on compressive sensing[J]. IEEE Signal Processing Magazine, 2007, 24(4): 118-121.
[14] 李树涛, 魏丹. 压缩传感综述[J]. 自动化学报, 2009, 35(11): 1369-1377. Li S T, Wei D. A survey on compressive sensin[J]. Acta Automatica Sinica, 2009, 35(11): 1369-1377.
[15] 石光明, 刘丹华, 高大化, 等. 压缩感知理论及其研究进展[J]. 电子学报, 2009, 37(5): 1070-1081. Shi G M, Liu D H, Gao D H, et al. Advances in theory and application of compressed sensing[J]. Acta Electronica Sinica, 2009, 37(5): 1070-1081.
[16] Candès E J. Robust uncertainty principles: Extra signal reconstruction from highly frequency information[J]. IEEE Transactions on Information Theory, 2006, 52(2): 489-509.
[17] Candès E J, Romberg J R, Tao T. Stable signal recovery from incomplete and inaccurate measurements[J]. Communications on Pure and Applied Mathematics, 2006, 59(8): 1207-1223.
[18] Haupt J, Bajwa W, Raz G, et al. Toeplitz compressed sensing matrices with applications to sparse channel estimation[J]. IEEE Transactions on Information Theory, 2010, 56(11): 5862-5875.
[19] Tropp J A. Greed is good: Algorithmic results for sparse approximation[J]. IEEE Transactions on Information Theory, 2004, 50(10): 2231-2242.
[20] Tóth R, Sanandaji B M, Poolla K, et al. Compressive system identification in the linear time-invariant framework[C]//50th IEEE Conference on Decision and Control and European Control Conference. Piscataway, NJ, USA: IEEE, 2011: 783-790.
[21] Xua W Y, Bai E W, Choa M. System identification in the presence of outliers and random noises: A compressed sensing approach[J]. Automatica, 50(11): 2905-2911.
[22] Cai T T, Wang L. Orthogonal matching pursuit for sparse signal recovery with noise[J]. IEEE Transactions on Information Theory, 2011, 57(7): 4680-4688.
[23] Ding F, Liu X P, Liu G. Gradient based and least-squares based iterative identification methods for OE and OEMA systems[J]. Digital Signal Processing, 2010, 20(3): 664-677.
[24] Blumensath T, Davies M E. Gradient pursuits[J]. IEEE Transactions on Signal Processing, 2008, 56(6): 2370-2382.
[25] Mallat S. A wavelet tour of signal processing[M]. London, UK: Academic Press, 1999.
"http://dx.doi.org/10.13976/j.cnki.xk.2016.0151"
中国科学院主管,中国科学院沈阳自动化研究所、中国自动化学会共同主办。
0

文章信息

陶太洋, 刘艳君, 丁锋
TAO Taiyang, LIU Yanjun, DING Feng
MISO-FIR系统的梯度追踪辨识算法
Gradient Pursuit Identification Algorithm for MISO-FIR Systems
信息与控制, 2016, 45(2): 151-156.
INFORMATION AND CONTROL, 2016, 45(2): 151-156.
http://dx.doi.org/10.13976/j.cnki.xk.2016.0151

文章历史

收稿日期:2015-05-25
录用日期:2015-08-24
修回日期:2016-03-02

工作空间