0 引言
集中供热已经成为我国冬季最主要的供暖形式.由于部分地区居民居住区分散,导致同一热源下多个热力站分布面积扩大,供热管网的长度增加,并且热力站的温度控制系统本身存在非线性、大时滞、强耦合等特点,因此各热力站热量难以实现按需分配、均匀分配.热量的分配不均不仅造成了能源利用率低,更降低了居民的室内舒适度.因此实现集中供热系统的热量分配优化控制的意义重大.
对于集中供热系统的优化控制问题,国内外学者进行了大量研究,并且取得了一系列成果.文[1]中Bojic采用机理建模的方法建立了包括1个热源、1个热力站和3个热用户的集中供热系统模型,利用线性规划的方法求解3个热用户的热量分配问题;文[2]中Soderman和Pettersson提出以最小化总能耗为目标对二次网区域供热系统进行优化控制,采用搜索方法找到最优的分配组合方式.上述热量分配问题的研究中目标函数是二次网到热用户的热量分配优化.针对一次网控制系统,文[3]中袁军提出基于遗传算法的流量优化控制策略,根据二次网热负荷实现对一次网流量的合理分配;文[4]中周鹏针对热量粒子群优化(particles warm optimization,PSO)算法对热力站热量优化分配做出研究,但传统控制方法在求解该类大规模、复杂非线性优化问题时容易面临“维数灾”问题.
自适应动态规划不依赖于精确的数学模型,并且在逐次逼近过程中可以避免维数灾的问题,因此得到广泛应用.文[5]中针对溶解氧及硝态氮浓度的跟踪控制问题,提出了一种基于回声状态网络的启发式动态规划控制方法得到了污水处理过程中最优控制策略;文[6]中林小峰采用DHP对永磁同步风力发电机的功率控制搭建动态模型,获得理想的动态性能控制参数.对于复杂非线性动态系统的最优控制,自适应动态规划在多个应用方面取得了较为理想的结果.
针对集中供热系统的一次网热量分配问题,本文提出基于DHP算法的优化分配控制策略.针对大规模数据,自适应动态规划采用非线性函数拟合的方法逼近动态规划的性能指标,解决传统动态规划难点,相对于自适应动态规划的其它近似结构,DHP的评价网络输出是性能函数协状态[7],具有更高的灵敏度[8].
1 双启发式动态规划自适应动态规划是通过函数近似结构,实现对动态规划中性能指标函数、控制策略的逼近,以满足最优性原理,从而获得最优控制律和对应的性能指标函数的智能控制方法.其核心思想是贝尔曼最优性原理.
1.1 自适应动态规划自适应动态规划主要包括3个部分[9-12]:模型网络、执行网络、评价网络,可用BP神经网络实现每个部分的功能.模型网络用来实现控制对象建模,反映被控对象的特性;执行网络也称之为执行器,代表系统状态变量x(k)到控制变量u(k)之间的映射,用来近似最优控制律;评价网络用来近似最优性能指标函数J(k).自适应动态规划通过值迭代与策略迭代的方式,不断循环更新其控制律和代价函数,最终得到最优控制律和最小化的代价函数.
自适应动态规划具有多种近似结构:启发式动态规划(HDP)、双启发式动态规划(DHP)、执行依赖启发式动态规划(ADHDP)、执行依赖双启发式动态规划(ADDHP).本文中选用DHP这一近似结构,用BP神经网络实现该近似结构的功能.
1.2 DHP近似结构DHP算法为3个模块结构,即模型、评价、执行网络组成.其结构图如图 1所示.
图 1中,x(k):系统k时刻的状态量;u(k):系统k时刻的控制量;U(k):系统k时刻的效用函数;J(k):系统k时刻的性能指标函数;γ折扣因子.系统k时刻的状态x(k)输入到执行网络得到k时刻的控制信号u(k);模型网络的输入端为k时刻的状态x(k)和控制信号u(k),其输出端可以预测得到k+1时刻的状态x(k+1);模型网络的预测输出作用于评价网络,得到对k+1时刻控制效果的评价
集中供热系统的优化控制问题分为热源热量生产和热力站按需分配两部分,本文研究前提是假设热源产热足够且合理,研究目标是热力站热量的按需分配,主要在热力站一次网(热力站一次侧进行调节)进行局部调节[13].在编写控制算法前需要建立热力站一次侧供热模型,考虑到神经网络的万能逼近性,故选用BP神经网络建模.
2.1 模型结构的确定如图 2所示,在各热力站的一次供水侧设有电磁阀,可以改变热力站一次侧的供水流量,通过对流量控制实现对供热负荷调节.同时流量的变化也会对一次侧的供水温度、回水温度产生一定的影响[14].因此热量的优化分配问题转化为各热力站一次侧供水温度、供水流量的设定值优化问题.
基于集中供热系统一次侧控制系统的实时性要求,调节时间间隔设定为一小时.热力站下一时刻,即下一小时的回水温度由当前时刻的供水温度、供水流量决定.由于一次总管网当前的供水温度、供水流量也会对其产生影响,因此模型网络的输入为当前时刻一次总管网的供水温度、供水流量及一次侧的供水温度、供水流量、回水温度,输出为下一时刻一次侧回水温度.
一次总管网连接多个热力站,因此网络输入端包含n个一次侧供水温度、供水流量、回水温度. 图 3中,x1(k):一次总管网当前的供水温度;x2(k):一次总管网供水流量;u1(1,2,3,…,n)(k):当前n个一次侧的供水温度;u2(1,2,3,…,n)(k):当前n个一次侧的供水流量;x2(1,2,3,…,n)(k):当前n个一次侧的回水温度;x2(1,2,3,…,n)(k+1):下一时刻n个一次侧的回水温度;wm1:模型网络输入层到隐含层的权值;wm2:模型网络隐含层到输入层的权值.
2.2 模型网络的训练 2.2.1 训练数据的选择本实验的训练数据来源于包头某热力公司,选取一次总管网和其下的10个热力站一次侧的供热数据.模型网络的输入包括一次总管网的供水温度、供水流量,10个一次侧的供水温度、供水流量、回水温度;模型网络的输出为10个一次侧下一时刻的回水温度,共10×3+2=32个输入量,输出量为10个,即为32输入10输出结构.共选择25×24=600组数据对神经网络模型进行训练,数据如表 1.训练后输入一次总管网供水温度、供水流量和10个站24小时的供水温度、回水温度、回水流量,对模型网络进行泛化能力测试,将得到的回水温度与实际回水温度进行对比.
序号 | 总网供温/℃ | 总网流量/(t/h) | 站1供温/℃ | 站1回温/℃ | 站1流量/(t/h) | … | 站10流量/(t/h) |
1 | 87.1 | 8 910.9 | 86.7 | 48.1 | 144.8 | … | 82.9 |
2 | 87.1 | 8 896.7 | 87.3 | 47.9 | 143.8 | … | 83.3 |
3 | 88.2 | 8 936.9 | 86.1 | 48.3 | 147.1 | … | 82.4 |
| | | | | | | |
598 | 90.4 | 8 802.6 | 83.7 | 45.1 | 144.9 | … | 61.7 |
599 | 91.9 | 8 833.2 | 82.8 | 45.4 | 143.6 | … | 62.5 |
600 | 91.6 | 8 878.0 | 84.6 | 45.9 | 141.4 | 62.5 |
本系统选用BP神经网络进行建模[15],首先确定其系统的控制参数.神经网络的权值、阈值通过Matlab中已有的神经网络函数进行确定,利用试凑法确定隐含层数,隐含层选用logsig转移函数,输出层选用puerline函数.确定模型为2个隐含层,节点数均为5个.神经网络的学习率为0.1,目标值0.000 4,训练步数为1 000步.
不同的热力站所供的热用户数量有着较大的差异,所以其对应的回水温度也有较大的不同,因此图 4中热力站回水温度会有不同.由于一天中几个温度变化较大的时间点会对模型网络的预测有着较高的要求,故保证了这些时间点预测输出的精度基本可以满足所有预测输出的准确性.基于本地区温度变化规律可知,6时为一天中气温最低的时刻,10时气温上升较快,14时气温最高,之后气温开始下降,到18时温度下降较快.考虑到供暖对象为居住区,所以20时前后为供暖峰值,24时居民处于睡眠状态,此时相对之前供热需求有所降低.在不同时间点,10个热力站的热负荷预测误差如图 5所示,从图中可以看出预测误差基本在1 ℃范围内,多数在0.5 ℃左右,相对误差在2%以内.供暖公司要求的供暖温度控制精度为3 ℃.所以该模型网络可以满足实际需求.
3 热力站一次网热量分配的DHP控制器设计已建立的热力站一次侧供热模型作为DHP算法[16]中的模型网络.结合执行网络、评价网络可实现DHP算法3网络的整体结构.
3.1 DHP算法总体训练过程离散时间非线性动态系统:
(1) |
在DHP中,模型网络是被控对象的模型,用于预测被控对象的下一个状态,它通常是先离线训练,也可以与评价网络和执行网络同步训练. DHP表达式是根据性能指标函数和效用函数对状态的导数进行迭代的,即:
(2) |
本文DHP算法的3个部分网络均采用BP神经网络实现,其学习过程即为神经网络的权值调整过程,根据误差反向传播的梯度下降法获得权值更新.
1) 确定网络结构,确定折扣因子、学习率,定义效用函数U(k)[17];
2) 训练模型网络,初始化执行、评价网络权值;
3) 将状态量x(k)输入到执行网络,得到当前阶段的控制量u(k);将x(k)和当前阶段的控制量u(k)输入到模型网络中,得到下一阶段的状态量x(k+1);
4) 将状态x(k+1)作为评价网络的输入,计算得到评价网络的输出
5) 计算执行网络反向传播
6) 将状态x(k)作为评价网络的输入,计算得到评价网络的输出
7) 计算评价网络的误差
一次训练结束后返回步骤3)重复进行,直到达到最终的训练要求.
3.2 性能指标函数的确定本文性能指标函数[18]的目标为实现分配热负荷与需求热负荷差值的最小化,利用DHP算法求得此时各热力站一次侧的供水温度和供水流量.本文针对的是当前时刻的热负荷差值累加和,故确定性能指标函数:
(3) |
式中,i=1,2,…,n,表示热力站一次侧的个数;Qi该热力站热负荷预测值,该值已由热负荷预测得到,考虑到热量在供热管网上的热损失,该值比实际热负荷高5%;C:水的比热容,取4.187 kJ/kg;uiv(k):第i个一次侧的供水流量;uig(k):第i个一次侧的供水温度;xi(k):第i个一次侧的回水温度.通过流量、供回水温差、比热容三者的乘积可以计算得到优化热负荷值,其与Qi差值的累加作为本文的性能指标函数.
同时为保证集中供热系统的水力和热力平衡,在算法中还需要对供水流量、供水温度、回水温度进行合理的限定[19],这些参数与供热管网的长度以及供热面积有关,选取包头供热公司2015年11月至2016年4月采暖期数据,统计这一采暖期的全部供回水温度及供水流量数据,剔除不合理数据后得到约束条件为
(4) |
本文采用的DHP算法中执行网络的输入端为多个热力站一次侧的回水温度xi(k),输出为对应的供水流量uiv(k)、供水温度uig(k).由于文中截取一次总管网上的10热力站的一次侧,所以执行网络的结构为10-10-20,其中隐含层采用双极性sigmoidalrw函数,输出层采用线性函数purelin.执行网络学习率l=0.25,折扣因子为0.9.执行网络以最小化性能指标函数为目标,其训练包括正向计算和误差的反向传播两个部分.
正向计算:
(5) |
(6) |
(7) |
式中,ah1j(k):执行网络隐含层第j个节点的输入;ah2j(k)是执行网络隐含层第j个节点的输出;wh1ij(k)为输入层到隐含层的权值;wh2ij(k)为隐含层到输出层的权值;l为执行网络的学习率.
权值更新:
(8) |
(9) |
(10) |
式(5)~式(7)表示正向计算过程,执行网络计算得到控制量供水流量uiv(k)、供水温度uig(k).通过性能指标函数可求解式(9),结果代入式(8)可得到权值的变化量,最终实现权值更新.
3.4 评价网络的训练评价网络用来对性能指标函数进行近似,以实现性能指标函数的最小化.评价网络的输入为状态量xi(k),即i个一次侧k时刻的回水温度,输出为协状态λ.模型网络的输出作为评价网络的输入,确定评价网络隐含层节点数为11,隐含层传递函数为logsig,输出层选用purelin函数.所以评价网络为10-11-10.确定该网络的学习率为0.26.评价网络的训练同样包括正向计算和误差反向传播两部分,具体实现过程与执行网络的训练过程类似.
4 仿真与应用完成DHP算法的网络结构和性能指标函数设计后通过Matlab编程实现并进行仿真实验.算法以多个热力站一次侧回水温度xi(k)作为输入,仿真实验中选取10个热力站一次侧回水温度,即xi(k)=[48.1,52,46.6,45.9,49.7,50.3,44.6,49.4,50,44.3]作为优化设定值,最终通过DHP算法寻优得到该回水温度下满足热负荷要求的供水温度、供水流量并计算得到优化所得热负荷值.
由图 6~图 8可知在20个时间步内,回水温度达到设定值,此时供水温度和供水流量也得到了相应的优化设定值.通过表 2中数据可以看出优化所得的供水温度、供水流量、回水温度均可满足式2,可以保证供热管网的水力平衡和热力平衡.将预测热负荷与控制算法得到的热负荷进行对比,可知由DHP算法得到的热负荷值与预测热负荷之间相对误差最大值为3.2%,可以满足实际的热负荷需要,做到了的热负荷的按需分配.
设定回水温度/℃ | 输出回水温度/℃ | 输出供水温度/℃ | 输出供水流量/℃ | 分配热负荷/GJ | 预测热负荷/GJ | 实际值/GJ |
48.1 | 48.7 | 84.8 | 146.1 | 22.5 | 22.15 | 23.5 |
52.0 | 52.1 | 83.8 | 87.7 | 11.7 | 11.42 | 10.6 |
46.6 | 46.4 | 83.6 | 116.2 | 18.1 | 17.7 | 17.3 |
45.9 | 46.3 | 84.8 | 49.8 | 8.0 | 7.9 | 7.6 |
49.7 | 50.2 | 83.8 | 145.5 | 20.4 | 20.2 | 23.0 |
50.3 | 50.5 | 84.1 | 68.1 | 9.6 | 9.3 | 8.8 |
44.6 | 44.4 | 84.1 | 66.2 | 10.9 | 10.7 | 10.2 |
49.4 | 50.1 | 83.2 | 34.3 | 4.7 | 4.8 | 2.5 |
50.0 | 49.8 | 83.3 | 83.5 | 11.7 | 11.5 | 10.5 |
44.3 | 44.5 | 84.2 | 83.8 | 13.9 | 13.8 | 13.1 |
由实际供热系统数据计算所得热负荷(表 2中实际值),可知有2个热力站热负荷值与预测热负荷出现较大的偏差(见表 2中加黑的数值),即会出现供热不均的情况.通过对比可知DHP算法可以避免多个热力站供热时出现冷热不均的现象,提高整体的供暖质量.
集中供热系统是连续运行的供暖系统,为验证算法优化结果的持续有效性,需要进行连续时间的仿真实验.一天24 h的温度变化可以体现出当天的热负荷变化情况,所以通过算法求解24 h控制序列的情况验证其连续控制能力.仿真实验样本当天的室外温度如图 9所示.
由图 10~图 12可知供水温度、供水流量与室外温度的变化趋势相反,温度降低时供水温度、供水流量升高,对应的热负荷值升高;室外温度升高时对应供水温度、供水流量下降,其热负荷值也将下降. 图 10中可以看出各时刻优化所得供水温度均低于热源供水温度符合实际供热系统的运行工况. 图 12为算法优化所得热负荷与预测热负荷的百分误差,由图可以看出误差控制在10%内,总体控制在5%以内,热力站8的误差较高是由于该热力站供热面积远小于其它热力站,流量温度的小幅变化均会引起热负荷的起伏变化,但误差仍处于合理范围内.综上可知DHP算法的优化效果可以满足实际供热需求.
清华大学重点实验室在针对中国国内的热力站的研究中,以最小化总热量和最小化二次网循环泵的能耗为目标进行优化控制,研究目的中未包含一次网总热量对于多个热力站的均匀分配的影响[20].国外对热量分配的研究中,文[19]中Hatzivelkos是对克罗地亚某热力站二次网的热量分配进行研究,以均匀分配为目的,对分配热量和用户实际需求相同进行公式分析,但是其模拟和真实数据分析结果表明,能量动态公式调整系数未能达到良好的分配效果.为实现最小化能耗的目标,考虑的方式多为优化管网结构,如考虑污垢系数[21]对于供热效果的影响,管道腐蚀对管道物理性能的影响,或为改变热源供热方式,采用太阳能和热泵方式对供热能耗的影响[22]等.
综上表明,热力站一次网总热量对多个热力站以热量按需分配为目标的分配方式在实际应用中体现在一次网阀门的开度控制,并且由于国内供暖面积大,同一热源下热力站数量多,因此多热力站按需分配具有很大的研究价值.在国内外从这个角度对热力站热量分配优化控制研究较少,本实验以DHP算法的热力站一次网热量分配控制能实现按需分配的目标.
5 结论针对集中供热系统的一次网热量优化分配问题,实验结果表明DHP控制方式能够解决多热力站热量难以实现按需分配的问题,该控制方式收敛速度较快,优化设定值符合供热需求,完成了按需分配的控制要求,从理论上实现了热量优化分配的目标,得到了24 h多个热力站热量分配序列.
对于一次网的热量分配问题,本文以按需分配为效用函数,实现优化控制.在此基础上,还可以增加均匀分配和最小化能耗等目标,可采用不同的效用函数为目标优化热量分配,或者采用多目标最优控制的研究,获得热力站热量分配的更为完善的控制策略.
[1] | Bojic M, Trifunovic N. Linear programming optimization of heat distribution in a district-heating system by valve adjustments and substation retrofit[J]. Building and Environment, 2000, 35(2): 151–159. |
[2] | Soderman J, Pettersson F. Structural and operational optimisation of distributed energy systems[J]. Applied Thermal Engineering, 2006, 26(13): 1400–1408. DOI:10.1016/j.applthermaleng.2005.05.034 |
[3] |
袁军.大庆油田集中供热系统优化与管理研究[D].大庆: 大庆石油学院, 2010. Yuan J. Study on optimization and management of central heating system in Daqing Oilfield[D]. Daqing: Daqing Petroleum Institute, 2010. http://cdmd.cnki.com.cn/Article/CDMD-10220-2010156467.htm |
[4] |
周鹏.热网系统仿真及一次网优化控制研究[D].包头: 内蒙古科技大学, 2014. Zhou P. Simulation of heat supply network and optimization control of primary network[D]. Baotou: Inner Mongolia University of Science and Technology, 2014. http://www.wanfangdata.com.cn/details/detail.do?_type=degree&id=D517267 |
[5] |
李立刚, 昂扬, 戴永寿, 等.
基于时间层独立化和动态规划的天然气管网动态运行优化[J]. 信息与控制, 2015, 44(3): 321–327.
Li L G, Ang Y, Dai Y S, et al. Dynamic operation optimization of natural gas pipeline network based on time level independence and dynamic programming[J]. Information and Control, 2015, 44(3): 321–327. |
[6] |
林小峰, 黄元君, 宋春宁.
基于ADP算法的带时滞及饱和的非线性系统最优控制[J]. 信息与控制, 2012, 41(2): 185–192.
Lin X F, Huang Y J, Song C N. Optimal control of nonlinear systems with time delay and saturation based on ADP algorithm[J]. Information and Control, 2012, 41(2): 185–192. |
[7] |
黄清宝, 林晓峰, 宋绍剑.
基于Elman网的水泥回转窑模型及其DHP控制器设计[J]. 系统仿真学报, 2011, 23(3): 583–587.
Huang Q B, Lin X F, Song S F. Design of cement rotary kiln model based on Elman net and design of DHP controller[J]. Journal of System Simulation, 2011, 23(3): 583–587. |
[8] |
韩颖.集中供热系统总供热量ADP优化控制策略研究[D].包头: 内蒙古科技大学, 2015. Han Y. ADP optimal control strategy of total heat supply in central heating system[D]. Baotou: Inner Mongolia University of Science and Technology, 2015. http://www.wanfangdata.com.cn/details/detail.do?_type=degree&id=D665904 |
[9] |
林小峰, 宋邵剑, 宋春宁.
基于自适应动态规划的智能优化控制[M]. 北京: 科学出版社, 2013.
Lin X F, Song S J, Song C J. Intelligent optimal control based on adaptive dynamic programming[M]. Beijing: Science Press, 2013. |
[10] |
杜治, 苏宇, 彭昌勇, 等.
基于多层次启发式动态规划算法的电力系统动态等值[J]. 电力系统保护与控制, 2016, 44(17): 1–9.
Du Z, Su Y, Peng C Y, et al. Dynamic equivalence of power system based on multilevel heuristic dynamic programming algorithm[J]. Power System Protection and Control, 2016, 44(17): 1–9. DOI:10.7667/PSPC151627 |
[11] |
李健, 沈艳军, 刘允刚.
Buck型变换器输出跟踪的自适应动态规划算法[J]. 控制理论与应用, 2017, 34(3): 393–400.
Li J, Shen Y J, Liu Y G. Adaptive dynamic programming algorithm for output tracking of Buck type converter[J]. Control Theory and Application, 2017, 34(3): 393–400. |
[12] |
王鼎, 穆朝絮, 刘德荣.
基于迭代神经动态规划的数据驱动非线性近似最优调节[J]. 自动化学报, 2017, 43(3): 366–375.
Wang D, Mu Z X, Liu D R. Data driven nonlinear approximate optimal regulation based on iterative neural dynamic programming[J]. Acta Automatica Sinica, 2017, 43(3): 366–375. |
[13] |
程天才.基于蓄热的一次热力管网系统的节能运行调节[D].北京: 北京建筑大学, 2017. Cheng T C. Energy saving operation regulation of primary heat pipe network system based on thermal storage[D]. Beijing: Beijing University of Civil Engineering and Architecture, 2017. http://cdmd.cnki.com.cn/Article/CDMD-10016-1017028607.htm |
[14] |
谢慕君, 冯敬芳, 姜长泓.
集中供热二次网回水温度的预测和控制研究[J]. 控制工程, 2015(2): 291–295.
Xie M J, Feng J F, Jiang C H. Study on prediction and control of backwater temperature of two times network in central heating[J]. Control Engineering of China, 2015(2): 291–295. |
[15] |
孙海蓉, 王蕊, 耿军亚.
基于信息熵的BP网络在热工系统建模中的应用[J]. 系统仿真学报, 2017, 29(1): 226–233.
Sun H R, Wang R, Geng J Y. Application of BP network based on information entropy in modeling of thermal system[J]. Journal of System Simulation, 2017, 29(1): 226–233. |
[16] |
蒙宁佳.基于近似动态规划的迭代控制研究及应用[D].北京: 北京化工大学, 2016. Meng N J. Research and application of iterative control based on approximate dynamic programming[D]. Beijing: Beijing University of Chemical Technology, 2016. http://cdmd.cnki.com.cn/Article/CDMD-10010-1016323499.htm |
[17] |
林小峰, 丁强.
基于评价网络近似误差的自适应动态规划优化控制[J]. 控制与决策, 2015, 30(3): 495–499.
Lin XF, Ding Q. Adaptive dynamic programming optimization control based on approximate error of evaluation network[J]. Control and Decision, 2015, 30(3): 495–499. |
[18] |
崔小红, 罗艳红, 张化光, 等.
未知饱和控制系统有穷域最优控制[J]. 控制理论与应用, 2016, 33(5): 631–637.
Cui X H, Luo Y H, Zhang H G, et al. Optimal control of unknown saturation control system with finite field[J]. Control Theory and Application, 2016, 33(5): 631–637. |
[19] | Hatzivelkos A. Model for energy allocation in heating systems with partial distribution of heat allocators[J]. Interdisciplinary Description of Complex Systems, 2014, 12(1): 46–60. DOI:10.7906/indecs.12.1.3 |
[20] | Xu Y C, Chen Q. An entransy dissipation-based method for global optimization of district heating networks[J]. Energy & Buildings, 2011, 43(1): 50–60. |
[21] | Genić S B, Jaćimović B M, Mandić D, et al. Experimental determination of fouling factor on plate heat exchangers in district heating system[J]. Energy & Buildings, 2012, 50(7): 204–211. |
[22] | Brand L, Calvén A, Englund J, et al. Smart district heating networks-A simulation study of prosumers' impact on technical parameters in distribution networks[J]. Applied Energy, 2014, 129(2): 39–48. |