0 引言

随着未来智能电网的发展，电力系统的经济调度、储能调度和电力市场交易等过程在很大程度上依赖于负荷预测的精度。为减少资源浪费，准确的短期负荷预测方法对电能供应和负荷需求之间的供需平衡尤为重要^[1]。

在可以获取海量实时气象数据和电力负荷数据的智能电网背景下，输入的数据样本是影响短期负荷预测准确性的重要因素之一。气象因素作为输入数据样本之一，其本身具有不确定性和耦合性，而电力负荷预测精度很大程度上取决于气象因素对电力负荷影响规律性的强弱及气象预测的精度。由此可见，电力负荷数据受气象因素的影响，呈现出非平稳性，而高维气象数据之间存在着强耦合性，若不对气象数据进行预处理，无疑会增加预测模型输入层变量，使得预测结果不理想^[2-3]，因此对历史负荷数据和气象数据进行预处理是有效减小预测误差，提高预测精度的必要步骤。文[4]采用正交化最大信息系数作为短期负荷预测变量选择的相关度标准，实现对输入变量的快速筛选。文[5-8]针对负荷的非平稳性，对其进行频域分解预处理，弱化历史负荷数据的波动性。文[9]考虑了多个气象因素之间的耦合作用，用综合气象指数定量描述高维气象数据对电力负荷曲线的作用效果。文[10]采用主成分分析(principal component analysis，PCA)方法对气象因素进行降维处理，虽较好地解决了气象数据维度灾难问题，但PCA是非监督线性降维算法，处理非线性气象数据的效果有待提高。文[11]通过将海量的特征数据映射到权重诱导空间来降低输入特征的维度。文[12]将t分布随机邻接嵌入(t-distributed stochastic neighbor embedding，t-SNE)算法引入到电力负荷预测中，降低了气象数据输入的维度。

另外一个重要影响因素是构建合适的短期负荷预测模型。长短期记忆(long short-term memory network，LSTM)网络和门控循环单元(gated recurrent unit neural network，GRU)神经网络是循环神经网络(recurrent neural network，RNN)的改进模型，弥补了RNN中所存在的梯度弥散或梯度爆炸问题，已被广泛应用于电力负荷预测领域^[13-15]。最小二乘支持向量机(least squares support vector machine，LSSVM)作为支持向量机(support vector machine，SVM)的改进模型，因其在解决复杂的非线性问题方面具有优势，也被广泛应用于电力负荷预测领域^[16-17]。组合预测模型结合单一预测模型各自的特点，克服单一预测模型的局限性，有效提高了预测精度^[18-20]。

本文将LSTM、GRU和改进的LSSVM模型进行组合，结合数据预处理方法对电力负荷进行短期预测。首先运用变分模态分解(variational model decomposition，VMD)技术将历史电力负荷数据分解为不同频率的子序列，并使用奇异谱分析对最高频率子序列进行去噪化处理。然后将各子序列叠加重构，充分挖掘历史负荷数据所包含的信息。随后使用t-SNE降维算法将高维气象数据降维至可视化维度，并与PCA和SNE的降维效果进行对比。最后构建LSTM、GRU及基于麻雀搜索算法优化的LSSVM组合预测模型，利用麻雀搜索算法对LSSVM模型中的关键参数以及对单一模型的权值系数分别进行优化求解。本文结合多种数据预处理方法和多模型组合预测，在降低电力负荷数据噪声信号的同时，挖掘高维气象因素之间的耦合性，提取数量较少、特征独立的低维气象特征作为预测模型的输入，有效提高了预测模型的精度和效率。

1 高维气象数据降维 1.1 t-SNE可视化降维

随机领域嵌入算法(stochastic neighbor embedding，SNE)改变了多维尺度变换法(MDS)和等距特征映射(ISOMAP)等降维方法中基于距离不变的思想，用数据点相似性的条件概率来替代高维数据点之间的欧氏距离。尽管经过SNE降维后的高维数据可以在低维空间呈现出良好的可视化效果，但该算法存在着运算速度慢且降维后出现数据拥挤等问题^[12]。t-SNE降维算法作为SNE算法的改进，主要改变就是将高维空间中两点的距离转换为两点相似度的联合概率分布，并用重长尾t分布表示低维数据点的分布，解决了SNE算法所存在的问题^[21]。t-SNE算法的原理如下。

将高维气象数据集表示为X={x₁，x₂，…，x_n}，可视化低维气象数据集表示为Z={z₁，z₂，…，z_n}，z_i为低维空间的映射点，数据点x_i会以条件概率P_j|i，选择x_j作为它的邻近点。定义高维空间条件概率分布公式：

(1)

其中，σ_i是以数据点x_i为中心的高斯分布标准差。

t-SNE降维算法在高维气象空间中仍采用高斯分布，在低维气象空间中采用重长尾t分布，计算高维空间中的联合概率密度P_ij和低维空间中的联合概率密度Q_ij：

(2)

(3)

t-SNE降维的目的是找到一个低维气象空间Z，使得P_ij与Q_ij之间匹配度最高，若z_i和z_j完全反映了x_i和x_j之间的关系，P_ij和Q_ij应该相等。本文采用KL(Kullback-Leible)散度来衡量高维气象数据点的联合概率分布P_ij及对应的低维空间联合概率分布Q_ij之间的差异，得到新的代价函数C，并使用梯度下降法对代价函数的最小值进行求解。

(4)

(5)

通过迭代，对目标函数C进行寻优，不断更新低维气象数据点，更新规则为

(6)

式中，Z^t为低维气象空间的样本数据，t为迭代次数，η为学习率，α(t)为学习动量。

1.2 降维效果分析实验

对电力负荷进行预测之前，采用t-SNE算法对气象数据进行降维，将其学习率设为300，学习动量的取值和当前迭代次数有关，当迭代次数t < 250时，其数值设为0. 5；当迭代次数t≥250时，其数值设为0. 8。为说明t-SNE算法的优越性，将其与典型的PCA和SNE进行比较。将15种气象数据(日照射数D₁、日平均气温D₂、日最高气温D₃、日最低气温D₄、日降雨量D₅、平均风速D₆、最大风速D₇、平均相对湿度D₈、平均地表气温D₉、日最高地表温度D₁₀、日最低地表温度D₁₁、平均气压D₁₂、日最高气压D₁₃、日最低气压D₁₄、大型蒸发量D₁₅)降维到低维空间后，以主成分累计贡献率为评价指标，得到经PCA、SNE和t-SNE降维算法降维后主成分的累计贡献率如图 1所示。累计贡献率的取值范围为[0, 1]，贡献率越接近于1，降维后的数据可信度越高。为直观地展示气象数据在低维空间的可视化效果，对15种气象数据分别使用PCA、SNE和t-SNE降维算法进行降维至3维和2维，可视化效果分别如图 2所示。

图 1结果表明，经t-SNE降维后的气象数据对比经SNE和PCA降维后的气象数据，其可靠性得到了明显的提高。当气象数据维度降低到2维时，t-SNE的主成分累计贡献率已达到95. 5%。

由图 2可以得出，经PCA和SNE算法降维后，部分低维数据点分布过于集中且重叠严重，降维效果较差，相比较而言，经t-SNE算法降维的每个类别的特征更加具有可区分性，低维空间数据重叠部分较少。综上所述，本文使用t-SNE降维算法对气象数据进行降维，在保证气象数据特征独立的前提下，具有更好的可视化效果。

2 模态分解与去噪化处理

针对电力负荷序列的非线性与非平稳性特点，采用VMD对历史电力负荷进行模态分解，提取电力负荷局部特征，优化输入变量，然后使用奇异谱分析对最高频率子序列进行降噪处理。将VMD和奇异谱分析两种算法相结合，有效消除高频噪声信号。

2.1 VMD

VMD是一种采用完全非递归模型来对非平稳信号进行处理的方法。该方法通过构造并求解约束变分问题，将原始信号分解为个数可指定的固有模态分量(intrinsic mode functions，IMF)，通过不断更新各模态函数及中心频率，得到若干具有一定宽带的模态函数。具体步骤可以参见文[8]。

采用VMD对电力负荷进行分解之前，需要确定模态分解个数K的取值，K的取值范围通常为^{[3, 7]}，本文分别设置K=3，4，5，6，7，通过观测不同K值下各中心频率之间的距离来确定模态分解个数，K取不同值时的中心频率见表 1。

2.2 奇异谱分析方法

奇异谱分析方法是一种非线性时间序列分析方法，可以有效地提取出序列信号的主要信息，主要包括对序列周期成分的分解与重构。

第1步  嵌入。选择合适的窗口长度n(2≤n≤T)，将VMD提取到的最高频率子序列记作{y₁，y₂，…，y_T}，将其转化为多维序列，得到轨迹矩阵Y：

(7)

其中，Y为n×m阶矩阵，n为嵌入维数，m=T-n+1。

第2步  对轨迹矩阵Y进行奇异值(SVD)分解。由协方差矩阵YY^T可得出第i个特征值λ_i以及相应的特征向量u_i，则Y可以表示为

(8)

其中，称为轨迹矩阵Y的奇异谱，。

第3步  根据奇异值的大小及贡献率进行分组。在特征值断点处(即λ_B≫λ_B+1处)将轨迹矩阵划分为低频矩阵和高频矩阵：

(9)

第4步  对每一个子矩阵进行对角平均化。假定Y_r为n×m阶子矩阵，且当n < m时，_i，j=y_i，j；当n≥m时，_i，j=y_j，i。根据对角平均化公式(10)，将Y_r子矩阵转换为对应的一维重构序列Y_r=[y_r1，y_r2，…，y_rk，…，y_rN]。

(10)

其中，=min(n，m)，=max(n，m)，k=1，2，…，N。

将各低频矩阵和高频矩阵重构得到的1维时间序列分别进行叠加，即可得到原始负荷序列的低频分量和高频分量。

3 组合预测模型

组合预测模型通过采用合适的方式对多种模型和方法进行融合，该方法结合不同模型的特点与优势，能够在一定程度上提高预测结果的稳定性和准确性。本文构建了气象数据降维、历史负荷分解、模态分量降噪和多模加权组合的短期负荷预测模型，其整个数据预处理和预测过程如图 3所示。

3.1 基于窥视孔连接的LSTM

LSTM是通过反向传播训练克服RNN中所存在的梯度弥散或梯度爆炸问题的一种递归神经网络。基于窥视孔连接的LSTM神经网络将前一时刻内部记忆单元的状态分别加入遗忘门和输入门控制的输入中，将当前时刻内部记忆单元的状态加入输出门中。改进后的LSTM神经网络主要由遗忘门f、输入门i、输出门o、内部记忆单元c和临时状态量c′构成，各部分的更新过程为

(11)

(12)

(13)

(14)

(15)

式中，带有下标的W和b分别为对应门的矩阵权重和偏置项；σ一般选择Sigmoid函数作为激励函数，起门控作用；tanh为双曲正切激励函数；x_t表示模型输入；h_t表示模型输出。LSTM模型更新过程的结构示意图 4所示，其中，⊗表示元素相乘，⊕表示元素相加。遗忘门f_t将作用于记忆单元c_t-1，以控制输入x_t和上层隐藏层输出h_t-1被遗忘的程度；输入门i_t控制输入x_t和当前计算状态更新到记忆单元的程度；输出门o_t决定哪些信息将被传递到下一阶段。

3.2 门控循环单元

GRU是LSTM的一种变体，将LSTM的输入门和遗忘门组合成一个更新门z_t，并新增一个重置门r_t，用于控制前一时刻记忆被忽略的程度，GRU通过门控机制缓解了LSTM中梯度爆炸的问题。各部分的更新过程表示为式(16)~式(19)。

(16)

(17)

(18)

(19)

上式中，更新门z_t控制上一时刻长时记忆h_t-1在当前时刻的保留程度，重置门r_t控制上一时刻长时记忆h_t-1传入候选状态的比例。h_t为隐藏层输出，W_z、W_r、U_z、U_r、U、W为待训练的神经网络参数，*表示矩阵的Hadamard积运算。

3.3 LSSVM

LSSVM模型利用非线性映射函数φ，把训练样本集映射到高维特征空间，通过在特征空间中构造一个最佳线性决策面来对非线性变量进行分离。

设训练样本集为{(x₁，y₁)，…，(x_n，y_n)}，其回归函数为

(20)

式中，ω表示权值列向量，a为偏置值。

利用结构风险最小化原则，得到式(21)所示的LSSVM优化函数。

(21)

式(21)中，c为惩罚参数，e_i为松弛变量。

随后将拉格朗日乘子引入式(21)的等式约束中，构造出对应的拉格朗日函数L(ω，a，e，α)，并由KKT条件，分别求出L对ω、a、e_i、α_i的偏导，令其偏导等于0。消掉变量ω和e_i后，转换得到对应的线性方程组，即可得到如式(22)所示的LSSVM预测模型的估计公式。LSSVM的详细数学推导参考文[22]。

(22)

式中，α_i为拉格朗日乘子；δ为核参数；K(x，x_i)为核函数，一般取高斯核函数，核函数表达式为

(23)

得到最终的LSSVM预测模型：

(24)

由式(24)可见，LSSVM的预测结果的精度主要取决于惩罚参数c和核参数δ。

3.4 麻雀搜索算法

麻雀搜索算法(sparrow search algorithm，SSA)是一种群智能优化算法，主要模拟麻雀种群的觅食过程。相关文献已经验证了该算法在搜索精度、收敛速度和稳定性等方面具有较强的竞争力^[23]。本文利用麻雀搜索算法对LSSVM预测模型中的关键参数进行寻优以及使用该算法来确定单个预测模型预测结果的权重系数。

算法过程可抽象为加入侦察预警机制的发现者—加入者模型，其具体实施过程如下：

假设在一个待优化的J维搜索空间中，存在N只麻雀，则麻雀的位置用矩阵X表示，X =[X_i1，X_i2，…，X_ij]，其中，X_ij表示第i只麻雀在j维空间的位置。

发现者的位置更新：

(25)

式中，t表示当前的迭代次数；i表示麻雀编号；X_ij^t表示第i只麻雀在第t次迭代次数下的第j维空间位置。h为最大迭代次数；μ为(0，1]范围内的随机数；R₂∈[0, 1]表示警戒值；S_T∈[0. 5，1]表示安全值；Q为随机数，服从0-1正态分布。当R₂ < S_T时，表示周围环境安全，发现者可以进行广泛的觅食；当R₂≥S_T时，表示周围环境不安全，所有麻雀迅速飞到其他的安全范围。

加入者的位置根据式(26)进行更新。

(26)

式中，D_j^t表示麻雀在t次迭代下处于j维搜索空间的最不佳位置，B_j^t+1表示麻雀在t+1次迭代次数下处于第j维搜索空间中的最优觅食位置。当i>N/2时，表示当前第i个加入者没有抢到食物源，处于饥饿状态，适应度较低；当i≤N/2，表示当前第i个加入者抢到了食物源，成为新的发现者，并在当前B_j^t+1位置附近进行觅食。

侦察者的位置根据式(27)进行更新。

(27)

式中，B_j^t表示当前第t次迭代的最佳位置；β为步长控制因子，取值为服从0-1正态分布的随机数；ξ是[-1, 1]范围内取值的随机数，表示麻雀移动的方向，为避免出现零除误差，在式中分母位置加上最小常数e；f_g和f_d分别表示当前全局最优适应度和最差适应度，f_i表示第i只麻雀当前适应度。当f_i≠f_g时，表示麻雀i正处于麻雀种群搜索范围的边缘，需及时调整当前的觅食位置和觅食路径；当f_i=f_g时，表示该麻雀正处于麻雀种群中心，可随机向其它麻雀靠近。

麻雀搜索算法优化LSSVM预测模型时的目标函数定义为

(28)

麻雀搜索算法确定单个预测分量权重时的目标函数定义为

(29)

(30)

式(29)、(30)中的F₁和F₂是两个目标函数，作为该模型中单个预测模型组合权重的计算准则，y_i为负荷实际值，N代表样本数。

3.5 组合预测模型的构建

经过多次实验发现，LSTM模型能够挖掘海量数据中所隐藏的信息，但训练速度较慢；GRU模型参数较少，具有较快的预测速度；LSSVM模型具有较强的泛化性能，但预测结果的精度受参数影响较大。由此可见，使用单一预测模型对电力负荷进行预测时，其预测结果随机性较强，不具有普适性。针对上述问题，本文结合当地的实际气象数据和电力负荷数据，依据权重确定理论，构建由LSTM、GRU以及麻雀算法优化的LSSVM(SSA-LSSVM)多模型融合的组合预测模型，以期达到进一步提高预测精度的目的。

首先，对不同量纲的样本数据进行归一化处理，然后将t-SNE降至2维的历史气象数据和降噪后的电力负荷数据作为LSTM、GRU、LSSVM网络模型的输入特征，待预测时刻的电力负荷作为输出，单独对3种预测模型进行训练，得出各自的预测结果。在得到单个预测模型的预测结果后，分别对其进行反归一化处理，采用权重积分法，将单一模型的预测结果进行加权求和，得到最终的预测结果：

(31)

其中，_t为最终的负荷预测值；_it为单个预测模型预测值；w_i为第i个预测模型的权重系数，其值通过麻雀搜索算法来确定。

4 算例分析

为验证所提预测方法的可靠性，设置3种实验环境对模型进行检验。

环境1：气象数据降维算法采用t-SNE，并采用组合预测模型进行训练。

环境2：对IMF1分量进行去噪化处理，并采用组合预测模型进行训练。

环境3：气象数据降维算法采用t-SNE，且对IMF1分量进行去噪化处理。

4.1 输入样本的选择

选取某地区供电公司2019年8月1日至8月31日的电力负荷数据和气象数据为研究对象，其中负荷数据的采样频率为15 min，每日96个点。此次所有实验均选取2019年8月1日至2019年8月28日的数据作为训练集，选取2019年8月29日至2019年8月31日的数据作为测试集。为了确定组合预测模型中各单一模型的权重值，选取2019年8月26日至2019年8月28日的数据作为验证集。为检测所建模型的预测效果，选取平均绝对百分比误差(MAPE)、平均绝对误差(MAE)和残差平方和(SSE)三个指标来评价预测结果。

4.2 去噪化对比实验分析

采用VMD对电力负荷进行分解，得到不同K值下各中心频率之间的距离如表 1所示。由表 1可以分析出，当K=6时，模态中心频率开始出现非常接近的值，因此最终确定模态分解数K=5。

为证明本文使用奇异谱分析对最高频率子序列(IMF1)进行降噪处理的有效性，在实验环境1中，使用奇异谱分析对各个频率子序列进行降噪处理，得到的测试集预测结果如表 2所示。

由表 2结果可以看出，对最高频率子序列进行降噪后，得到预测结果的MAPE、MAE和SSE指标值均是最小的，选择对最高频率子序列降噪，明显提高了预测结果的可靠性。各子序列降噪前后的IMF分量图及相应的噪声成分如图 5所示，由图 5可以分析出，最高频率子序列的噪声成分最大，因此对最高频率子序列进行降噪处理是必要的。

4.3 降维对比实验分析

1.2节对PCA、SNE和t-SNE三种降维算法的可视化降维效果进行了分析，在实验环境2中，分别采用3种降维算法将气象数据降维至2维，然后协同降噪后的负荷数据一起输入到本文所提的组合预测模型中进行训练和预测。预测结果拟合曲线和拟合优度R²如图 6所示。

由图 6可知，相比较于PCA和SNE降维算法，气象数据经t-SNE降维处理后，得到的拟合曲线更加接近实际负荷值，且得到的拟合优度最大。高维气象数据之间存在着强耦合性，预测模型很难去处理高维的气象数据，t-SNE降维算法在保证气象数据特征独立的前提下，减少了数据的维度，有效提升了预测模型的精度。

4.4 预测模型对比实验分析

为验证组合预测的优越性，在实验环境3中，采用1. 1节所述的t-SNE降维算法将15维气象数据降至2维，协同降噪后的电力负荷数据分别输入到组合预测模型、LSTM模型、GRU模型、SSA-LSSVM模型、BP神经网络和支持向量回归(support vector regression，SVR)等6种模型中进行对比实验。实验结果取各模型预测测试集中2019年8月31日一天96个负荷预测点曲线进行对比分析，得到最后的预测结果如图 7所示，根据8月31日一天的预测值和实际值分别计算6种预测模型的评价指标，具体数值如表 3所示。

由表 3和图 7可以分析出，基于麻雀搜索算法优化权值的组合预测模型，综合了LSTM、GRU和SSA-LSSVM三个单一预测模型的特点，与单一的预测模型相比，MAPE、MAE和SSE指标值均得到了改善，组合预测模型得出的预测曲线和原始负荷曲线更加接近。另外，组合预测模型与传统的BP神经网络和SVR模型相比，其预测精度更优。

5 结论

本文为实现输入层复杂度和输出层预测精度之间的平衡，将数据预处理和组合预测模型相结合，提出一种基于气象数据可视化降维和多模型加权组合的短期负荷预测方法。本文所提方法有如下优势：

1) 在该模型中，选择气象数据和历史负荷数据作为输入，采用t-SNE降维算法将15维气象数据映射至可视化低维空间；利用VMD算法对历史负荷数据进行分解，提取局部特征，并使用降噪算法对最高频率子序列进行降噪处理，然后对降噪后的子序列进行叠加重构。与传统的分解—预测—组合模型相比，该方法有针对性的对含有大量噪声信号的负荷序列分量进行去噪化处理，实现了电力负荷序列的局部降噪，最后通过设置对比实验，验证了所提方法的有效性。

2) 考虑到单一预测模型存在着由于输入信息源的不同或是不同模型内部函数形式的不同而导致预测精度时好时坏的问题，本文结合权重确定理论，采用权值积分法将LSTM、GRU和SSA-LSSVM三种预测模型进行加权组合，权值系数由麻雀搜索优化算法来确定，实现了动态权值的分配，使得组合预测模型更加具有灵活性和适用性。实验结果表明，组合模型相比于其他单一预测模型而言，提高了短期负荷预测的准确性和稳定性。

3) 算例实验中，设置3种实验环境，对降维效果、降噪效果及组合模型的优越性分别进行验证，增加了实验结果的可靠性。