1 引言

评价建模方法是科学决策的基础，其重要性越来越得到人们的广泛认同，并逐渐形成了一套庞大的方法体系.

目前，评价建模方法主要以统计分析和层次分析法为主^[1]. 统计分析的主要优点是可以较为直观地比较不同指标对学术期刊核心竞争力的影响，容易理解，但其只是宏观统计，提供的信息量受到限制，无法具体到某种期刊进行微观量化分析. 层次分析法是目前应用最为广泛的期刊评价方法，它可以有效简洁地对非定量事物做定量分析，避免评价中的主观影响，但当评价指标过多时，会出现数据统计量大、权重难以确定的缺点.

因此，本文提出了一种多指标评价建模方法. 该方法采用层次分析法进行学术期刊的上层指标的权重确定，而在底层指标的权重确定方面，引入机器学习的方法，先用主成分分析法对底层指标进行降维，再采用Softmax回归算法对降维后的指标进行权重学习. 该方法有效地解决了层次分析法在多指标情况时，出现的方法操作复杂、权重难以确定的问题，而且综合有效地利用了多指标信息，提高了评价精度.

层次分析法(analytic hierarchy process，AHP)是一种定性和定量相结合的多目标决策方法，它把一个复杂问题分解成若干组成因素，并按支配关系形成层次结构，然后应用两两比较的方法确定各因素的相对重要性，计算各因素的权重^{[2, 3]}.

主成分分析法(principal component analysis，PCA)是目前应用很广泛的一种代数特征提取方法，是一种基于变量协方差矩阵对数据中的信息进行处理、压缩和抽提的有效方法^[4]. Softmax回归是机器学习中的一种分类算法，可以对已有样本进行多特征学习^[5]. 采用主成分分析法与Softmax回归相结合的方法对底层指标进行评价，可以有效消除底层指标之间的相关性，提高评价精度.

学术期刊评价是评价建模方法的一个重要应用，而学术期刊的核心竞争力评价作为学术期刊评价的一部分，在评价过程中往往需要以多个指标为准则，又由于指标之间的重要程度有差异，因此需要对影响学术期刊核心竞争力的多个指标进行建模，客观、综合地进行评价. 因此，以学术期刊核心竞争力评价对本文提出的多指标评价建模方法进行应用说明.

目前，评价指标体系的构建方法主要有基于层次聚类的方法和基于专家经验的方法. 基于层次聚类的方法，其主要思想是将所有的评价指标放在一个统一的框架中进行聚类学习，形成自底向上的多层指标体系^[6]. 而基于专家经验的方法，则是依赖领域知识构建评价指标体系. 基于层次聚类的评价指标体系构建方法的优点在于可以聚类学习到评价指标之间的隐含关系，但其评价精度一般低于基于专家经验的方法^[7]. 因此，本文采用基于专家经验的评价指标体系构建方法.

对于学术期刊核心竞争力的定义，学术界有不同的理解. 吴照云认为： “学术期刊核心竞争力，本质上是指学术期刊获取稀缺资源和充分利用稀缺资源的创新能力”^[8]. 伏春兰认为： “期刊的核心竞争力就是指该期刊在市场竞争的条件下，以价值创造为核心，在经营和发展中保持独特竞争优势的核心资源和能力的组合”^[9]. 于华东认为： “期刊的核心竞争力是该刊所独有的特色竞争力和创新性的竞争力”^[10].

上述定义均是从学术期刊的内在出发，对学术期刊核心竞争力进行解释. 但在对学术期刊核心竞争力进行评价时，评价指标的选取多依赖于其外在表现. 故本文从学术期刊的外在表现出发对学术期刊核心竞争力做出定义.

学术期刊核心竞争力是期刊组织经过长期积淀且在一定规模和实力后才具备的，能够带来持续竞争优势的综合能力. 这种能力以其独特的资源为基础、以强大的品牌效应为外在表现，使期刊组织能够长期地吸引、拥有和控制作者与读者，使选题与策划、组稿与审稿、编校与排版、发行与营销等环节实现有机融合. 基于此，提出并构建了学术期刊核心竞争力评价指标体系.

评价指标的选择是由评价目标与实际情况共同决定的. 建立评价指标体系时，要将评价目标层层分解，各指标既要能够全面反映评价对象的特征与状态，又要考虑数据的收集和获取能力^{[11, 12]}. 因此，综合考虑学术期刊核心竞争力定义及特征，参考传统纸质期刊竞争力的特点，学术期刊的核心竞争力主要表现在其学术影响、期刊发展和社会影响3个方面，本文从这3个方面入手对学术期刊的核心竞争力进行评价.

1) 学术影响

学术期刊的学术影响是指以学术期刊的学术水平、学术特色为根本所体现出来的一种影响力，本文从论文质量、作者水平和收录状态3个方面来评价^{[13, 14]}.

2) 期刊发展

期刊发展主要是指从人力资源角度看待期刊的规模以及增长状况. 本文从期刊的规模要素、增长因素和效率因素3个方面来评价期刊发展.

3) 社会影响

学术期刊作为一种媒体，能传播学术信息，发表学术研究成果. 学术期刊的存在依据是其社会价值，它源于学术期刊本身的内在价值功能^[15]. 本文主要从用户对期刊的认知度、满意度及忠诚度3个方面来评价学术期刊的社会影响.

构建学术期刊核心竞争力评价的详细指标分类体系如表 1所示.

表 1 学术期刊核心竞争力的评价指标体系Tab. 1 Core competitiveness of academic journals evaluation index system

表选项

本文中学术期刊核心竞争力的评价指标体系由3层组成. 评价指标的获取方法共分为3种：

一、二级指标为领域知识，通过专家打分方式获取. 按照层次分析法的原理设计一个打分表，这个表中要对打分的原则做必要的解释以帮助专家合理地区分层次. 为了增强评价的客观性，这个环节应有多个专家打分，最后通过计算平均值，获得每一项的最后得分.

三级指标主要为量化信息，可从统计数据获取，如总被引次数、影响因子、是否被SCI(science citation index)收录等指标可以借助SCI、SSCI(social sciences citation index)、JCR(journal citation reports)以及我国的引文索引书库获得或者直接由网站提供. 三级指标中的部分主观认知数据，如服务水平、易用性等，可通过问卷调查方式获取. 综合汇总调查结果，计算各项平均值，可获得各指标的最终得分.

由于学术期刊核心竞争力评价指标体系具有底层指标多、上层指标非定量的特点，故本文提出了基于层次分析法和主成分分析法的多指标评价建模方法.

多指标评价建模方法是指根据指标体系中各影响因素(指标)的作用赋予不同大小的权重，最后用加权等方法将各指标组合成一个综合指标. 因此，在多指标评价建模方法中，主要目的是确定各指标值的权重，即量化第2.1节中构建的指标体系中各层次的权重. 常用的确定权重的方法有： 常权综合法、变权综合法、层次分析法等^{[16, 17, 18, 19]}. 这些方法适用于较高层次、抽象的评价，即本文中的一级指标和二级指标的权重确定. 对于三级指标中的多变量且变量间高度相关的情况，会造成评价结果差，不能准确反映竞争力的情况. 因此，本文采用主成分分析法和Softmax回归对三级指标的权重进行确定，一级指标和二级指标的权重则采用层次分析法来评价学术期刊的核心竞争力. 评价框架如图 1所示.

图 1 综合评价整体框图Fig. 1 The overall diagram of comprehensive evaluation diagram

图选项

在本评价指标体系的三级指标中，存在的主要问题是，指标值太多且相互之间具有一定的相关性，容易造成使评价结果过拟合，使结果不能正确评价学术期刊的核心竞争力. 因此，本文先采用PCA算法对2.1节中的评价指标体系的三级指标进行降维，然后采用Softmax回归方法对降维后的指标进行权重确定.

在PCA中，数据从原来的坐标系转换到了新的坐标系，新坐标系的选择是由数据本身决定的. 第1个新坐标轴选择的方向是原始数据中方差最大的方向，第2个新坐标轴的选择和第1个坐标轴正交且具有最大方差的方向. 该过程一直重复，重复次数为原始数据中特征的数目. 而大部分方差都包含在最前面的几个新坐标轴中. 因此，可以忽略余下的坐标轴，即对数据进行了降维处理^{[20, 21, 22]}.

其具体步骤如下：

1) 对原始数据进行归一化预处理.

2) 计算归一化之后的数据的协方差矩阵，然后计算该协方差矩阵的特征值和特征向量.

3) 将特征值从大到小排序，并保留最大的N个特征值所对应的特征向量.

4) 将原始数据转换到上述N个特征向量构建的新空间中.

在对原始数据降维之后，需要确定新空间中的N个特征的权重，在本文中，采用Softmax回归法进行权重确定. Softmax回归是机器学习中的算法，主要用于解决多分类问题，其得到的结果是每一种分类结果的概率.

其具体步骤如下：

1) 请专家就原始数据中的各学术期刊的二级指标打分，打分一般采用5级打分制，即表现最好的评价对象得5分，最差的打1分(如某期刊的论文质量较好，可打4分或5分)，即评分向量为

Q=^{[1, 2, 3, 4, 5]T}

2) 将经过PCA降维后的新特征作为输入向量X，步骤1)中的专家打分作为类别标签y，训练Softmax回归模型，得到打分类别权重向量W₁，W₂，W₃，W₄，W₅.

3) 将这些权重向量代回Softmax回归中，在得到待评价的期刊的输入向量后，即可求得该期刊属于各打分级别的概率P.

4) 根据式V=P^TQ，即可得到该期刊对应的二级指标值.

本文采用层次分析法确定一、二级指标权重. 层次分析法的基本思想就是将组成复杂问题的多个元素权重的整体判断转变成对这些元素进行“两两比较”，然后再转为对这些元素的整体权重进行排序判断，最后确立各元素的权重^[23]. 其具体步骤如下：

1) 建立递阶层次的评价指标体系. 即本文2.1节中的学术期刊核心竞争力的评价指标体系.

2) 构建各层次中的判断矩阵. 请领域专家对表 1中的同一层次(即一级指标、二级指标)的指标进行两两比较，其比较结果以1-9标度法表示，各级标度的含义见表 2.

3) 对于同一层次的n个指标，可得到判断矩阵A=(a_ij). 判断矩阵中的值应满足下列条件：

4) 计算指标权重. 求出判断矩阵的最大特征根λ_max及相应的特征向量W₀. W₀即为各指标的权重.

5) 一致性检验. 计算随机一致性比率：

学术期刊核心竞争力模型由相应的指标体系及其权重系数组成，在确定评价指标体系的基础上，本文在第1层、第2场采用层次分析法确定权重系数. 底层指标的权重系数的确定，则先采用层次分析法进行降维，然后通过Softmax回归进行权重系数学习. 故实际应用部分包括层次分析法实际应用和主成分分析法实际应用两部分.

层次分析法中，请相关专家对一、二层指标进行两两比较后，得到判断矩阵. 经过专家分析打分，得到3个一级指标的判断矩阵为

由上可以看出，在评价学术期刊核心竞争力的3个一级指标中，学术水平对其的影响最大，社会影响次之，期刊发展较弱.

求出上面判断矩阵的最大特征根及相应的特征向量为

同理可以得到二级指标相对于一级指标的权重向量. 具体结果见表 3.

表 3 评价指标及其权重Tab. 3 The evaluation indexs and weights

表选项

本部分数据来自于中国科学技术信息研究所出版的2013年版《中国科技期刊引证报告》(扩刊版)和中国科学评价研究中心和武汉大学图书馆出版的《中国学术期刊评价研究报告(2013-2014)》.

由于不同学科期刊之间不具有可比性，故本文选取两书中“临床医学”类期刊数据进行分析，共387种期刊.

在《中国科技期刊引证报告》中，共给出了17项期刊的评价指标数据，对387种期刊的数据进行主成分分析，可得这些数据所对应的贡献率百分比和累积贡献率百分比如表 4所示.

表 4 各主成分贡献率及累计贡献率Tab. 4 The principal component contribution rate and the cumulative contribution rate

主成分	特征值	贡献率/(％)	累计贡献率/(％)
1	1.04e+07	93.3	93.3
2	7.28e+05	6.53	99.83
3	1.29e+04	0.12	99.95
4	4.41e+03	0.04	99.99
17	4.68e-03	4.19e-08	100

表选项

对降维后的数据通过Softmax回归进行学习，得到降维后的特征权重向量. 其中，评价等级采用《中国学术期刊评价研究报告(2013-2014)》中的数据.

对387个样本进行交叉验证可得，主成分个数与评价准确率如图 2所示.

图 2 主成分个数与准确率Fig. 2 The number of principal components and accuracy

图选项

由图 2可以得出，当选择前4个主成分为Softmax回归的特征时，评价准确率最高，为83.5％.

若采用层次分析法对三层指标进行权重确定，由于原始评价指标数据为17维，采用层次分析法进行权重确定时，构造的判断矩阵即使多次校正，仍然不能通过一致性检验. 在该情况下，只能先降低评价准确率，再对主要指标进行期刊评价，若选取4个特征运用层次分析法，评价准确率仅为76.6％. 由此可见，采用PCA与Softmax回归相结合的权重确定方法的评价效果更好.

在本例中，继续增加特征个数，则评价准确率反而降低，主要是因为样本中存在噪声数据，若特征数目过多，Softmax回归模型对样本中的噪声也进行了学习，对样本形成了过拟合. 而之所以评价准确率无法再提高，主要原因是： 在样本的评价等级确定上，存在人为因素影响，部分样本评价等级与评价指标值相悖，影响Softmax回归模型的学习过程以及评价结果；另一方面，Softmax回归属于线性回归模型，无法有效地学习到评价指标与评价等级之间的非线性关系. 因此，实际应用本方法时，如果让多位专家对期刊评价等级以及评价指标值进行校正，可继续提高评价准确率.

本文构建了学术期刊核心竞争力三层评价指标体系，基于此，提出了一种多指标评价建模方法. 该方法在一、二级指标中，采用层次分析法进行权重确定；在底层指标中，先采用PCA降维，然后对新指标采用Softmax回归方法进行权重学习.

由于该模型引入了PCA和Softmax回归，有效地解决了层次分析法在多指标情况下评价结果差的问题，且模型求解简单. 但该模型的不足之处在于噪声点对评价准确率的影响较大，下一步的工作主要是寻找方法降低噪声点对评价准确率的影响.