0 引言
复杂制造系统是集多种技术(供应链管理技术、信息交流技术、生产管理技术和物流控制技术等)为一体的复杂系统，且其内部含有大量交互成分、大量复杂的结构和多种因素的扰动[1-4]。如何优化复杂系统的整体性能成为系统研究领域的重要问题，因为仿真技术能够仿真一个传统数学模型所无法描述的复杂系统，也可以精确描绘复杂系统的实际流程，从而确定影响复杂系统中各种活动的关键因素，所以该技术对于整个复杂制造体系任务策划、设计与实验等阶段都具有关键性的意义，被认为是目前最有效且已被广泛应用的解决途径之一[5-7]。
采用模拟方法来对复杂制造过程展开研究，其主要问题在于对被研究的目标环境形成正确的仿真模式。复杂制造系统建模是一项具有挑战性的任务，目前常用的系统建模方法主要有物理建模、智能建模和数据建模[8]。物理建模是根据系统的工作原理，利用已有知识对系统动力学进行定义，建立精确的动态分析模型；主要优点是具有可解释性，不依赖于数据，允许在模型生命周期中保持对模型的完全控制[9]。根据问题的性质，物理建模又可以分为离散形式化建模与连续形式化建模两种，这两种形式化方法都是沿着时间轴对系统进行建模，突出系统在时间上的演化：离散形式化建模通过二分法对系统建模，将系统切割成小部分并定义其之间的联系；连续形式化常以微分方程来描述系统，用解析法或时间离散化对问题进行求解[10-12]。
然而大多数基于物理的模型都是静态的，由于磨损或维护等不确定事件，实际复杂制造系统会随着时间的推移而发生动态变化。此外，基于物理模型要求模型贴合实际、需考虑到系统中可能发生的每个事件，这在工业环境中难以实现，任何认知偏差或不完整都会导致建模性能较差，因此可以采用智能建模或混合仿真的方法来建立精确的系统动态分析模型。智能建模的典型例子有基于Petri网和基于智能体的建模[13-19]。Petri网作为一种系统描述和分析工具，已经被广泛应用于离散制造系统的建模和性能解析，它不仅能够定义制造系统的状态、事件和内部联系，并且能够建立系统的状态方程。马建强[20]利用Petri网对实际制造车间建立了仿真模型，并在此基础上对调度问题进行了研究。基于智能体的建模技术能够将物理实体和逻辑实体抽象成智能体模型，并能够对个体之间的交互以及个体与周边环境之间的交互进行建模。ADEDIRAN等[21]开发了一个基于Agent的模型来模拟流水车间，并研究制造流程中断和恢复策略，为制造生产活动提供了决策支持。混合仿真被定义为一种结合了两种或两种以上方法的建模方法(比如，离散事件仿真、基于Agent的仿真和系统动力学仿真[22])，通常被用于物料搬运系统和复杂制造系统的建模与仿真[23-24]。
在许多实际应用场景中(如生产调度)，大数据处理环境下的复杂系统构建难、传统分析方式无法应用等问题日益凸显，因此基于大数据分析的模型和优化技术成为了复杂制造系统优化的研究热潮，其通过机器学习和深度神经网络等方法生成高质量模拟器用以取代常规分析方法，并通过智能算法和随机优化等方法挖掘最优/近优方法。袁明兰[25]设计了基于大数据分析船舶通信网络优化方法，有效提高了船舶通信系统的数据传输速度和成功率。林锋等[26]提出了一种基于大数据分析的酿酒工艺优化方法，提高了酿酒工艺的参数优化效果。尹树彬[27]融合了大数据分析技术中的数据挖掘计算与建模优化计算，设计并实现了面向切削加工程序的建模与优化计算系统，为切削加工编程自动化带来了新思路。蔡培良等[28]运用了物联网与大数据挖掘技术，对卷烟包装材料的技术方法加以完善，提高了烟卷整丝率，使烟丝的物理性能和卷烟的感官品质得到了显著提高。基于数据分析的模型和优化技术是目前最先进的解决复杂优化问题的方法，不仅能够整合原始数据和机器学习所蕴含的知识，而且能够解决复杂优化难题(尤其是高维度多目标优化难题)中普遍存在的高维度灾难问题。基于数据的模型可以直接从数据中提取系统动态，主要优点是能充分利用数据的隐含知识，对方案进行验证和优化[29]。
本文就复杂制造过程建模与优化的研究现状、重点以及技术前沿等做出了总结，主要涉及复杂制造系统典型场景和基于数据的建模与优化方法研究现状等。最后，对复杂制造系统建模与优化问题进行了展望。
1 复杂制造系统典型场景本节主要讨论典型复杂制造中具有共性的典型场景，其中包括：设备管理、生产过程自动化和生产调度管理等。
1.1 设备管理在智能制造环境下，公司在降低人工成本的同时，制造设备比例相应提高，导致制造设备的管理环节愈发重要。制造过程的数字化和智能化发展使得设备管理也趋于数字化、智能化、可视化[30]。
设备管理方法可以分为3类：事后维修、预防性维护、预测性维护。事后修复就是当仪器出现问题后的维修和恢复，通常发生在突发灾难性故障之后，没有采取任何提前保养措施[31]。在这种模式下，设备故障通常会造成很严重的后果，因为任何一个元件出现故障都可能会影响到系统中的其他设备/环节，不仅提高了故障检测的复杂度和增加了维修成本，而且可能致使故障急修时间超过维修的常规时限。维修成本主要包括备件存储费用、技术人员费用和计划外停机带来的生产力损失，因此也是最昂贵的维修[32]。
预防性维护是根据系统或部件的平均使用寿命和预测失效率曲线(如图 1所示)拐点出现的时间，以此来制定基于时间的周期性保养计划。该方法需要结合历史经验和技术参数，定期对系统和设备进行日常维护，以逐步降低故障率；通过计算系统/设备/部件的平均使用寿命，对易损部件进行维护/更新，使制造系统的设备稳定性维持平稳状态。因为是基于经验根据周期计算来预先安排维护行为，没有考虑部件或系统的实际运行状态，所以容易导致保养过剩或不足[33]。
|
| 图 1 失效率曲线 Fig.1 Failure rate curve |
预测性维护是指利用传感器对系统/设备的工作情况进行监测、对故障时间进行预判，及时对系统/设备进行维修/维护、减少无谓停工。预测性维护技术可实施的前提是设备故障的产生是由于设备损坏程度达到某临界点所造成的，或者是由于渐近式的设备老化所造成的。因为这种方法是基于部件或系统本身的运行状态来安排维护行为，所以也被称为状态维修或视情维修[34]。首先要确保能够无损地读取各项参数值，不需要通过大量拆卸和组装；其次需要定义特征指标(阈值)，根据所监测参数的运行趋势，判断是否需要进行维护行为(如图 2所示)。
|
| 图 2 预测性维护 Fig.2 Predictive maintenance |
随着制造业技术的自动化、数字化、信息化程度日益提升，同时得益于海量大数据的累积以及人工智能科学技术的蓬勃发展，设备传感器产生的大量实时数据为数据驱动预测性维护的产生提供了便利条件。预测性维护与管理作为人工智能技术和企业大数据分析中的关键使用领域，其从简单的设备管理和被动检测发展到主动预防和安全控制，能够显著减少设备/部件的故障率和宕机次数、增强设备的稳定性和持久性、减少工程维修成本、帮助企业实现降本增效[35-36]。
设备的良好管理和运转使得制造系统可以有效完成任务。近年来，制造系统的设备维护建模、设备维护成本和保养周期优化等也成为了设备维护研究的重点热门话题[37-39]。苏春等[40]通过对MonteCarlo模拟与遗传算法的模拟，以可维修设备为目标，构建了对设备广义维护的优化模式。为保证装置的安全运行和降低产品的生产成本，王炳荣等[41]提出了基于设备维修龄的维修策略，以装置失效风险为主要因素，构建了产品计划与装置维护控制一体化模式。根据对废弃物收集与运送流程的动态分析，彭绪亚等[42]给出了一个以排队论为基础的转运站设施配置方案。席少辉等[43]根据大规模串联生产系统的设备优化选择问题，给出了一个基于大系统理论的优选方案，能够有效提升优选效果，从而降低大系统的寻优变量围堵。
1.2 生产过程自动化生产过程自动化是指只需要少量人甚至不需要人直接参与操作，由制造设备甚至机器人来完成产品的全部或大部分加工的生产过程，生产过程自动化包括产品组装自动化和物流运输自动化等重要环节。基于数据的建模与优化方法是其关键支撑技术，例如利用强化学习算法训练数据可以用来解决一系列机器人控制问题，包括机械臂控制、移动机器人控制等。下面从产品组装自动化和物流运输自动化两方面阐述相关背景及其面临的问题和挑战[44]。
1.2.1 产品组装自动化高效准确的产品自动化组装在复杂制造系统中至关重要，可以增加产品的品种、功能性能、制造和维护能力。工业机器人/机械臂可以用来完成这些基本的制造工作。插销组装是其中最重要的技术，适用于各种组装任务，包括航空部件组装、模具铸造部件组装和电子产品组装等[45]。
现有的机械产品组装作业主要是人工工序。产品组装中机械部件和模块的定位和紧固依赖于操作人员的经验。对于简单的任务，工程师可以通过指示机器人遵循的所需关节角度配置系统方案。更复杂任务的方法会将物理建模嵌入到控制系统中，但这通常非常脆弱，因为许多现实世界的物理效应很难被准确捕捉。这使得最终产品的完成效率较低且差异性较大。尽管机器人可以不间断工作，使人类操作员从重复繁琐的组装任务中解放出来，但机器人主要依靠示教、复制或编程操作来实现简单的过程自动化，每项操作技能仍需要大量的时间来设计[46]。因此，必须使用自动化过程来提高产品组装的效率和准确性。这些机器需要被赋予更高水平的智能和控制策略以加强其自主技能。尤其是，在具有更小批量和更快工程周期的柔性制造中，需要设计快速强大的控制策略，从而应对系统的快时变性。
传统的控制器通常基于传感反馈来生成控制命令，性能很大程度上取决于参数设置，这可能导致其泛化能力有限。为了建模所有可能的系统行为，提高系统的泛化能力，控制器设计的主要挑战是设计适应性强但稳健的控制算法[47]。虽然标准控制方法被用于许多组装任务，但难以很好地完成具有显著适应性要求或密集视觉感知任务。在难以分析建模的复杂动态情景下，标准控制方法可能会遇到困难。其情景复杂性主要体现在两个方面：
1) 机械臂性能经常受到系统非线性、传感器噪声和外部干扰的影响。如果噪声和干扰没有得到适当的修正，模型的不确定性会导致生产运行过程中的性能下降。当前大多数工厂往往对机械臂采用频繁的重新编程，这种手动的建模和调整非常昂贵[48]。即使基于模型的控制器最初性能良好，也可能随着时间的推移而退化。这种影响可能是由于机械臂的物理特性发生变化，例如齿轮磨损、伺服系统退化等。
2) 由于工业机器人处理复杂动态环境的能力非常有限，导致面临未知环境中不确定因素的工业机器人的自主适应能力较差。在复杂的组装任务中，这个问题尤为突出。对于环境动态、要求灵活、对象多样、动作类型复杂的组装任务，其组装过程中的不确定性尤为明显。
1.2.2 物流运输自动化复杂制造系统的制造过程导致原材料、在制品以及最终产品在不同部门之间不可避免的流动。因此，制造系统需要物流运输系统来运输、管理和组织这些流程。自动导引车(AGV)作为一种柔性智能物流设备，具有很大的自由度，在物料和产品的柔性运输中发挥着至关重要的作用。AGV已在各种车间和仓库的物流操作中取得应用，包括材料供应和运输等，尤其是在多品种、小批量、定制化的生产模式，但这带来了更多的物流任务和更高的实时性要求。在物联网、网络物理系统和多智能体等先进技术的支撑下，使用AGV进行协作运输可以显着提高效率并降低成本[49]。如何让多个AGV协同执行物料运输任务是复杂制造系统智能仓储中的重要课题。
AGV物流运输第一个问题是如何进行机器人定位映射、路径规划和任务调度。首先，机器人必须知道其相对于周围环境的位置。其次，机器人需要地图来识别环境并相应地移动。最后，机器人需要找到执行给定任务的最优路径。传统方法往往采用集中控制方法，并将任务分配视为单个或多个机器人的路径规划问题。一方面，它对控制中心的计算能力和实时能力提出了极高的要求。另一方面，环境的随机性、复杂性和动态障碍会损害系统的稳定性和可扩展性。
AGV物流运输的另一个问题是解决车辆之间的移动冲突。许多基于规则的策略经常用于处理AGV冲突，然而复杂制造系统中动态车间环境、大规模定制、复杂产品组装等多样化的生产特性带来了新的挑战。在这些生产模式中，不仅要考虑物料输送的效率，还要考虑经济性、时效性和安全性。这意味着车间的情况将更加复杂，单一的基于规则的策略无法大幅提高生产性能[50]。因此设计复杂车间环境中涉及各种碰撞情况的AGV移动冲突解决方案，提高AGV的自适应决策能力，以应对交叉路口的各种碰撞情况，是一个亟待解决的问题。
1.3 生产调度管理高端装备智能制造系统同时集成了物理资源和网络资源并将其整合到云端服务器，制造活动所产生的所有数据都可以通过大数据分析和云计算等方式间接作为系统建模的数据来源。先进的数据感知技术和通信技术能够助力实现制造物理空间与网络空间之间的高保真、实时同步[51]。面对制造业生产经营过程中的某些关键环节所普遍面临的“信息孤岛”问题，近年来相关企业和学术界相继研发了诸多类型的智能系统(专家管理系统、基于知识的管理系统和智慧辅助系统等)，但针对生产过程的“全方位信息智能化”的研究开发工作，目前仍处于一种起步阶段。
从20世纪90年代开始，美国国家科学基金开始注重支持智能机器人的相关学术研究与产业研发，重点涉及多智能体协同计算、人工智能多线程应用、人工智能决策、智能化物流处理等[52]。2000年，国际知名管理咨询机构ARC从现代科技角度入手，明确给出了构建数字化企业管理模式的新思路；美国国家标准和电子工艺研究院于2005年发起了“智能加工系统(smart machining system，SMS)”研发项目；2016年，美国工业互联网联盟搭建了智慧工厂云端测试环境，实现了企业之间生产任务的柔性匹配和动态调整，有效提升了各企业的产能利用水平[53]。
智能工厂制造技术中基于“人- 信息- 物理”智能体系技术的一些典型的运用案例主要有工业机器人智能协作、动态协同、生产过程闭环控制技术以及建立基于智能人机协同合作系统的智慧工厂技术等。其设计的主要技术思路为充分融合国内外新一代人工智能前沿技术，建立基于智慧厂房、智能工厂、智慧生产运营指挥中心系统和工业智慧云平台等智能系统平台和智能网络平台，完成企业智慧化排产、智能车间管理和企业智慧化运营管理等功能。通过网络技术对设备、流程与产品等进行实时监测，随时发现/预知故障因素并且及时排除故障，有效实现控制系统的运行与维护管理，促进制造系统性能的全面提升[54]。
运作管理的相关研究内容非常广泛，而生产调度是其中最基础和最核心的一部分。行为调度模式是现代制造业发展的大趋势之一，研究在操作者参与之下的基于机器学习效应的智能制造行为调度模型将成为智能制造业行为调度理论的全新内核。和传统制造业的运营模式比较，企业行为调度管理系统作为一个全新模式有着不同的特点与机制[55]。为此，有必要从学习效能的视角对学习动机和学习效果之间的相互关联、调度与影响机制、对调配方案的有限理性决定、对生产系统链下操作者角色学习机理和特征等角度展开研究：通过系统分析各种类型的学习效能因素及其对调配性能的影响，研究不同认知背景、不同禀赋、不同情境特征下的操作者对调配效率的影响途径、影响机制和价值内涵；并根据不同的学习效能机制以及对管理者的有限理性决策机制，通过构建清洗、加工、组装等不同工序的调度模型，勾勒出行动调节模型这一中国领域未来发展趋势下的全新管理形式的基本轮廓；将生产调度管理与行为经济学、人力资源管理和心理科学等相融合，力图为生产调度管理提出全新的理论与方式。
在当前的智慧工厂生产运行过程中，通常是基于完整的互联网智能化系统构建，以企业基础信息和企业资源规划为牵引，通过应用系统之间的数据交换与系统集成管理，完成软件系统之间的数据交换和企业信息资源共享，从多个方向对制造流程信息进行不断提升，以提高企业柔性控制体系的可信度与安全性。以航天示范制造车间为例，相关企业完成了3条主线相结合的工作，具体涵盖了工艺数据、企业运行数据和生产计划，全面形成了基于智慧云服务的航天器智慧企业。通过SIMATIC方案和现代计算机技术、西门子公司实现了与传统企业管理信息化系统的全面深度数据融合，以及从工业传感器系统到现代企业管理平台和ERP应用系统之间的深度且全面的数据集成。娃哈哈集团作为碳酸饮料领域的“中国制造”模式的一个典型代表，目前已初步实现了中国智慧企业体系的建立，成功克服了几乎所有产品线上的大数据孤岛问题，完成了在公司系统内部的高效和精细化管理，解决了企业外部的供应链协同问题，进而促进企业整条产业链走向数字化、智能化和绿色化。
现实工业生产系统中的调度问题时常会被简化，但这种简化后的模拟通常都脱离了现实工业生产系统环境，因此缺乏准确且快速相应扰动的能力。工业生产调度优化问题是一种NP难问题，所以在实际工业生产系统中求解准确的最优解是不可能的。因此目前的研究趋势主要是将传统运筹学方法和现代计算智能方法结合来以提高生产调度优化的效果。
2 基于数据的建模与优化方法研究现状基于数据的建模与优化技术在供应链、交通运输、医药、旅游、零售业等多个领域都得到了广泛的应用，涉及到了多种多样的信息模型和优化技术。本节重点探讨典型复杂制造系统中基于先进学习方法的建模和优化问题，内容主要包括：基于深度学习的设备管理、基于强化学习的生产过程自动化和基于合作博弈的生产运作管理及各种方法的实际应用。
2.1 基于深度学习的设备管理由于智能制造在制造系统中的应用得以发展，制造设备也趋于数字化、智能化、可视化。针对设备管理中的建模和优化问题，传统的机器学习方法在设备健康管理领域已经取得了丰富的成果，但是由于其需要先验知识、泛化能力不足、难以分析复杂故障等局限性，促使工业界和学术界探索使用深度学习方法进行特征提取、逼近复杂模型、预测发展趋势以及准确识别设备健康状况。随着计算能力的提高和大量训练数据的标注，深度学习方法在许多科研领域中均获得了突破性研究成果，如图片辨识、自然语言处理和语音识别等。此外，深度学习方法在设备管理领域也受到了广泛关注，并且取得了丰硕的研究成果。目前使用的深度学习模型主要包含循环神经网络、卷积神经网络和自动编码系统等，以及上述方法相互结合的混合模型。
2.1.1 基于循环神经网络的设备管理如图 3所示，RNN(recurrent neural networks)的内部状态可表现为动态时序行为(当前时刻的输出不仅依赖于当前时刻的输入，还依赖于之前时刻的输出)，是由节点定向连接成环的深层神经网络。因此RNN对于时序信息具有很好的处理功能，适于处理前后有关系的信息[56]。设备的传感器数据本质上正是时序数据，所以可以看到在设备管理领域基于RNN方法的研究成果较多。当对时序数据进行处理后，RNN可以利用信息流在同一层中传输不同的时许信息、通过记忆单元存储各个时间的数据，从而发现各个时间信息对数据的影响关系[57]。
|
| 图 3 RNN示意图 Fig.3 Schematic diagram of RNN |
因为梯度消失现象的存在，传统RNN模式在实际问题中很难解决问题的长程依赖性关系。如图 4所示，作为RNN的新发展方式，长短期记忆网络(long short-term memory，LSTM)从某种意义上克服了梯度消失现象，能够预测时间序列中间隔较长的事件，因此在预测性维护领域受到了广泛关注。作为LSTM的主要改进形态之一，双门控循环单元(gated recurrent unit，GRU)结构相对更为简单，只有2个门控单元(重置门和更新门)，大大减少了运算复杂性，因而也获得了广泛应用。如图 5所示，双向长短期记忆网络(bidirectional long short-term memory，BLSTM)也是LSTM的改进形式之一，在处理时间序列时可以同时考虑过去和未来的信息特征对当前时刻的影响。另外，在当前研究中也有针对GRU的双向改进双向门控循环单元。
|
| 图 4 单层LSTM示意图 Fig.4 Schematic diagram of single-layer LSTM |
|
| 图 5 单层BLSTM示意图 Fig.5 Schematic diagram of single-layer BLSTM |
XIA等[58]利用循环神经网络(RNN)精确估计机器的剩余使用寿命(RUL)，采用dropout技术和衰减学习率来提高学习效率；在深层结构中结合LSTM和经典神经网络，从序列数据中提取时间信息；多传感器数据中的时序感知数据可以进行融合，并直接用作模型的输入；避免了传统方法中依赖先验知识和领域知识的手动特征提取。CHIU等[59]针对刀具RUL预测提出了一种具有全自动框架的RNN模型，通过减少输入数据字段的数量来修剪网络使模型本身保持不变，然后由所设计的框架自动建立轻量级的深度学习模型；在真实数据集PHM 2010上的实验验证了所提出模型的低成本和高精度。
针对工程系统RUL预测难题，HUANG等[60]结合双向长短期记忆网络(BLSTM)和粒子滤波(PF)技术的优势，设计了一种融合深度学习的预测方法；用BLSTM网络来提取、选择和融合鉴别特征，用PF对系统状态进行预判、对退化模型的未知参数进行识别；该方法无需特定的特种工程领域知识，由BLSTM网络获得的具有不确定性的预测测量值将以透明的方式由PF正确表示。LI等[61]在基于CNN和BLSTM的RUL预测方法中引入了监督注意力机制，使得具有更显著退化特征的信息性数据可以集中用于预测，而具有非区别性特征的数据可以忽略；通过一个砂轮退化图像数据集验证了该方法的有效性。
WU等[62]提出在进行RUL预测之前，采用基于随机森林的早期退化预警方法，然后将LSTM和GRU分别用于离子蚀刻机中冷却系统的RUL预测；通过PHM 2018数据集的实验结果表示门控循环单元(GRU)方法的性能更优。
针对长期预测问题，WANG等[63]设计了一种带有局部特征提取功能的异构GRU混合估计方法；其局部特征提取方式是通过把专家知识融合到深度学习模式中实现的，进而能够获取输入序列中的隐含知识；在GRU模型结构中设计中间层以获得长期预测的内在关系；通过系统化特征工程和最优超参数搜索对所提模型进行优化。DENG等[64]设计了一种集成GRU网络，将PF方法扩展到解析测量方程不可用的情况；所提出的GRU-PF混合方法将数据驱动模型和物理模型集成到粒子滤波网络中，以实现滚珠丝杠的RUL预测；该方法在预测敏感性方面性能优越。由于测量噪声和模型参数的影响，深度学习方法的RUL结果通常相差很大。针对预测的不确定性，SHE等[65]提出了一种基于bootstrap方法的BGRU预测模型，RUL的置信区间可以通过bootstrap方法获得；通过ABLT-1A轴承数据验证了RUL预测不确定性对于实际生产和制造的现实意义。
2.1.2 基于卷积神经网络的设备管理如图 6所示，CNN(convolutional neural network)是一种前馈神经网络，通常包含2个结构层：卷积层和池化层。卷积层采用将多种卷积滤波器与输入数据分析进行逐点卷积生产特性信息，可对高维数据进行降维算法处理，从而具备了自动获得有效特征的能力优势。池化层即下采样层，对不同层次的信息进行采集，进一步减小信息范围，增加防坠落的泛化作用。CNN的最大特点是融合了稀疏连接、加权共享、空间及时限上的降采样。通过卷积层与池化层逐层地对输入信息进行交替处理，最后得到了输入信息的平移、翻转和缩放等不变的特征信息。
|
| 图 6 CNN示意图 Fig.6 Schematic diagram of CNN |
CNN自提出以来被广泛应用于图像处理领域，近年来也被用于处理序列数据。WU等[66]提出了一种基于多阶段RUL的联合分类回归方法：从原始数据中获取特征的训练样本集合，对系统健康特征进行划分，通过回归算法进行分级RUL预测并估计总体RUL；与常规CNN等深度学习方法相比，该方法的预测精度能够提高约6.5%。SONG等[67]提供了一种可以表示权重序列数据的分布式注意力机制，首先分别对不同的工业传感器和时间量化步长进行了整体加权，然后通过具有共享权重信息的时间卷积算法模块对时间序列进行了特征抽取，最后使用C-MAPSS数据集检验了所提方法的准确度和效率。此外，胶囊网络(Capsule Network，CapsNet)是由GEOFFREY提出的传统CNN的替代方法。QIN等[68]提出一种慢变动态辅助时间CapsNet从测量值中同时学习慢变动态和时间动态，从而实现精确的RUL估计；在CapsNet中引入LSTM机制来捕获时间序列的时间相关性；分别通过飞机发动机和铣床数据集验证了该方法的优越性。
2.1.3 基于自动编码器的设备管理如图 7所示，AE(AutoEncoder)主要由编码器和解码器构成，是一种典型的非监督神经网络模式。编码器通过编码对输入信息进行特征提取得到深度特征表示。解码器则利用解码功能进行深度特征表示，实现信息重构。堆栈自动编码器(Stacked AutoEncoders，SAE)是堆叠成多个AE，再加以微调来训练整个模型。SAE有两个最常见的改进形式：稀疏自编码器(Spares AutoEncoder)和去噪自编码器(Denoise Auto-Encoder)。
|
| 图 7 AE示意图 Fig.7 Schematic diagram of AE |
Ren等[69]基于AE和全连接神经网络(fully-connected network，FCN)设计了一个针对滚动轴承的RUL预测框架：首先，通过时频小波变换联合特征的特征向量来描述滚动轴承退化过程；然后，采用车辆工程对信号特征进行自动检测和数据压缩；进而，使用深度FCN技术对滚动轴承RUL进行预测，实验表明，该方法能够取得较好的预测效果。SUN等[70]通过稀疏自编码器设计了一个深度迁移学习模式，使用了3种迁移策略，将从历史数据训练中得到的模型转移到新问题上，在没有训练监督信息的情况下对新目标做出了估计。SHI等[71]采用多维叠加稀疏自动编码器从原始振动信号的不同特征域中学习更多的特征，采用1维叠加稀疏自动编码器进行特征融合和更深层次的特征学习；引入改进的损失函数，提高学习能力；利用非线性回归函数来增强渐近式刀具磨损预测任务。
2.2 基于强化学习的生产过程自动化生产过程自动化是通过传感技术、计算机技术和软件工程等相关技术来完成数据的采集和运算，并将结果输出到执行器以实现控制生产工艺过程，能够有效简化操作人员的监测和维护工作，提高制造系统运营效率和安全性。针对生产过程自动化中的建模和优化问题，传统机理建模是基于某些特定简化和假设条件下进行的，并且需要对生产过程的物化特性、传输特性和动态特性有深刻的认识，导致相关的建模过程十分困难。传统的生产过程自动化优化方法一般是确定性优化方法(例如牛顿法、梯度法以及直接搜索法)，具有收敛速度快、优化搜索方向确定等优点，但同时它也具有优化结果依赖初始值、不易确定最优初始值和优化函数要求高的缺点。采用传统建模优化方法已难以满足复杂生产过程自动化的建模优化。随着数据挖掘等智能理论方法的广泛应用，强化学习在无人驾驶、自然语言处理、金融贸易等诸多领域都取得了突破性进展。此外，在工业自动化领域，深度学习方法也受到了广泛关注，取得了丰富的研究成果。
强化学习是一种基于数据的交互式学习建模方法，适合解决复杂、动态、不确定环境下的策略制定问题。学习者通过与环境交互来学习，通过尝试去发现何种行为会产生最丰厚的收益[72]。学习者的行为不仅能够影响当下的收益，还能够影响随后的收益。强化学习会不断权衡试探(选择过去未尝试的行为，使未来获得更好的机会)和开发(选择过去收益高的行为)的收益，因此试错和延时收益是强化学习最重要的两个特点。
2.2.1 基于强化学习的产品组装自动化目前已有一些研究将强化学习应用于产品组装自动化中，本文将这些研究分为两类，一类是从强化学习算法本身出发，通过改进强化学习方法来提高组装性能；另一类是通过将强化学习方法和传统方法相结合，来优化组装控制模型。
1) 改进的强化学习方法
改进的强化学习方法包括深度强化学习、分层强化学习、元强化学习和动态目标深度强化学习等。
山东大学LI等[73]基于深度强化学习方法，解决复杂组装过程中存在的不确定性问题。在马尔可夫决策过程框架下，组装过程用四元数序列表示。使用经过训练的分类模型作为奖励函数，主要目标是识别组装过程是否成功。所提出的技能获取方法旨在使机器人获得组装技能。模型的输入是组装过程的接触状态，输出是机器人动作。机器人可以根据当前状态调整自己的位置，学习下一步的合适动作。机器人只需很少的先验知识即可通过自我学习完成组装。结果表明，机器人具有通过技能获取进行复杂组装的能力。
清华大学HOU等[74]提出了一种基于数据的分层强化学习方法来解决机器人组装中的高维连续控制问题。分层强化学习的主要特点是可以学习对应于局部状态空间的分解子策略。该文作者首先设计了两个马尔可夫决策过程，分别从相同的样本中学习高级别策略和低级别策略。在设计高级别策略时，使用Softmax门控策略来确定与环境交互的低级别策略。通过从低级别的重放缓冲区中的离线(off-policy)样本学习较低级别策略，采用选项价值网络导出的高级别策略来学习相应的低级别策略。
德国西门子公司SCHOETTLER等[75]提出使用元强化学习方法来学习任务的潜在结构以解决工业机器人插入问题，聚焦在两个部件，即Misumi E型电连接器和轴上齿轮。为了获得适用于现实世界的通用元强化学习策略，首先在模拟中设计一系列任务来反映现实世界的任务。其次，在低保真模拟中执行元训练，使用元学习来更新学习策略和改进任务嵌入性能，以便快速适应新任务。最后将学习到的策略应用到现实世界中。
加拿大高等理工学院KAMALI等[76]基于动态目标深度强化学习方法来解决远程操作应用中的机器人手臂运动规划问题。该方法直观地将人类手部运动实时映射到机器人手臂，使用户能够通过手部动作平滑地控制机器人工具的位置和方向，在3D虚拟现实环境中监控其运动。该文作者设计了识别机器人嵌入式控制器的动态模型，将该模型与机器人运动学和碰撞模拟器RobotPath相结合，为训练深度强化模型提供了模拟环境。动态目标深度强化学习方法利用近端策略优化(PPO)算法进行深度强化学习，以在每次迭代中观察到的机器人关节值和参考轨迹来训练策略网络。真实机器人上获得的结果表明，所提出的硬件设置可用于工业机器人的平稳和安全的远程操作。
2) 强化学习方法与传统方法相结合
还有部分研究通过将强化学习方法与传统控制方法相结合，以提高组装性能。
美国伯克利大学LUO等[77]通过深度强化学习方法解决将刚性栓钉插入直径较小的可变形孔中的组装问题，该方法结合了强化学习方法镜像梯度下降策略搜索和传统的时变线性高斯控制器。机械臂传感器数据一方面用于集成到强化学习的策略学习过程中，另一方面用于与神经网络耦合的控制器中。这使机器人能够学习丰富的组装任务，而无需明确的关节扭矩控制方法。
德国西门子公司SCHOETTLER等[78]主要解决解决具有低容差的复杂工业组装任务，即具有视觉输入和不同自然奖励规范的工业插入问题。该问题涉及复杂的接触动力学和摩擦，传统的控制方法往往会导致控制器脆弱和不准确，必须手动调整。通过将强化学习方法与经典控制器的先验信息相结合，可以学习出有效的插入策略，有助于组装任务的广泛自动化。
美国伯克利大学LUO等[79]通过优化操作空间力控制器以解决高精度组装问题。具体方法是将迭代线性二次高斯法(一种强化学习方法)与力/扭矩信息相结合，将力/扭矩传感器数据运用到由神经网络参数化的全局策略中。迭代线性二次高斯法可以在很少的数据样本下获得较高的性能。在决策过程中明确考虑力/扭矩信息可以产生更好的泛化结果。实验结果表明在高精度组装问题上，该文作者提出的方法优于其他主流方法。
比利时鲁汶大学PANE等[80]提出了两种基于强化学习的补偿方法，以改善多自由度机器人手臂中反馈控制器的次优跟踪性能，具体做法是将补偿未建模像差的学习校正信号添加到现有标称输入中。补偿用一个连续的状态策略函数来实现，该函数由Actor-Critic算法构建。所提出的学习算法在6自由度工业机器人机械臂上进行评估，与比例- 微分(PD)、模型预测控制(MPC)和迭代学习控制(ILC)相比，实验表明基于强化学习的方法响应速度更快，并有相当大的精度提升。
2.2.2 基于强化学习的物流运输自动化在物流运输自动化中，环境具有随机性、动态性和不确定性。为了应对该类属性，强化学习在机器人/智能体的任务调度、路径规划和动态避障等方面得到了广泛应用。
中国科学院沈阳自动化研究所XUE等[81]以最小化平均作业延迟和总制造时间为目标，提出了使用强化学习方法来解决流水车间多台AGV协作调度问题。每台AGV配备机械手且在固定轨道上运行，在机器之间对半成品进行输送。通过对状态特征、动态空间以及激励函数等进行界定，把流水车间调度问题表述为马尔可夫决策问题，从而提供了一个基于强化机器学习的调度方式：所有AGV均参与共享相关智能体的即时状态和相关作业的完整信息，从而了解整个流水线车间的决策。仿真结果表明，基于强化学习的方法在动态环境中性能比传统多智能体调度方法更好。
西北工业大学LI等[82]提出了分布式、灵活和自组织的AGV任务分配方案，设计了两种改进的多智能体强化学习算法，包括多智能体深度确定性策略梯度信息势场法(MADDPG-IPF)和多智能体双向协调网络信息势场法(BiCNet-IPF)，以实现适应不同场景的AGV之间的协调。为解决奖励稀疏问题，该文作者提出了一种基于信息势场的奖励塑造策略，该策略提供逐步奖励并隐式引导AGV移动到不同的目标物料。
韩国成均馆大学LEE等[83]使用强化学习方法优化具有自动化物流的仓库环境下的移动机器人路径规划方案，构建了一个模拟环境来测试仓库环境中的路径导航，比较了两种基本的强化学习算法Q-Learning和Dyna-Q算法的算法性能。为尽量减少随机路径搜索，该方法在目标位置附近设置了较高的奖励值以减少低效探索，从而提高路径搜索精度并保持路径搜索时间。
菜鸟网络公司ZHANG等[84]提出了一种具有多步前进树搜索(MATS)策略的分布式多智能体强化学习(MARL)框架来解决动态多智能体路径查找问题，用于AGV取放包裹等仓储服务应用。该方法可很好地扩展到有大量智能体地真实世界环境中，且在线响应时间在可接受的水平内。
西北工业大学HU等[85]提出了一种结合强化学习和行为树的自适应交通避障控制模型，以解决离散制造车间的AGV系统中的效率、及时性和安全性问题。将AGV和交通指挥器等组件定义为相互自主协作的特定智能体，由行为树构建行为模型，枚举AGV交通控制中所有可能的状态。通过这种方法，AGV能够从现有的可选策略中自适应地选择最优的基于规则的策略。
2.3 基于合作博弈的生产运作管理传统的生产运作管理主要是以制造企业为研究对象，以制造业的规划与管理为焦点。针对生产运作管理的建模和优化问题，传统的数学规划建模存在求解困难、表达不直观的问题。常见的优化方法主要有启发式方法(遗传算法、粒子群算法、蚁群算法、禁忌搜索、模拟退火等)，具备运算量小、所需理论基础不高、更易量化和定性分析的特点，但也同时存在着表现不平衡、无法确保最优解及过于依赖于实际问题的弊端。
并且由于生产调度中个体之间存在激烈冲突，因此，可以通过博弈理论的手段来解决。CURIEL[86]首次将博弈方法引入调度问题，并结合合作博弈理论建立了博弈调度新范式：在单一机器环境下的调度问题中，加工工艺之间不具有生产约束，以加权完工时间作为目标函数。在随后的30余年内，学术界逐步产生了些许博弈理论在制造系统生产运作管理中的应用与研究；在调度方案的制定方面，通常是基于合作博弈理论进行展开。合作博弈强调的是团体理性的思想、是通过双方/多方合作来增加合作各方的利益以及整个系统利益，其能够体现效率和公正。在合作博弈理论中，均衡是指博弈各方均接受的收益分配方式，均衡的求解类型有很多，但几乎针对每类具体问题都有专门定义的解。
早在1838年，AUGUSTIN就阐述了“寡头竞争”问题，它后来成为学术界认可的博弈论核心理念纳什均衡的最早期版本。基于此，专家们对若干信息不充分的问题纷纷进行了探讨，而这些问题也正是现代博弈论的研究基石。而进入了20世纪60、70年代后，自博弈决策完美纳什平衡、完美贝叶斯纳什平衡、不充分信息博弈、动态博弈论等最新理论相继问世，极大推动了博弈论的发展，使博弈论逐渐成为分析社会经济问题的有力手段，并对决策者的合理均衡奠定了重要指导意义。典型博弈模型的基本要素主要有：1) 博弈方即博弈事件中能够独自判断、独自行动并独自承受行为后果的个人或团体；2) 博弈策略是指博弈各方在博弈过程中各种策略的集合；3) 效益函数也指博弈的收益，指博弈中各个策略执行后的结果；4) 均衡是博弈的最终目标。
2.3.1 基于合作博弈的生产调度基本模型面向智能制造的生产调度问题，其合作博弈的要素如表 1所示。
| 博弈方 | 加工设备 |
| 策略集 | 调度排序 |
| 效益函数 | 加工成本、加工时间等 |
| 均衡 | 基于纳什均衡、夏普利、帕累托等的最佳调度排序 |
如图 8所示是一种最基本的生产合作模式结构图：在生产调度问题中，主要任务是面向不同加工工艺的设备的加工任务，相应的策略函数集是各种设备的加工次序，只有在满足加工设备任务分配均衡的情况下，才能实现生产调度任务的最优排序。基于合作博弈的调度目标是通过博弈论的手段将生产资源合理的分配给多个生产任务(目标)。如图 8所示，现有的基于合作博弈思想的生产调度方法主要考虑到两方面的问题：1) 采用优化排序方法实现生产调度优化问题；2) 基于节约成本的理念，通过合作博弈方法探讨不同博弈方式间的协调关系。在智能制造生产系统中，与传统的调度不同，排序策略集中在动态环境下的实时调度，同时均衡方案的研究主要面向如何解决大规模数据下的模型求解。
|
| 图 8 合作调度基本模型 Fig.8 Basic model of cooperative scheduling |
在基于合作博弈的调度策略方面，面对动态车间的调度问题，TIAN[87]提出了将合作博弈方案和滚动水平重调度策略相结合的混合调度模型，并验证了该方法在实际调度问题中的可行性和有效性。与其他动态博弈调度模型不同，YANG[88]提出了考虑平衡任务可靠性的调度模型，使用合作博弈的策略计算节点上速度分配策略的任务，通过实验分析证明了该模型有较好的优化结果。WANG[89]将多智能体模型和博弈理论相结合，将调度策略根据系统的实时状态把任务优化分配给加工设备，有效实现大量实时数据下的制造车间调度问题。同样，解决大量实时数据下的生产调度，WANG[90]提出了一种基于多周期生产计划和博弈思想相结合的实时调度(MPPRS)方法，并通过实验案列验证该方法优于其他现有动态调度方案。
在调度均衡机制方面，面向优化工序配置、降低资源和能源消耗、降低生产成本等调度目标，ZHANG[91]构建了一种基于合作博弈的柔性车间调度动态优化模型，并设计开发数学模型构建、纳什均衡解、过程任务优化测量等关键技术，最后通过实际案例证明所提策略和方法的效率。基于此模型，ZHANG等[92]提出一种基于动态合作博弈的实时数据驱动多目标调度优化模型，并设计子博弈完美纳什均衡获得最优解。BASSO[93]提出使用近似博弈实现生产成本的稳定分配，并基于最大熵的方法对启发式寻优算法进行改进，提高了调度最优解的收敛速度。基于传统启发式算法的博弈学习模型在解决实际调度过程中复杂模型构造和庞大参数维度的问题时难以得到最优解，ZHANG[94]和ANANTH[95]将合作博弈理论和改进遗传算法相结合、设计了新型作业调度方法，通过非支配排序遗传方法(NSGA- II) 来获得Pareto最优解。针对多任务并行调度问题，XIAO[96]创新性地给出了一种基于生物地理学的扩展优化方法，将其与合作博弈调度模型相结合，通过与常规启发式方法做比较，验证了该算法可以实现更好的调度。
从目前的研究来看，合作博弈更加关注如何找到折中的调度方案，使各个博弈方都能够获取更大收益或者支出较少成本。在实时调度策略方面，现有研究主要将博弈理论和现有策略、框架(如多智能体系统)相结合实现有效实时调度；在调度进化策略方面，现有研究通过结合启发式算法寻求最优解，同时为解决复杂模型下不存在最优解、或难获得最优解的情况，一些学者提出近似解、或改进启发式算法提高收敛速度。
3 总结与展望本文详细综述了基于数据的建模与优化方法在设备管理、生产过程自动化、运作管理这三个复杂制造系统典型场景中的研究现状。随着社会对智能制造的需求更加多元化，对复杂制造系统的灵活性、可靠性、可持续性等要求也越来越高。可以从复杂制造系统两个组成要素(即复杂系统与制造系统)出发明晰当前复杂制造系统所面临的研究挑战与未来的发展方向。
在复杂系统中，临界性是揭示复杂系统结构不稳定的重要概念和性质，而且越来越多的实证研究表明很多自然复杂系统工作在近临界态[97]。在复杂制造系统中，系统的韧性研究具有重要科学意义和实际工程应用价值。因此对于复杂制造系统的展望可以从复杂系统临界层面和制造系统韧性层面展开。
3.1 复杂制造系统建模与优化面临的挑战随着系统复杂性的增加和高性能的要求，复杂系统近临界态日益成为研究的热点，特别是有关近临界系统演化行为模型、预测临界态发生规律、实现近临界态有效调控等问题。作为一类典型的复杂系统，复杂制造系统具备以下的复杂特征：系统层次的多样性、风险的随机性、动态行为的不确定性、状态参数的高度多维性、系统内部要素的非线性和高耦合性以及生产流程的复杂性等。从复杂系统临界角度分析，目前复杂制造系统在临界态建模、临界态预测、临界态调控优化三个方面面临着挑战。
1) 系统临界态建模问题。系统实现评估、预测、调整临界的前提是对系统临界的准确建模。目前对于复杂系统临界条件和近临界行为的研究侧重于系统的单参数调节，对真实系统的多维度复杂性考虑不足，难以用于实际复杂系统的因果建模和分析。因此，如何对复杂制造系统的临界状态准确描述、对临界状态及时分析、对临界进行准确建模，构建复杂制造系统近临界演化的多参数和多维度模型是当前面临的一大挑战。
2) 系统临界态预测问题。复杂制造系统生产流程高度复杂、内部要素非线性且高度耦合、系统时刻处于动态变化中，且仅在少量人工协助下运转，可能存在大量潜在系统风险、关键设备故障或外部恶意攻击等。而现有理论并未针对复杂制造系统这些特有的系统状态和风险进行临界评估，也就无法针对特有风险制定应对策略。目前经典动力学分析方法过度依赖动力学方程和模型参数，难以用于实际复杂系统；基于传统机器学习的方法模型可解释性差、系统可靠性和鲁棒性无法保证；而复杂系统各层级风险评估的研究也以一种相对孤立的方式进行。因此，如何将复杂系统近临界态与系统风险评估相结合是当前研究的又一大挑战。
3) 系统临界态调控问题。复杂制造系统缺乏有效的危机管控平台和完善的理论方法，来发现潜在风险、预测设备故障、抵御外部攻击，并从危机中快速恢复。由于复杂系统的临界态非常复杂，经典的控制方法需要强大的感知和执行能力，其现有的理论框架不适合相关的研究，导致经典控制方法不适用于复杂系统临界态调控。因此，复杂制造系统在利用临界态特点来实现系统调控和诱导干预方面仍然存在挑战。
3.2 复杂制造系统建模与优化的未来发展近年来，复杂性科学作为一种新兴的交叉性学科在社会系统、金融系统、电力系统、计算科学中得到了广泛应用。其中，在解决各类复杂系统中的风险传播和连锁效应分析和控制的问题时，复杂性科学中的临界理论具有很广的适应性。但在复杂制造系统中，运用临界理论来解决系统风险传播预警和控制问题的研究还非常缺乏。基于此，未来有必要深入研究基于临界理论的复杂制造系统的风险传播预警和控制，将有助于更深刻地揭示复杂制造系统在内外部风险下的演化规律，为制造企业提供更加及时精准的预警，并且保障复杂制造系统的安全高效运营。将可能的3个发展方向归纳如下：
1) 复杂制造系统临界态演化多参数模型构建
复杂制造系统临界建模需要在建模前需要考虑对系统临界性和可靠性较为重要的关键数据，以刻画工厂设备间深层耦合关系，为临界精准建模提供数据支撑。复杂制造系统的临界态演化模型构建在关注个别关键参数的基础上，还需要结合系统真实复杂性，可以利用动力学机制同时考虑多个影响因子构建近临界演化的多参数模型。接着可以进一步探索多相态跃迁的临界条件和形态以及暂态演变机理，建立复杂制造系统近临界自组织演化的多维度理论框架。在模型的基础上还可以进行临界演化的高阶相互作用规律探究以及临界演化的跨尺度涌现机制研究，以构建一套较为完整复杂制造系统在复杂系统临界层面的演化机理体系。
2) 考虑风险传播的复杂制造系统临界态预测
由于复杂制造系统面临制造环境随机因素和参数漂移等多种不确定性，在对采集到的多变量状态数据进行数据预处理和特征提取后，可以考虑采用高效的循环神经网络来预测复杂系统的临界态，针对不确定因素可以采用蒙特卡洛采样进行量化与管理，进而提升临界态预测的准确性和鲁棒性。在风险评估与临界预测结合方面，可以对系统内部近临界态相关风险因素进行识别，对复杂制造系统进行多尺度脆弱性评估，建立综合评估体系，并利用层次分析、模糊理论等方法预测基于近临界态的风险传播趋势。进而分析系统结构、模块动态、功能特征与系统风险之间的关系。可以基于因果推断理论进行多层级元部件复杂设备的可解释韧性评估，利用因果表示学习构建多模块、多层级、跨尺度的动态演化因果网络，以刻画复杂设备多层次元部件的跨层次相互作用机理。
3) 基于复合学习机制的复杂制造系统调控
复杂制造系统决策优化是调控系统临界态的有效技术手段，同时临界调控与决策优化具有竞合特性，有必要将二者协同考虑。机器学习和机理模型相结合是复杂系统临界态研究主要的方法之一，在复杂制造系统的调控方面可以基于深度学习的复杂系统近临界态量测方法并制定操控策略。考虑到演化博弈中个体自更新策略的特点，可以结合动态博弈方法或者自适应遗传算法来优化参数、解决动态环境下复杂制造系统生产需求-系统临界的策略选择问题，以达到让复杂系统朝着期望方向演化的目的。对于典型攻击下复杂制造系统的恢复问题，可以结合多智能体的方法来解决系统重构问题。同时，还可以使用迁移学习与主动学习的方法对崩溃系统进行训练、建模并应用到其它系统中，以增强系统韧性、提高系统应对未知攻击的能力。
| [1] |
宋运动. 柴油机装配流水线建模与仿真分析[D]. 西安: 长安大学, 2019. SONG Y D. Modeling and simulation analysis of diesel assembly line[D]. Xi'an: Chang' an University, 2019. |
| [2] |
BINDER C, AGIC A, NEUREITE C, et al. Applying model-based co-simulation on modular production units in complex automation systems[C]//2021 IEEE International Symposium on Systems Engineering. Piscataway, USA: IEEE, 2021: 1-6.
|
| [3] |
邱君降. 面向组织柔性的先进生产单元建模与仿真研究[D]. 北京: 北京科技大学, 2015. QIU J J. Research on modeling and simulation of advanced production unit for organizational flexibility[D]. Beijing: Beijing University of Science and Technology, 2015. |
| [4] |
江海凡, 丁国富. 基于Agent的制造系统建模与仿真研究[J]. 航空制造技术, 2018, 61(Z1): 54-61. JIANG H F, DING G F. Research on agent-based modeling and simulation of manufacturing system[J]. Aeronautical Manufacturing Technology, 2018, 61(Z1): 54-61. DOI:10.16080/j.issn1671-833x.2018.01/02.054 |
| [5] |
廖守亿. 复杂系统基于Agent的建模与仿真方法研究及应用[D]. 长沙: 国防科学技术大学, 2005. LIAO S Y. Research and application of agent-based modeling and simulation method for complex systems[D]. Changsha: National University of Defense Technology, 2005. |
| [6] |
张国军, 黄刚. 数字化工厂技术的应用现状与趋势[J]. 航空制造技术, 2013(8): 34-37. ZHANG G J, HUANG G. Application status and trend of digital factory technology[J]. Aeronautical Manufacturing Technology, 2013(8): 34-37. DOI:10.3969/j.issn.1671-833X.2013.08.003 |
| [7] |
TALEB I, ETIENNE A, SIADAT A. Productivity and human factors improvement in manufacturing systems-A systems-modeling and simulation approach[C]//2021 IEEE International Conference on Industrial Engineering and Engineering Management. Piscataway, USA: IEEE, 2021: 6-10.
|
| [8] |
KUHN M, FRANKE J. Data continuity and traceability in complex manufacturing systems: A graph-based modeling approach[J]. International Journal of Computer Integrated Manufacturing, 2021, 34(5): 549-566. DOI:10.1080/0951192X.2021.1901320 |
| [9] |
Mollajan A, Iranmanesh H, Khezri A, et al. Effect of applying independence axiom of axiomatic design theory on performance of an integrated manufacturing information system: A computer simulation modeling approach[J]. Simulation: Transactions of the Society for Modeling and Simulation International, 2022, 98(7): 535-561. DOI:10.1177/00375497211062892 |
| [10] |
李绍成. 基于OPC的可重构制造单元控制系统研究[D]. 南京: 南京航空航天大学, 2005. LI S C. Research on reconfigurable manufacturing cell control system based on OPC[D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2005. |
| [11] |
LEE T D, YOO S H, JEONG C S. HLA-based object-oriented modeling/simulation for military system[J]. Systems Modeling and Simulation: Theory and Applications, 2005, 3398: 122-130. |
| [12] |
吴志刚, 董明. 连续方法的多重入制造系统建模[J]. 工业工程与管理, 2010, 15(4): 79-82+123. WU Z G, DONG M. Modeling of multiple entry manufacturing systems using continuous method[J]. Industrial Engineering and Management, 2010, 15(4): 79-82, 123. DOI:10.3969/j.issn.1007-5429.2010.04.016 |
| [13] |
KUMAR R R, SINGH A K, TIWARI M K. A fuzzy based algorithm to solve the machine-loading problems of a FMS and its neuro fuzzy Petri net model[J]. International Journal of Advanced Manufacturing Technology, 2004, 23(5/6): 318-341. |
| [14] |
涂媚. 基于Petri网的柔性制造系统性能研究[J]. 产业创新研究, 2022(6): 28-31. TU M. Research on performance of flexible manufacturing system based on Petri net[J]. Industrial Innovation Research, 2022(6): 28-31. |
| [15] |
MAIONE G, NASO D. A discrete-event system model for multi-agent control of automated manufacturing systems[C]//IEEE International Conference on Systems. Piscatway, USA: IEEE, 2003: 1723-1728.
|
| [16] |
SHEN W M, LANG S Y T, WANG L H. IShopFloor: An internet-enabled agent-based intelligent shop floor[J]. IEEE Transactions on Systems, Man & Cybernetics: Part C-Applications & Reviews, 2005, 35(3): 371-381. |
| [17] |
ALSINA E F, CABRI G, REGATTIERI A. An agent-based approach to simulate production, degradation, repair, replacement and preventive maintenance of manufacturing systems[C]//IEEE Symposium on Computational Intelligence in Production & Logistics Systems. Piscataway, USA: IEEE, 2015: 24-31.
|
| [18] |
ROLóN M, MARTíNEZ E. Agent-based modeling and simulation of an autonomic manufacturing execution system[J]. Computers in Industry, 2012, 63(1): 53-78. DOI:10.1016/j.compind.2011.10.005 |
| [19] |
WANG C, GHENNIWA H, SHEN W. Real time distributed shop floor scheduling using an agent-based service-oriented architecture[J]. International Journal of Production Research, 2008, 46(9): 2433-2452. DOI:10.1080/00207540701738052 |
| [20] |
马建强. 基于Petri网的制造系统建模仿真及调度研究[D]. 金华: 浙江师范大学, 2010. MA J Q. Research on modeling simulation and scheduling of manufacturing system based on Petri net[D]. Jinhua: Zhejiang Normal University, 2010. |
| [21] |
ADEDIRAN T V, AL-BAZI A. Agent based model for complex flow shop manufacturing systems with customer-related production disruptions[C]//8th International Conference on Information Technology. Piscatawy, USA: IEEE, 2017: 767-773.
|
| [22] |
BRAILSFORD S, ELDABI T, KUNC M, et al. Hybrid simulation modelling in operational research: A state-of-the-art review[J]. European Journal of Operational Research, 2018, 278(3): 721-737. |
| [23] |
QI H, SHEN W. Implementing a hybrid simulation model for a kanban-based material handling system[J]. Robotics and Computer-Integrated Manufacturing, 2008, 24(5): 635-646. DOI:10.1016/j.rcim.2007.09.012 |
| [24] |
MAGNANINI M C, MASTRANGELO M, Tolio T. Hybrid digital modelling of large manufacturing systems to support continuous evolution[J]. CIRP Annals, 2022, 71(1): 389-392. DOI:10.1016/j.cirp.2022.04.020 |
| [25] |
袁明兰, 龙颖. 基于大数据分析的船舶通信网络优化研究[J]. 舰船科学技术, 2019, 41(1A): 175-177. YUAN M L, LONG Y. Research on ship communication network optimization based on big data analysis[J]. Ship Science and Technology, 2019, 41(1A): 175-177. |
| [26] |
林锋, 刘淼, 张宿义, 等. 基于大数据分析的酿酒工艺优化方法, 中国: CN111476428A[P]. 2020. LIN F, LIU M, ZHANG S Y, et al. Winemaking process optimization method based on big data analysis, China: CN111476428A[P]. 2020. |
| [27] |
尹树彬. 基于大数据分析的切削加工过程优化方法[D]. 哈尔滨: 哈尔滨理工大学, 2019. YIN S B. Cutting process optimization method based on big data analysis[D]. Harbin: Harbin University of Science and Technology, 2019. |
| [28] |
蔡培良, 李明, 华卫, 等. 基于物联网大数据分析的卷烟包装工艺参数自优化研究[J]. 机械设计与制造工程, 2020, 49(6): 1-4. CAI P L, LI M, HUA W, et al. Research on self-optimization of cigarette packaging process parameters based on internet of things big data analysis[J]. Machinery Design and Manufacturing Engineering, 2020, 49(6): 1-4. DOI:10.3969/j.issn.2095-509X.2020.06.001 |
| [29] |
DU S, XU R, LI L. Modeling and analysis of multi-product multistage manufacturing system for quality improvement[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2012, 50(19): 5523-5537. |
| [30] |
YANG Z, DJURDJANOVIC D, NI J. Maintenance scheduling in manufacturing systems based on predicted machine degradation[J]. Journal of Intelligent Manufacturing, 2008, 19(1): 87-98. DOI:10.1007/s10845-007-0047-3 |
| [31] |
YE Z, CAI Z, ZHOU F, et al. Reliability analysis for series manufacturing system with imperfect inspection considering the interaction between quality and degradation[J]. Reliability Engineering and System Safety, 2019, 1(189): 345-356. |
| [32] |
LUO M, YAN H. A data-driven two-stage maintenance framework for degradation prediction in semiconductor manufacturing industries[J]. Computers & Industrial Engineering, 2015, 1(85): 414-422. |
| [33] |
HE C, GUAN Z, LUO D, et al. Decomposition heuristic for parallel-machine transfer line design with dual-uncertainties-based chance constraints[J]. Engineering Optimization, 2019, 51(2): 199-216. DOI:10.1080/0305215X.2018.1457656 |
| [34] |
QIAO F, MA Y M, ZHOU M C, et al. A novel rescheduling method for dynamic semiconductor manufacturing systems[J]. IEEE Transactions on Systems Man & Cybernetics Systems, 2020, 50(5): 1679-1689. |
| [35] |
GIANNAKOPOULOS F P, MARTIRIGGIANO G, ZHENG X C, et al. A generic methodology for calculating rescheduling time for multiple unexpected events in the era of zero-defect manufacturing[J]. Frontiers in Mechanical Engineering, 2021, 1(7): 2297-3079. |
| [36] |
LI Y, CARABELLI S, FADDA E, et al. Machine learning and optimization for production rescheduling in Industry 4. 0[J]. The International Journal of Advanced Manufacturing Technology, 2020, 110(9): 2445-2463. |
| [37] |
MARSEGUERRA M, ZIO E. Optimizing maintenance and repair policies via a combination of genetic algorithms and Monte Carlo simulation[J]. Reliability Engineering and System Safety, 2000, 68(1): 69-83. DOI:10.1016/S0951-8320(00)00007-7 |
| [38] |
TSAI Y T, WANG K S, TENG H Y. Optimizing preventive maintenance for mechanical components using genetic algorithms[J]. Reliability Engineering and System Safety, 2001, 74(1): 89-97. DOI:10.1016/S0951-8320(01)00065-5 |
| [39] |
LAPA C M F, PEREIRA C M. A model for preventive maintenance planning by genetic algorithms basedin costand reliability[J]. Reliability Engineering and System Safety, 2006, 91(3): 233-240. |
| [40] |
苏春, 黄茁, 许映秋. 基于可用度和维修成本的设备维修建模与优化[J]. 中国机械工程, 2007, 18(9): 1-4. SU C, HUANG Z, Xu Y Q. Modeling and optimization of equipment maintenance based on availability and maintenance cost[J]. China Mechanical Engineering, 2007, 18(9): 1-4. |
| [41] |
王炳荣, 罗杰. 设备预防维修和生产计划集成优化模型[J]. 建设机械技术与管理, 2017, 30(9): 1-3. WANG B R, LUO J. Integrated optimization model of equipment preventive maintenance and production planning[J]. Construction Machinery Technology and Management, 2017, 30(9): 1-3. |
| [42] |
彭绪亚, 刘长玮, 刘国涛, 等. 排队论在垃圾转运站设备优化配置中的应用[J]. 重庆大学学报, 2008, 1(3): 273-241. PENG X Y, LIU C W, LIU G T, et al. Application of queuing theory in the optimal allocation of refuse transfer station equipment[J]. Journal of Chongqing University, 2008, 1(3): 273-241. |
| [43] |
席少辉, 陈庆新, 毛宁, 等. 大型串联有限缓冲制造系统设备优化配置方法[J]. 计算机集成制造系统, 2016, 23(10): 2200-2210. XI S H, CHEN Q X, MAO N, et al. Optimization method of equipment allocation for large-scale series limited buffer manufacturing system[J]. Computer Integrated Manufacturing Systems, 2016, 23(10): 2200-2210. |
| [44] |
ZARANDI M H F, ASL A A S, SOTUDIAN S, et al. A state-of-the-art review of intelligent scheduling[J]. Artificial Intelligence Review, 2020, 53(1): 501-593. DOI:10.1007/s10462-018-9667-6 |
| [45] |
HUA K, LIU B. Fuzzy project scheduling problem and its hybrid intelligent algorithm[J]. Applied Mathematical Modelling, 2010, 34(2): 301-308. DOI:10.1016/j.apm.2009.04.011 |
| [46] |
QIN H, FAN P, TANG H, et al. An effective hybrid discrete grey wolf optimizer for the casting production scheduling problem with multi-objective and multi-constraint[J]. Computers & Industrial Engineering, 2019, 128(1): 458-476. |
| [47] |
WANG K, LI X, GAO L. A multi-objective discrete flower pollination algorithm for stochastic two-sided partial disass-embly line balancing problem[J]. Computers & Industrial Engineering, 2019, 130(1): 634-649. |
| [48] |
ZHAO Z, LIU S, ZHOU M C, et al. Decomposition method for new single-machine scheduling problems from steel production systems[J]. IEEE Transactions on Automation Science and Engineering, 2019, 17(3): 1376-1387. |
| [49] |
BOGAERDT P, WEERDT M D. Multi-machine scheduling lower bounds using decision diagrams[J]. Operations Research Letters, 2018, 46(6): 616-621. DOI:10.1016/j.orl.2018.11.003 |
| [50] |
ALMAALEI N N H, RAZALI S N A M. Review of ACO algorithm on network and scheduling problem[J]. Compusoft, 2019, 8(7): 3250-3260. |
| [51] |
LI L, WANG Y, LIN K Y. Preventive maintenance scheduling optimization based on opportunistic production-maintenance synchronization[J]. Journal of Intelligent Manufacturing, 2021, 32(2): 545-558. DOI:10.1007/s10845-020-01588-9 |
| [52] |
LI K, ZHANG T, WANG R. Deep reinforcement learning for multi-objective optimization[J]. Journal of IEEE Transactions on Cybernetics, 2020, 1-12. |
| [53] |
黄楠, 刘富春, 赵锐, 等. 基于动态观测的随机离散事件系统故障诊断[J]. 控制与决策, 2022, 37(2): 417-423. HUANG N, LIU F C, ZHAO R, et al. Fault diagnosis of stochastic discrete event system based on dynamic observation[J]. Control and Decision, 2022, 37(2): 417-423. |
| [54] |
CHOI T M, TALEIZADEH A A, YUE X. Game theory applications in production research in the sharing and circular economy era[J]. International Journal of Production Research, 2020, 58(2): 118-127. |
| [55] |
ZARREH A, SAYGIN C, WAN H D, et al. A game theory-based cybersecurity assessment model for advanced manufacturing systems[J]. Procedia Manufacturing, 2018, 26(1): 1255-1264. |
| [56] |
周奇才, 沈鹤鸿, 赵炯, 等. 基于深度学习的机械设备健康管理综述与展望[J]. 现代机械, 2018(4): 19-27. ZHOU Q C, SHEN H H, ZHAO J, et al. Review and prospect of mechanical equipment health management based on deep learning[J]. Modern Machinery, 2018(4): 19-27. |
| [57] |
刘惠, 刘振宇, 郏维强, 等. 深度学习在装备剩余使用寿命预测技术中的研究现状与挑战[J]. 计算机集成制造系统, 2021, 27(1): 34-52. LIU H, LIU Z Y, JIA W Q, et al. Research status and challenges of deep learning in equipment remaining service life prediction technology[J]. Computer Integrated Manufacturing Systems, 2021, 27(1): 34-52. |
| [58] |
XIA M, ZHENG X, IMRAN M, et al. Data-driven prognosis method using hybrid deep recurrent neural network[J]. Applied Soft Computing Journal, 2020, 93(106351): 1-8. |
| [59] |
CHIU S M, CHEN Y C, KUO C J, et al. Development of lightweight RBF-DRNN and automated framework for CNC tool-wear prediction[J]. IEEE Transactions on InstrumentationI and Measurement, 2022, 71(2506711): 1-11. |
| [60] |
HUANG C G, YIN X, HUANG H Z, et al. An enhanced deep learning-based fusion prognostic method for RUL prediction[J]. IEEE Transactions on Reliability, 2019, 99(1): 1-13. |
| [61] |
LI X, JIA X, WANG Y L, et al. Industrial remaining useful life prediction by partial observation using deep learning with supervised attention[J]. IEEE/ASME transactions on mechatronics: A joint publication of the IEEE Industrial Electronics Society and the ASME Dynamic Systems and Control Division, 2021, 25(5): 2241-2251. |
| [62] |
WU S, JIANG Y, LUO H, et al. Remaining useful life prediction for ion etching machine cooling system using deep recurrent neural network-based approaches[J]. Control Engineering Practice, 2021, 109(1): 1-9. |
| [63] |
WANG J, YAN J, LI C, et al. Deep heterogeneous gru model for predictive analytics in smart manufacturing: application to tool wear prediction[J]. Computers in Industry, 2019, 111(1): 1-14. |
| [64] |
DENG Y, DU S C, JIA S Y, et al. Prognostic study of ball screws by ensemble data-driven particle filters[J]. Journal of Manufacturing Systems, 2020, 56(1): 359-372. |
| [65] |
SHE D, JIA M. A BiGRU method for remaining useful life prediction of machinery[J]. Measurement, 2020, 167(108277): 1-7. |
| [66] |
WU J Y, WU M, CHEN Z, et al. A joint classification-regression method for multi-stage remaining useful life prediction[J]. Journal of Manufacturing Systems, 2021, 58(3): 109-119. |
| [67] |
SONG Y, GAO S, LI Y, et al. Distributed attention-based temporal convolutional network for remaining useful life prediction[J]. IEEE Internet of Things Journal, 2020, 8(12): 9594-9602. |
| [68] |
QIN Y, YUEN C, SHAO Y, et al. Slow-varying dynamics-assisted temporal Capsule network for machinery remaining useful life estimation[J]. IEEE Transactions on Cybernetics, 2022, 4(1): 1-26. |
| [69] |
REN L, SUN Y Q, CUI J, et al. Bearing remaining useful life prediction based on deep autoencoder and deep neural networks[J]. Journal of Manufacturing Systems, 2018, 48(1): 71-77. |
| [70] |
SUN C, MA M, ZHAO Z B, et al. Deep transfer learning based on sparse autoencoder for remaining useful life prediction of tool in manufacturing[J]. IEEE Transactions on Industrial Informatics, 2019, 15(4): 2416-2425. |
| [71] |
SHI C, LUO B, HE S, et al. Tool wear prediction via multidimensional stacked sparse autoencoders with feature fusion[J]. IEEE Transactions on Industrial Informatics, 2020, 16(8): 5150-5159. |
| [72] |
SUTTON R S, BARTO A G. Reinforcement learning: An introduction[M]. Cambridge, UK: MIT Press, 2018.
|
| [73] |
LI F, JIANG Q, ZHANG S, et al. Robot skill acquisition in assembly process using deep reinforcement learning[J]. Neurocomputing, 2019, 345(1): 92-102. |
| [74] |
HOU Z, FEI J, DENG Y, et al. Data-efficient hierarchical reinforcement learning for robotic assembly control applications[J]. IEEE Transactions on Industrial Electronics, 2020, 68(11): 11565-11575. |
| [75] |
SCHOETTLER G, NAIR A, OJEA J A, et al. Meta-reinforcement learning for robotic industrial insertion tasks[C]//2020 IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway, USA: IEEE, 2020: 9728-9735.
|
| [76] |
KAMALI K, BONEV I A, DESROSIERS C. Real-time motion planning for robotic teleoperation using dynamic-goal deep reinforcement learning[C]//17th Conference on Computer and Robot Vision. Piscataway, USA: IEEE, 2020: 182-189.
|
| [77] |
LUO J, SOLOWJOW E, WEN C, et al. Deep reinforcement learning for robotic assembly of mixed deformable and rigid objects[C]//2018 IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway, USA: IEEE, 2018: 2062-2069.
|
| [78] |
SCHOETTLER G, NAIR A, LUO J, et al. Deep reinforcement learning for industrial insertion tasks with visual inputs and natural rewards[C]//2020 IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway, USA: IEEE, 2020: 5548-5555.
|
| [79] |
LUO J, SOLOWJOW E, WEN C, et al. Reinforcement learning on variable impedance controller for high-precision robotic assembly[C]//2019 International Conference on Robotics and Automation. Piscataway, USA: IEEE, 2019: 3080-3087.
|
| [80] |
PANE Y P, NAGESHRAO S P, KOBER J, et al. Reinforcement learning based compensation methods for robot manipulators[J]. Engineering Applications of Artificial Intelligence, 2019, 78(1): 236-247. |
| [81] |
XUE T, ZENG P, YU H. A reinforcement learning method for multi-AGV scheduling in manufacturing[C]//2018 IEEE International Conference on Industrial Technology. Piscataway, USA: IEEE, 2018: 1557-1561.
|
| [82] |
LI M, GUO B, ZHANG J, et al. Decentralized multi-AGV task allocation based on multi-agent reinforcement learning with information potential field rewards[C]//2021 IEEE 18th International Conference on Mobile Ad Hoc and Smart Systems. Piscataway, USA: IEEE, 2021: 482-489.
|
| [83] |
LEE H S, JEONG J. Mobile robot path optimization technique based on reinforcement learning algorithm in warehouse environment[J]. Applied Sciences, 2021, 11(3): 1209-1221. |
| [84] |
ZHANG Y, QIAN Y, YAO Y, et al. Learning to cooperate: application of deep reinforcement learning for online AGV path finding[C]//19th International Conference on Autonomous Agents and Multiagent Systems. Piscataway, USA: IEEE, 2020: 2077-2079.
|
| [85] |
HU H, JIA X, LIU K, et al. Self-adaptive traffic control model with behavior trees and reinforcement learning for AGV in Industry 4. 0[J]. IEEE Transactions on Industrial Informatics, 2021, 17(2): 7968-7979. |
| [86] |
CURIEL I, HAMERS H, KLIJN F. Sequencing games: A survey[J]. Annual Reviews in Control, 2022, 53(1): 161-186. |
| [87] |
TIAN S, WANG T, ZHANG L, et al. The internet of things enabled manufacturing enterprise information system design and shop floor dynamic scheduling optimisation[J]. Enterprise Information Systems, 2020, 14(9/10): 1238-1263. |
| [88] |
YANG J, JIANG B, LV Z, et al. A task scheduling algorithm considering game theory designed for energy management in cloud computing[J]. Future Generation Computer Systems, 2020, 105(1): 985-992. |
| [89] |
WANG J, ZHANG Y, LIU Y, et al. Multiagent and bargaining-game-based real-time scheduling for internet of things-enabled flexible job shop[J]. IEEE Internet of Things Journal, 2018, 6(2): 2518-2531. |
| [90] |
WANG J, YANG J, ZHANG Y, et al. Infinitely repeated game based real-time scheduling for low-carbon flexible job shop considering multi-time periods[J]. Journal of Cleaner Production, 2020, 247(119093): 1-13. |
| [91] |
ZHANG Y, WANG J, LIU S, et al. Game theory based real-time shop floor scheduling strategy and method for cloud manufacturing[J]. International Journal of Intelligent Systems, 2017, 32(4): 437-463. |
| [92] |
ZHANG Y, WANG J, LIU Y. Game theory based real-time multi-objective flexible job shop scheduling considering environmental impact[J]. Journal of Cleaner Production, 2017, 167(1): 665-679. |
| [93] |
BASSO F, GUAJARDO M, VARAS M. Collaborative job scheduling in the wine bottling process[J]. Omega, 2020, 91(102021): 1-8. |
| [94] |
ZHANG W, XIAO J, ZHANG S, et al. A utility-aware multi-task scheduling method in cloud manufacturing using extended NSGA-Ⅱ embedded with game theory[J]. International Journal of Computer Integrated Manufacturing, 2021, 34(2): 175-194. |
| [95] |
ANANTH A, CHANDRASEKARAN K. Cooperative game theoretic approach for job scheduling in cloud computing[C]//International Conference on Computing & Network Communications. Piscataway, USA: IEEE, 2016: 147-156.
|
| [96] |
XIAO J, ZHANG W, ZHANG S, et al. Game theory-based multi-task scheduling in cloud manufacturing using an extended bioge ography-based optimization algorithm[J]. Concurrent Engineering, 2019, 27(4): 314-330. |
| [97] |
Bak P. How the nature works[M]. Cambridge, UK: Cambridge Press, 1981.
|