2020, Vol. 29
在离散事件仿真、连续事件仿真、基于Agent的仿真这3大类仿真中, 国内关于离散事件仿真已有广泛的应用,但工程实施质量参差不齐, 与发达国家仍存在一定的差距. 如何提高仿真实施质量的问题亟待解决. 本文将侧重离散事件仿真, 结合现有的研究成果来对建模与仿真(Modeling and Simulation, M&S)实施质量进行综述.
经在知网数据库中以标题含有表1各检索词为条件进行检索, 检索结果如表1所示, 由此可见, M&S技术已经有比较多的应用, 但从很多文献中可以发现, 关于M&S的质量, 并没有在这些应用中体现出来. Annino JS等[1]指出仿真分析失败的7个原因分别为: 没有制定可实现的目标、基本技能不完整、用户参与程度不足、不恰当的细节水平、不合适的编程语言、使用未经验证或无效的模型、未能使用现代工具和技术. 这7种失败的原因都导致了没有实现高质量仿真工作的目标. Robinson S等[2]也探讨了通过质量方法降低仿真项目失败的风险, 其中特别强调了服务质量及其度量. Donn M[3]也提出在建筑设计上由于仿真方式存在的各种问题也降低了预测与现实之间关系的清晰度. 由此可见, M&S实施质量在仿真研究中至关重要, 它保证了整个仿真工作的可靠性. 在M&S中, 关于M&S实施质量并没有清晰明确的定义, 缺少系统性的研究框架和规范化体系. 为了系统研究M&S过程中实施质量的问题, 笔者试着梳理包含在M&S实施质量下的有可借鉴之处的各项研究成果, 为笔者之后M&S实施质量的规范化研究奠定基础, 也期望为之后M&S实施质量的研究提供重要参考.
|
表 1 仿真在物流领域的应用 |
1 M&S实施质量的定义及相关概念 1.1 M&S实施质量定义
IEEE建模与仿真术语汇编标准[4]、军事仿真术语[5]等中均没有M&S实施质量的定义的明确说明, 甚至, 在上述几个官方组织给出的术语汇编中, 没有提到质量这个词, 但是笔者发现在国内外学者的少数研究中, 给出了M&S实施质量的定义.
(1)由中国仿真学会编著的《建模与仿真技术词典》[6]中, 给出了仿真质量保证的定义: 保证仿真过程的各项活动满足计划要求的措施与技术, 典型的是校核、验证与确认技术. 这里给出的定义还是有一定的局限性, 只强调了校核、验证和确认, 没有从仿真工作开展的整个过程考虑M&S实施质量.
(2) Robinson S[7]针对离散事件仿真提出了仿真质量的概念, 他将仿真质量分为3个独立但相关的方面: 内容质量、过程质量、结果质量, 并分别解释了对应的含义和评估方法.
(3)根据仿真模型的种类不同, Asbjornsen OA等[8]分别定义了纯经验模型、基本原则模型、随机模型、模糊模型等模型质量的概念.
(4)国际标准化组织制定的软件工程标准文件ISO9126[9]给出了仿真中的质量标准, 其中包括6个特性: 功能性、可靠性、可用性、效率、可维护性、可移植性.
(5)从模型、数据、软件3个方面, Sherman GR等[10]对这3个方面的质量进行了研究, 并对高质量的科学仿真做了要求.
(6) Balci O[11-15]通过对一般仿真的生命周期的研究, 提出了适合一般仿真研究的可接受性评估的框架, 给出了仿真生命周期每个环节应该考虑的质量因素, 但是并没有给出对M&S实施质量的明确的定义.
从上述不同学者的研究可以看出, M&S实施质量在国内外尤其是国内的研究非常少, 而且没有明确的定义. 虽然M&S实施质量没有很多研究, 但是包含在M&S实施质量中的一些比较重要的概念还是有迹可循的.
1.2 M&S实施质量相关概念及辨析M&S实施质量涉及了仿真生命周期的方方面面, 系统性研究不多, 但笔者发现, 对仿真生命周期中某一部分的质量的研究却有不少.
(1)仿真生命周期
《建模与仿真技术词典》[6]中对仿真生命周期的定义如下: 仿真系统从概念实现到交付、使用和维护的整个过程, 包括仿真的需求分析、概念设计、详细设计、编码实现、系统集成、系统测试、系统交付、系统运行与维护等过程.
(2)逼真度
逼真度实施研究小组术语汇编[16]对逼真度的定义如下: 逼真度, 从字面意思理解, 它表明了一个事物对另一个事物的忠诚度. 在建模中, 逼真度用来表示一个模型代表其对应真实世界实体、属性或交互的忠诚度.
(3)验证(validation)、校核(verification)和确认(acceleration)
以上术语汇编中均有其定义, 下面做出总结.
验证(validation): 检查“是否做了正确的事情”, 以保证一个产品、服务或系统满足客户与利益相关者的要求, 遵循规定、规范说明或强制的条件, 往往包括可接受性与适合性. 其实就是仿真研究人员所建立的概念模型是否能够代表真实对象系统或者其正确性程度.
校核(verification): 将对象模型转化为计算机可执行的仿真模型时, 需要保证仿真模型是对象模型的正确实现, 典型的是进行程序调试, 这一过程成为校核.
确认(acceleration): 官方对一个模型或仿真系统可用于特定目的的认可.
另外, 以上相关标准、术语中, 还对仿真可靠性、可信性、粒度、可视化、结果验证等概念做了详细的解释, 在本文中将不再赘述. 以上概念虽没有直接提到M&S实施质量, 但也是研究M&S实施质量必不可少的环节, 对之后M&S实施质量的研究也有很重要的意义.
2 从不同的角度看M&S实施质量M&S实施质量没有明确的定义, 国内外的相关研究也很少. 已有的与M&S实施质量的研究大都集中在逼真度和仿真验证方面. 逼真度和仿真验证的研究现状在文献[17–19]中已做出详细的总结, 下面笔者将对M&S实施质量的研究进行总结. 目前, 国内外M&S实施质量的研究成果很少, 相关研究也不持续, 只能在众多文献找到几篇相关文献. 在现有的M&S实施质量的研究成果中, 笔者以标题含有“仿真”和“质量”为条件在各数据库进行了检索, 并筛选和总结相关的文献情况, 如表2所示. 经过对文献检索结果进行分类, 对应研究角度的文献情况如表3所示.
|
|
表 2 文献检索结果 |
|
|
表 3 文献检索结果分类 |
由此可以看出, 国内外对于M&S实施质量的研究是非常欠缺的, 但它作为M&S工作的重中之重, 其研究又是很有必要的, 因此, 加强M&S实施质量的研究来保证M&S工作的质量很有意义.
2.1 从仿真工作的整体研究M&S实施质量国内外学者关于M&S实施质量的研究方向各不相同, 有从仿真模型、数据、软件的角度, 如1984年, Sherman GR[10]提到从模型、数据、软件3个方面来保证仿真的质量, 文中Sherman提出了在质量保证程序和提高质量中的两个关键要素, 就是比较和严格审查. 他主张用仿真的数据和结果与现场观察的结果、备选方案、专家判断进行比较. 另外在这个过程中, 还要利用一定的标准和工具. 但是标准和工具是什么, Sherman并没有提及, 还需要之后进一步研究. 还有从仿真设计的角度, 如1986年, Ören TI[20]提出了认知仿真设计的质量保证, 并提出了一系列相关概念, 如实验条件的适用性、模型行为的比较、模型库的完整性、数据相关性等. 有从“什么构成了良好的M&S研究”角度, 如2008年Smith JS等[21]在总结各位学者关于“什么构成了良好的M&S研究”这一问题时, 提到其与其他学科的良好研究时相通的. 因此, 在进行M&S研究时可以借鉴其他领域的研究方法. 也有其他领域的M&S质量的研究, 如Gousseau P等[22]提供了一个关于隔离建筑物周围风流的LES计算的V&V研究; Wang Z[23]对机械系统仿真的稳定性、准确性、实时性和交互性进行了验证; 还有其他学者也进行了机械加工、医疗、地形等领域的仿真质量的研究.
除了上述研究方向各不同的文献, 值得一提的是李小奇关于仿真性和游景玉关于质量管理体系的研究. 李小奇[24]总结了目前仿真技术应用存在的问题, 针对这些问题首先提出航空产品仿真性的概念. 仿真性是为了满足用户的需求而达到的产品具有的质量属性. 游景玉等[25]从软件开发的角度结合ISO9000标准, 提出了管理者和软件开发过程中应该注意的问题, 并建立的相应的质量管理体系. 两位学者关于仿真性和质量管理体系的研究对之后的M&S实施质量的概念和管理体系规范化有很大的参考价值.
以上关于M&S实施质量的研究虽然已有些成果, 但由于每位学者所抓取的角度不同, 使得在总体的研究看起来比较混乱, 因此寻找一个比较好的角度来研究M&S实施质量是很有必要的. 将生命周期和M&S实施质量的研究结合起来进行系统有序的研究是目前笔者所能看到的比较好的研究方法. Balci O在文献[14]中从产品、过程、项目3个方面来评估仿真项目的质量, 之后在仿真生命周期、validation和verification等做出很多研究后. 2015年总结出了仿真建模生命周期中的质量指标[11], 在这篇文章中, 他针对建模和仿真生命周期的各个环节, 提出了相应的评价指标, 并给出了详细的解释. 图1是Balci提出的建模仿真的生命周期模型, 在此生命周期模型中, Balci从问题的提出到最后模型的保存和重复使用, 完整地呈现了仿真工作的整个流程.
|
图 1 Osman建模与仿真生命周期 |
随后, Balci针对生命周期的每个环节均提出了相应的质量指标.
(1) 制定问题的质量指标
哪些问题没有完全考虑到、利益相关者和决策者、约束、目标、数据和信息、假设.
(2) 需求质量指标
M&S需求准确性、清晰度、完整性、一致性、可行性、可修正性、稳定性、可测试性、可追溯性.
(3) 概念模型质量指标
在特定一类问题而不是一个仿真模型中概念模型的作用, 在任意类型的仿真模型中概念模型的作用, 仿真模型设计的可重用性、可组合性中概念模型的作用等.
(4) 结构质量指标
适应性、符合标准、可靠性、可部署性、可扩展性、互操作性、可维护性、可修改性、开放性、性能、可伸缩性、生存能力、可测试性、可用性.
(5) 仿真模型设计质量指标
适应性、复杂性、可组合性、正确性、详细程度、效率、灵活性、完整性、互操作性、可维护性、模块化、内聚、耦合、可移植性、可重用性、可测试性.
(6) M&S应用质量指标
M&S应用的可靠性、功能、性能、可支持性、可用性.
(7) 仿真结果质量指标
随机数发生器的可靠性、随机变数产生算法的正确性、随机变数产生算法转变为可执行代码的正确性、统计技术是否合适等.
(8) 提交结果质量指标
仿真结果解释是否正确、仿真结果记录是否恰当、仿真结果是否正确地传达给决策者、仿真结果是否正确地转换成了决策者理解的术语、仿真结果是否正确地转换成可视化的图表.
针对上述8个环节的质量指标, Balci对各个指标做出了详细的解释, 在本文中不再进行赘述. 质量指标有了, 那如何去衡量这些指标? 然而笔者并未发现Balci有后续的研究, 这也是笔者想要继续探索的.
2.2 从仿真数据研究M&S实施质量从表2可见, M&S实施质量的研究除了从整体研究外, 另外大部分研究都集中在数据方面. Byrne J等[26]提到数据收集占整个周期的40%的时间. 我们不仅要收集有效正确的数据, 还要将收集到的数据正确地用到仿真模型中. 由此可见, 数据在仿真实施过程中的重要性.
M&S过程中数据质量的评估, 不少学者结合数据生命周期建立了相应的质量管理框架. Reiter M等[27]提出了高质量的数据测量流程, 并描述数据监控和分析框架的质量, 将该测量流程集成到工作流管理系统中. Kopp O等[28]还介绍了控制仿真工作流程中数据质量的一些方法, 提出了一个仿真工作流程中的数据质量框架. 由决定数据质量的确定方法的框架, 转变为基于数据质量根据数据质量驱动服务来选择仿真服务. Vanbrabant L等[29]提出了一个数据质量框架, 对急诊电子病历中可能存在的数据质量问题进行了分类, 描述了数据质量评估技术, 使得医疗人员能够识别和量化输入数据中存在的潜在的数据质量问题. 徐刚等[30]从数据质量全过程控制、用户满意度、综合影响等因素, 建立了能够刻画电商平台数据质量控制变化的系统动力学模型, 并用仿真方法进行了有效性验证. 桑作军等[31]针对数据质量全生命周期管理的要求建立了军事M&S数据质量管理标准体系. 2011年韩志军等[32]建立了大型仿真系统数据质量评估的指标体系, 用六级标度法评分获得各指标的权重, 促进了大型仿真系统可信度的提升. 2016年韩志军等[33]又建立了大型仿真推演系统数据质量评价体系, 提出了定性指标的定量化、定量指标的无纲量化的指标指数确定方法, 以及主观赋权和客观赋权相结合的方法确定权重, 并基于AHP方法进行了实例分析.
另外, 关于输入数据建模方面, Sun GB等[34]提出对概念模型数据质量进行评估时要注意数据质量评估必须建立在一个前提上, 而不是凭空存在的. 比如: 一些数据可能对这个仿真是高质量数据, 而对另一个仿真来说是低质量的. 数据的verification是评估方法和过程的特定数据设置数据指标的过程, 比如正确性、完整性等, 从而保证选择到最合适的数据. 数据的validation是指完全能够代表真实对象系统的数据. 数据质量的评估是判断数据是否是正确的类型、质量、数量来支撑它们最初的目的. 另外, Sun GB从不同场景下的数据类型, 分别对数据质量的评估方法进行了研究. Hamad H[35]用预测精度的新方法评估元模型拟合精度的可接受性. Sugihara M等[36]提出的软错误估计技术是通过循环精确指令集仿真计算机计算系统中所有内存模块上的软错误数量, 并考虑他们的动态行为. Gaudiani A等[37]针对输入参数的不确定性, 提供了一种方法调整洪水模拟器以达到较低的误差.
对于数据质量评估指标及方法, Bokrantz J等[38]提出了一系列数据质量指标, 如可访问性、准确性、清晰度、完整性、一致性、通用性、精确性、相关性、分辨率、声誉和可跟踪性, 这些指标作为指导标准, 以确保高质量的生产数据. 高峰等[39]提出了适用于电网在线的数据质量评估方法, 包括模型评估、在线参数评估、在线调度计划评估, 及自动校准方法等, 极大的减少了工作量, 提高了在线安全稳定校核的精度. Zhang YC等[40]提出了影响仿真可信度的3个因素分别是数据、模型、场景, 并对复杂系统建模中的输入数据、过程数据、输出数据质量评估方法进行了阐述和总结. 另外, 张英朝等[41]还提出了数据质量建模的概念, 从准确度、完整性、时效性3个角度建立衡量数据质量的三维空间, 运用TOPSIS 方法来对复杂系统仿真各输入数据源数据可信性进行计算分析. Dong JQ[42]从what、when、where、how、who、which、why几个方面来评估仿真研究中的数据质量. 其中, what指数据包含了哪些信息, when指何时收集数据, where指数据收集的真实或者虚拟位置, how指如何生成数据, who指模型与现实中人或组织的联系, which指主要参数如何映射到现实世界, why指为什么数据会以这种方式产生, 为什么使用仿真方法是合适的.
数据V&V方面, 许国珍等[43,44]从数据生产者和数据使用者两个角度开展数据的V&V&C活动, 数据生产者通过质量元数据模板记录数据质量, 数据使用者通过V&V&C过程模型开展V&V&C活动, 并开发出了管理工具PVV&CM, 以实现对V&V&C的规范化管理.
以上, 笔者从数据质量管理框架、输入数据质量、误差管理、数据质量评估指标、数据V&V等方面总结了现有的研究, 数据作为M&S工作中重要的环节, 直接关系到概念的模型的质量, 进而关系到仿真模型的质量, 从而最终影响M&S实施的最终效果, 所以, 在M&S中, 数据质量管理环节必不可少.
2.3 从建模过程研究M&S实施质量怎么建模? 建模过程中应该注意什么问题? 这是M&S人员在工作时必须要考虑的问题. Buzacott JA等[45]从模型的输入输出、仿真时间长短、模型验证、模型有效性、用户交互、实验设计等方面分别介绍了如何进行装配的建模过程. Scholten H等[46]从整体仿真建模过程讨论了正确性、可靠性、可用性等质量问题, 建立了quasimodem模型, 它表示原始模型的结构和建模过程的行为, 它由一个链接帧结构组成, 用户可以对其进行调整. 动作有框架, 产品有框架, 每个动作产生一个产品, 使用一个或多个产品, 或由动作和产品的子结构组成, 使得建模过程变得明确可控. 两位学者的研究使我们应该注意在建模过程中应该明确建模的步骤, 每步的输入和产出分别是什么, 影响因素是什么, 以保证能够达到预期的建模效果.
2.4 从模型质量研究M&S实施质量前一小节的建模过程的最终产生的是M&S模型, 对于模型质量的评估, Markiegi U等[47]提出了基于150%可变性建模方法的可配置仿真模型的黑盒和白盒质量度量. 其中, 白盒测试质量度量包括结构覆盖、功能覆盖、特征两两覆盖, 黑盒质量度量包括基于反模式的测试质量度量、相似性. Dransch D等[48]在文中提到仿真模型必须按照以下标准进行评估: 模型行为的有效性、模型结构的有效性、经验有效性、预期目的的有效性. 另外, Dransch还提出了交互式可视化的概念, 以用户和任务为中心进行可视化设计, 方法包括3个步骤: 分析推理过程并创建域任务模型、推断认知行为并将其组合到类中、选择合适的可视化与交互技术及其与计算分析的结合方法. 并选择了以用户为基础, 以结果为导向, 形成了评价形式.
2.5 从仿真结果研究M&S实施质量还有少部分关于仿真结果的研究成果. Popescu V等[49]提出仿真结果的高质量可视化: 仿真交互对象使用先进的渲染技术渲染; 将仿真放置在周围场景的上下文中; 项目的可视化从建模开始. 这样能够使不了解此过程或没有参与调查的人能够理解模型. 另外Annino[1]、Stewart[2]两位学者总结了仿真项目失败的原因及风险, 这些都是不规范的操作导致的后果.
2.6 其他在做仿真工作时, 除了以上几个角度, 仿真研究人员的思路、逻辑对仿真工作的实施也有着很大的影响. Stevenson[9]提到M&S实施质量取决于所获得的见解的质量, M&S实施质量必须基于从已知科学中获得的见解, 管理和技术的脱节会导致仿真的不准确和不完整. 从中强调了科学理论的重要性. 另外, Stewart[7]针对离散事件仿真提出了仿真质量的概念; 日本学者白鸟正树[50]列举了工学仿真产生误差的各种原因, 并提出了从以下3个方面防止这些误差的产生: 从学术角度对误差进行定量化和最小化、工程仿真质量管理系统的体系化和标准化、提高技术人员的技能. 这也是笔者未来研究的工作重点.
3 关于M&S实施质量的总结M&S实施质量是仿真工作中的重要环节, 但是目前并没比较明确的定义, 因为相关研究没有系统化、规范化, 学者们也提到, 仿真质量这个词语并不常见, 但它的重要性却不可否认. 可见, M&S实施质量的研究至关重要.
从不同角度的M&S实施质量研究成果可以看出, 还是有很多值得借鉴的地方:
(1)将生命周期、ISO9000标准体系与M&S实施质量结合是一个比较好的研究方向;
(2)现有生命周期模型和质量指标比较完整但仍有不足;
(3) V&V作为贯穿M&S生命周期的重要部分, 在研究中必不可少;
(4)数据质量评估已经有比较完善的框架;
(5) 建模过程、模型质量等应该注意的问题, 即明确建模步骤, 准确把握每个步骤的输入和产出, 保证模型行为和结构的有效性;
(6)借鉴仿真分析失败、误差产生的原因, 要需制定可实现的目标、采用现代化的工具、注意细节、提高用户参与度等.
但是现有相关研究仍存在不足:
(1)现有的M&S实施质量的研究比较混乱, 没有系统化和规范化;
(2)大部分还属于比较片面的研究, 没有从整体出发;
(3)生命周期质量指标只有概念性的介绍, 缺乏后续的如何评估的研究.
4 结语高M&S实施质量是仿真工作的最终目的, 只有高质量的仿真才对真实对象系统具有决策意义, 国内大多数仿真的实施是不完整且不规范的, 如今正是缺少一个规范的仿真实施质量的框架, 因此, 建立一个完整规范的仿真实施质量框架是非常有必要的.
文中总结了M&S定义及相关概念、从仿真工作整体研究M&S实施质量、从仿真数据和模型等研究M&S实施质量这几个方面的研究成果. 其中, Blaci所提出的M&S生命周期模型及质量指标的概念对以后的研究有重要意义, 但Blaci并未对如何评估这些指标给出明确的阐述. 在今后研究中, 可以基于M&S生命周期模型, 对其中的数据质量、概念模型质量、仿真模型质量、软件质量等的指标进行评估, 提出比较规范的仿真实施质量框架, 供仿真人员参考, 提高M&S实施的质量, 为现实世界提供更可靠的建议.
| [1] |
Annino JS, Russell EC. The seven most frequent causes of simulation analysis failure: And how to avoid them. Interfaces, 1981, 11(3): 59-63. DOI:10.1287/inte.11.3.59 |
| [2] |
Robinson S, Pidd M. Service quality in the management of simulation projects. Proceedings of Winter Simulation Conference Proceedings, 1995. Arlington, VA, USA. 1995. 952–962.
|
| [3] |
Donn M. Tools for quality control in simulation. Building and Environment, 2001, 36(6): 673-680. DOI:10.1016/S0360-1323(00)00059-7 |
| [4] |
IEEE. IEEE Standard Glossary of Modeling and Simulation Terminology. New York: Institute of Electrical and Electronic Engineers, 1989.
|
| [5] |
国防科技大学. GJB 6935-2009 军用仿真术语. 长沙: 国防科技大学, 2009.
|
| [6] |
中国仿真学会. 建模与仿真技术词典. 北京: 科学出版社, 2018. 8.
|
| [7] |
Robinson S. General concepts of quality for discrete-event simulation. European Journal of Operational Research, 2002, 138(1): 103-117. DOI:10.1016/S0377-2217(01)00127-8 |
| [8] |
Asbjornsen OA. Quality Assurance and Control (QAC) of uncertainty models and simulations of Life Cycle Assessment (LCA). Proceedings of the 3rd International Symposium on Uncertainty Modeling and Analysis and Annual Conference of the North American Fuzzy Information Processing Society. College Park, MD, USA. 1995. 252–257.
|
| [9] |
Stevenson DE. A critical look at quality in large-scale simulations. Computing in Science & Engineering, 1999, 1(3): 53-63. |
| [10] |
Sherman GR. The quality of a scientific simulation. ACM SIGSIM Simulation Digest, 1984, 15(3): 10-14. DOI:10.1145/1102872.1102874 |
| [11] |
Balci O. Quality indicators throughout the modeling and simulation life cycle. In: Yilmaz L, ed. Concepts and Methodologies for Modeling and Simulation. Cham: Springer. 2015. 199–215.
|
| [12] |
Balci O. How to assess the acceptability and credibility of simulation results. Proceedings of the 21st Conference on Winter Simulation. New York, NY, USA. 1989. 62–71.
|
| [13] |
Balci O. Validation, verification, and testing techniques throughout the life cycle of a simulation study. Proceedings of Winter Simulation Conference. Lake Buena Vista, FL, USA. 1994. 215–220.
|
| [14] |
Balci O. Quality assessment, verification, and validation of modeling and simulation applications. Proceedings of 2004 Winter Simulation Conference. Washington, WA, USA. 2005. 129.
|
| [15] |
Balci O. How to successfully conduct large-scale modeling and simulation projects. Proceedings of 2011 Winter Simulation Conference. Phoenix, AZ, USA. 2011. 176–182.
|
| [16] |
ISG. Fidelity ISG glossary. Proceedings of 1998 Spring Simulation Interoperability Workshop. Orlando, FL, USA. 1998.
|
| [17] |
杨蓉, 刘玉坤. 建模与仿真逼真度理论与方法研究综述. 系统仿真技术, 2014, 10(2): 85-89, 95. DOI:10.3969/j.issn.1673-1964.2014.02.001 |
| [18] |
贾仁耀, 刘湘伟. 建模与仿真的校核与验证技术综述. 计算机仿真, 2007, 24(4): 49-52. DOI:10.3969/j.issn.1006-9348.2007.04.014 |
| [19] |
贾仁耀, 刘湘伟. 建模与仿真的动态V&V技术综述. 计算机仿真, 2007, 24(3): 79-82. DOI:10.3969/j.issn.1006-9348.2007.03.021 |
| [20] |
Ören TI. Quality assurance in cognizant simulative design. Proceedings of the 18th Conference on Winter Simulation. Chicago, IL, USA. 1986. 850–852.
|
| [21] |
Smith JS, Hamilton JA, Nance RE, et al. Panel discussion: What makes good research in modeling and simulation: Assessing the quality, success, and utility of M&S research. Proceedings of 2008 Winter Simulation Conference. Miami, FL, USA. 2008. 689–694.
|
| [22] |
Gousseau P, Blocken B, van Heijst GJF. Quality assessment of Large-Eddy Simulation of wind flow around a high-rise building: Validation and solution verification. Computers & Fluids, 2013, 79: 120-133. |
| [23] |
Wang Z. Interactive virtual prototyping of a mechanical system considering the environment effect. Part 2: Simulation quality. Comptes Rendus Mécanique, 2011, 339(9): 605-615. DOI:10.1016/j.crme.2011.06.003 |
| [24] |
李小奇. 仿真性-新的质量属性. 大型飞机关键技术高层论坛暨中国航空学会2007年年会论文集. 深圳, 中国. 2007. 569–579.
|
| [25] |
游景玉, 杨红兵, 沈彩虹. 在仿真行业建立和实施ISO9000质量体系的实践. 99全国仿真技术学术会议论文集. 珠海, 中国. 1999. 10–13.
|
| [26] |
Byrne J, Byrne PJ, Ferreira DCE, et al. The simulation life-cycle: Supporting the data collection and representation phase. Proceedings of the Winter Simulation Conference 2014. Savanah, GA, USA. 2014. 2738–2749.
|
| [27] |
Reiter M, Breitenbucher U, Dustdar S, et al. A novel framework for monitoring and analyzing quality of data in simulation workflows. Proceedings of the 2011 IEEE Seventh International Conference on eScience. Stockholm, Sweden. 2011. 105–112.
|
| [28] |
Kopp O, Breitenbucher U, Reiter M, et al. Quality of data driven simulation workflows. Proceedings of the 2012 IEEE 8th International Conference on E-Science. Chicago, IL, USA. 2012. 1–8.
|
| [29] |
Vanbrabant L, Martin N, Ramaekers K, et al. Quality of input data in emergency department simulations: Framework and assessment techniques. Simulation Modelling Practice and Theory, 2019, 91: 83-101. DOI:10.1016/j.simpat.2018.12.002 |
| [30] |
徐刚, 陈红, 荀启明. 电子商务平台数据质量控制系统及仿真模型分析. 现代情报, 2016, 36(11): 87-93. DOI:10.3969/j.issn.1008-0821.2016.11.016 |
| [31] |
桑作军, 丁国华, 吴海东. 军事建模与仿真数据质量管理研究. 四川兵工学报, 2015, 36(2): 84-86. |
| [32] |
韩志军, 吴蕾, 柳少军, 等. 大型仿真系统数据质量持续改进模型研究. 第十三届中国系统仿真技术及其应用学术会议(SSTA 2011)论文集. 黄山, 中国. 2011. 533–537.
|
| [33] |
韩志军, 李锰, 孙少斌. 大型仿真推演系统数据质量评估方法. 火力与指挥控制, 2016, 41(1): 77-80, 84. DOI:10.3969/j.issn.1002-0640.2016.01.018 |
| [34] |
Sun GB, Ming Y, Da W. Data quality evaluation process and methods of natural environment conceptual model in simulation systems. Proceedings of the Multiconference on Computational Engineering in Systems Applications. Beijing, China. 2006. 358–361.
|
| [35] |
Hamad H. A new metric for measuring metamodels quality-of-fit for deterministic simulations. Proceedings of the 2006 Winter Simulation Conference. Monterey, QB, Canada. 2006. 882–888.
|
| [36] |
Sugihara M, Ishihara T, Hashimoto K, et al. A simulation-based soft error estimation methodology for computer systems. Proceedings of the 7th International Symposium on Quality Electronic Design. San Jose, CA, USA. 2006. 196–203.
|
| [37] |
Gaudiani A, Luque E, García P, et al. Computing, a powerful tool for improving the parameters simulation quality in flood prediction. Procedia Computer Science, 2014, 29: 299-309. DOI:10.1016/j.procs.2014.05.027 |
| [38] |
Bokrantz J, Skoogh A, Andersson J, et al. A methodology for continuous quality assurance of production data. Proceedings of Winter Simulation Conference. Huntington Beach, CA, USA. 2015. 2088–2099.
|
| [39] |
高峰, 康建东, 薛晓辉, 等. 电网在线仿真数据质量评估及自动校准方法. 宁夏电力, 2017(1): 1-5, 11. DOI:10.3969/j.issn.1672-3643.2017.01.001 |
| [40] |
Zhang YC, Zhang J, Li W, et al. Research on quality-based data creditability evaluating method in complex systems simulation. Proceedings of the 2012 ACM/IEEE/SCS 26th Workshop on Principles of Advanced and Distributed Simulation. Zhangjiajie, China. 2012. 193–195.
|
| [41] |
张英朝, 张静, 李伟, 等. 一种基于质量建模的复杂系统仿真数据可信性评价方法. 2012年第14届中国系统仿真技术及其应用学术年会论文集. 三亚, 中国. 2012. 73–76.
|
| [42] |
Dong JQ. Numerical data quality in simulation research: A reflection and epistemic implications. Decision Support Systems, 2019, 126: 113134. DOI:10.1016/j.dss.2019.113134 |
| [43] |
许国珍, 焦鹏, 查亚兵. 仿真数据质量及VV&C研究. 计算机工程与科学, 2013, 35(4): 168-172. DOI:10.3969/j.issn.1007-130X.2013.04.030 |
| [44] |
许国珍, 焦鹏, 查亚兵. 基于元数据的仿真数据质量研究. 系统仿真技术, 2012, 8(2): 133-137, 148. DOI:10.3969/j.issn.1673-1964.2012.02.009 |
| [45] |
Buzacott JA, Cheng DWH. Quality modelling of assembly systems. Proceedings of the 16th Conference on Winter Simulation. Dallas, TX, USA. 1984. 360–371.
|
| [46] |
Scholten H, Udink ten Cate AJ. Quality assessment of the simulation modeling process. Computers and Electronics in Agriculture, 1999, 22(2–3): 199-208. DOI:10.1016/S0168-1699(99)00018-6 |
| [47] |
Markiegi U, Arrieta A, Etxeberria L, et al. White-box and black-box test quality metrics for configurable simulation models. Proceedings of the 23rd International Systems and Software Product Line Conference. Paris, France. 2019. 211–214.
|
| [48] |
Dransch D, Köthur P, Schulte S, et al. Assessing the quality of geoscientific simulation models with visual analytics methods— A design study. International Journal of Geographical Information Science, 2010, 24(10): 1459-1479. DOI:10.1080/13658816.2010.510800 |
| [49] |
Popescu V, Hoffmann C, Kilic S, et al. Producing high-quality visualizations of large-scale simulation. Proceedings of IEEE Visualization. Seattle, WA, USA. 2003. 575–580.
|
| [50] |
白鸟正树. 工学シミュレーションの品質マネジメント. エレクトロニクス実装学術講演大会講演論文集. 2012. 115–118.
|