Page 14 - 《软件学报》2021年第7期

1932 Journal of Software 软件学报 Vol.32, No.7, July 2021

Table 1 The search strings used in the four digital libraries
表 1 本文使用的文献数据库及其对应的搜索字符串
文献数据库 搜索字符串
(“Abstract”:uncertainty 或 “Abstract”:unpredictability 或 “Abstract”:indeterminacy 或 “Abstract”:non-
determinism) 和 (“Abstract”:requirement 或 “Abstract”:modeling 或 “Abstract”:analysis 或 “Abstract”:
IEEE Xplore architecture 或 “Abstract”:design 或 “Abstract”:testing 或 “Abstract”:development 或 “Abstract”:
specification 或“Abstract”:operation 或“Abstract”:verification 或“Abstract”:validation)和(“Abstract”:
“cyber-physical systems”或“Abstract”:“internet of things”或“Abstract”:“smart system”)
recordAbstract:((uncertainty 或 unpredictability 或 indeterminacy 或 non-determinism)和(requirement 或
ACM Digital modeling 或 analysis 或 architecture 或 design 或 testing 或 development 或 specification 或 operation 或
Library
verification 或 validation)和(“cyber-physical systems”或“internet of things”或“smart system”))
(uncertainty 或 unpredictability 或 indeterminacy 或 non-determinism)和(modeling 或 analysis 或
architecture) 和 (“cyber-physical systems” 或 “internet of things” 或 “smart system”)(uncertainty 或
unpredictability 或 indeterminacy 或 non-determinism) 和 (design 或 testing 或 development 或
ScienceDirect
specification) 和 (“cyber-physical systems” 或 “internet of things” 或 “smart system”)(uncertainty 或
unpredictability或 indeterminacy或 non-determinism)和(operation 或 verification 或 validation)和(“cyber-
physical systems”或“internet of things”或“smart system”)
(uncertainty 或 unpredictability 或 indeterminacy 或 non-determinism)和(requirement 或 modeling 或
Springer analysis 或 architecture 或 design 或 testing 或 development 或 specification 或 operation 或 verification
或 validation)和(“cyber-physical systems”或“internet of things”或“smart system”)

3.3 文献筛选

我们针对这些搜索到的文献,设计了一系列的筛选标准,用来删除不符合预定义标准的文献,保留相关文
献.经过对文献进行筛选,可以保证筛选后的文献与本文的研究主题相关,有助于回答设定好的研究问题(详见
第 3.1 节).我们首先设计了一系列能够自动判断的删除标准,分别为:
(1.1) 该文献是否是英文文献?如果不是,则删除;
(1.2) 该文献是否存在重复的文献?如果有,则删除重复;
(1.3) 该文献是否可以全文下载?如果不可以,则删除;
(1.4) 该文献的长度是否不少于 4 页?如果不是,则删除.
同时,为了保证文献确实与本文的研究目标相关,我们还设计了一个需要人工判断的文献筛选标准.
(2.1) 该文献是否研究针对复杂系统的不确定性问题?如果是,则保留.
针对检索到的原始文献数据,我们首先依次通过工具应用筛选标准 1.1~1.4,再应用人工筛选标准 2.1.如果
某个文献同时满足上述的所有标准,则保留.反之,则删除.由于人工选择标准的判定比较主观,为了保证文献筛
选的质量和有效性,我们按照如下步骤进行文献筛选.
(1) 同一篇文献由本文的两位不同作者同时进行判定,两位作者不知道对方的判定结果.
(2) 如果他们得到了一致的判定结果,则该文献的最终结果为两位本文作者的一致结果.
(3) 如果他们得到了不同的判定结果,则两位本文的作者需要进行协商以得到一致的结果.
3.4 文献质量评估与保障
针对筛选后的文献,我们从质量报告、严谨性、可信性和相关性 4 个维度对其进行质量评估 [26] .通过详细
调研相关工作,我们设计了 12 个文献质量指标,见表 2,针对每一篇文献从以下 4 个维度对其质量进行评估.
(1) 质量报告,主要涉及到研究的相关原理、目标和背景的报告质量,涉及到的文献质量指标为 Q1~Q4.
(2) 严谨性,主要涉及到研究方法、研究设计、分析方法的严谨性、相应的工具支持以及收集足够的项目
数据集和案例,涉及到的文献质量指标为 Q5~Q9.
(3) 可信性,该维度主要为了确保文献相关结论的有效性以及具有一定的意义,涉及到的文献质量指标为
Q10 和 Q11.
(4) 相关性,该维度为了探讨文献是否对工业界和学术界有价值,涉及到的文献质量指标为 Q12.
针对每一个质量指标,我们制定了对应的评分标准.其中 3 个文献质量指标(Q2、Q8 和 Q9)采用基于二元度