Page 24 - 《软件学报》2021年第9期

2648 Journal of Software 软件学报 Vol.32, No.9, September 2021

否符合选择标准;
• 第 3 阶段:阅读全文筛选——我们通读了通过前两个阶段的文献全文,并保留符合预先定义的筛选标
准的文献.
表 5 给出了筛选过程的中间结果.
Table 5 Selection details of literaturefrom different search methods.
表 5 不同检索阶段的文献选择情况
阶段 手动检索 自动检索 滚雪球
准备阶段 − − −
阶段 1 75 92 18
阶段 2 28 87 16
阶段 3 8 44 9
在分配选择任务时,我们确保每篇文献的每个选择阶段都由至少两位作者完成.此外,每篇存在争议的文献
都要先由第三位作者进行评估,然后再通过讨论达成共识.如果这样还无法解决分歧,则将会和本研究的指导者
进行讨论,直到达成共识为止.此外,为了增强我们对文献筛选过程的信心,本研究在自动检索所得文献的筛选
过程中引入了 Kappa 评分 [21] ,并且最终 Kappa 评分结果为 0.722(“Good/Substantial”).另外,还有两项证据也可以
证明检索和筛选过程的全面性.
• 所有已知集合中的文献(来自试点文献综述)都可以通过检索过程找到,并且被选中;
• 从手动检索中选取的所有文献都包含在自动检索的选择结果中.
2.2.3 质量评估与模式识别
在研究集合的确定过程中,本工作还引入了质量评估(quality assessment)来排除一些质量较低的基础研究.
根据 Dyba 等人 [22] 的质量检查表,本研究制定了质量评估标准,该标准通过了本研究指导者的审查.在质量评估
过程中,我们根据评分情况排除了共 15 篇质量得分较低的基础研究.
在经过质量评估之后,本研究进行了模式识别,进一步排除了没有提及任何 DDDP 的基础研究(图 1).之所
以将模式识别作为一个环节而不是一项文献筛选标准,是因为一些目标文献可能在另一些文献的滚雪球阶段
被纳入进来,而后者可能并没有提及任何 DDDP 而只与领域驱动设计理论相关.这样做的目的是在收集文献时
尽可能全面地覆盖相关文献.我们排除了手动检索和自动检索中的 11 篇论文以及滚雪球检索中的 1 篇论文,最
终得到了 26 篇高质量基础研究.
2.3 数据抽取与合成
首先给出指导数据抽取过程的数据抽取项,然后描述对数据抽取结果的合成(synthesis)方法.在数据抽取和
合成环节中,我们主要使用 Nvivo(https://www.qsrinternational.com/nvivo)和电子表格来记录数据.
2.3.1 数据抽取
我们参照 Zhang 和 Budgen [23] 的方法定义了数据抽取项(见表 6),其主要由基础信息、研究背景以及研究问
题相关信息这 3 部分组成.其中:基础信息指的是文献的标题、作者以及发表时间等内容;研究背景指的是文献
的研究兴趣特征,这些信息可能会影响结果的解释方式;研究问题相关信息指的是文献中与 DDDP 相关的知识,
包括回答研究问题所需要的数据项.除了描述每个数据抽取项之外,表 6 还说明了本研究是否为这些数据抽取
项提供特定的代码,如果代码为“否”,则该抽取项使用自由文本进行提取.为了进一步确保数据抽取表的可靠性,
本文作者与指导者一起对其进行了审查,并且随机选择了 3 篇文献进行了试点研究(pilot study),并根据实验结
果对数据抽取项进行了改进.
在进行数据抽取时:首先,我们使用格式化的电子表格来统一数据抽取格式;然后,两位作者逐字逐句地阅
读文献并抽取相应的数据.在此过程中,来自研究文献的原始文本被原封不动地记录到数据抽取项中.此外,正
如 Cruzes 和 Dyba [24] 所推荐的,我们也将表格和图形作为数据抽取的素材粘贴到电子表格中.