Page 171 - 《软件学报》2021年第6期

刘霄 等:个体交互行为的平滑干预模型 1745

估指标.一共 4 项评估指标,分别为准确率、召回率、精确率和 F1 值,计算方式见表 4:准确率表示该模型判定结
果中正确判断的数量占总体行为数量的百分比;精确率是模型判断的真实异常行为与判断为异常行为的比率;
召回率是模型判断的真实欺诈交易数量占所有异常行为数量的百分比;F1 值为衡量模型性能的综合指标,是准
确率和召回率的调和平均值.
Table 4 Indicator calculation method
表 4 PSI 值的含义
Indicator name Calculation method
Accuracy (TP+TN)/(TP+TN+FP+FN)
Precision TP/(TP +FP)
Recall TP/(TP +FN)
F-measure 2×Precision×Recall/(Precision+Recall)

从实验结果图 13~图 16 可以看出:采用超球体模型(UR)进行的用户身份伪装行为异常检测实验中,采用
TDDA 行为引导后的各项指标均不同程度高于未采用 TDDA 引导机制.其中,
• 准确率结果如图 13 所示,指标平均提升 15.12%,说明在伪装行为识别中采用 TDDA 引导机制能够更准
确地判断出用户的正常行为和伪装异常行为;
• 精确率如图 14 所示,虽然在存在波动,但指标平均仍高出 14.10%,说明绝大部分用户中,采用 TDDA 引
导机制在判断异常行为方面更为出色;
• 召回率如图 15 所示,平均提升 10.87%,说明采用 TDDA 行为引导机制后,在精准判断异常行为的同时,
对于正常交易的误判情况也较少;
• F1 值如图 16 所示,F1 值反映模型的整体性能,可以看出:采用 TDDA 行为引导机制后,模型的 F1 值平
均提升 28.76%.即:采用 TDDA 行为引导机制后,模型的整体性能均优于未使用行为引导的原始场景.

Fig.13 OM model accuracy Fig.14 OM model precision
图 13 OM 模型检测准确率 图 14 OM 模型检测精确率

Fig.15 OM model recall Fig.16 OM model F1-value
图 15 OM 模型检测召回率 图 16 OM 模型检测 F1 值
通过对实验结果的分析可以看出:采用 TDDA 行为引导机制后,对于行为伪装异常检测的结果要比原始场
景有更好的整体性能.主要原因有以下几点:一是从用户的历史交互行为出发,基于用户行为的稳定性和偏向