Page 170 - 《软件学报》2021年第6期

1744 Journal of Software 软件学报 Vol.32, No.6, June 2021

为了验证引导前后用户交互行为具备一定的变化差异,我们引入评价指标:群体稳定性指标 PSI(population
stability index),用来衡量行为引导前后用户登录概率分布之间的变化差异.在风控建模领域,PSI 常用来验证样
本在各分数段的分布与建模样本分布的稳定性,判断建模时期样本与当前样本的偏差,用以衡量用户群体稳定
性和适应性.计算公式如下:
n ⎛ A ⎞
psi = (A − ∑ i E × i ) ln ⎜ i , ⎟
i= 1 ⎝ E i ⎠
其中,A i 为实际占比,E i 为预期占比.PSI 数值越小,两个分布之间的差异就越小,代表越稳定.一般来说,PSI 所反映
的差异性见表 2.
Table 2 Meaning of PSI value
表 2 PSI 值的含义
PSI 值的范围 稳定性 建议事项
0~0.1 较稳定 没有变化或很少变化
0.1~0.25 略不稳定 有一定变化,注意后续变化
>0.25 不稳定 发生明显变化,进行模型分析
我们分别计算了各个用户在引导前后登录时间概率所对应的 PSI 值,见表 3.

Table 3 PSI value of each user
表 3 各用户的 PSI 值

用户 Before guidance Before and after guidance After guidance
1 0.105 303 0.466 226 0.146 624
2 0.169 659 1.556 132 0.166 411
3 0.124 616 0.628 511 0.167 358
4 0.109 631 0.973 336 0.100 913
5 0.142 602 0.658 965 0.165 745
可以看出:
• 在系统中施加行为漂移引导模型前,各用户的登录时间概率分布对应的 PSI 值变动均低于 0.17,其中大
部分用户低于 0.15,说明用户的登录行为在不受系统行为额外干预的状态下保持了相对的稳定性,因
此,行为伪装欺诈成为可能;
• 在系统施加了漂移引导模型的激励机制后,用户在引导前后登录行为概率分布对应的 PSI 均发生了不
同程度的变化,各用户的 PSI 均大于 0.45,即:在激励机制下,使得用户的登录时间概率分布较原始场景
发生了较为明显的变化;
• 在持续施加行为引导激励机制后,各用户的 PSI 趋于稳定保持在 0.16 左右,与原始行为的稳定性相比
略有降低.
实验证明:在系统中施加行为漂移引导模型的激励机制后,用户的登录时间分布发生了明显的变化;且在本
文提出的激励机制引导下,用户行为变化后产生的新登录行为模式相对稳定.与原始登录时间分布相比,既保持
了一定的区分性也保证了行为变化的平滑性.
3.2.2 伪装行为异常身份识别
u
u
u
u
本文采用的用户身份识别方法为基于系统交互行为的 LTA ,WTA ,LIA ,KSA 合并的 24 维向量进行用户交
互行为建模,采用前期研究 [25] 中提出的超球体检测模型(UR)分别对各个用户在引导前后两组数据集上进行身
份伪装异常行为检测.
由于本文是对异常行为的识别,所以对混淆矩阵稍作修改,重点放在异常交互行为的判别,即修改后的混淆
矩阵:TP(true positive)是模型将真实异常行为判断为异常行为的数量,FP(false positive)是真实正常行为被模型
判断为异常行为的数量,TN(true negative)是真实正常行为被模型判断为正常行为的数量,FN(false negative)是
真实异常行为被模型判断为正常行为的数量.
为了能让比较结果更加有说服力,本实验使用欺诈识别领域文献中常见的几个指标作为本论文实验的评