Page 21 - 《软件学报》2025年第8期

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn
2025,36(8):3444−3461 [doi: 10.13328/j.cnki.jos.007344] [CSTR: 32375.14.jos.007344] http://www.jos.org.cn
©中国科学院软件研究所版权所有. Tel: +86-10-62562563

*
神经网络的增量验证

刘宗鑫 1,2,3 , 迟智名 1,2,3 , 赵梦宇 1,2,3 , 黄承超 5 , 黄小炜 4 , 蔡少伟 1,2,3 , 张立军 1,2,3 , 杨鹏飞 1,2

1
(基础软件与系统重点实验室 (中国科学院 软件研究所), 北京 100190)
2
(计算机科学国家重点实验室 (中国科学院 软件研究所), 北京 100190)
3
(中国科学院大学, 北京 100049)
4
(University of Liverpool, Liverpool L69 3BX, UK)
5
(中国科学院大学南京学院, 江苏 南京 211135)
通信作者: 杨鹏飞, E-mail: ypfbest001@swu.edu.cn
摘 要: 约束求解是验证神经网络的基础方法. 在人工智能安全领域, 为了修复或攻击等目的, 常需要对神经网络
的结构和参数进行修改. 面对此类需求, 提出神经网络的增量验证问题, 旨在判断修改后的神经网络是否仍保持安
全性质. 针对这类问题, 基于 Reluplex 框架提出了一种增量可满足性模理论算法 DeepInc. 该算法利用旧求解过程
中关键计算格局的特征, 启发式地检查关键计算格局是否适用于证明修改后的神经网络. 实验结果显示, DeepInc
的效率在大多数情况下都优于 Marabou. 此外, 即使与最先进的验证工具 α, β-CROWN 相比, 对于修改前后均未满

足预设安全性质的网络, DeepInc 也实现了显著的加速.
关键词: 可满足性模理论; 深度神经网络; 增量约束求解; 局部鲁棒; 形式化验证
中图法分类号: TP311

中文引用格式: 刘宗鑫, 迟智名, 赵梦宇, 黄承超, 黄小炜, 蔡少伟, 张立军, 杨鹏飞. 神经网络的增量验证. 软件学报, 2025, 36(8):
3444–3461. http://www.jos.org.cn/1000-9825/7344.htm
英文引用格式: Liu ZX, Chi ZM, Zhao MY, Huang CC, Huang XW, Cai SW, Zhang LJ, Yang PF. Incremental Verification for Neural
Network. Ruan Jian Xue Bao/Journal of Software, 2025, 36(8): 3444–3461 (in Chinese). http://www.jos.org.cn/1000-9825/7344.htm

Incremental Verification for Neural Network
4
5
LIU Zong-Xin 1,2,3 , CHI Zhi-Ming 1,2,3 , ZHAO Meng-Yu 1,2,3 , HUANG Cheng-Chao , HUANG Xiao-Wei , CAI Shao-Wei 1,2,3 ,
ZHANG Li-Jun 1,2,3 , YANG Peng-Fei 1,2
1
(Key Laboratory of System Software (Institute of Software, Chinese Academy of Sciences), Beijing 100190, China)
2
(State Key Laboratory of Computer Science (Institute of Software, Chinese Academy of Sciences), Beijing 100190, China)
3
(University of Chinese Academy of Sciences, Beijing 100049, China)
4
(University of Liverpool, Liverpool L69 3BX, UK)
5
(University of Chinese Academy of Sciences, Nanjing, Nanjing 211135, China)
Abstract: Constraint solving is a fundamental approach for verifying deep neural network (DNN). In the field of AI safety, DNNs often
undergo modifications in their structure and parameters for purposes such as repair or attack. In such scenarios, the problem of incremental
DNN verification is proposed, which aims to determine whether a safety property still holds after the DNN has been modified. To address
this, an incremental satisfiability modulo theory (SMT) algorithm based on the Reluplex framework is presented. The proposed algorithm,
DeepInc, leverages the key features of the configurations from the previous solving procedure, heuristically checking whether these features

* 基金项目: 中国科学院基础研究青年团队计划 (YSBR-040); 中国科学院软件研究所新培育方向项目 (ISCAS-PYFX-202201); 中国科学
院软件研究所基础研究项目 (ISCAS-JCZD-202302)
本文由“形式化方法与应用”专题特约编辑陈明帅研究员、田聪教授、熊英飞副教授推荐.
收稿时间: 2024-08-23; 修改时间: 2024-10-14; 采用时间: 2024-11-27; jos 在线出版时间: 2024-12-10
CNKI 网络首发时间: 2025-04-21