Page 127 - 《软件学报》2026年第5期

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn
2026,37(5):2006−2023 [doi: 10.13328/j.cnki.jos.007540] [CSTR: 32375.14.jos.007540] http://www.jos.org.cn
©中国科学院软件研究所版权所有. Tel: +86-10-62562563

*
视听协同的交互式步态干预训练

李信金 1,2 , 王文婕 1,2 , 王 凯 3 , 脱厚珍 4 , 王诗雅 4 , 孙 伟 1 , 谭小慧 3 , 田 丰 1

1
(中国科学院 软件研究所, 北京 100190)
2
(中国科学院大学 计算机科学与技术学院, 北京 101408)
3
(首都师范大学 信息工程学院, 北京 100089)
4
(首都医科大学附属北京友谊医院 神经内科, 北京 100050)
通信作者: 孙伟, E-mail: sunwei2017@iscas.ac.cn; 田丰, E-mail: tianfeng@iscas.ac.cn
摘 要: 帕金森病 (Parkinson’s disease, PD) 影响着全球近千万的患者, 尚无根治方法, 但循证医学表明基于感官信
息提示的训练可以延缓疾病进展. 然而, 目前的研究大多基于单一模态, 且缺乏对于用户的感知与反馈. 为此, 提出
了视听协同的多模态步态训练方法, 基于用户步态数据生成并动态调节多模态提示, 进而探究其辅助早期 PD 康复
的可行性. 该方法首先构建了多模态提示生成框架, 通过用户步态数据计算周期和步高参数, 生成视觉与听觉协同
的提示; 然后搭建了交互式干预训练系统, 基于用户步态变化动态调整视听提示, 实现了用户感知与多模态提示生
成的交互式迭代. 最后, 在临床招募了 40 名早期 PD 患者 (H&Y 分期≤2) 进行实验, 与对照组相比视听协同组改善
效果最优, 与基线状态相比视听协同组在训练中和训练后步态对称性平均提高 20.776% (p=0.0001) 和 21.157%
(p=0.0001), 病患侧步速平均提高 33.924% (p=0.0001) 和 36.433% (p<0.0001). 结果同时表明, 视听协同提示能够更
快速、更持久地帮助患者改善步态表现. 所提出的基于步态数据生成多模态提示的训练方法, 为建立量化驱动的
精准康复模式提供了新思路, 促进了多模态交互技术在医疗领域的应用与发展.
关键词: 多模态人机交互; 步态感知; 多模态提示生成; 自适应交互式干预
中图法分类号: TP181

中文引用格式: 李信金, 王文婕, 王凯, 脱厚珍, 王诗雅, 孙伟, 谭小慧, 田丰. 视听协同的交互式步态干预训练. 软件学报, 2026,
37(5): 2006–2023. http://www.jos.org.cn/1000-9825/7540.htm
英文引用格式: Li XJ, Wang WJ, Wang K, Tuo HZ, Wang SY, Sun W, Tan XH, Tian F. Interactive Gait Intervention Training with
Audiovisual Synergy. Ruan Jian Xue Bao/Journal of Software, 2026, 37(5): 2006–2023 (in Chinese). http://www.jos.org.cn/1000-9825/
7540.htm

Interactive Gait Intervention Training with Audiovisual Synergy
1,2
4
4
3
1
1,2
3
LI Xin-Jin , WANG Wen-Jie , WANG Kai , TUO Hou-Zhen , WANG Shi-Ya , SUN Wei , TAN Xiao-Hui ,
TIAN Feng 1
1
(Institute of Software, Chinese Academy of Sciences, Beijing 100190, China)
2
(School of Computer Science and Technology, University of Chinese Academy of Sciences, Beijing 101408, China)
3
(Information Engineering College, Capital Normal University, Beijing 100089, China)
4
(Department of Neurology, Beijing Friendship Hospital, Capital Medical University, Beijing 100050, China)
Abstract: Parkinson’s disease (PD) affects nearly 10 million people worldwide, and there is no cure, but evidence-based medicine suggests
that training based on sensory cues can slow disease progression. However, most current studies are based on a single modality and lack

* 基金项目: 国家重点研发计划 (2024YFB2808801); 国家自然科学基金 (62332003, 82371254); 中国科学院软件研究所重大项目 (ISCAS-
ZD-202401)
本文由“多媒体智能理解与生成”专题特约编辑孙立峰教授、闵巍庆副研究员、马占宇教授、蒋树强研究员、彭宇新教授、田丰研究
员、黄庆明教授推荐.
收稿时间: 2025-05-24; 修改时间: 2025-07-11; 采用时间: 2025-09-05; jos 在线出版时间: 2025-09-23
CNKI 网络首发时间: 2025-12-11