Page 128 - 《软件学报》2026年第5期

李信金 等: 视听协同的交互式步态干预训练 2007

user perception and feedback. This study proposes an audiovisual collaborative multimodal gait training method, which generates and
dynamically adjusts multimodal cues based on users’ gait data to investigate the feasibility of assisting early-stage PD rehabilitation. The
method constructs a multimodal cue generation framework to generate visual and auditory cues by calculating cycle and step height
parameters from gait data. Then, an interactive intervention training system is built to dynamically adjust the audiovisual cues based on
gait changes, which realizes the interactive iteration between user perception and multimodal cue generation. Finally, 40 patients with early-
stage PD (H&Y stage≤2) are recruited for a clinical experiment. Compared with the control group, the audiovisual synergy group shows
the best improvement effect. Compared with baseline, the gait symmetry in the audiovisual synergy group increases by an average of
20.776% (p=0.0001) during the training and 21.157% (p=0.0001) after the training, and the velocity on the affected side increases by an
average of 33.924% (p=0.0001) during the training and 36.433% (p<0.0001) after the training. The results indicate that audiovisual
synergistic cues can help patients improve gait performance more quickly and sustainably. The proposed multimodal cueing training
method based on gait data provides a new approach for the establishment of a quantitatively driven precision rehabilitation model, and
promotes the application and development of multimodal interaction technology in the medical field.
Key words: multimodal human-computer interaction; gait perception; multimodal cue generation; adaptive interactive intervention

帕金森病 (Parkinson’s disease, PD) 已经成为严重影响人类生命健康的重大疾病之一 [1,2] , 预计我国 PD 患者
2030 年数量占全球 PD 患者数量的 50% [3,4] , 因此探索 PD 康复治疗方法具有重要意义 [5,6] . 目前临床主要以症状缓
解对疾病进行治疗 [7,8] , 疾病的早期阶段是疾病治疗的关键窗口期 [3,6] . 早期 PD 患者通常单侧发病 [9] , 运动不对称
性显著 [10] , 容易跌倒受伤, 甚至死亡 [11] . 典型症状之一的步态障碍主要是由于大脑中负责运动的网络发生结构性
病变, 导致功能连接中断, 在早期阶段主要表现为拖曳步态 [12] . 研究发现多模态刺激对运动障碍会产生积极的影
响 [13,14] . 听觉、视觉等多种感官信息能够激活替代脑部路径, 使信息绕过受损的基底神经节, 通过其他功能区域抵
达小脑, 进而改善步态表现 [15,16] . 因此, 在训练过程中, 基于视觉、听觉等感官设计多模态提示来提供时间与空间
信息, 可以达到治疗的效果.
基于多模态提示的干预训练为 PD 治疗提供了新的解决方案. Anguera 等人 [17] 发现增加多模态认知任务的训
练能够改善认知神经缺陷, 并且能够延伸到未经训练的控制能力, 尤其是持续注意力和工作注意力. Kaminsky 等
人 [18] 发现以等距的平行线作为视觉提示来传达空间信息, 可以提升患者步行速度. Janssen 等人 [19] 发现 3D 楼梯作
为视觉提示能够降低患者的反应时间, 减少异常步态的发生. Thaut 等人 [20] 发现大脑对节拍和音乐两种听觉提示
具有灵活的反应能力. Braunlich 等人 [15] 发现规律性听觉提示可以改善步态速度、步频和步幅. 然而 PD 具有异质
性 [21] , 患者症状差异明显, 因此固定的外部提示 (如预置节拍或标准化视觉标记) 无法满足异质性带来的个性化需
求. 进一步地, Buated 等人 [22] 发现当检测到异常步态时, 以患者平均步长的距离投射绿色激光线, 能够有效改善患
者步行速度. Ahn 等人 [23] 发现以患者身高的 85.5% 为间距设置平行线, 能够有效增大患者的平均步幅. Awad 等人 [24]
发现基于患者步态表现生成听觉提示, 能够大幅提高患者步行速度, 并且这种提高可以在训练后得到保留. 虽然基
于单一模态外部提示的训练方法取得了一定的效果, 但是这些方法关注于双侧步态参数的提高, 主要针对中晚期
阶段的患者, 对于早期阶段的 PD 患者而言, 最主要的问题是单侧发病带来的步态对称性下降 [3] . 此外, 有研究指出
通过混合听觉和视觉等多模态信息能够降低认知负荷 [25] , 提升视觉空间和工作记忆 [26] . 来自多个感官的多模态信
息汇聚到相同的神经元上, 使得这些神经元能够协同工作, 能够有效提高处理能力, 并比平时更快地引发反应 [27] .
然而当前的干预方法大多基于单一的视觉或听觉提示, 缺乏对于多模态信息协同的探索, 并且缺乏对用户状态的
感知与反馈, 导致交互性不足.
本文主要有以下 3 个方面的贡献: 首先, 构建了以步态对称性为核心的多模态提示生成框架. 该框架通过惯性
传感器 (inertial measurement unit, IMU) 感知 PD 患者的实时步态数据, 进而计算患者左右肢步态周期与步高等参
数, 生成符合患者个性化特征的视听协同提示, 将用户步态数据转化为可解释、可调控的多媒体提示信息. 其次,
提出了针对早期 PD 患者步态障碍的视听协同训练方法, 并搭建了一套交互式干预训练系统. 该方法通过感知用
户行走过程中步态表现与视听协同提示的匹配情况, 动态调整提示参数, 实现了用户感知与多模态提示生成的交
互式迭代, 提升了康复训练的交互性. 最后, 开展了包含 40 例早期 PD 患者 (H&Y 分期≤2) 的临床实验, 量化视听
协同提示对患者步态表现的影响效果. 对比分析了不同模态提示下患者在步态对称性及步态参数方面的差异, 并