Page 450 - 《软件学报》2024年第4期

2028 软件学报 2024 年第 35 卷第 4 期

3.3 混合输入交互原语的产生过程
指-笔混合输入交互原语产生过程是指从指点设备按下至其抬起的全过程, 既包括笔或手指单独交互, 也包括
指、笔交叉按下并行协作至其全抬起的过程. 隐式交互是指-笔混合交互最核心的特征之一, 交互原语是实现隐式
交互的主要手段. 在使用指、笔与触摸屏进行交互时, 计算机并不能直接识别用户的交互动作, 系统需要从其轨迹
信息中识别出与之对应的交互原语, 进而完成相应的交互任务.
交互原语是现实世界中用户的交互动作在计算机中的映射, 图 2 详细地描述了指-笔混合输入交互原语的产
生过程. 随着用户不断输入交互信息, 接收器不断地接收数据, 并利用时间器为它们添加时间标志; 之后, 接收器将
这些时空信息送到处理器, 处理器根据输入信息的设备特征将其分发给笔式原语识别器或指式原语识别器, 待识
别器识别完成后再将结果反馈给处理器; 处理器再将两个原语识别器的结果送入决策器; 决策器再次识别汇总后,
π 获得
将最终结果反馈给处理器; 处理器将最终的交互原语以概率分布的形式输出; 最后意图分布通过映射函数
最终的用户意图.

决策器

Device move
识别结果 决策
交互信息
Pen down
交互信息
Δt≥T' 或 输出 交互原语概率分布 π
接收器 处理器 交互原语
Device up (P{X=p i ) }
Touch down
交互信息
Δt≥T 或 时间信息 交互信息 交互信息
Device up 识别结果 识别结果

时间器 笔式原语识别器 指式原语识别器

图 2 指-笔混合输入交互原语产生过程

在指-笔混合交互原语的产生过程中, 其核心是数据处理, 主要包括接收器的数据预处理和处理器的交互原语
识别. 数据预处理主要工作是将数据归一化和去噪, 而交互原语识别是对数据进行的专业化、业务化处理. 图 3 通
过数据流程图的形式描述了处理器识别指笔混合输入交互原语的过程. 从流程图中可以看出, 本文所述模型不仅
可以识别指式和笔式交互原语, 还可以识别指-笔并行混合交互原语.
指-笔混合输入交互原语产生过程与以往交互原语的一个重要区别是支持过程中的增量识别. 交互信息较
少时, 识别器很难做出精准的原语识别, 只能得到几种交互原语的一个概率分布, 此时概率分布近似均匀分布,
不确定性较强; 随着交互信息的不断输入, 某种或某几种交互原语的概率明显增加. 如图 2 所示, 通过时钟可以
将用户的连续输入信息进行离散化, 时间间隔∆t 的引入为交互原语的实时识别提供了可能, 但系统向用户反
馈的时机可以依据识别到的原语类型和概率分布情况而有所差异, 如原语概率分布中的最大概率值大于阈值
直接作为最终识别结果, 而小于阈值不进行反馈或者在用户界面中以弹出菜单等形式向用户展示最有可能的
几种交互原语.