Page 447 - 《软件学报》2024年第4期

仝青山 等: 面向指-笔混合输入的交互原语和交互模型研究 2025

置信息, 结合指-笔混合交互的双设备融合特征以及时序特征, 我们将指-笔交互信息 (pen-touch information, PTI)
定义为 PTI = <Position, Time, Device>, 表示某时间、某种指点设备在触摸屏上的位置. 其中, Position 为平面坐标
系中的 X、Y 坐标, Device 是指 Pen 或 Touch 两种指点设备. 指点设备在持续交互过程中的轨迹信息可以表示为
交互信息的集合 (pen-touch information set, PTIS), 即 PTIS=<PTI 1 , PTI 2 ,…, PTI n >, 可以描述某时间段内所有指点设
备的状态变化.

交互信息 原语生成器
时间序列 意图提取器
t 11 时刻 处理器
指笔信息输入 任务生成器

基于 POMDP 的
笔式识别器 意图识别器
t 12 时刻 交互原语 交互意图
指笔信息输入

… 指式识别器 上下文

t 1m 时刻 决策器
指笔信息输入

… … … … …
交互信息 原语生成器

t n1 时刻 处理器
指笔信息输入 任务生成器
基于 POMDP 的
笔式识别器 意图识别器
t n2 时刻 交互原语 交互意图
指笔信息输入

… 指式识别器 上下文

t nm 时刻
指笔信息输入 决策器

图 1 指-笔混合输入交互模型

● 交互原语: 交互原语是用户施加到计算机上的独立的、不可分割的最小操作 [2] , 反映了人的交互动作的运
动状态和方式. 根据指点设备在触摸屏上的运动轨迹信息, 利用二维空间上的时间、空间约束, 可将其划分为多种
交互原语, 以完成更多的交互任务, 如单击、长击、平移、绘制等交互原语. 本文中的交互原语不仅包括归一化的
独立或串行的指、笔交互原语, 还包括并行的混合交互原语, 如表征“笔长击同时双指旋转”的原语.
● 原语生成器: 原语生成器由处理器、笔式原语识别器、指式原语识别器和决策器构成, 它们一起协作对接
收到的交互信息进行预处理和标准化、轨迹识别、混合原语决策等操作, 最终得到当前输入的交互原语.
● 意图: 在人机交互领域, 用户意图主要是指计算机对用户交互动作的理解和处理, 主要表现为从多种可能性
中识别出用户的真实意图. 不同上下文中的同一交互动作可能有多种交互意图, 最终目标是借助计算机来完成用
户期望的交互任务. 本文中交互意图主要指用户期待的计算机操作, 尤其指需要结合上下文才能确定的复杂交互