Page 451 - 《软件学报》2024年第4期

仝青山 等: 面向指-笔混合输入的交互原语和交互模型研究 2029

开始

指/笔信息输入

指
指点设备
类型?
笔

笔式原语识别器 指式原语识别器

笔式原语 指式原语

决策器

指-笔混合交互原语

结束
图 3 指-笔混合输入信息数据处理流程

3.4 指-笔并行混合交互原语示例
指-笔并行混合输入交互原语拓展了指笔交互的带宽, 是指-笔混合输入交互模型的重要组成部分. 根据指-
笔混合输入交互原语产生过程, 本文用按下 (device down)、移动 (device move)、抬起 (device up) 来抽象表示用
户与系统的交互. 利用这 3 个交互动作, 可以将交互原语进行初分类, 然后再根据初分类进行细分, 主要表现为
对 device move 数据的处理和识别. 接下来, 我们将结合示例来探索人的交互动作对并行混合交互原语的影响.
Device down、device move、device up 是触控交互系统中的基本事件, 是人的交互动作在交互系统的直接映
射, 是触控 (操作) 系统不可或缺的事件或方法. 这 3 个交互动作是交互系统获取交互信息的主要途径, 每个指-笔
混合交互原语都可以用它们来表示. Device down 或 device up 通常表示交互原语的开始、结束或原语内的状态转
换. Device move 用来接收用户指点设备的运动轨迹信息, 通常表示系统状态的变迁; 但由于用户难以将笔或手指
稳定在光滑的触摸表面上, 即使没有滑动的意图, 往往也会发生 device move 事件, 如图 4 所示的 HoldTap 混合交
互原语时序动作序列. 该图描述了指-笔混合交互过程中所有可能的 device move 操作, 显然它们是无意识下的指
点设备的微小移动, 全为噪声, 在进行交互原语识别时需要将其删除. 从交互动作序列中删除这些噪声, 得到了如
图 5 所示的 HoldTap 交互原语状态迁移图, 它不仅明确了交互原语的语义信息, 规范了交互原语的约束条件, 还使
交互原语更具有可识别性. 同时, 状态迁移图也隐含了状态转移概率的信息, 如 P(S 1 | S 2 ) = 1 和 P(S 2 | TouchDown) = 1.
从图 5 所示的状态迁移图中可以观测到, 新指点设备加入和退出必将引起系统状态的变化. 此外, 指点设备的
显著运动 device move (位移大于阈值) 也会产生状态的变化. 图 6 展示了去除噪声后的标准的 HoldPinch 混合交
互原语的交互动作序列, 其中 touch move 为 HoldPinch 原语的交互动作, 产生了大量的交互数据, 为原语识别提供
了数据支持. 图 7 为 HoldPinch 混合交互原语的状态迁移图, 它不仅描述了标准输入的状态转移信息, 还在核心区
′ ′ ′ ′ 一般表示用户输入动作错误或更改输入意
域添加了两种可能的状态迁移 S → S 3 与 S 4 → S 5 . 其中, 状态 S 2 与 S 5
2
图的情形; 用户的这种操作行为, 为交互原语识别增加了难度.