Page 445 - 《软件学报》2024年第4期

仝青山 等: 面向指-笔混合输入的交互原语和交互模型研究 2023

正在从单通道输入向多通道、多设备的混合输入演变 [1−3] , 传统的串行指-笔输入正逐渐向指-笔融合输入过渡 [4] .
近几年, 指-笔混合输入问题已成为学术界关注的热点问题 [5−9] .
目前, 指-笔混合输入的研究工作主要集中于两个方面: 一是探索指-笔交互协作的理论框架, 二是面向具体场
[6]
景的指-笔混合输入方式. Guiard 提出双手动作不对称性的初步理论框架, 该框架描述了人类在各种熟练的体力
活动中两只手的使用偏好, 指出了在活动中两只手扮演角色的差异以及彼此之间的配合; Microsoft Research 的
Hinckley 等人 [7] 基于物理纸笔下用户的输入行为, 提出了 Pen 书写、Touch 操作、Pen + Touch 混合的操作方式;
Pfeuffer 等人 [8] 与 Hinckley 等人 [9] 进一步对平板上的 Thumb + Pen 进行了研究, 提出了惯用手直接操作、握持设
备的非惯用手间接操作等操作方式. 这些指-笔协作方式的研究成果, 为利用指-笔组合操作解决实际问题奠定了
基础. Romat 等人 [10] 将 Pen + Touch 输入应用到文档编辑和审阅中, 实现了特定区域的空间调整; Srinivasan 等人 [11]
利用 Pen + Touch + Speech 解决了不同类型数据在平板上的一致性可视化问题; Pfeuffer 等人 [12] 提出了利用 Pen +
Touch 实现三维操作技术 Bi-3D. 整体来看, 当前的研究工作主要集中于如何利于指-笔解决特定问题, 缺乏一般情
境下的指笔交互问题研究, 如指-笔并行交互机制、指-笔混合交互模型、多义性交互动作意图理解等.
时间连续性、特征多维性和意图不确定性是指-笔交互的显著特征 [1] , 也是构建指-笔混合交互模型的基础. 很
多学者在相关领域进行了研究, 如田丰等人 [13] 提出了 PIBG 笔式交互范式并对笔手势进行了深入探索, Li 等人 [14,15]
提出了混合自动机的概念并对触摸屏上的手势识别进行了深入研究, 刘杰等人 [16] 提出了三维连续交互空间下的
混合手势交互模型. 虽然这些工作的研究重点不是指-笔混合输入, 但对指-笔混合交互原语的定义、指-笔融合方
式和指-笔状态描述都有很好的指导意义.
为此, 针对传统指-笔交互过程中交互空间受限和多语义交互动作意图不确定问题, 本文探索并构建了指-笔
混合输入的总体交互框架, 提出了指-笔混合输入交互模型, 将交互前期的指-笔协作与后期的交互意图理解进行
了融合, 并通过绩效对比实验佐证了该模型的可行性和先进性. 本文的贡献主要包括以下几点: (1) 提出了基于触
屏的指-笔混合输入交互模型, 给出了利用指-笔混合输入在触屏上进行单次交互、持续交互的方式; (2) 定义了指-
笔混合输入交互原语, 为规范化指-笔混合输入方式提供参考依据; (3) 提出了一种基于 POMDP 的增量式交互意
图提取方法, 可以提高针对多义性交互动作意图理解的准确率.

1 相关工作

笔交互与触摸交互同时具有使用自然、操作直观的特点, 且二者各有优势. 笔交互可支持细粒度、高精度输
入, 能够避免触摸交互中存在的“胖手指”问题 [1,2] ; 而基于手指的触摸交互不需要借助额外输入设备, 并且支持多
点和手势触控方式, 能够补充和扩展单点笔式交互能力 [4] . 因此, 在保持各自交互优势的前提下, 融合指和笔两个
通道进行输入, 不仅扩展了用户交互空间, 而且实现了从单通道输入向多通道的混合输入演变. 近几年, 学术界和
工业界开始重视指-笔混合输入相关问题. Microsoft Research 的 Hinckley 等人 [7] 结合物理纸笔下的用户输入行为
开展了多项 Pen + Touch 的研究, 提出了 Pen 书写、Touch 操作、Pen + Touch 融合的操作方式, 构建了 Microsoft
Surface 指笔组合交互的原型; 并在此基础上, 设计了 Manual Deskterity 原型数字绘图桌 [9] , 从自然的人类技能和
手的角色分工角度探索了笔和手指触控之间的任务分工, 为指-笔混合交互输入方式的发展奠定了基础. Zhang 等
人 [5] 提出了一种可以用于感知用户在 Pen + Touch 交互过程中静止和微小移动状态相互转变的技术, 不仅能够感
知到握姿的改变, 还可以为自适应用户界面提供技术支撑. Romat 等人 [10] 提出了一种基于 Pen + Touch 输入的文
档编辑和审阅技术 SpaceInk, 用户可以在指定位置为注释腾出空间, 动态地重排文档; 他们的另一项相关工作是一
个促进用户浏览信息和思想呈现的系统 ActiveInk [17] , 该系统可以为用户提供以笔交互为核心的主动阅读服务, 支
持基于笔迹激活的用户活动分析方法. Srinivasan 等人 [11] 构建了一个用于平板数据可视化的多通道交互系统
InChorus, 它支持 Pen、Touch、Speech 这 3 种输入形式. Cami 等人 [18] 使用不同握持姿势对单手的 Pen + Touch 交
互进行研究, 借助卷积神经网络方法能够从原始的电容传感数据实时识别出 10 个手势. 可以看到, 越来越多的工
作正在利用指-笔混合输入解决实际场景中的交互问题, 但很少有学者关注指-笔混合交互过程中的并行机制研究.
不确定性问题是触控交互研究的热点和难点 [15,19] , 指-笔混合交互过程中的不确定性也是指-笔混合交互的核