Page 444 - 《软件学报》2024年第4期

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn
Journal of Software,2024,35(4):2022−2038 [doi: 10.13328/j.cnki.jos.006909] http://www.jos.org.cn
©中国科学院软件研究所版权所有. Tel: +86-10-62562563

*
面向指-笔混合输入的交互原语和交互模型研究

仝青山 1,2 , 康文惠 1,2 , 付 强 1,2 , 黄 进 1 , 田 丰 1 , 戴国忠 1

(人机交互北京市重点实验室 (中国科学院 软件研究所), 北京 100190)
1
2
(中国科学院大学 计算机科学与技术学院, 北京 100049)
通信作者: 田丰, E-mail: tianfeng@iscas.ac.cn

摘 要: 随着触摸设备的普及, 指、笔输入已成为移动办公的一种主流输入方式. 然而现有的应用主要以手指或笔
通道中的一种作为输入, 限制了用户的交互空间. 同时, 现有的指-笔混合研究主要关注串行的指-笔分工协作和特
定交互任务的并行处理, 并没有系统地考虑并行协作机制和不同通道输入之间的意图关联. 为此, 提出一种面向指-
笔混合输入的交互模型; 结合用户指-笔协作的行为习惯定义指-笔混合交互原语, 拓展指、笔交互空间; 继而利用
部分可观察马尔可夫决策过程提出基于时序信息的指-笔混合输入意图提取方法, 用以增量式地提取多义性交互原
语的交互意图. 最后通过一个用户实验说明指-笔混合输入的优势.
关键词: 笔式交互; 指-笔混合输入; 交互空间; 交互模型
中图法分类号: TP393

中文引用格式: 仝青山, 康文惠, 付强, 黄进, 田丰, 戴国忠. 面向指-笔混合输入的交互原语和交互模型研究. 软件学报, 2024,
35(4): 2022–2038. http://www.jos.org.cn/1000-9825/6909.htm
英文引用格式: Tong QS, Kang WH, Fu Q, Huang J, Tian F, Dai GZ. Research on Interaction Primitives and Interaction Model for Pen
+ Touch Inputs. Ruan Jian Xue Bao/Journal of Software, 2024, 35(4): 2022–2038 (in Chinese). http://www.jos.org.cn/1000-9825/6909.
htm

Research on Interaction Primitives and Interaction Model for Pen + Touch Inputs
1,2
1
1,2
1,2
1
TONG Qing-Shan , KANG Wen-Hui , FU Qiang , HUANG Jin , TIAN Feng , DAI Guo-Zhong 1
1
(Beijing Key Laboratory of Human-computer Interaction (Institute of Software, Chinese Academy of Sciences), Beijing 100190, China)
2
(School of Computer Science and Technology, University of Chinese Academy of Sciences, Beijing 100049, China)
Abstract: With the popularity of touch devices, pen + touch inputs have become mainstream input modes for mobile officing. However,
existing applications mainly take one of them as input, which limits users’ interaction space. In addition, existing pen + touch research
mainly focuses on serial pen + touch cooperation and parallel processing of specific interactive tasks and does not systematically consider
parallel cooperation mechanism and intention correlation between different inputs. This study first proposes an interaction model based on
pen + touch inputs and then defines pen + touch interaction primitives according to users’ behavioral habits in pen + touch cooperation, so
as to extend pen + touch interaction space. Furthermore, by using a partially observable Markov decision process (POMDP), the study
develops a method of extracting pen + touch input intentions based on time sequence information, so as to incrementally extract the
interaction intention of polysemantic interaction primitives. Finally, the study evaluates the advantages of pen + touch inputs through a
user experiment.
Key words: pen-based interaction; pen + touch input; interaction space; interaction model

手指和电子笔作为移动终端的主要交互媒介, 是自然人机交互的重要交互通道, 也是移动办公等新型应用的
主流交互方式. 随着交互环境和交互任务的多样化, 以及新型传感器和输入设备的发展, 针对移动终端的输入方式

* 基金项目: 国家自然科学基金 (62172397); 中国科学院前沿基础研究重点项目 (QYZDY-SSW-JSC041)
收稿时间: 2022-06-17; 修改时间: 2022-08-23, 2023-01-29; 采用时间: 2023-02-03; jos 在线出版时间: 2023-07-12
CNKI 网络首发时间: 2023-07-13