Page 80 - 《软件学报》2021年第10期

3052 Journal of Software 软件学报 Vol.32, No.10, October 2021

现实(mixed reality)、手势控制设备(gesture control devices)、对话用户界面(conversational user interfaces)被认
为是未来 5~10 年的主流应用新兴技术.
[4]
[7]
手势交互可广泛应用于虚拟现实 、汽车用户界面 [5,6] 、人与机器人交互 、生物医学等领域 [2,8] ,下面列举
几种具有代表性的手势交互应用.
(1) 虚拟现实和增强现实.手势可作为虚拟现实和增强现实系统的输入,使得在虚拟空间通过直观自然手
势进行设计和操作成为可能,典型的应用场景如虚拟装配 [9,10] 、虚拟设计等.在执行虚拟装配时,手势
可对产品的零部件进行直接装配、定义零件间的装配关系、验证装配设计并校验操作的合规性.在
虚拟设计中,可用于相关产品或设施的人机工效评价以及给出这些产品或设施设计的定量参考;
(2) 汽车用户界面.通过手势输入可以操控车载信息系统,辅助驾驶员完成驾驶过程中的多项任务,如音
响控制、温度调节、车身周围环境 3D 显示等,让驾驶员更加专心于驾驶,提升驾驶安全性;
(3) 人与机器人交互.通过对手势的识别和理解,机器人可以对人的手势进行模仿或给出适当反馈;
(4) 生物医学,特别是人手运动定量分析.比如在人手运动功能康复评定中,可定量描述手功能障碍患者
的康复治疗效果,完善康复治疗方案.
手势交互也有着重要的研究价值.在手势交互技术方面,学术界较早研究了相应的交互基础理论与概念模
型.例如,手部运动信息的感知和处理模式;通过用户观察和实验分析,将手势交互行为分解成为基本动作,研究
这些基本动作的合理参数及范围;通过对稳定参数的收集和统计,确定参数与任务间的关系,用于指导自然人机
交互的相关设计.而学术界和工业界都研发了手势交互的关键技术.例如,手势的采集、识别、合成与理解技术,
在三维空间数据的采集方面取得了较好的进展.然而,进一步提高其可靠性、精度、准确度、稳定性仍然存在
诸多技术问题.为了能够识别模糊的以及细微的手势,需要开展更高精度传感器的研究和开发.
手势交互仍面临一些研究问题需要解决.
(1) 金手指(midas touch)问题 [4,11] .金手指问题是指手势识别系统不能有效判别在人的连续运动中,哪些动
作是有意图的交互,哪些是下意识的动作,或者不能明确判别一个手势的发起或结束,这给使用手势
交互的系统带来了极大的困扰,容易造成连续交互的中断;
(2) 动态手势交互识别存在延时问题.目前的动态手势识别方法必须在一个相对完整的运动结束之后才
能识别出手势的类别,会造成一定的延时;
(3) 对于界面的哪一部分功能更适合用手势操控仍没有达成共识;
(4) 使用手势交互需要根据应用场景的特点来选取手势,有些手势需要用户额外学习和记忆.当手势过多
或者各类应用使用不同的手势时,将会增加用户的记忆负担;
(5) 人手姿态和动作获取技术仍是限制精细手势交互界面的重要技术,精细操作虚拟场景中的对象目前
还存在技术上的难度,这需要进一步提升交互手势动作捕获和识别的精度.
在手势交互研究领域,目前一些著名的研究机构,如 CMU、Stanford、MIT、Microsoft、Apple、Google、
Facebook、Intel 以及法国的 INRIA、德国的马普学会等都在进行许多有益的尝试,在手势交互设备、交互技术
以及应用方面已经有了不少的研究成果.国内的中国科学院、清华大学、浙江大学、北京航空航天大学、北京
师范大学、北京理工大学等研究机构的研究人员也高度关注该领域的研究状况,在交互手势获取、动态手势理
解及在虚拟现实和增强现实中的人机交互等领域产生了非常有价值的成果 [7,12,13] .
综上所述,手势交互及手势理解既有理论研究意义又有重要的应用前景,已引起国内外研究者的广泛关注.
本文拟针对手势交互中的核心问题——动态手势的类型、交互应用中的手势选择、动态手势识别与检测方法,
综述这些方面的代表性研究进展和思路,并概述动态手势交互应用,讨论动态手势与交互领域的未来发展方向,
希望给从事手势交互研究和应用的人士提供一些参考.