Page 89 - 《软件学报》2021年第10期

张维 等:动态手势理解与交互综述 3061

Table 3 Representative gesture interaction interfaces, systems and applications in recent years (Continued)
表 3 近年来有代表性的手势交互界面系统及应用(续)
名称 关键交互技术 交互工具 特点
GBIS [34] 手势交互技术 摄像机、数据手套 实时跟踪,精度高、可靠性好
触控板技术、几何识别
黄琦,等人 [86] 触控板 简单高效设计复杂三维草图
技术、三维草图建模技术
Shen,等人 [87] 手势交互技术 Leap Motion 稳定的双手虚拟现实交互

3.1 3D建模

手势交互用于 3D 建模技术,可以在计算机生成的环境中自然地创建、操作和修改 3D 模型.3D 建模技术主
要有以下应用方向:三维建筑城市规划、电缆应用设计、计算机辅助设计 [75] 、计算机辅助操作、虚拟陶器 [34]
等.此类技术对于未来的先进制造尤其实用,比如:手势交互结合其他虚拟现实设备,可用来进行各种虚拟设计
(汽车设计和飞机设计 [14] 等).相比于传统的 CAD 技术,由于系统的投入性和交互性,它能更好地满足设计要求.
3.2 数据输入和身份验证
数据输入与身份验证技术主要包含下述几类应用方向:电子身份证明、计算机输入、手写识别、手写输
入 [86] 等.在这些交互应用中,手势被用来输入信息到计算机系统中,通过使用专用的指定手势,由界面设计师或
用户定义 [81,86] .
3.3 操作/导航
操作与导航技术主要有以下几个应用方向:与显示/投影设备交互、增强现实(VR)/虚拟现实(AR)交互 [78] 、
应用程序导航/选择、机器人交互 [76] 等.无论手势是用于导航二维屏幕或应用程序,还是与 AR、VR 或 3D 空间
交互,这些界面的一个共同特点是:几乎所有使用的手势都是预先规定和预定义的;它们要么是由界面设计师定
义的,要么是用户最初可以为某些操作建议首选的手势.自由形式的手势主要用于交互空间的导航任务,如移动
鼠标光标或移动一个被拾取的对象.此外,大多数界面是多模态的,这意味着手势的应用范围有限,因此在适当
的情况下,应该使用其他模式.
[9]
手势交互也可以与 AR、VR 技术结合,在教育教学 中发挥重要的作用 [85] .例如:在医学手术教学与规划过
程,将病患的情况呈现在医生眼前,通过自然手势规划手术方案,有助于手术过程的效率;在对人类有害的危险
场合,通过在虚拟现实系统中人手遥控操作机器人或机器手来完成相应的任务.
此外,目前机械手已在工业生产线、危险环境操作等领域中得到了广泛的应用,但与正常人手迥异的结构,
使其应用存在一定的局限.如何将人手姿态自然地迁移到机械手上,也是值得研究者努力的方向.
3.4 非接触控制

非接触控制技术主要包含下述几类应用方向:控制音乐录制 [80] 、游戏控制、家电控制、车载交互系统控制、
机器人操纵等.这些应用程序中使用的手势与用于与不同表示类型交互的手势类似,混合使用了一些预定义的
手势来触发必须学习的预定义动作,以及用于在两个预定义手势之间导航的自由形式的手势.自由形式的手势
通常更多地用于机器人或游戏控制.在手势提取过程中,指定的手势偶尔会考虑用户的偏好,通常用于家电控制
手势的定义.
汽车用户界面也是非接触控制技术的重点应用领域 [5,6] .许多科技公司与汽车厂商合作研发了基于手势控
制的车载信息系统,通过车载摄像头对特定手势进行识别,完成原本通过汽车仪表盘上各种旋钮和按钮所完成
的功能,以提高驾驶的安全性.
手势交互也可以用于辅助型应用技术.当老年用户与“生活辅助环境”中提供帮助的电子设备、计算机或机
器人进行交互时,其交互方式可以通过指定的手势被简化.目前,在这些应用程序中尚未有明确的手势使用模
式,而主要使用开发者预定义的各种手势.