Page 81 - 《软件学报》2021年第10期

张维 等:动态手势理解与交互综述 3053

1 手势交互中的核心概念

1.1 手势的概念
手势通常指的是人在使用手臂时所体现出的具体动作与体位,分为动态手势和静态手势,它是人类最早使
用的至今仍被广泛运用的一种交际工具.手势可被赋予各种特定的含义,具有表现力强和灵活性度高的特点.手
势既是人类表述情感及意图的自然手段,也是人类对外界给予影响的重要方式之一.
1.2 手势分类
1.2.1 基于运动特点的分类
根据手势的运动特点,手势可以分为静态手势(posture,也称手形)或动态手势.静态手势主要依靠手部外形
与轮廓来传达信息,是一类特殊的动态手势.这些类型的手势也可以被称为姿势.在一个动态手势中,手的形状、
位置都会根据时间发生变化,它包含了更加丰富且准确的信息与内容,是一种人们常用的表达与交流方式.动态
手势通常可以分为准备、开始、执行、结束、收回这 5 个阶段.

手势

静态手势 动态手势
(手部姿势/姿态) (手势)

分类标准: 分类标准:
 指向  指向
 形状  形状
 手指弯曲角度  手指弯曲角度
 与身体的相对位置  位置/轨迹
 上下文语境  运动速度/方向
 尺度

Fig.1 Classification by gesture dynamics
图 1 按手势运动特点的分类
1.2.2 基于交互目的的分类
根据手势的交互目的,手势又可以分为交际性(communicative)手势或操纵性(manipulative)手势.操纵性手
势用手的运动来表示路径或者位置信息,而交际性手势往往与演讲有关.交际性手势包含标志性手势、隐喻手
势、调制符号手势、连贯手势、“Butterworth”手势和“Adaptors”手势.其中,标志性手势代表与演讲语义内容密
切相关的意义,用来呈现在言语中唤起的对象的一些图形表征.例如,一个人在讨论一个从山上滚下来的物体
时,会用手做一个滚的动作.隐喻手势是代表抽象内容的标志性手势,比如,一个人会在决定的时候做出表示决
定的切割手势.调制符号手势主要是对语音的补充,但也可以补充其他的沟通手段.连贯手势表示那些在语义上
相关、但在时间上不连续的手势,比如:当一个演讲者被打断后,可以使用重复的手势表示相同的演讲内容,以保
证演讲的连续性.“Butterworth”手势是指在说话或者演讲中不合时宜的“错误”手势,比如一个人在演讲中回忆
单词时摸头的手势.“Adaptors”指的是演讲中人们做出的无意义的手势.
手势中有一类特殊的手势叫作指示手势,它用来表示预定动作的方向或者操纵的方向.指示手势根据上下
文语境的不同,既可以分为交际性手势,又可以分为操纵性手势.在其表示预定动作方向时,可以将其看作交际
性手势中的标志性手势;而在其表示操纵的方向时,往往将其看作操纵性手势.
1.2.3 基于指令的分类
根据指导手势表现的指令级别,手势可以分为规定的手势或自由形式的手势.规定的手势是那些定义了“手