Page 87 - 《软件学报》2021年第10期

张维 等:动态手势理解与交互综述 3059

基于传统机器学习的方法通常利用 Fisher Vector(FV) [55] 或者直方图的方法构造出手部姿态的特征,然后利
用 GMM 或者 CRF 等方法提取出时序特征,最后输入分类器中进行手势分类.Smedt 等人 [56] 使用 3 个向量来表
示手部的运动方向信息、旋转信息和手部的形状信息,使用时间金字塔(temporal pyramid,简称 TP)方法来聚合
不同时间尺度上的手部信息,并利用 FV 和 GMMs 方法来编码这些特征,最后输入到 SVM 进行训练和分类.
Zhao 等人 [57] 提出了一种基于骨架的动态手势识别方法,该方法提取了 4 种手部形状特征和一种手部方向特征,
用时间金字塔(TP)表示手部形状 Fisher Vector 和手方向特征,得到最终的特征向量,并将其输入线性 SVM 分类
器进行识别.Boulahia 等人 [58] 从指尖、掌心和手腕的三维坐标中提取出 HIF3D 特征表示手部形状的高阶信息,
并加上时间金字塔来捕获时间信息,最后使用 SVM 对得到的特征进行分类.相比于深度学习方法,传统机器学
习方法需要事先提取手动构造特征,这种特征往往没有深度学习自动提取的特征好,从而最后分类的效果也不
如深度学习的方法好.
基于深度学习的识别方法通常将人手姿态信息输入到 RNN 或者 CNN 网络中直接进行分类.Devineau 等
人 [59] 提出了一个新的卷积神经网络,基于骨架信息进行动态手势分类,该网络采用并行卷积处理手部骨架序列.
在该方法中,将手势序列按维度分成 66 个向量,每个向量各输入一个具有 3 个分支的 CNN,然后将每个 CNN 的
输出连接起来,使用全连接层进行分类.Chen 等人 [60] 提出了一种基于骨架信息的手势识别运动特征增强递归神
经网络:提取手指运动特征描述手指运动,利用全局运动特征表示手部骨骼的全局运动,然后将这些运动特征与
骨架序列一起输入一个双向递归神经网络(RNN),可以增强 RNN 的运动特征,提高分类性能.近年来,由于注意
力机制(attention mechanism)在计算机视觉和自然语言处理领域的兴起,也有研究者将其用到手势识别领域.
Hou 等人 [61] 提出了 Spatial-temporal Attention Res-TCN 网络,该网络在训练主要卷积网络的同时训练了一个权
重卷积网络,对卷积网络中每一步输出的特征给出一个权重,从而实现了注意力机制.除了直接将姿态信息输入
网络,也有些方法先从姿态信息中人工提取特征,再输入网络进行手势识别.Avola 等人 [62] 提取手部关节点间的
角度作为特征,然后输入 DLSTM 进行手势识别.

2.2 常用动态手势数据集
为了对动态手势识别算法进行可靠的测试和比较,研究者们已经建立了一些手势识别数据集 [63] .本节将回
顾公开可用的手势数据集.表 1 列出了手部姿势、手势数据库以及下载链接.表 2 详细描述了这些数据集,可用
的手势类别数、实验对象和样本的数量以及包含的数据类型和动作类别.

Table 1 Publically available dynamic hand gesture datasets with sources, description in Table 2
表 1 公开可用的动态手势数据集及其来源,说明见表 2
编号 名称,年 地址
1 ChaLearn gesture data [64] , 2011 http://gesture.chalearn.org/data
2 ChaLearn multi-modal gesture data [65] , 2013 http://sunai.uoc.edu/chalearn/
3 NATOPS aircraft handling signals database [44] , 2011 http://groups.csail.mit.edu/mug/natops/
Sebastien Marcel hand posture
4 [6669] https://www.idiap.ch/resource/gestures/
And gesture datasets , 2001
https://research.nvidia.com/publication/online-detection-and-
5 NVIDIA dynamic hand gesture dataset [59] , 2016
classification-dynamic-hand-gestures-recurrent-3D-convolutional
6 GUN-71 [52] , 2015 http://www.gregrogez.net/research/egovision4health/gun-71/
7 EgoHands [51] , 2015 http://vision.soic.indiana.edu/projects/egohands/
8 DHG-14/28 [70] , 2016 http://www-rech.telecom-lille.fr/DHGdataset/
9 SHREC 2017 [71] , 2017 http://www-rech.telecom-lille.fr/shrec2017-hand/
10 LMDHG [58] , 2017 https://www-intuidoc.irisa.fr/english-leap-motion-dynamic-
hand-gesture-lmdhg-database/
11 EgoGesture Dataset [72,49] , 2018 http://www.nlpr.ia.ac.cn/iva/yfzhang/datasets/egogesture.html
12 Daily hand-object actions dataset [73] , 2018 https://guiggh.github.io/publications/first-person-hands/
13 The yale human grasping dataset [74] , 2015 http://grasp.xief.net/