Page 88 - 《软件学报》2021年第10期

3060 Journal of Software 软件学报 Vol.32, No.10, October 2021

Table 2 Descriptions of publically available dynamic hand gesture datasets, following the order of Table 1
表 2 对公开可用的动态手势数据库的描述(与表 1 中的顺序相同)
编号 规模 设备 提供的数据类型 特点
ChaLearn Gesture Challenge, 从 9 个不同的领域选择的手势,
1 Kinect RGB+Depth
50 000 samples 手势类型多,包含肢体动作
20 classes, 27 subjects, RGB+Depth+
2 Kinect 意大利手语手势,包含肢体动作
13 858 samples Audio
24 classes, 20 subjects, Bumblebee RGB+Depth+ 飞机和航空母舰甲板通信手势,
3
9 600 samples 2 stereo camera mask+pose 包含肢体动作
4 4 classes, 57 samples unknown RGB 人机交互手势
25 classes, 20 subjects, DS325 and RGB+Depth+
5 汽车辅助驾驶所使用的交互手势
1 532 samples DUO 3D camera stereo-IR
71 classes, 8 subjects, 第一人称拍摄的日常抓握动作,估计
6 Intel’s Senz3D RGB+Depth
12 000 frames 出了受力点和力的方向,但并不准确
4 classes, 4 subjects, 第一人称拍摄两人进行 4 种游戏时执行的动
7 Google Glass RGB+mask
130 000 frames 作,人工标注了双手的像素级掩码(mask)
14/28 classes, 20 subjects, Intel Real Sense
8 Depth+pose 交互手势,包含粗粒度与细粒度
2 800 samples Depth camera
14/28 classes, 28 subjects, Intel Real Sense
9 Depth+pose 交互手势,包含粗粒度与细粒度
2 800 samples Depth camera
13 classes, 21 subjects,
10 Leap Motion pose 交互手势,包含双手手势
608 samples
83 classes, 50 subjects, Intel RealSense
11 RGB+Depth 交互手势,包含双手手势
24 161 samples SR300
45 classes, 6 subjects, Intel RealSense RGB+Depth+ 第一人称拍摄的日常动作,包含了
12
1 175 samples SR300 pose+object pose 交互物体的 3D 模型和姿态
33 classes, 4 subjects,
13 RageCams RGB+pose 第一人称抓握动作
18 210 samples
3 动态手势交互应用
手势交互界面将推动虚拟现实、移动终端等研究和应用,促进这些产业的发展.具体而言,手势交互技术具
有许多典型应用(见表 3).
Table 3 Representative gesture interaction interfaces, systems and applications in recent years
表 3 近年来有代表性的手势交互界面系统及应用
名称 关键交互技术 交互工具 特点
[9]
朱英杰,等人 3D 建模技术、虚拟 光学运动捕捉系统、 虚拟装配系统,可实现人与虚拟环境
显示技术、机器学习 数据手套、头盔显示器 间的复杂交互,难以实现精确操作
BodyAvatar [75] 3D 建模技术 Kinect 3D 建模工具,允许人直观地
使用身体表达 3D 形状
Pfeil,等人 [76] 3D 交互技术 Kinect 无人机控制系统,包含多种类型的手势
Vinayak,等人 [77] 3D 建模技术 Kinect 虚拟陶器应用程序
HoloDesk [78] 全息技术 光学透视显示器、Kinect 全息交互系统,无需使用任何穿戴设备
使用毫米波捕捉手部信息,
[34]
Soli 电磁回波探测、机器学习 毫米波雷达
鲁棒性好,精确到亚毫米级,能耗低
使用自制设备 Mime 的手势交互系统,
[79]
Mime 计算机视觉技术 Mime
对光线不敏感,精度高
虚拟钢琴系统,只能用于平面交互,
[80]
Barehanded Music 机器学习 Depthsense325 传感器
鲁棒性不高
三维手绘系统,能方便画出
[81]
SketchingWithHands 3D 建模技术 Leap Motion、手写笔
3D 手持物品的草图
ATK [82] 机器学习 Leap Motion 空中打字应用
Cui,等人 [83] 3D 建模技术 Leap Motion 使用 Leap Motion 构建的虚拟
建模系统,用户无需学习即可使用
任镤,等人 [12] 3D 建模技术 Leap Motion 古建筑三维场景快速搭建系统,
直观、便捷、高效
Liang,等人 [84] 3D 建模技术 Leap Motion 基于手势的木偶故事系统
GazeTap [85] 眼球跟踪技术、触控板技术 MeVisLab 减轻医生双手负荷