Page 90 - 《软件学报》2021年第10期

3062 Journal of Software 软件学报 Vol.32, No.10, October 2021

3.5 手势交互手柄
重量更轻、功率更小、探测更精确的传感器,使得基于手势的人机交互动作更加自由、内容更加丰富、交
互更加快捷和方便.手势交互手柄作为技术、创意与设计的集大成者,不仅要考虑对手势的探测与分类是否快
速和准确,更要考虑用户在使用中是否舒适.新一代的手势交互设备不再拘泥于几个固定的手势,而是对整个手
进行实时的跟踪与重建——用户的手是什么姿态,系统里呈现的“手”就是什么姿态.接下来将介绍两种商业化
手柄,以说明这一手势交互的新应用场景.
 Valve Knuckles 手柄内置了电容压力传感器、加速度传感器与光学测距传感器,实现了对于用户手指
位置与姿态、动作力度的精确捕捉.具体来说,每个手柄上的 87 个传感器可以实时跟踪手的位置、手
指的位置、手的运动和手指对手柄的压力,它可以捕捉到手的位置和每个手指的动作.这款手柄不再需
要人手主动抓握,而是用绑带固定在手掌上,用户只需自然地做出动作,从而在一定程度上实现了“无
感交互”.该款手柄通过 SteamVR 2.0 进行开发,将手的动作抽象为 6 种,分别是:布尔,代表动作是否发
生;单值,代表动作的幅度;二维向量,代表二维平面上的运动;三维向量,代表三维空间内的运动;姿态,代
表手(手柄)的位置和旋转;骨架,代表每只手的关节信息,结合内置的手部模型,可以直接还原手的姿态;
 Oculus-Quest 手柄主要配合 VR 眼镜使用.它的手柄需要用户主动握持,通过 VR 眼镜上的远红外相机
捕捉手柄的位置,从而实现用户与机器的交互.同时,其 VR 眼镜上的相机也可以探测到用户的手并识
别常见手势,比如捏取、滑动、指向、旋转等,通过开发者在 Unity 平台上的设置,来决定手势探测的开
始条件、结束条件以及每种手势的交互场景、对应操作.
在 VR、AR 等领域,类似设备的出现可明显降低用户进行手势交互的学习成本.
3.6 医疗康复
康复评定在康复医学领域发挥着很重要的作用,三维动态手势运动获取和分析可为人手肢体障碍人士的
康复评定提供科学的数据基础和辅助分析工具.例如:对于脑卒中等疾病引起的手部肢体运动功能障碍的康复
[7]
治疗,主要是通过康复训练进行重建,以改善患者手部的运动功能 .传统的康复治疗缺乏手部肢体训练定量参
数和康复效果关系的客观数据,难以通过对训练参数进行优化以获得理想的康复治疗方案.为此,研究三维动态
手势运动获取和分析,具有重要的研究和应用价值.

4 总结与讨论

手势作为一种输入通道,已在人机交互、虚拟现实等领域得到了广泛的应用,引起了研究者的关注.特别是
随着先进人机交互技术的出现以及计算机技术(特别是深度学习、GPU 并行计算等)的飞速发展,手势理解和交
互方法取得了突破性的成果.手势交互现阶段主要的问题,从宏观上说,在于对于界面的哪一部分功能适合用手
势操控仍没有达成共识;而从微观上说,在于每种应用对应什么样的手势,仍然莫衷一是.
1) 还没有形成手势交互界面中统一手势选择标准和框架.对于调查用户偏好的研究,有建立框架与标准
的趋势,主要问题:样本过少、涉及应用的范围过窄、没有细致考量对于被试背景的影响;
2) 目的相似的解决方案,手势不一定相似.被调研的工作在引述相关工作时,只考察了其应用开发的目
标,而鲜有提及这些工作与自身的工作使用的手势是否相近及选择的依据.若想要构建一个通用性强
的框架与标准,则应当考虑每个应用场景下的各种工作有何规律,而在这一场景下被使用的手势是否
有规律.在这种规律的基础上,制定出的统一框架才更易被人接受;
3) 语境分类相关的问题.语音与按钮都可以辅助手势表达意思,但是这些元素的使用并不仅仅是简单的
“相辅相成”的关系.在实际工作中,何种元素被置于何种地位,往往依赖于技术发展的水平.对于同时
使用手势与语音的场景,尽管两者都可能起到传递信息的作用,但是所传递的信息仍然不尽相同.对
于这种场景,如果能够分别看待语音与手势所起到的作用,不仅可以增进对手势在交互中作用的了
解,对手势其他方面的研究也大有裨益;