转变 UI — 利用今天的技术设计明天的交互界面（第五部分）
自然交互与直观的计算机控制
撰稿人：Dominic Milano
英特尔® 实感™ 技术为设备带来的类人感官功能正在拓宽感知计算的应用范围。 它能够帮助您开发出全新应用，支持用户通过手势与语言畅游虚拟世界。
感知计算领域的进步正在为设备带来类人感官功能。配备英特尔® 实感™ 技术的设备将能够看到和听到周围的世界。它们将具备识别手部和手指动作、分析面部表情、以及理解和合成语音等功能。利用这些功能，用户将能够实现更自然的人机交互，包括推动、拉动、举起和抓住虚拟物体；开始、停止和暂停内容创作与娱乐应用；以及无需触碰设备便轻松畅游虚拟世界。
本文章是五个部分中的最后一部分，在文中 Virtual Air Guitar Company (VAGC)和英特尔软件开发人员分享了有关使用英特尔实感技术的真知灼见，以使人机交互 (HCI) 突破键盘和鼠标的限制。
Virtual Air Guitar Company
VAGC 由一群计算机视觉与虚拟现实研究人员于 2006 年创立，位于芬兰埃斯堡。公司专注于创建独特的动作游戏和应用程序，支持利用全身动作进行控制，并提供精准的指尖控制功能。这家独特工作室的作品组合包括游戏机和 PC 游戏，以及 Windows* 和 Android* 感知计算应用程序。
在公司创始人兼首席设计师 Aki Kanerva 看来，基于英特尔实感技术的自然交互 (NI) 模式让计算机更易于使用，乐趣更多。我们大多数人在学习计算机时均使用的是传统键盘和鼠标，或触控板交互。相比之下，触摸屏将带来全新可能。Kanerva 表示：“将一台触摸屏设备交给一个只有两岁的孩子，他们就立刻就可以学会如何使用。所谓的学习曲线完全消失，同时设备也增添了更多的使用乐趣。即使是一些重要任务，您也能够更直观地进行处理。”
然而，无论您使用的是鼠标、触控板还是触摸屏，交互都发生在二维世界。基于手势或语音命令的自然交互带来了更高的自由度。当使用双手形成手势时，您处于 3D 环境，可以形成六自由度，带来全新用例。Kanerva 说到：“举例来说，假如您正在做饭或使用公共终端，不希望触碰设备。手势和语音命令可支持您进行免触碰交互。”
自然交互也可以用于执行复杂任务，让用户无需去记忆繁琐的键盘快捷方式。Kanerva 表示：“自然交互能够以轻松的方式，支持进行复杂控制。”
实现简单绝非易事
Kanerva 花费了数年时间研究人机交互模式，深知很难将复杂的任务化繁为简。鼠标和键盘扮演着中间人的角色，负责转换客户的想法。例如，在游戏中，向左或向右移动鼠标会转换为任务行动指令。Kanerva 说到：“人们需要练习才能做出正确的动作。借助自然交互能力，您可以消除中间人的角色。通过五或六自由度，您双手的动作（上、下、左、右、前、后）能够在屏幕上更直观地转换为人物动作。”
他继续说道：“‘自然界面’可以将所有六个动作角度无缝整合起来，让用户无需思考单独的命令。”创建一个能够响应如此复杂的用户动作集合的 UI 并非易事。Kanerva 的建议是不要创建能够响应每一种可能的动作的 UI。
通过界面让用户在开始操作前了解实际能够做哪些动作，这才是关键所在。“将交互限制到那些对您的应用程序必要的事物，同时集中精力使编码能够更及时地响应这些事物。”
通过与英特尔合作，VAGC 正在开发一款应用，它将能够支持用户在英特尔® 实感™ 3D 摄像头的帮助下，利用手势操控虚拟直升机飞越任何地方（见图 1）。“受到设计的限制，我们的直升机不能进行桶滚运动，即围绕中心轴旋转。这一动作很有趣，但此类翻滚的控制动作与其他控制动作会出现重叠，因此我们没有添加此功能。”
图 1：直升机视角
手势控制应用剖析
这一基于 Web 的应用适用于在 Windows* 上运行的 Microsoft Internet Explorer、Google Chrome 和 Mozilla Firefox。该应用使用采用 JavaScript 和 HTML 编写的浏览器扩展来提供本地化服务，并在浏览器中运行。其代码非常可靠，且数量比较少。
Kanerva 解释道：“这一项目拥有大量可移动部件。Web 本身就是一个移动目标，尤其是在扩展方面表现更为明显，我们必须为每个支持的浏览器编写一个不同的扩展。”
英特尔为 VAGC 提供了重要反馈，VAGC 则通过展示实际用例，帮助英特尔团队完善了英特尔实感 SDK。Kanerva 解释道：“SDK 面临的早期挑战之一是很难看到垂直放置的扁平手（见图 2）。您无法阻止用户这样做。”得益于 VAGC 的反馈，最新版的 SDK 能够全面支持这一情况。
图 2：垂直扁平手的摄像头视图
测试、测试、再测试
VAGC 推出的以前动作游戏采用了专有的自动化测试套件，但 Kanerva 在测试手势交互时采用了一种不同的方法。“在自然交互方面，用户可以获得提示来执行前所未有的动作，为此我们特别采用了实用性测试固件。”Kanerva 表示最佳结果来自拍摄有经验和没有经验的用户玩这一飞行游戏的视频。
此类教程尽管制作起来非常昂贵，但对于 NI 项目而言是不可或缺的一部分。Kanerva 解释道：“由于可能的动作非常广泛，我们需要非常清楚的教程或动画，以帮助用户更好地掌握使用方法。将手放在这里。保持距离屏幕 30 厘米（12 英寸）远。现在进行这样的动作...教程必须非常具体。”Kanerva 建议开发人员在设计流程的早期规划教程。“人们总是习惯在最后环节才想到教程，但实际上教程非常关键。即使您可能需要在开发过程中变更教程几次，它们也始终应为开发流程的重要一部分。”
经验总结
通过总结使用英特尔实感 SDK 和英特尔实感 3D 摄像头的经验，Kanerva 为开发人员提供了以下规则：
- 采用独特方法设计应用，避免用户使用传统输入方法，或者不允许使用此类方法。
- 模拟传统输入是麻烦的根源。
- 为您的用例设计独特的自然交互功能。
- 对于飞行模拟器设计中的控制设备，方向键不如操纵杆有效，手势控制是一种有效的替代方法。
- 尝试保持连贯，最大限度地降低控制延迟。
- 在将动作转换为体验之前，不要等待太长时间或等待手势全部完成。
- 提供及时反馈。用户输入应始终立即显示在屏幕上。
- 记住不要让用户感到疲劳。
对于游戏开发人员，连贯的反馈非常重要。游戏通常使用按钮键来产生动作。将传统游戏输入映射至自然交互会产生大量延迟，要求冗长的学习曲线。
针对疲劳问题，Kanerva 建议所设计的控制功能不能让用户保持不动太长时间。他说到：“我喜欢‘运动控制’这个词，它提醒我们要让用户用起来，以免感到疲累。我们没有要求用户将手腕旋转到正确的角度。例如，要向前飞行，只需简单将手转向前方，并保持放松。避免让用户感到疲惫，同时提醒用户他们需要自行保持适当休息。”
自然娱乐
Kanerva 总结道：“自然交互对于娱乐应用是一个重要优势。”其公司的名称来自于其第一款应用，该应用支持用户仅使用手势体验空气吉他弦和 Solo。“好莱坞电影中经常会出现人们用手势浏览数据的画面。整个动作看起来非常酷，总是能引起人们的赞叹。在自然交互的推动下，简单操作体验将能够使计算为更多用户所用。”
在此方面，在平板电脑、2 合 1 和一体机设备中嵌入英特尔实感技术的想法让 Kanerva 感到激动不已。他表示：”英特尔实感技术将能够推动自然交互实现全面普及，这对于营销和销售人员将有着重要意义，但开发人员将能够从中获益最大。”
使用手势操控 Windows
Yinon Oshrat 在 Omek Studio 工作了七年，后者是首家使用初始版英特尔实感 SDK 的开发公司，后来被英特尔收购。作为英特尔实感软件开发团队的一员，Oshrat 负责开发一款名为英特尔® 实感™ Navigator 的独立应用。他表示：“英特尔实感 Navigator 用于控制 Windows UI，可显著增强当前基于触控的体验，支持使用手势进行交互。”该应用让用户可以使用手势启动应用，并在选项间进行滚动（图 3）。
图 3：自然人机交互
英特尔实感 Navigator 使用英特尔® 实感™ 3D 摄像头跟踪 60 厘米（24 英寸）距离内的手势。Oshrat 说道：“您可以将 Navigator 看做一个驱动器和鼠标。它是一个活动的控制器。要使用它，您可以通过手势来进行缩放和模拟鼠标等操作。”
面向开发人员的构建模块
在创建英特尔实感 Navigator 的过程中，英特尔团队为英特尔实感 SDK 提供了构建模块，将能够支持开发人员在其他独立的 Windows 应用程序中，实现与 Navigator 相同的体验。
与英特尔实感 SDK 的其他模块类似，英特尔实感 Navigator 模块提供有使用 C 和 C++ 语言编写的两种类型。未来版本中计划提供 JavaScript 类型。
谈及英特尔实感 Navigator 的手势支持时，Oshrat 说到：“您可以将它视作一种语言。轻触选择。握手进行抓取。向左或向右移动进行滚动。向前或向后移动手进行收缩或放大。挥手将返回到开始屏幕。”英特尔实感 Navigator 配有视频教程，讲授如何使用准确的手势。“视频要比书面文档更加有效。”
发明语言
一年多来，Oshrat 和他的同事一直在设计手势，并在大街上寻找合适的人员进行测试，观看他们对特定动作的反应。Oshrat 说道：“我们采用周期的方式开展工作。我们会试验那些有效的手势，并将用户期望与我们的期望进行比较。从中我们可以发现哪些比较自然，哪些不自然。”
例如，人们会将“挥手”理解为三次“轻扫”操作，而非一次。Oshrat 表示：“这让我们学会分解这些手势。让他感到惊讶的是，定义有效的手势非常困难。“这个过程不是编程，它与用户体验有关。”
经验总结
对于有兴趣使用英特尔实感 Navigator 在其应用程序中实施手势控制的开发人员，Oshrat 提供了以下建议：
- 使用随 SDK 提供的手势模式和构建模块，这将会帮助您节省时间，使用已经过精心评估的想法来开始您的项目。
- 充分利用英特尔支持渠道，如用户论坛等。
与 Aki Kanerva 的看法一致，Oshrat建议开发人员将手势交互视作一种完全不同于鼠标和键盘的方式。他说到：“不要尝试将鼠标/键盘体验转变为手势。手势动作的速度与鼠标的速度截然不同。”
Oshrat 也指出用户行为会根据输入模式发生变化。他解释道：我们打造了一款用户必须跑和跳到一侧的游戏。在屏幕上，一个标志会指示用户向左移动。当使用游戏控制器时，用户会注意到人物周围区域中的标志和说明。但当他们将身体用作控制器（手势控制）时，他们会全身心集中在人物上，以至于会忽略游戏中的其他信息。他们甚至只能注意到标志，而忽视在 90% 的屏幕面积上显示的说明！”
当前和未来用例
对于 Oshrat 而言，他认为英特尔实感 Navigator 最实用的应用之一是控制 Power Point* 演示，而无需鼠标或物理控制器。.“您可以通过简单地回收，向前或向后播放幻灯片。”当您在接听电话时，控制计算机屏幕将会非常方便。
在问及手势是否可用于控制视频编辑应用程序时，Oshrat 说道：“当然可以！这是一项大工程。许多人想要实现这一体验。我们在研究游戏和其他应用的手势控制方面已经有八年时间。我们在视频编辑方面正在朝着正确的方向迈进，将能够实现同样的体验。”
针对未来发展，Oshrat 憧憬在未来用户将无需学习新的手势词汇。他表示：“我们的设备将更了解我们，知道我们需要什么。手势、视频命令、面部分析、3D 捕捉和分享等所有这些英特尔实感技术支持的功能，将会带来更多激动人心的可能。”
资源
要更深入地探索英特尔实感技术，了解有关面向 Windows 的英特尔实感 SDK 的更多信息，请单击此处下载开发人员套件。
您的项目准备好进行演示了吗？欢迎加入英特尔® 软件创新者计划。该计划可以为拥有前瞻性项目的开发人员提供重要支持，让他们有机会讲述和演示自己的项目。