1.引言
交互设计发展史上的每一个重要里程碑, 都源自技术和人性的碰撞。从最初的纸带打孔, 发展到键盘输入、鼠标输入, 再到现在的触摸操作, 语音识别, 以及已经到来的3D手势、眼动识别。未来还会实现脑机接口, 意念控制等。每一次的技术革新及产品升级, 都会带来重大的人机交互方式变化。从其发展来看, 最核心的是要符合人体的自然动作, 让人们以最舒适的方式获取信息。
2.虚拟现实交互简介
虚拟现实交互技术是一门新兴的综合信息技术，融合了数字图像处理、多媒体技术、计算机图形学、传感器技术等多方面信息技术。它通过计算机图形学构成三维数字模型，产生逼真的虚拟环境，在视觉上给用户一种立体的虚拟环境。与通常的 CAD( 计算机辅助设计 ) 系统所产生的三维模型不同，它不是一个静态的世界，而是一个互动的环境。
虚拟现实交互技术主要有以下四个特征：第一，强烈的临场感。用户在模拟环境中，能够感到虚拟世界是真实存在的。第二，友好的交互性。交互性是指用户对模拟环境内物体的可操作程度和从环境得到反馈的自然程度。例如，用户 用手直接抓取环境中的物体时，手里会有握着东西的感觉，并可以感觉到物体的重量，视场中的物体也随着手的移动而移动。第三，多感知性。除了具有一般计算机的视觉感知外，还具备听觉感知、力觉感知、触觉感知、运动感知 , 甚至包括味觉感知、嗅觉感知等。第四，虚拟现实世界的自主性。也就是说虚拟环境中的物体会依据物理定律进行动作。
虚拟现实交互需要一定的技术基础。具体讲，虚拟现实交互技术就是使用以计算机技术为核心的现代高科技，生成逼真的视、听、触觉一体化的特定范围的虚拟环境，用户借助必要的设备以自然的方式与虚拟环境中的对象进行交互作用、相互影响，从而产生与亲临等同真实环境的感受和体验。那么，这种虚拟的真实世界是如何形成的呢？首先，需要生成虚拟实体，虚拟实体主要是针对用户的生理感觉而言；其次，用户通过人生理的自然技能同这个环境进行交互；最后，利用传感器完成人和虚拟环境的交互。
从系统上看，虚拟现实交互系统包括检测模块、反馈模块、传感器模块、控制模块以及建
模模块等。在该系统中，主要采用了动态环境建模技术、实时三维图形生成技术、立体显示和传感器技术及系统集成技术。
虚拟与现实 动态环境建模技术。使用动态环境建模技术可以获取实际环境的三维数据，并利用获得的三维数据建立相应的虚拟环境模型。采用 CAD 技术或非接触式的视觉建模技术获取三维数据，两者的有机结合可以有效地提高数据获取的效率。该技术是应用计算机技术生成虚拟世界的基础。
实时三维图形生成技术。三维图形生成技术的关键是如何实现实时生成。为了达到实时的目的，在不降低图形的质量和复杂度的前提下，要保证图形刷新率不低于 15 帧 / 秒，最好是高于 30 帧 / 秒。
立体显示和传感器技术。虚拟现实的交互能力主要依靠立体显示和传感器技术。现有的虚拟现实交互技术还远远不能满足系统的需要，虚拟现实设备的跟踪精度和跟踪范围都有待提高。用户通过传感装置可以直接对虚拟环境进行操作，并得到实时的三维显示和反馈信息 ( 如触觉、力觉反馈等 ) 。空间跟踪，主要是通过 HMD( 头盔显示器 ) 、数据手套、数据衣等交互设备上的空间传感器，确定用户的头、手、躯体或其他操作物在虚拟环境中的
位置和方向。声音跟踪，利用不同声源的声音到达某一特定地点的时间差、相位差、声压差等进行虚拟环境的声音跟踪。视觉跟踪，使用从视频摄像机到平面阵列、周围光或者跟踪光在图像投影平面不同时刻和不同位置上的投影，计算被跟踪对象的位置和方向。
系统集成技术。由于虚拟现实中包括了大量的感知信息和模型，因此系统的集成技术变得至关重要。集成技术包括信息同步技术、模型标定技术、数据转换技术、数据管理模型和识别技术等。
3.发展现状及应用
虚拟现实交互技术的应用领域十分广泛，主要集中在工程设计 CAD 、数据可视化、飞行模拟、多媒体远程教育、临床外科、远程医疗、艺术创作和娱乐等方面。
军事领域是最早研究和应用该技术的。早在 1983 年，美国陆军就曾制定了虚拟环境研究计划。它将分散在不同地点的坦克、车辆仿真器通过计算机网络联合在一起，形成一个虚拟战场环境，进行各种复杂任务的训练和作战演练等。从 1994 年开始，美国陆军与美国大西洋司令部合作建立了一个包括海陆空所有兵种，有 3700 多个仿真实体参与的，地域范围覆盖 500km × 750km 范围的军事演练环境。
在医疗方面，虚拟现实技术更是大有作为，具有十分重要的现实意义。通过在虚拟环境中建立虚拟的人体模型，借助 HMD 、跟踪球、感觉手套等设备，医生就会很容易了解人体内部各器官的结构。 20 世纪 90 年代初， Pieper 和 Satara 等研究者基于 SGI 工作站，建立了一个虚拟外科手术训练器，用于腿部及腹部外科手术模拟。这个训练器虚拟了真实的手术台与手术灯、外科工具 ( 如手术刀、注射器、手术钳等 ) 和人体模型器官等。借助于 HMD 及感觉手套，使用者可以对虚拟的人体模型实施手术。随着该技术在医学领域的应用，必将会减少手术风险，大大造福患者。
结合了虚拟现实技术的 GrImage 栅格影像技术因为融合了视觉效果、物理仿真和实时功能，也是新一代虚拟空间应用的重要方面。这项技术使用了多种复杂软件，通过精确的 3D 数据运算，建立了高质量的 3D 建模。在物理仿真方面使用了 SOFA 软件，根据物体的曲线图构建多种实体模型，包括可变形的模型和碰撞模型等等。当把任何一件物品放入作用空间中时， GrImage 就会立刻在虚拟空间中进行三维建模，变成或软或硬的虚拟物体。
虚拟现实交互技术可以把虚拟物体变成我们可触及的东西，你可以推、抓，甚至挤压他们。它能在相互空间中俘获真实物件，利用三维建模实现高质量的虚拟克隆，变成用户可
触及的东西，缩短生活中重要的人员、地点和活动之间的距离 ( 社区、工作地点、玩游戏、教学等 ) 。通过使用这项技术，我们可以在虚拟世界中实现更多的惊奇体验，比如在虚拟空间中见面握手。
也许，你会认为虚拟化现实技术离我们的生活仍然很遥远。但是实际上，目前世界许多公司已经使用虚拟现实技术进行产品的网上宣传了。客户通过鼠标、键盘等简单操作就可以了解到产品的详细情况。比如海尔公司的冰王子电冰箱，客户只需在网页上，使用鼠标拖拽旋转冰箱；单击冰箱门可以打开冰箱，再单击关闭；可以任意抽拉里面的部件；使用控制按钮可以控制冰箱执行动画演示以及规定的展示动作。
或许，这个世界本来就是无所谓真实与虚拟，人们按照自己的设想建构了现在的所谓真实世界之后，又去构建一个与之相对的虚拟时空。无论是将真实虚拟化，还是将虚拟真实化，只要能够让我们的生活变得更加便利、更加丰富多彩，那么就会是大势所趋人心所向的真实存在了。
4.虚拟现实交互发展趋势
目前, VR显示终端处于发展初期, 各大厂商凭借优势采用各自的VR交互解决方案。一时间, 带有各种交互方式的VR显示终端充斥市场, 有的绑定手柄, 有的配备遥控器, 有的安装触摸板, 甚至有的具有手势识别功能等。这种多种交互形式并存的现状促成了VR交互方式百家争鸣的局面。
1.“眼球追踪”实现交互
大多数人认为眼球追踪技术是解决虚拟现实头显设备眩晕病问题的突破之处。Oculus创始人帕尔默·拉奇曾称眼球追踪技术为“VR的心脏”, 因为它对于人眼位置的检测, 能够为当前所处视角提供最佳的3D效果, 使VR头显呈现出的图像更自然, 延迟更小。同时, 由于眼球追踪技术可以获知人眼的真实注视点, 从而得到虚拟物体上视点位置的景深。目前虽然有很多公司在研究, 但是却还没有一个满意的解决方案。代表公司:七鑫易维。
2．“动作捕捉”实现交互
动作捕捉系统可以让用户获得完全的沉浸感, 真正“进入”虚拟世界。目前市面上针对VR的动捕系统还不是很多。现有的一些也只能在特定的场景中使用, 并且还要花费比较长的校准时
间和穿戴时间才能使用。相比之下, Kinect这样的光学设备在某些对于精度要求不高的场景可能也会被应用。全身动捕在很多场合并不是必须的, 而它交互设计的一大痛点是没有反馈, 用户很难感觉到自己的操作是否有效。代表公司:u Sens淩感科技。
3．“肌电模拟”实现交互
因为神经通道是一个精巧而复杂的结构, 从外部皮肤刺激是不太可能的, 所以利用肌肉电刺激来模拟真实感觉需要还有一定的难度。
目前的生物技术水平无法利用肌肉电刺激来高度模拟实际感觉。有一个VR拳击设备Impacto用肌电模拟实现交互。Impacto设备分为两部分, 一部分是震动马达, 能产生震动感, 这个在一般的游戏手柄中可以体验到;另外一部分, 也是最有意义的部分, 是肌肉电刺激系统, 通过电流刺激肌肉收缩运动。两者的结合能够给人们带来一种错觉, 误以为自己击中了游戏中的对手, 因为这个设备会在恰当的时候产生类似真正拳击的虚拟冲击感。代表公司:德国哈索普列特纳研究所HCI。
4．“触觉反馈”实现交互
触觉反馈主要是按钮和震动反馈, 大多通过虚拟现实手柄实现, 这样高度特化/简化的交互设备的优势显然是能够非常自如地在诸如游戏等应用中使用, 但是它无法适应更加广泛的应用场景。目前三大VR头显厂商Oculus、索尼、HTC Valve都不约而同的采用了虚拟现实手柄作为标准的交互模式:两手分立、6个自由度空间跟踪, 带按钮和震动反馈的手柄。这样的设备显然是用来适合一些高度特化的游戏类应用, 这也可以视作一种商业策略, 因为VR头显的早期消费者大多数是游戏玩家。代表公司:Tactical Haptics。
5．“语音”实现交互
VR用户在体验时主要是环顾四周, 不断发现和探索。图形指示可能会对沉浸感产生影响, 这时如果用户和VR世界进行语音交互, 会更加自然, 而且它是无处不在、无时不有, 用户不需要移动头部和寻它们, 在任何方位任何角落都能和他们交流。代表公司:Fraunhofer IIS。
6．“方向追踪”实现交互
方向追踪可用来控制用户在VR中的前进方向, 但很多时候都会受空间的限制, 追踪调整方向也可能会有转不过去的情况。交互设计师给出了解决方案——按下鼠标右键则可以让方向
回到原始的正视方向, 或者叫做重置当前凝视的方向。还可以通过摇杆调整方向, 或按下按钮回到初始位置。但是这有可能会感到很累, 削弱了舒适性。代表公司:创想智控。
发布评论