虚拟现实技术研究背景目的意义与国内外现状
1 研究背景、目的与意义
2国内外研究现状
2.1图像配准现状
2.2图像融合现状
1 研究背景、目的与意义
在实际的科研和工程中，经常会用到超过人眼视角的高分辨率图像，而普通相机的视角往往不能满足需要，而专业相机价格又比较昂贵。例如由于距离的限制。某些超大尺寸的物体无法用一张照片拍摄下来，这在航空航天照片的拍摄中尤显得明显。20世界90年代初，出现了虚拟现实技术VR, VR是Virtual Reality 的缩写。近几年来，虚拟现实技术成为计算机技术领域中最为热门的科研课题之一，相应技术的发展也相当迅速。
虚拟现实是一种人与通过计算机生成的虚拟环境之间可自然交互的人机界面，其应用开发前景非常广阔，市场潜力不可估量。目前，它在航空航天、机械设计、科学计算、影视娱乐、化学医药和军事训练等诸多领域得到了初步的应用，而且很多应用是其他技术所无法替代的。
虚拟现实生成的关键在于虚拟场景建模—虚拟世界的构造。虚拟现实要求具有沉浸感，因此对逼真的虚拟环境的建立的要求越来越高。围绕虚拟场景建模问题的解决方式主要有两种：一种是基于计算机图形学的三维几何模型建模和绘制(Geometry-Based Modeling and Rendering, GBMR)技术，一种是基于图像的建模和绘制(Image-Based Modeling and Rendering, IBMR)技术。
GBMR场景构造法通常是建立场景的三维几何模型，然后对场景中的光照、物体的材料、表面的纹理等特征进行描述，当视点在场景中移动的时候，通过光强的计算和消隐等技术来生成视点观察到的图像。该方法一般用在基于高性能图形工作站的系统中。但是该方法需要进行大量的计算，对系统硬件的计算能力和图形加速性能都有很高的要求，而且，计算机图形的生成与显示时间依赖于图形的复杂度，这与虚拟现实的实时要求相矛盾。
IBMR场景构造法是近几年才发展起来的，该建模方式是在一定的图像处理算法和视觉计算算法的基础上，由待建三维虚拟空间的有限幅图像样本来直接构造三维场景，即以环境中抽样出的离散图像组成基础数据，通过处理与组织这些图像数据得到环境的连续描述过程。IBMR技术摒弃传统的三维建模生成虚拟场景的方法，通过对一组预先采集到的场景图像进行适当组合来完成虚拟场景的图
像绘制工作。它具有真实场景的绘制质量，而且算法复杂度与场景复杂度无关，只与图像的分辨率有关，避免了大量图形计算，逐渐成为研究的主流。
IBMR的主要特点是它的绘制和场景复杂度无关。场景图像拼合技术就是这样一种场景编码方法，它被大多数IBMR方法用来建立高分辨率的复杂场景，例如柱面和球面全景图、环境映照等等。这种方法利用预先获取的一组图像样本实现虚拟场景的360°任意漫游。根据这些方法的特点，IBMR可以分为四类：视点插值、全视空间函数构造方法、全景图像拼合方法和深度映射恢复方法。其中全景图像拼合是利用照相机平移或旋转得到的部分重叠图像样本生成一个较大的甚至左右对接的全方位图像的场景绘制方法，它成为IBMR绘制方法中的一项基本技术。
在基于全景图像拼接方法的虚拟现实系统中，虚拟场景按以下步骤生成：首先利用采集到的离散图像或连续图像序列作为基础数据，经过处理形成全景图像，然后通过合适的空间模型把多幅全景图像组织为虚拟全景空间。用户在这个空间中可以进行前进、后退、360°环视、仰视、俯视、近看和远看等操作。虚拟全景空间具有如下优点:
(1)不需要硬件加速就能在PC机上实时运行;
(2)不依赖于特殊的设备，如头盔显示器等;
(3)能显示高质量图像，而且处理时间与场景复杂度无关。
由此可见，在IBMR绘制方法中，全景图像的拼合是较有代表性的一项基本技术，目前广泛地应用于虚拟现实和计算机视觉等多个领域，关于它的研究对于整个IBMR技术有普遍意义。
但是总的来说，目前的虚拟现实技术还很不成熟。尽管近年来在各界的关注下，该技术已经取得了长足的发展，但是由于其发展时间有限，技术难度高，因此当前的发展状况距离各行各业的实际需求仍然相差甚远。虚拟现实技术要得到充分的应用还有很多工作需要完成。
2国内外研究现状
虚拟与现实全景图像的拼接是指利用照相机平移或旋转得到的部分重叠的图像样本，生成一个较大的甚至360度的全方位图像的场景绘制方法。换句话说，就是给定某个真实场景的一组局部图像集，然后对这一组图像集进行拼接，生成包含这组局部图像的新视图。
全景图的生成一般有以下几个步骤:
(l)先将从真实世界中拍摄的一组照片以一定方式投影到统一的空间面中，空间面有立方体、圆柱体和球体表面等，这样这组照片就具有统一的参数空间坐标
(2)在这个统一的空间面对相邻图像进行比较，以确定可匹配的区域位置以及匹配的几个参数，如果存在噪声图像，还必须先将噪声图像筛除;
(3)将图像重叠区域按照计算参数进行拼接融合处理，拼接成全景图。
2.1图像配准现状
在全景图的构建中，相邻图像重叠范围的确定即图像配准是最为关键的一步。针对两幅相邻图像的配准，国内外的研究人员已经做了大量的相应研究工作，并取得了可观的研究成果。
1975年Kuglin和Hines首先提出用于图像配准的相位相关度法，该方法具有场景无关性，能够将纯粹二维平移的图像精确地对齐。后来,De Castro和Morandi发现用傅立叶变换确定旋转对齐，就像确定平移对齐一样;1996年，Reddy和Chaterji改进了De Castro的算法，指出两幅图像的平移矢量可以通过它们互功率谱(Cross Power Spectrum)的相位直接计算出来，大大减少了需要转换的数量。
基于几何特征的图像配准方法是图像配准技术的另一研究热点。1994年，Blaszka，Rachid Deriche通过二维高斯模糊过滤可以得到一些低级特征模型，如边模型、角模型和顶点模型。以此为基础，后来有越来越多的人开始研究基于这些图像中的低级特征进行图像拼接的方法。1997年，Zaghlami,Faugeras，Deriche 提出基于几何角模型的图像对齐算法，因为角模型提供了比坐标点更多的信息；接着在1999年，Bao，Xu提出利用小波变换提取保留边(edge-reserving)的视觉模型进行图像对齐；而Nielsen则提出基于几何点特征优化的匹配方法。2000年，Kang，Cohen，Medioni提出了基于图像的高级特征进行图像拼接的方法，他们是利用特征图像关系图来进行图像对齐。通过利用图像的低级特征到绪论硕士论文后来利用其高级特征，人们对图像的分析和理解日益深入，图像拼接技术的研究也逐渐成熟起来。
基于运动的全景图像配准模型由RichardSzeliskl在1996年提出，采用Levenberg一Marquardt迭代非线性最小化方法(简称L-算法)，通过求出图像间的几何变换关系来进行图像配准，由于此方法效果较好，收敛速度快，且可处理具有平移、旋转、仿射等多种变换的待拼接图像，因此也成为图像拼接领域的经典算法，而RichardSzeliski也从此成为图像拼接领域的奠基人，他所提出的理论己经成为一种经典理论体系，直到今天仍然有很多人在研究他的拼接理论。2000
年,Shmuel Peleg, Benny Rousso, Alex Rav-Acha和Assaf Zomet在Richard Szeliski 的基础上做了进一步改进，提出了自适应的图像拼接模型，它是根据相机的不同运动，自适应选择拼接模型，通过把图像分成狭条进行多重投影来完成图像的拼接。这一研究成果无疑推动了图像拼接技术的进一步发展，自适应问题也从此成为图像拼接领域研究的新热点。
在国内，1997年，王小睿等提出并实现了一种自动图像配准方法，用于图像的高精度配准，但实际上它只是一种使用互相关系数作为相似性测度的半自动图像配准方法。1998年，张祖勋等提出了采用多级影像概率松弛整体匹配技术，用于不同传感器、不同空间分辨率的遥感影像的快速配准。2001年，清华大学的研究人员提出了一种针对图像拼接过程中计算量与拼接精度之间进行折衷的方案，该方案用三角架保证摄像机基本绕垂直轴旋转，但是不对摄像机的旋转角度作严格限制。同年，华中科技大学的研究人员提出了依据变形图像推导出相邻两幅变形图像间的数学关系，用相关法识别特征点，经过几何变形校正以构成大图像的算法；郭海涛等提出了一种将遗传算法用于图像配准的算法，分析了
遗传算法中体的大小、交叉率、变异率、选择机制对影像匹配的影响，特别是对未成熟收敛等问题进行了较为深入的研究；熊兴华等为了加速匹配并为高精度子像素匹配提供稳健而相对精度的初值，提出了一种基于遗传算法和最小二乘法匹配相结合的遥感图像子像素匹配算法。针对动态全景图拼接，2002年，杜威、李华两人提出了一种应用于动态场景的全景图表示方法，将视频纹理和全景图结合起来，构造动态全景图。2005年，侯舒维，郭宝龙针对现有基于灰度级相似的图像拼接方法的缺点，提出了一种图像自动拼接的快速算法，该算法综合考虑了图像拼接的精度和速度，在基准特征块的提取上，采用简单的边缘信息闭值法，在块的搜索上，采用金字塔式分层搜索策略。同年，方青，王博亮提出了一种新的基于比值模板匹配的彩图像拼接算法，通过在比值模板的构造中引入一个自相关属性来增强模板匹配的健壮性，为了保证待拼接图像在差与亮度上的一致性，对拼接的结果图进行了相关校正。南京理工大学硕士学位论文全景图自动生成技术研究.
2.2图像融合现状
图像融合的概念最早由美国学者提出，是将两个或者两个以上的传感器在同一时间(或不同时间)获取的关于某个场景的图像或者图像序列信息加以综合，生成一个新的有关此场景的解释，而这个解释是从单一传感器获取的信息中无法得到的。按融合在处理过程中的流程可以分为像素级图像融合，特征级图像融合和决策级图像融合3个类别。
像素级方面，Achalakul研究了一种谱屏蔽PCT算法(spectral- screening PCT algorithm)，可以融合超谱(hyper-specral)图像，并采用PCT方法研究了高性能多光谱CCD摄像系统的分布实时图像融合算法;Tseng研究了一种用整数小波变换和PCA融合低分辨LandsatTM多谱图像与SPOT全彩(PAN)图像以生成谱损失小的高分辨多光谱图像。
特征级数据融合的主要方法有：聚类分析方法、Dempster一Shafer推理方法、贝叶斯估计方法、信息嫡方法、加权平均方法、表决方法以及神经网络方法等。
决策级图像融合是一种更高层次的信息融合，其结果将为各种控制或决策提供依据。常用的融合方法有贝叶斯估计法、神经网络法、模糊聚类法，以及专家系统等。由于输入为各种特征信息，而结果为决策描述，因此决策级图像融合的数据量最小，抗干扰能力强。