增强现实与虚拟现实:过去和未来

话题:
作者:
Anne Corning

最近召开的SPIE 2020年增强现实、虚拟现实与混合现实讨论会有趣地回顾了虚拟和增强现实设备的历史,并通过许多信息丰富的技术讲座、小组讨论、行业讲解和演示,探索了该行业的未来。

回顾:增强现实/虚拟现实/混合现实博物馆

出席旧金山讨论会的人员会看到一场包罗万象的“增强现实/虚拟现实博物馆”展览,展示了19世纪中期的立体镜、 20世纪90年代的第一台有线虚拟现实游戏设备、漫威系列电影中的钢铁侠头盔,以及过去30年中的各种增强现实/虚拟现实设备。

第一排是一些旧式虚拟现实系统,从左到右为:大约1850年的立体图像、纳斯卡赛车视频游戏设备(1991年)和Toy Quest虚拟现实世界设备(1997年)。 第二排是后来的一些系统,从左到右为:MyVu(2008年)—第一代iPod接口、现在已不复存在的Osterhaut Design Group的ODG-R6(2014年)和Ripple增强现实的SeeBright(2015年),其运作方式与Google Cardboard类似。最后一排,从左到右为:三星Gear(2017年)、宏碁/微软虚拟现实设备(2017年)、Daqri智能头盔(2017年)和钢铁侠头盔(2018年)。

广泛的技术、光学系统、外形尺寸和显示类型证明了该行业在过去几十年的相关研发、实验、创新和创造性解决方案的爆炸性增长。例如,下列为一些精选的显示器和显示器光学技术(无特定顺序):

显示器 光学技术
  • 红色LCD
  • 智能手机
  • 双AMOLED 2160x1200 @90Hz
  • LCD
  • 双2.89” OLED 1440x1440 @ 90Hz
  • 日光背光液晶显示屏
  • 双层MEMS 扫描仪 (2x 1D MEMS)
  • 手机面板类型(集成式)
  • 双720p 16:9 微型显示器
  • µOLED 双目
  • LCOS
  • 双 752x480 液晶显示器 VGA接口
  • 双目 Himax LCOS
  • 单目 WVGA OLED
  • 单目 LCOS VGA
  • 单目Himax HD LCOS,带背光 PBS
  • 双目 640x480 VGA LCD
  • 单目 Kopin LCD nHD
  • 带背光的Kopin LCD nHD单目
  • 双 LCOS 微显示器

 

  • 曲面单筒部分反射器
  • 平面菲涅尔镜头和部分反射器
  • 单镜头
  • 标准镜头
  • 标准折射镜头
  • 混合菲涅尔镜头
  • 菲涅尔/折射混合镜头
  • 表面浮雕光栅波导组合器
  • 单曲面部分反射器
  • 45°半色调组合器
  • 平面导光板,带部分提取镜
  • 非透视式单目90° 棱镜
  • 从鬓角1D LOE波导展开
  • 折射镜头和反光罩涂层
  • 微棱镜阵列波导组合器
  • Birdbath组合器光学元件
  • 10 mm塑料birdbath
  • 8.5mm塑料birdbath
  • 通过LCD快门进行3D显示
  • 反射式部分曲面镜
  • 平面菲涅尔和45°部分反射镜
  • 45° 反射镜和标准镜头
  • Lumus LOE波导组合器

随着人们对波导技术、全息二维和三维成像技术,以及OLED、LCOS、投影和microLED(可能很快会推出的)显示类型的不断探索,这种增强现实/虚拟现实的技术仍在持续发展。

目前,增强现实/虚拟现实/混合现实行业正处于其发展和成熟的重要阶段,微软的Bernard Kress将其称之为“理性时代”。他认为,该行业开始融合各项最可能带来合适解决方案的技术,使其方法合理化,并且重心正从早期/新兴的研究和试验阶段,过渡到商业上可行的目标并达成某种共识。

NIST等组织已经开始为近眼显示(NED)设备定义标准,而FDA也已参与评估其潜在的安全因素。一些专家认为,在设备硬件、光学元件及其应用等众多元件仍在快速发展的同时,锁定一个固定标准体系可能还为时过早。然而,我们可以预见,在未来几年内,随着显示器、激光和其他技术市场的成熟,该行业将朝着这个方向发展。

趋势应用:增强视力

本次讨论会上出现的一个有意思的趋势是使用增强现实技术来帮助增强人类的视力。增强现实是指通过将信息(如文本和图形)叠加到背景现实环境,从而增强用户对现实的感知。一些创新的新兴公司正在进一步发展增强现实技术,不仅可以使用它来显示用户现有的现实视图上的信息,还可以改善该视图,从而增强用户的视觉能力以便更好地看到现实。

对于有视力障碍的人来说,AR/MR功能可能是一个福音。许多AR/MR设备都含有“映射”视觉环境的系统。这些系统并非使用这些映射图来整合所显示的信息,而是向佩戴者呈现真实环境的信息,帮助他们更好地“看到”周围的世界。

大约75%的美国成年人使用某种视力矫正器(眼镜或隐形眼镜)治疗轻度至重度视力问题,包括近视或远视、散光、老花眼(年龄相关视力退化)、周边视力差、光敏感、夜视丧失,以及其他眼病。

根据南加利福尼亚大学凯克医学院的最新研究,视网膜色素变性是一种遗传性退行性眼病,其特征是周边视力差,在弱光条件下难以看清,使用合适的AR眼镜对该眼病患者有所帮助。研究人员为受试患者配了AR眼镜,该眼镜“在6英尺框内为物体叠加了4种明亮不同颜色来提供视觉颜色线索”,2 帮助受试者解释复杂和/或光线昏暗的环境,以避开障碍物。为了做到这一点,他们使用了一种称为同步定位和映射的过程,来用AR眼镜实时渲染房间的3D结构。

与此同时,来自斯坦福大学的团队从另一个角度解决了这个问题,他们帮助开发了一种计算显示技术,能够矫正在查看手机等的显示屏时,视力上的任何近视或远视(屈光不正)。用户不必佩戴眼镜或隐形眼镜,而是显示屏本身自带视力校正算法,使用户能够看清它。

斯坦福大学计算成像小组组长Gordon Wetzstein发表了一篇关于可用于纠正视力的显示屏幕的TEDx演讲

可验光的AR眼镜

对于许多已经戴上视力矫正的眼镜或隐形眼镜的人来说,许多智能眼镜制造商会加入调节或附加元素,来匹配用户的特殊需求。例如,智能眼镜制造商VuzixNorth 都提供定制版的眼镜,Nvidia 也宣布推出“可验光AR”眼镜。

Vuzix (左)根据验光结果配好定制Blade®智能眼镜(也可购买一套替换的验光镜片,装到现有眼镜中),North(右)则宣称其Focals镜片是根据客户的验光结果定制的。

取代人类的视力?

但是,这些系统能否超越现有局限于增强人们(可能受限的)视力的能力,从而真正解决盲人的视觉障碍问题?在 加州理工学院, 科学家们一直在研究一种方法,通过使用AR和音频信号来帮助那些有视觉障碍的人。在他们的系统中,“一台可穿戴计算机采集视频和其他数据,提取重要的场景知识,并以简洁的形式将其传达给用户……环境中的每一个对象分别发出声音,并根据命令与用户通信。”3 他们的解决方案使用了微软Hololens全息耳机和他们开发的名为认知增强现实助手(CARA)的软件。

加州理工学院的视觉辅助AR解决方案使用了微软Hololens全息镜头和CARA软件。

未来趋势:MicroLED

在SPIE增强现实、虚拟现实与混合现实会议上,另一个令人瞩目的趋势是增强现实/虚拟现实应用的microLED技术的问世。尽管面临着性价比、microLED制造和组装一致性方面的挑战,但增强现实/虚拟现实行业的领导者们仍对这种显示技术的潜力感到兴奋不已。事实上, Lumileds的副总裁Srinivasa Banna甚至预言,在未来,人类活动可能只为两种光源所照亮:阳光和LED。4

MicroLED被认为特别适用于增强现实和混合现实显示屏,当要求周围环境在背景中仍然可见,对于在透明介质上观看投影图像所需的对比度,其高亮度是一大优势。microLED领域的Lumileds, Lumiode, glō, Jasper Display, Mojo Vision, 台湾工业技术研究院(ITRI)eLux 等公司和组织在现场分享了他们在解决走向大规模商业化的道路上出现的背板、巨量转移、均匀性、颜色、成本和功率效率等问题上的方法和最新进展。

保证增强现实/虚拟现实/混合现实显示设备的质量

对于近眼显示设备制造商来说,保证显示屏的功能正常和美观至关重要,用户体验的质量更是如此。颜色和亮度(照度)均匀性、像素缺陷、图像对比度、失真和杂散光效应都会干扰设备的视觉性能、功能性和安全性。瑞淀光学系统增强现实/虚拟现实镜头拥有独特的光学设计来测量近眼显示屏幕,例如增强现实/虚拟现实/混合现实头戴设备上的显示屏。

镜头设计模拟了人眼的大小、位置和视场。增强现实/虚拟现实镜头的光圈位于镜头前部,使近眼显示设备内成像系统的入射瞳孔定位在与人眼相同的位置,从而捕捉头戴式显示屏(HMD)的全视场(水平方向达120°、垂直方向达80°)。3.6毫米的光圈大小也与人眼瞳孔的大小相匹配,从而可以在与人眼观看的相同条件下测量显示屏。这确保了对用户可见的所有显示内容进行全面测量,保证了预期体验。

瑞淀ProMetric®成像光度计或色度计配合增强现实/虚拟现实镜头使用,可用于高分辨率显示器的像素和亚像素测量,从而能够检测LED、LCD、OLED、LCOS、DLP和投影显示器的缺陷和异常。瑞淀 TrueTest™ 软件 提供了领先的显示测试算法,而且能够建立测试序列,以便在几秒钟内快速评估所有相关的显示特性。TrueTest™系列软件提供的标准测试包括显示亮度、色度、对比度(清晰度)、均匀性、mura(瑕疵)、像素和线条缺陷等。通过TT-ARVR™ 测试模块对NED显示分析进行的独特测试包括:

  • 用于评估图像清晰度的调制传递函数(MTF),包括基于ISO 12233的线对法和斜边法
  • 图像失真(用于测试图像畸变)
  • 杂散光和重影
  • 图像残影
  • 视场大小(镜头出厂畸变校准,使测试宽视场标准化)
  • 报告x、y的空间位置(单位:°)

凭借这个针对具体应用需求配置的瑞淀成套解决方案,制造商即可实现高效AR/VR测量方法。

瑞淀ProMetric成像色度计 + AR/VR镜头 + TT-ARVRTrueTest系列的TT-ARVR软件,提供了有效的NED设备测试解决方案。

 

文献引用

  1. 美国视力委员会
  2. Anastasios Nikolas Angelopoulos, Hossein Ameri, Debbie Mitra, Mark Humayun. “增强现实测距在低视力患者增强深度导航的应用”, Scientific Reports, 2019; 9 (1) DOI: 10.1038/s41598-019-47397-w
  3. Liu, Y., Stiles, N., and Meister, M., “增强现实技术为盲人提供认知辅助”,eLife第7卷文章编号e37841。DOI: 10.7554/eLife.37841,2018年
  4. 4. Banna、Srinivasa,在SPIE增强现实、虚拟现实与混合现实年会上“用于增强现实/虚拟现实显示器的MicroLED技术”,2020年2月3日,加利福尼亚州旧金山。
     
radiant vision system wechat