郭振,博士,高级工程师,主要研究方向为人工智能、计算机软硬件.E-mail:wxs_8s2021@163.com.
作者简介:
张梅,博士,工程师,主要研究方向为光学设计、三维图像采集、三维图像显示.E-mail:ormosia_2021@163.com.
王飞跃,博士,研究员,主要研究方向为智能系统和复杂系统的建模、分析与控制.E-mail:feiyue.wang@ia.ac.cn.
唐乐乐,博士, 副研究员, 主要研究方向为计算机软件、芯片设计.E-mail:leletang@126.com.
王晓,博士,副究员,主要研究方向为社会计算、知识自动化、知识机器人、社会交通、平行智能.E-mail:x.wang@ia.ac.cn.
致力于复现三维真实场景的真三维显示技术,其自然的三维视觉感知和直观的用户体验越来越符合人们对显示系统的需求.真三维显示技术代表未来先进显示技术的发展方向,也是促进元宇宙领域发展的关键技术.真三维显示为虚实世界的信息链接提供直接的窗口,为虚实世界的交互提供沉浸式三维视觉感知效果.迄今为止,学者们提出多种显示原理和系统样机.文中首先针对主流的各类真三维显示技术的原理及代表性系统样机进行较完整地梳理.然后,针对各类显示技术的优缺点进行详细分析和总结,详细分析未来三维显示技术的重点发展方向和趋势.最后,对该领域未来的发展前景进行展望.随着计算机技术、光电子技术、5G通信等领域的快速发展,真三维显示系统将在高质量显示、强大的计算能力及智能感知与交互功能方面实现技术突破,其应用潜力将愈发凸显.
GUO Zhen, Ph.D., senior engineer. His research interests include artificial intelligent, computer software and hardware.
About Author:
ZHANG Mei, Ph.D., engineer. Her research interests include optical design, 3D imaging acquisition and 3D imaging display.
WANG Fei-Yue, Ph.D., professor. His research interests include modeling, analysis, and control of intelligent systems and complex systems.
TANG Lele, Ph.D., associate researcher. His research interests include computer software and integrated circuit design.
WANG Xiao, Ph.D., associate researcher. Her research interests include social computing, knowledge automation, knowledge robots, social transportation and parallel intelligence.
The true three-dimensional(3D) display technology aims to reproduce real 3D scenes. It becomes more urgently needed than traditional 2D display systems due to the advantages of natural 3D visual perception and intuitive user experience. Since the true 3D display represents the future development trend of display area, it is the crucial technology to promote the development of metaverse area. The window of the information link between the virtual and the real world can be directly opened through the true 3D display technologies. And the immersive human-computer interaction 3D visual perception can be felt more strongly than other display technologies. In this paper, the principles and representative prototypes of various true three-dimensional display technologies are summarized. Then, the advantages and disadvantages of various main true three-dimensional display technologies are analyzed in detail. The potential development trends of the 3D display technology are proposed. Finally, the prospect forecast for true 3D display technology is provided. With the development of computer technology, optoelectronic technology, 5G communication and other technologies, the true 3D display system with high-quality display, powerful computing capabilities and intelligent perception and interactive functions will be highly developed in the future. Various applications will gradually increase in the areas of military affairs, medicine, teaching, etc.
沿用至今的平板显示器件由于无法使观察者获得真实的三维深度信息和完整的表面特性, 越来越影响信息获取、处理、传递、人机交互和决策的准确度、深度、速度和效率.真三维显示便是利用人眼双目视差的特性, 在一定显示介质和器件的辅助下, 呈现具有一定空间深度感信息的技术.不同于流行的头戴式虚拟现实/增强现实显示等设备, 真三维显示技术不需要佩戴眼镜或头盔便可裸眼观看三维场景, 而且观察者可在不同视角下进行自然观察, 观者数量可不受限制.真三维显示技术的终极目标是实现一种高清晰、全彩色、全视角、无需特定辅助工具的三维显示效果, 犹如置于三维空间的真实三维目标漫反射的整个光场.
真三维显示技术从根本上更新信息显示的概念, 可客观、完全、真实地模拟和显示各种三维场景, 为观看者提供栩栩如生的三维感知信息, 有效提高观看者对整个场景更直观、全面的认知.因此, 三维显示技术一直以来都是学者们的研究热点, 在医疗诊断、教育教学、影视娱乐、商务会议等各个领域都表现出巨大的应用潜力.20世纪90年代, 三维显示技术最早在军事领域获得推广应用, 可在联合作战指挥、联合作战模拟及武器装备显示等方面发挥重要作用.1996年, 美国斯坦福大学研发出基于红外激光二极管的三维体显示装置, 在美国海军的资助下, 在浅水域潜艇导航、空中交通管制等多方面展开应用.
近年来, 随着计算机技术、光电显示技术、大数据处理技术等快速发展, 各类真三维显示技术的成果层出不穷, 越来越舒适、真实的视觉体验展现出更广阔的应用前景.2002年, 美国研制名为Perspecta的商业化三维显示系统, 应用于医学方面, 将人体结构组织的三维信息进行三维可视化呈现, 为手术导航、医学教学、远程医疗等提供有效的可视化工具.一直以来, LG公司、DTI公司、飞利浦公司、日立公司等多家知名企业均对真三维显示器进行持续不懈研究, 致力于提高其分辨率等各项显示性能指标, 使其沉浸式的视觉感知优势在娱乐影视、虚拟购物、商务合作等方面获得广泛应用.2021年, 定义为与真实世界进行映射与交互的元宇宙概念开始爆发式发展, 真三维显示从本质上为虚实世界的信息链接和交互提供最直接的窗口, 可为元宇宙概念的构建提供沉浸式的人机交互三维视觉感知效果.
近年来, 真三维显示技术根据不同的技术原理和表现形式, 主要可分为光场三维显示技术、体三维显示技术、全息三维显示技术.本文针对这3类真三维显示技术最新的研究成果进行介绍和梳理, 在对各类真三维显示技术的优缺点分析的基础上, 对未来的发展趋势进行展望, 帮助研究者更深入了解当前该领域的研究进展.
现实中三维物体之所以能被人眼感知到, 是由于其表面漫反射在三维空间中的光场信息分布被人眼捕获.Gershun[1]提出光场的概念, 定义为空间中某点向所有方向发出光的集合.1991年, Landy等[2]提出全光函数的概念, 采用七维函数G(x, y, z, α , β , λ , t)表示光场函数, 其中, (x, y, z)表示发光点三维位置, (α , β )表示发光方向, λ 表示波长, t表示时间.然而, 实际光场在三维空间中呈现无限连续分布的状态, 即使未考虑光线的其它特性(如极性、相位等), 七维函数的计算量依然相当庞大.1996年, Levoy等[3]将光场函数简化为四维函数, 在忽略光线波长和时间的影响下, 只需考虑光线的方向和位置.一般表征为2个相互平行的平面, 即L(u, v, s, t), 其中, (u, v)、(s, t)表示空间中光线与两平面相交点的坐标.光场函数表征示意图如图1所示.
光场三维显示系统的设计理念是采用有限个视场以近似空间中连续分布的实际光场.通过对采集的连续光场分别沿空间、角度、时间轴等进行离散采样, 获得有限数量视场表征的光场函数, 经二维显示器件、光场调控器件等进行再呈现, 获得三维显示效果.目前, 学者们已提出多种光场三维显示系统.
1.1.1 基于集成成像光场三维显示技术
集成成像显示技术一般是将微透镜阵列置于微型显示图像阵列之前进行三维场景显示, 包括记录和再现两个过程.每个透镜元下覆盖一幅不同方位视角的微单元图像, 经微透镜阵列投射不同视角的光线, 在三维空间中进行聚集还原, 重现物空间的三维场景, 使人眼在对应的视角位置观察到具有正确视差的图像.该技术的三维显示原理图如图2所示.微型显示图像阵列可采用投影仪阵列或液晶面板等实现.集成成像显示技术可同时实现水平视差和垂直视差, 但分辨率和显示尺寸受限于显示器件, 分辨率不高.
由于微透镜单元间距及其与显示屏之间的距离较小, 导致集成成像三维显示技术视角范围往往较窄.为了有效提高视场角, 研究者利用弯曲透镜阵列[4]、头部跟踪技术[5]、双层透镜阵列[6, 7]、全息光学元件[8, 9]等扩大视野范围.Sang等[10, 11, 12]利用高分辨率显示屏, 获得视角达到60° 的三维显示系统, 具体显示效果如图3所示.
2019年, Liu等[13]引入分时复用技术进行多向照明, 提出融合分时复用技术集成成像的三维显示系统, 结构如图4所示.该系统融合优化设计的全息功能屏, 有效解决视场角和分辨率之间的矛盾, 在120° 宽视角的可视范围内构建192个密集视点, 实现清晰的3D显示.
为了实现更平滑的立体视差和自然的显示效果, 迫切需要增大视点数量.基于集成成像三维显示技术不得不解决其视点数与分辨率之间的矛盾关系.2010年开始, Takaki等[14, 15]围绕新型超视点集成成像显示技术展开系列研究.在超视点显示系统中, 相邻视点的间隔小于瞳孔直径, 可有效解决视觉辐辏调节冲突, 获得三维显示目标自然的聚焦-离焦效果, 具体如图5所示.该系统结合投影系统与集成显示技术, 生成的256个视角图像经16个投影系统投影叠加到公共的显示屏上, 三维分辨率达到256× 192.2019年, Wang等[16]利用可编程定向背光系统实现低串扰的超视点集成成像显示系统, 实现352个视点.
1.1.2 基于多投影仪的光场三维显示技术
基于多投影的光场三维显示系统一般由投影仪阵列和定向散射屏组成, 原理如图6所示.
定向散射膜表面由一种特殊的微结构组成, 使照射在其上的光束在水平方向上散射角很小, 只沿着竖直方向上有较大的散射.当投影仪将视角图像投影到定向散射膜上, 观察者只能看到投影光心与视点连线方向上的一条窄带投影子图像.各投影仪投射的窄带图像在屏幕上拼成一个完整图像, 使观察者在该位置获得正确的视角图像.随着观察者的移动, 观察来自同个投影仪不同的窄带子图像, 从而观察不同位置对应的视角图像.通过对投影仪的预处理可实现子图像良好的拼接效果, 是实现立体显示效果的关键技术之一.投影仪的数量决定视点的疏密, 直接影响视点间的连续性.另外, 由于屏幕在竖直方向上散射较大, 一般难以直接产生垂直视差.
基于多投影仪的光场三维显示系统具有良好的延展性的特点, 此光场三维显示技术特别适用于大尺寸、大场景的显示.2005年, Holografika公司推出由96台投影仪阵列组成的HoloVizio三维显示系统[17, 18, 19], 具体如图7所示.定向散射屏对角尺寸达1.8 m, 水平视角50° , 系统两边添加反射镜将超出视角范围的光线反射回来重新利用, 实现在远程会议、可交互三维地图等领域的应用.
2014年, Jones等[20, 21]提出基于超薄投影机的三维显示系统, 具体如图8所示.72台微型投影仪可有效减少投影仪间的间距, 改善显示效果.此系统采用凸曲面反射显示屏, 水平视角范围达到118° , 实现较真实的大屏幕真三维显示.Jones团队在2016年采用216个投影仪, 又实现真人大小的三维光场重现效果, 并实现实时对话.
Li等[22, 23]进一步将三维显示系统的视角范围扩大至360° , 具体如图9所示.系统由环形排列的多层投影仪阵列和直径3 m、高度1 m以上的圆柱形定向散射屏组成.每个投影仪的分辨率为640× 480, 可用于多人会议等各类大型场景的三维显示.
为了实现更具真实感的三维悬浮效果, 2016年Yoshida等[24]提出名为fVisiOn的桌面式360° 三维显示系统, 具体如图10所示.系统采用桌面下环形排列的投影仪阵列和锥形背投散射屏, 显示约5 cm高的全彩三维场景.系统提供自然的混合现实环境, 适合交互式的圆桌会议.
更清晰连续的显示效果往往需要更密集的投影图像, 2020年Yoshida[25]为了解决投影仪数量增加受限于物理空间的问题, 将柱面镜引入系统中, 实现约10倍的密集虚拟投影仪数量, 再现由200多个狭缝图像组成的3D显示效果.
1.1.3 基于投影扫描的光场三维显示技术
基于投影扫描式的光场三维显示技术一般通过高速投影仪将显示图像投影到同步旋转的反射式定向散射屏上, 使单个投影仪可实现虚拟投影阵列的投影效果, 自然实现360° 的三维显示, 具体原理如图11所示.屏幕旋转一周投影的图像数决定系统的显示角分辨率.
2007年, Jones等[26]搭建一套360° 的三维显示系统, 具体如图12所示.投影仪将图像投射到高速旋转的定向散射屏上, 屏幕旋转一周投影288幅图像, 系统刷新频率达到20 Hz, 视角图分辨率达到768× 768.2009年, Jones等[27]进一步将人脸实时重建技术引入光场显示系统, 实现远程裸眼3D视频会议.但此系统只能显示单色图像, 采用的倾斜屏幕旋转装置无法在显示空间直接与三维显示目标进行交互.
为了实现彩色高清晰显示, 并且便于人机交互功能的实施, Xia等[28, 29, 30]提出桌面式360° 三维显示系统, 每扫描一周投影700幅彩色图像至转速30 rad/s的水平旋转定向散射屏上, 具体如图13所示, 实现虚拟场景可悬浮于屏幕上方的视觉显示效果, 保障人机交互的有效空间.然而, 这类系统只在旋转方向上具有视差.
2015年, Su等[31]引入360° 人脸检测技术, 实现竖直运动视差, 同时将反射屏改为透射屏, 解决交互时的投影信息遮挡问题.为了缓解显示效果受限于投影设备速度的影响, Song等[32]采用多台微型投影仪结合旋转选择性扩散屏, 实现可触摸的360° 光场显示系统, 具体如图14所示.旋转光瞳使屏幕旋转到正确位置才会进行投影, 有效降低显示设备速度, 缓解显示设备速度与光场密集度之间相互制约的问题.
1.1.4 基于多层屏幕的光场三维显示技术
基于多层屏幕的光场三维显示技术通常基于液晶像素复用的原理, 采用多层、离散的液晶屏幕进行空间光调制, 以特定规律形成空间光场分布以逼近拟显示目标无限、连续的光场, 达到真三维显示效果, 使用的数据表示层越多越能获得高阶的近似结果.技术原理图如图15所示.
三维数据经过控制器分解为多组断层显示图像, 分别送到各个液晶面板上.背光光源产生的照明光经过各层液晶面板上像素的逐级调制, 最终产生输出的光场分布.随着视点位置的移动, 看到的光线将穿过各层液晶面板不同的像素点, 引起光线亮度的变化, 实现具有视差的三维感知效果.将目标光场经过计算获得准确的断层成像数据是此技术的关键, 而并非简单的体元切片.基于多层屏幕的三维显示技术可实现全视差, 不但显示光线的空间位置, 也显示光线的传播方向信息, 具有较高的分辨率和连续的方向性.
2011年, Lanman等[33, 34, 35, 36, 37]将多层液晶置于光源之前, 通过调制各液晶像素, 实现光场三维显示系统, 具体如图16所示.系统采用分辨率为1 600× 1 200、间隔17 mm的多层液晶屏幕.该团队连续提出基于非负张量因式分解技术[33, 34, 35]和压缩光场优化方法[36, 37], 实现三维显示.但是, 基于多层屏幕的三维显示技术视场较小, 往往需要视点跟踪技术[38]或其它特殊算法进行有效提高.基于多层液晶显示技术视场较小的特点, 在近眼显示方面反而发挥更大的潜力, 可实现人眼的单目聚焦效果.
2015年, Huang等[39]将两层分辨率为1 280× 800的液晶显示屏引入头盔显示系统, 具体如图17所示, 可形成相距约100 cm的2个虚拟图像, 同时实现具有双目视差和聚焦的三维显示效果.
2015年, Cao等[40, 41] 为了提高实时性能, 提出基于压缩感知的多层液晶三维显示系统, 具体如图18所示.系统利用光场的相干性, 赋予更优的初始值进行迭代, 相比随机噪声获得的初始值更接近目标值.基于GPU执行像素并行分解算法, 分解速度提高5.91倍, 大幅缩短计算时间.
1.1.5 向量光场三维显示技术
向量光场三维显示技术依托波动光学理论, 是近年来裸眼三维显示领域的新兴技术.此技术通过控制像素单元的发光方向和发散角度, 利用带有方向的光束重构空间三维物体.由于像素尺寸和光束发散角度足够小, 向量光场显示对光线方向的调制具有高精度和高自由度特点, 实现连续视点、全视差的显示效果.
2013年, Fattal等[42]采用周期性纳米光栅研制一款定向背光三维显示系统, 系统原理及显示效果如图19所示.
系统从背光体不同方向导入的平面光波, 经过刻蚀在定向背板上规律排布的光栅, 实现定向光束的调制, 产生宽视野的彩色多视图.与不同视图或颜色关联的像素是在空间上多路复用的, 可由外部快门进行独立处理和调制.该技术最终展示多个手持式全动态视差三维显示系统, 获得分辨率127像素/英寸, 视点数200个, 视角范围90° .
为了平衡视场角与分辨率之间的矛盾, 2021年, Hua等[43]基于二维超构光栅阵列, 提出可视空间内信息密度渐变的向量光场显示系统, 原理如图20所示.系统依据人眼视网膜上视锥细胞分布的生理特点, 在中心凹视觉范围内分配较密集的视点数量, 在边缘视场分配少量的信息.研究人员在视角调制板上精准刻蚀具有不同周期和方向的纳米级光栅结构, 用于调制入射光场的相位.结合6英寸LCD显示面板, 实现432万个单元像素结构、160° 视场角、无暗区的彩色动态3D显示效果.
体三维显示技术通过重建三维空间中阵列排布的发光体像素实现三维场景的显示.不同于光场三维显示技术, 体三维显示技术是由物理空间真实存在的发光体素堆叠而成, 可准确反映物体尺寸和空间关系.此技术往往自然产生较宽视角, 能直接反映生理深度暗示和心理暗示, 形成令人印象深刻的可视化效果.但是体三维显示技术不能实现遮挡、缺乏足够的表面特性、显示尺寸可扩展性较差.按照不同的实现方式, 体三维显示技术通常可分为固态体三维显示技术、扫描式体三维显示技术及激光体三维显示技术.
1.2.1 固态体三维显示技术
固态体三维显示技术一般采用空间排布的LED阵列、光纤阵列、多层液晶等作为图像显示介质以实现三维显示.具有代表性的产品是LightSpace公司推出的名为DepthCube的三维显示装置[44, 45], 原理如图21所示.系统由20层分辨率为1 024× 768的液晶屏堆叠而成, 高速投影仪将显示图像投射在显示介质上, 各液晶层通过电控改变其光线透过率, 使不同深度的投影图像恰好在相应深度的液晶屏上显示, 而其它层的液晶在此时为透明状态.通过快速切换, 形成三维场景各层截面影像堆叠显示的效果, 呈现具有深度信息的体三维显示效果.但该系统视场角受限, 仅能在正前方1° 范围内进行观察.该系统与基于多层屏幕的光场显示技术最明显的区别在于, 观察者所视每个体素是来自固定层上固定点, 而非穿过各液晶层被调制后的光线.
2010年开始, Feng等[46]对DepthCube系统进行系列改进, 并对系统的投影光路、显示效果等方面进行一系列的优化[47, 48], 于2017年研发基于三片DMD的高清晰、彩色、动态体三维显示系统[49], 显示尺寸达到40寸, 刷新速率达到50 Hz, 具体如图22所示.
1.2.2 扫描式体三维显示技术
扫描式体三维显示技术一般通过高速投影设备配合高速运动的显示屏或高速旋转的发光设备实现.旋转的屏幕或发光设备通过运动序列点亮三维空间中分布的各个体像素, 基于人眼视觉暂留效应, 实现三维场景的显示.
早期典型的设备是1996年由Bahr等[50]提出的Felix 3D体三维显示系统, 具体如图23所示.系统通过三色激光束扫描一个同步高速转动的螺旋屏, 产生瞬时光点, 随着激光器的偏转和螺旋屏的旋转, 再现三维图像.1998年, Langhans等[51]将系统体积进一步缩小成便携式体三维显示, 并于2002年实现可交互功能[52].美国海军曾应用此类技术将机载应答机发送的飞机数据进行三维显示, 直观获悉空中交通情形.美国空军参与开发的OmniViewTM显示设备也曾在此类相关技术上进行尝试.
2002年, Favalora等[53]研制世界上第一台商业化的体三维显示系统, 命名为Perspecta, 具体如图24所示.系统通过高速DLP投影仪将图像按时序投影到高速旋转的平面漫散射屏上, 可实现8位256色显示, 具有198个视角数, 体素总数最多可达1亿, 水平视角360° , 垂直视角大于180° .但是系统显示区域为直径为10英寸的球形扫描区域, 扩展性较差, 主要局限于医学领域的应用.
Helix3D体三维显示系统(如图25所示)[54, 55]采用DLP投影代替三色激光, 将66个分辨率为1 024× 768的显示投影截面快速投射到高速旋转的螺旋屏幕上.随着螺旋屏的转动, 在不同Z轴位置截获高速投影的二维图像, 在三维空间形成二维图像栈, 获得体素达到1亿的体三维显示.随后, 开展针对三维数据的采集、处理、传输、可视化和真三维显示的实时连接的一系列研究, 由此提出基于螺旋混合屏的三维显示系统, 融合体三维显示与光场显示优势.
1.2.3 激光体三维显示技术
激光体三维显示技术一般利用扫描光束有选择地激发发光介质中的体元, 使其由于能量跃迁而发光, 产生的发光阵列形成三维图像.
发光介质可为固体或气体介质形式的上转换发光材料、晶体、等离子体等.该技术往往采用两束可独立控制的激光束, 在交点处产生高能量的聚集实现激发发光.早期研究实现的发光介质一般基于氟化物玻璃[56]、掺杂稀土微粒的玻璃[57]等.基于ZBLAN立方体的体三维显示系统如图26所示.
2015年, Ochiai等[58]提出基于普通空气介质的激光电离体三维显示系统, 具体如图27所示.系统通过3D动态聚焦系统, 将超短脉冲激光束聚焦到空气中某点, 当激光功率超过空气电离阈值时发生电离现象而发光, 经过远心场镜快速扫描, 在空气中绘制立体三维轮廓, 利用视觉暂留原理实现三维显示.系统可在空气中形成客观实感的三维图像, 但显示图像尺寸较小, 难以实现大幅面高帧频动态三维场景的显示.
随着元宇宙概念的兴起, 全息三维显示技术再次获得关注和快速发展.全息三维显示技术本质上是利用光的干涉原理进行目标体表面光场记录, 再利用衍射原理进行光场再现.Gabor[59]最早提出全息的概念, 能将三维场景的全部波前信息进行记录, 包括强度、相位、波长等, 重构的三维场景含有所有生理、心理的深度线索, 因此显示效果最接近真实三维场景.全息三维显示原理如图28所示.
但是, 显示色彩和分辨率受感光胶片性能影响较大, 尤其针对动态场景显示需要海量信息处理能力的硬件设备, 现有技术尚难做到高动态实时三维显示.
Zebra公司在静态全息三维显示方面有突出的成果(http://www.zebraimaging.com/zebra-imaging-emerging-technology)[60], 利用空间光调制器, 在特殊的光致聚合物材料上实现彩色全息图, 具体如图29所示.公司研制的静态彩虹全息地图产品已投入商用和军事应用.
目前全息三维显示技术主要致力于实现大视角、高帧数的动态显示.学者们一方面对可快速重记录的全息材料进行探索, 另一方面对可快速响应的空间光调制器展开研究.2008年, Benton等[60]利用计算全息技术首次实现动态全息三维显示, 系统的刷新率达到30 Hz, 视场角达到24° , 显示区域达到80 mm× 60 m× 80 mm.但系统尚难做到实时、全彩色显示.Tay等[61]提出光折变聚合物全息记录材料, 实现动态彩色全息三维显示, 如图30所示.利用数码全息打印方法, 可保持记录全息图数小时, 并且可被擦除以便写入新的图像, 刷新耗时降至2 s.但此方法在大面积记录材料的制作方面还较困难.
Ding等[62]提出利用计算机生成真实场景全息图的方法, 使计算全息技术获得快速发展, 但此方法计算数据量巨大、计算时间较长.之后, 学者们又提出很多方法简化3D物体模型的计算量.Chang等[63]利用快速计算生成全息图的方法, 实现无透镜全息三维显示, 具体如图31所示.由于方法中全息图是由二维平面图像经衍射计算获得的, 而非由三维物体体素生成, 因此可大幅减少计算量, 获得清晰的深度信息.
2019年, Sando等[64]提出具有360° 水平视区的实时交互式全息3D显示系统, 具体如图32所示.系统采用基于三维快速傅里叶变换的方法合成一套24帧全高清二进制计算机生成的全息图, 并采用图形处理单元获得进一步的加速, 可迅速合成多个传播方向的全息图, 成功演示可交互操作的人头部X射线CT图像.
近年来, 超构表面新型光学器件以其单元结构比波长小的特点, 可实现波前任意调控, 为大视角动态全息显示提供新思路.2020年, Gao等[65]提出空间信道超表面器件的概念, 具体如图33所示.利用DMD调制后的结构光控制超表面上每个空间信道的独立开启与关闭, 使同片超表面器件可实现数亿万幅的全息图动态显示.
人眼之所以具有三维立体感知, 是因为人类视觉系统从视网膜上的二维影像之中获取三维线索, 主要可分为生理深度线索和心理深度线索.生理上的深度线索包含调节、双目会聚、运动视差和双目视差.心理上的深度线索包含线性透视、遮挡、光照阴影、纹理、先前认知.各类三维显示技术在三维线索、分辨率、数据量、视场角及可扩展性等显示效果呈现方面的表现各有优劣, 具体如表1所示.
由表1可看出, 每种显示系统拥有独特的优势和不足.基于集成成像的光场三维显示系统具有全视差显示效果.但是, 由于系统往往采用微透镜阵列等元件对显示屏进行多视场分割从而形成三维显示, 各视场分辨率与视点数相互制约, 分辨率、视点数的大幅提高受限.基于投影仪的多视场光场三维显示系统通过增加投影仪数量以有效提高视场范围和分辨率, 具有良好的可扩展性, 但若采用足够多投影仪以达到自由视点效果, 系统体积巨大、价格昂贵, 校准工作繁重.基于多层屏幕光场三维显示系统在有限视场范围内能较好地逼近连续光场分布情况, 具有良好的分辨率和视场连续性, 但视场角较小, 视野受限, 亮度不足.体三维显示系统可自然实现360° 全视角观察, 但难以将三维场景的遮挡线索和光照阴影线索完美体现.全息显示系统可完美呈现与真实场景媲美的三维显示效果, 但若要实现高动态全彩显示效果, 需要高分辨率、高刷新率的硬件支持, 计算量巨大.
总之, 目前真三维显示技术的研究一直围绕如下2个影响显示性能提高的核心问题.
1)解决分辨率、视场角、密集视点之间的矛盾问题.能承载高空间带宽积的显示源是3D显示的硬件基础.当前各类显示系统的空间带宽积往往受限, 导致分辨率、视场角等性能的提高相互制约.分辨率达到媲美2D显示器的水平, 是3D显示具备实际应用性的基本需求, 而狭窄的视角范围难以满足人眼观察习惯.研究者一方面针对不同显示技术的特点, 通过增加投影仪数量、采用高密度像素屏幕、研制高性能空间光相位调制器等方式以提升空间带宽积, 另一方面往往通过人眼跟踪、时空复用、多角度照明等方案以满足分辨率、视场角及视点数的要求.
2)解决视觉辐辏-调节矛盾.人眼对目标场景的深度感知往往是由多种生理因素和心理因素共同作用而产生的.辐辏是指当两眼共同注视目标时, 双眼内向或外向的相互协同运动.调节是指通过改变人眼晶状体的光焦度调整眼屈光系统的焦距, 使不同距离的目标能清晰成像在视网膜上.当人眼注视不同距离的目标时, 不仅需要双眼集合运动, 还需要配合每只眼的调节作用, 使双目同时看清同个目标.然而, 在观看3D显示屏幕时, 提供的双目视差信息往往基于目标在显示屏幕前或后, 而实际单眼调焦获得的目标却恰好位于屏幕处.因此, 辐辏和单眼调节获得的目标空间深度信息并不一致, 导致感知系统混乱.研究者提出超视点3D显示方法, 使来自多个视点的光线进入同只人眼系统, 完成更接近目标的自然光场分布, 有效缓解辐辏-调节矛盾.
那么, 从近些年真三维显示技术的研究现状来看, 未来发展趋势可表现在如下方面.
1)新型三维显示机理.在各种三维显示技术“ 百花齐放” 的今天, 每种单一显示模式都有其独特的优势和不足.但在这些系统中, 往往存在数据处理量较大、显示光能利用率较低、系统过于复杂庞大、显示分辨率有待提高等各类问题.针对这些问题, 新的解决方案不断被提出.突破现有关键技术或融合现有多种显示模式为一体的新型真三维显示技术是其中一种有效的解决方式, 可弥补各自显示效果的不足.2018年, Su等[66]结合多视角投影与全息显示, 采用单个空间光调制器(Spatial Light Modulator, SLM)重建多个视点的幅度信息, 利用定向衍射装置实现多视点光场的相位信息.Deng等[67]融合集成成像显示技术与全息显示技术, 利用透镜阵列全息光学元件实现AR立体显示.2021年, Jo等[68]提出投影型多层体式光场三维显示系统, 基于投影仪结合断层显示与集成成像技术, 大幅提高体场景分辨率, 克服传统集成成像显示系统受像素数限制的缺陷.
新的显示机理和实现手段的提出也是另一种有效的途径之一.2019年, Hirayama等[69]提出多模声阱显示系统, 利用超声波技术控制微小粒子在三维空间中的快速运动, 绘制三维场景, 并可同步传输听觉信息和触觉信息.这些新技术的不断涌现有力促进真三维显示技术的快速发展, 为各类关键技术的突破提供新思路.
2)高适应性三维人机交互技术.三维人机交互技术是指在三维虚拟空间中完成以三维显示物体作为交互对象的用户交互行为.随着技术的更新迭代, 交互方式从视点交互、手势交互到触觉交互等, 涌现越来越自然的模式.实现有效的人机交互是真三维显示设备走向实用的关键技术之一.2017年, Yamaguchi[70]结合触觉交互与光场三维显示系统, 当观者触摸3D影像时, 通过检测其指尖散射光获得用户触摸, 实现交互式三维触摸界面.Tian等[71]利用视点交互弥补原悬浮光场显示系统中竖直视差的不足问题, 采集人脸信息获得眼睛的高度位置, 更新该视点正确的投影图像.总之, 三维人机交互往往存在交互模式多样化、交互对象复杂、交互操控要求较高等特点, 要求交互技术必须具有精准、高速和实时处理的能力.因此, 对新型自然的三维交互模式、交互数据高速处理的能力等涉及的关键技术有待进一步突破.
3)真三维显示的高动态化和实时化.任何显示技术的动态化和实时化是其获得广泛应用的必要要求之一.高动态化往往体现在高刷新率的三维目标视频显示; 高实时化往往是指三维信息的实时传输显示.在保障大视场角、高分辨率显示的情况下, 针对真三维数据的实时采集、处理和传输均需要对每秒近万幅的图像进行解析和传输.2019年, Yu等[72]演示一款视角达到90° 的交互式动态光场三维显示系统, 通过3个分辨率为3 840× 2 160的投影仪实时渲染编码图像, 使观察者可与3D动态场景进行自然交互.动态视频全息显示一直是3D全息显示领域的研究热点和挑战, 海量的像素和数据处理是其需要解决的最核心问题.多家研究机构提出结合眼动跟踪、非像素化SLM及SLM拼接、漫射器扩展视角等各种独特的解决方法[73].然而, 距离真正的商业化应用尚有诸多技术障碍需要攻克.因此, 在未来几年若想实现真三维显示技术的高动态化和实时化, 需要在密集视点动态实时三维数据快速获取、高速处理和传输等方面获得突破性进展.
4)便携式三维显示器件及系统.手机、平板电脑、可穿戴设备等电子设备已成为人们日常工作生活中主要的信息交流工具.随着5G技术的快速发展和交互技术的成熟及多样化, 便携式三维显示器件及系统是未来需要发展的应用方向之一.便携式的三维显示系统不仅需要良好的三维显示效果, 更需具备体积小、重量轻、功耗低的特点.在显示器件体积严重受限的情况下, 实现高空间带宽积是需要突破的瓶颈之一.El-Ghoroury等[74]推出首个光微处理器-量子光子成像器, 每个像素都可单独控制发光方向, 体积小, 能耗低, 可广泛用于新型显示应用中.Wan等[75]利用像素化超构表面光栅进行3D光场相位调制, 实现宽视场、彩色的动态全息三维显示系统, 系统结构紧凑, 在未来有望用于移动显示设备开发.2020年, An等[76]采用光线控制背光单元和全息视频处理器, 实现一款超薄交互式全息视频显示系统, 总厚度小于10 cm, 有效空间带宽积提高30倍, 让观众可从多个角度观看高分辨率的3D视频, 有望嵌入移动设备中.这些研究成果的提出均有助于高性能、便携式真三维显示系统的研发.
5)智能显示.作为虚实数据交互平台的真三维显示技术, 不仅需要高质量、逼真生动的三维显示呈现, 更需要融合强大的计算能力、智能交互能力, 拥有显示、感知与交互为一体的复合功能.
首先, 有效合理的显示数据建模是实现智能显示的基础.在元宇宙的构建中也需要通过海量虚拟数据完成虚拟世界的构建.然而, 有效丰富三维数据源的缺乏一直以来也制约着三维显示技术的发展.基于集成成像的光场三维显示技术需要透镜阵列相机实现信息采集, 基于投影仪的光场三维显示技术需要相机阵列获取多视图信息, 全息三维显示技术往往通过计算全息图获得显示数据源.每种技术需要的数据源并不统一, 对应的采集方式各不相同, 获得的数据信息也各有优缺点.近年来, 深度学习等技术在三维数据源的获取和改善方面发挥很大潜能.深度学习因其在图像处理上的优势, 被成功引入到集成成像中[77, 78], 对采集的低分辨率子图像实现超分辨率处理, 有效提高子图像的质量.Chen等[79]引入无监督网络, 合成多视差视图, 利用现有视图获得密集的虚拟视图, 为3D光场显示提供足够的视图数据.
其次, 对目标光场的各项参数进行更精准的自主调控显示, 对显示性能进行准确评估和反馈, 是实现其与各类应用环境进行更自然的融合和交互的关键.当前的各类显示技术往往将目标光场进行离散的采样显示, 在显示内容、显示硬件、显示效果上往往还存在各种不足, 难以精准、完备地再现实际光场.另外, 人眼的三维感知视觉机制往往体现一种综合性信息处理过程, 在极短时间内对庞大复杂的信息实现有效处理.而当前的各类显示系统却总是不能使观看者获得完美的视觉体验, 甚至引起眩晕等一些生理不适.通过人眼视觉感知情况引导显示系统进行更精准的性能优化是有必要的.
Pei等[80]基于平行智能理论, 提出光场显示深度感知平行优化系统, 解决显示深度感与舒适度的优化问题.平行智能理论最早由王飞跃[81]提出并成功应用于智能交通、社会计算、智慧医疗等多个领域[82, 83, 84, 85], 包括人工社会(Artificial Societies)、计算实验(Computational Experiments)、平行执行(Para-llel Execution)三部分, 核心思想就是针对复杂系统环境, 以数据为驱动, 构建与实际系统对应的人工系统, 以计算实验的方式进行学习与评估, 通过循环虚实互动为实际系统的运行进行持续性的引导.光场显示深度感知平行优化系统[80]基于平行智能理论, 包含光场显示评价模型、显示渲染系统和人工深度感知测量系统.综合考虑场景视差、内容、视觉对焦等多种深度感知影响因素以建立评估模型, 通过评价模型学习进行最优视觉焦点的选择, 实现自由视点重渲染.最后利用视频处理平行系统进行“ 虚拟” 数据训练, 实现3D视频聚焦位置的精准跟踪, 获得良好的显示效果.
随后, 王飞跃等[86, 87]又提出平行光场的基本框架和构建流程, 利用采集的实际光场信息构建增强的人工世界光场, 并在其中进行光场实验, 获得最优的采集方案或显示方案, 最终可通过平行执行完成人工世界光场和物理世界光场间的虚实互动, 形成完整的光场生成和融合系统.基于ACP的平行智能显示理论与元宇宙构建的理念不谋而合, 为高性能显示与自然交互等提供高效可靠的决策指导.
本文对代表性的真三维显示技术的实现原理及系统样机进行梳理与分析, 重点介绍各类光场三维显示技术、体三维显示技术及全息三维显示技术的研究.随着计算机技术、显示技术及大数据处理技术等相关学科领域的发展, 真三维显示技术取得诸多成果, 但各类显示技术各有独特的优势与不足, 距离真正有效的实际应用尚存在一定距离.随着计算成像、人工智能、光电子技术、通信技术等各领域的快速发展, 及5G通信、可穿戴设备等产业的蓬勃兴起, 未来真三维显示技术将在高性能成像显示、海量光场信息处理、智能化交互等方面重点展开关键技术突破, 实现可满足不同具体应用需求的高显示质量、可实时交互的真三维显示系统.
本文责任编委 张军平
Recommended by Associate Editor ZHANG Junping
[1] |
|
[2] |
|
[3] |
|
[4] |
|
[5] |
|
[6] |
|
[7] |
|
[8] |
|
[9] |
|
[10] |
|
[11] |
|
[12] |
|
[13] |
|
[14] |
|
[15] |
|
[16] |
|
[17] |
|
[18] |
|
[19] |
|
[20] |
|
[21] |
|
[22] |
|
[23] |
|
[24] |
|
[25] |
|
[26] |
|
[27] |
|
[28] |
|
[29] |
|
[30] |
|
[31] |
|
[32] |
|
[33] |
|
[34] |
|
[35] |
|
[36] |
|
[37] |
|
[38] |
|
[39] |
|
[40] |
|
[41] |
|
[42] |
|
[43] |
|
[44] |
|
[45] |
|
[46] |
|
[47] |
|
[48] |
|
[49] |
|
[50] |
|
[51] |
|
[52] |
|
[53] |
|
[54] |
|
[55] |
|
[56] |
|
[57] |
|
[58] |
|
[59] |
|
[60] |
|
[61] |
|
[62] |
|
[63] |
|
[64] |
|
[65] |
|
[66] |
|
[67] |
|
[68] |
|
[69] |
|
[70] |
|
[71] |
|
[72] |
|
[73] |
|
[74] |
|
[75] |
|
[76] |
|
[77] |
|
[78] |
|
[79] |
|
[80] |
|
[81] |
|
[82] |
|
[83] |
|
[84] |
|
[85] |
|
[86] |
|
[87] |
|