2021, Vol. 30
2. 崇实大学 信息技术学院, 首尔 06978
2. College of Information Technology, Soongsil University, Seoul 06978, Republic of Korea
基于计算机技术的数字媒体技术的发展及应用加快了数字博物馆研究的进展及发展. 尤其是文物的数字化研究, 采用激光扫描和摄影测量等采集技术, 真实精准地重建文物的三维模型[1,2]. 目前, 大部分博物馆展览系统使用带有头部跟踪技术的立体3D显示来实现基于双目视差和运动视差的3D效果. 但这种展览方式用户需佩戴3D眼镜或头戴式显示器(HMD)等特殊护目镜, 仅限于用户小范围的深度感知, 不能同时支持多个用户体验[3]. 在裸眼3D图像研究方面, 日本的Yoshida等提出了一种新颖的裸眼桌面3D图像显示系统. 该图像利用水平视差和视差屏障, 在平板上呈现漂浮的虚拟物体, 满足了多个用户在不同角度的观览[4]. 然而, 在清晰度、分辨率和帧速率方面, 视点数量和图像质量之间存在权衡, 无法完整展现文物本身的真实感.
在博物馆展览中投影映射技术是最受欢迎也是最常用的一种投影技术. 这种技术通过预先制作好的视频或图形投射到物体表面上来创造文物的数字内容. 通过具有3D形状的投影面可以获得自然的隐喻深度, 并且通过投影图像可以动态地改变目标面的外观[1]. 基于投影方式的数字展览让多个用户在不佩戴任何设备的情况下观看和与三维虚拟物体进行交互, 因此它非常适合博物馆的数字展览. 为了更好地将投影映射技术应用于博物馆的数字展览, 获得高质量的投影效果, 首先需要高度控制的照明环境. 在博物馆或展览馆的一般照明条件下, 由于环境光的影响, 投影图像的颜色范围受到限制. 其次, 由于其他展品的遮挡, 常常会限制投影面积的范围、展品的摆放和投影仪的位置. 此外, 由于参观者的不注意, 会进入投影区域, 影响其他参观者的“沉浸”. 最后, 现有的投影展览方式是物体投影表面是静态的, 其投影内容是固定的, 无法满足动态的展览风格. 为了创造更具动态性和戏剧性的数字内容, 需要提高物理投影面的自由度.
基于上述问题, 本文提出了一种新的三维数字展示系统, 解决了传统意义上的基于投影展览系统的局限性: 环境光的影响、物体遮挡及由静态投影面导致的内容受限等问题.
1 系统概述该系统由以下几个设备来构成——两个分辨率为1024×768和1400 ANSI流明的数字光处理(DLP)投影仪(LG mini-beam PF1500), 两台可以拍摄2048×1536分辨率的图像、可达60 fps的电荷耦合器件的(CCD)摄像机(东芝TELI BU 302MCF), 物理模型是用硅模塑和石膏浇铸制成的, 其表面涂有白色漫反射喷雾, 以提供最佳的投影表面. 旋转杠由电机(MDrive NEMA34)和安装在电机上的光学编码器(YUMO E6B2)组成, 用于精确跟踪动态三维投影面的旋转角度. 对于半镀银镜子, 需要透明的, 但需要高反射的材料, 以便提供高清晰度的3D全息图像(见图1).
|
图 1 系统原理图及其原型系统 |
系统以目标物体的3D数字模型(高质量的纹理)为输入, 表示原始对象的外观. 为了生成精确的几何透视和具有原始形状视差的虚拟图像, 该系统使用了目标对象的物理模型并将其固定在旋转缸上, 创建了动态三维投影面. 本系统采用了多投影仪像机系统的几何定标和光度补偿方法对在没有纹理的模型表面上渲染原始对象的真实图像外观. 最后, 将运动投影面上的投影图像通过半镀银镜进行传输, 生成3D全息动图像(见图2).
|
图 2 三维数字文物展示系统的整体框架图 |
2 几何与辐射定标
为了将真实的图像投影到实际物体上, 而不产生几何变形和辐射畸变, 采用了多投影仪像机系统的几何定标和光度补偿方法.
2.1 几何定标几何定标技术是求取投影像素与投影表面间的映射关系, 以进一步分析系统中的颜色偏差因素, 同时保证投影内容正确地显示于目标区域内[2].
为了正确地将3D数字模型的外观图像投射到实际物体上, 并生成精确的投影图像, 需要准确地定标投影仪相机, 3D数字模型和物体投影曲面之间的所有几何关系. 该系统首先采用结构化光学视觉系统标定方法对投影仪像机进行标定[3]. 将灰度编码结构光投射到具有已知维度的棋盘格上, 并通过配对的摄像机拍摄被投射的模式. 通过解码拍摄的图案来估算棋盘格的角点处的对应像素, 从而使用这些对应关系来计算投影仪的内在参数和投影仪像机的外在参数[4–6]. 定标完成后, 采用主动式三维立体(active stereo 3D)重构方法, 通过标定后的投影仪相机, 获得一个静态投影面的局部三维点云. 在摄像机坐标系中, 为了估算3D数字模型在虚拟空间中有关采集点云的初始造型, 采用四点一致性集合(4-Point Congruent Sets, 4PCS)方法[7], 估算两个三维数据集之间的粗略初始造型, 并使用迭代最近点(Iterative Closest Point, ICP)算法进行细化[8], 计算3D数字模型与投影面有效对齐的变换矩阵. 图3所示, 通过将给定的三维模型转换为投影仪坐标系, 并利用所获得的定标参数将其映射到投影仪的图像表面上, 从而在投影仪的视角下渲染出正确的投影图像, 其中, 图3(a)为使用棋盘格和结构光模式定标投影仪相机的实验装置, 图3(b)是使用定标的投影仪摄像机获取投影面的3D点云, 图3(c)为3D数字模型和获取的点云之间的位姿估计结果, 图3(d)是在投影仪视角下生成的投影图像.
2.2 光度补偿当应用多投影映射来再现精确的外观时, 由于系统组件的非线性光谱响应和多个投影仪的重叠区域, 可能会发生辐射畸变. 为了解决这些问题, 本文采用光度补偿方法, 使用色彩混合矩阵, 实现具有真实感和无缝外观的3D全息图像.
为了预测和补偿辐射畸变, 本文利用扩展颜色混合矩阵(extended color-mixing matrix)来导出3D数字展示系统的辐射模型[9]. 这种颜色混合矩阵可以表示多投影仪相机以及它们与投影表面的相互作用而产生的光谱响应的耦合. 在这个辐射模型中, 本文只对多投影仪和摄相机在对应的表面点之间模拟了局部光调制. 扩展的颜色矩阵由每个颜色混合矩阵的线性组合来确定, 而该线性混合组合捕捉了投影仪和摄像机之间的光谱响应的所有耦合. 扩展的混色矩阵表示了多台投影仪和一台摄像机的每个颜色通道之间的相互影响, 以及它们与3D投影表面和半镀银镜的相互作用[10]. 例如, 已知一个扩展的颜色混合矩阵, 可以预测从摄像机视点所看到的多台投影仪的投影图像的颜色, 使我们能够为每个投影仪生成补偿图像, 以补偿整个系统的辐射畸变.
|
图 3 几何定标 |
为了获得一个真实展示设定的扩展颜色混合矩阵, 本文对多投影仪的投影标准颜色样本进行了色彩失真样本的测量, 而投影和捕获的图像样本的像素对应关系由多投影仪-相机系统的几何定标来定义[11]. 首先, 利用来自多投影仪-摄像机的多个标准输入颜色样本及其在用户视角下的相应测量样本, 计算每个像素的扩展颜色混合矩阵. 然后, 利用颜色混合矩阵的伪逆矩阵来计算颜色补偿矩阵. 最后, 使用补偿矩阵生成每个像素所需颜色的投影仪补偿图像.
为了验证由补偿投影图像生成的全息图像的颜色保真度, 本文生成了一个彩色图表的浮动图像, 其中色卡图像的每个色块都有参考CIELAB值. 使用两台投影仪将彩色图表图像投影到平面上, 并显示两台投影仪的投影区域部分重叠, 如图4(a)所示. 本文使用误差度量CIE 2000DEΔE*00来测量参考图像和捕获的浮动图像之间的色差[12]. 图4(d)所示补偿结果的比色误差为ΔE*00=9.59, 未补偿结果的比色误差为ΔE*00=14.027, 如图4(c)所示. 从图4(d), 图3(c)中的实验结果可见, 补偿后的结果很好地再现了原始颜色, 而没有补偿的结果显示了更多的误差.
|
图 4 光度补偿评估 |
图5显示了使用3D投影面创建3D浮动图像时光度补偿效果的实验结果. 实验使用一个表面为白色的青瓷作为实体模型, 并使用两个投影仪将真实物体的高质量纹理投射到模型表面上. 如图5(b)所示, 无光度补偿的3D浮动图像在重叠区域出现颜色不匹配, 因单个投影的图像被累积, 产生的颜色变得比原始颜色更亮. 图5(c)所示, 由于光度补偿, 形成了更真实的图像.
由于感知深度是由3D投影面产生的, 因此本系统所生成的3D浮动图像不仅可以提供水平方向的连续视差, 而且还可以提供垂直方向的连续视差. 多个用户可以在不戴3D眼镜的情况下, 可同时观察到无缝外观和逼真的3D深度效果. 为了验证该系统的3D深度效果, 本文比较了原始物体的深度图像和商业光学透明显示设备全息图(SMAXscreen SH27042)的全息图像, 对3D全息图像的深度图像进行了测量并用深度直方图来表示. 深度图像测量是运用SfM (Structure from Motion)方法, 从多个视角所获得的图像, 利用VisualSfM软件进行3D重建[13]. 如图6(b)投影3D展示系统生成的3D全息图像所示, 本文所提出的3D全息图像的深度直与原始对象的直非常接近, 而相比之下, 图6(c)商业光学透明显示设备生成的全息图浮动图像所示中全息图产生的深度直分布在非常窄的范围内, 这表明浮动物体几乎是平坦的. 这也证明本文所提出的3D全息图像能够很好地表示与原始形状非常接近的感知深度.
如图7所示, 使用相同的设置, 青瓷的各种图案可以通过改变投影纹理来展示. 许多不同的纹理图案可以使用一个设置来展示, 而不需要任何额外的空间和装置等. 这正是在博物馆环境中使用投影映射技术的突出优点之一.
|
图 5 光度补偿效果的实验结果 |
3 展示系统效果测试
目前, 常见的基于投影系统的展示通常设置在可控环境当中, 也就是展示事物不会受到周围光线和周围物的影响. 然而, 在真正的博物馆文物展示环境中, 因为受到多个文物与文物之间的属性、形状、展示方式等原因, 对展示文物的周围灯光及参观者参观空间难免会进行取舍. 本文所提出的投影显示系统通过引入一种新的光学透视显示设计. 图8(b)中所示的结构与图8(a)所示的传统投影展览中直接暴露于环境光的投影面不同, 本文所提出的系统是通过将投影面位置与展览区分开, 使投影面安全地位于半镀银镜下, 并将投影图像通过半镀银镜传输, 产生具有三维效果的全息图像. 这样即能将环境光的影响降至最低, 同时也很好地防止周围物影子的遮挡, 从而在真实场景上实现具有真实感的叠加数字图像.
3.1 周围光线与障碍物影响测试为了验证本文所提出的展示系统对周围环境光的鲁棒性, 我们为展区设置了常用于博物馆展示文物的50 lx、150 lx和450 lx的照明条件. 表1显示了使用照度计(测光仪L-478D)在展区位置和投影表面测量的环境光强度. 在相同的照明条件下, 投影区的测量强度约为展区的1/10. 因此, 本文所提出的系统在投影面受环境光的影响是极小的.
图9所示, 在传统的基于投影的展览中, 投影面位于展区内, 通常包含许多其他的展览对象. 它需要足够的环境光来显示真实对象, 因此很难为投影贴图建立适当的照明. 如图9(b)所示, 如果提供足够的环境光来观察真实物体, 那么投影物体的表面就产生光饱和. 投影内容也可能由于其他展示对象而发生遮挡, 从而可能由于遮挡造成的阴影而出现未覆盖的投影区域. 因此, 传统的基于投影方式的展览更倾向于使用有限空间和暗光, 如图9(a). 然而, 本文所提出的显示方法即使在普通环境光照和存在“障碍物”的情况下也能提供高质量的3D全息图像. 由于该系统能很好地处理环境光和障碍物的影响, 使博物馆环境下的数字展览更具吸引力和沉浸感. 如图9(c)所示, 即使在一般博物馆照明条件为450 lx的情况下, 本系统生成的3D全息图像也能真实地表示虚拟物体的纹理和深度.
|
图 6 青瓷模型的三维深度效果比较 |
|
图 7 青瓷呈现出各种纹理. 不同的纹理被投影到同一个3D投影面上 |
|
图 8 传统的展览模式和新的展览模式 |
|
表 1 投影面和展览区的照度测量值 (lx) |
3.2 虚拟对象动态变化测试
文物数字展览的一个主要优势在于它能够通过提供传统展览难以实现的动态和交互式内容来吸引参观者的注意力. 传统的基于二维显示的数字展览展示的是一个虚拟空间中的虚拟物体. 它可以很容易地将其形状和大小改变为不同的形状和大小. 然而, 在基于投影的数字展览中, 虚拟物体的形状取决于物理投影面的形状, 导致投影内容的自由度受到物理投影面的限制. 为了提供动态变化的投影内容, 本系统利用了一个机械移动的投影面和使用基于传感器跟踪技术的实时投影映射. 这种移动的投影面可以产生动态的3D全息图像来表达自然的感知深度, 从而提供更具沉浸感的体验.
如图10(a)所示, 为了创建佛像动态表面, 在旋转杠上安装一个佛像实物模型(三维投影面), 并在旋转杠安装光电编码器跟踪投影面运动, 将360°旋转的运动分解为脉冲信号. 根据移动佛像投影面, 用旋转矩阵表示测量的旋转z角, 实现3D数字模型的形态同步. 这种基于传感器的跟踪虽然解决了很快地跟踪运动表面, 但仍然存在由于渲染计算时间延迟的问题. 为了弥补渲染时间延长的问题, 模拟旋转曲面的运动, 预先计算旋转曲面的形态, 并预先渲染投影图像, 实现投影仪的投影图像与运动投影面精确对齐, 无失真, 让参观者可以看到3D虚拟对象的360°视图. 图10(b)–图10(d)显示了从不同侧面拍摄的佛像模型的动态3D全息图像.
|
图 9 传统展览模式与新展览模式在不同照明条件下的投影结果 |
|
图 10 安装在旋转杠上的佛像实物模型和从不同角度拍摄的佛像 |
综合上述, 本系统比起现有投影展示系统有以下几方面优势. 本系统比起商业光学透明显示设备生成的全息图浮动图像在运动视差、空间感知和色彩保真度方面更加符合用户的感知体验; 大多数传统的基于投影的展览系统因环境照明条件和“障碍物”等问题都安装在一个独立的房间, 照明条件较为黑暗的空间当中. 而本系统即使在普通环境光照和存在“障碍物”的情况下也能提供高质量的3D全息图像. 由于该系统能很好地处理环境光和障碍物的影响, 使博物馆环境下的数字展览更具吸引力和沉浸感; 在基于投影的数字展览中, 虚拟物体的形状取决于物理投影面的形状, 导致投影内容的自由度受到物理投影面的限制. 而本系统根据移动投影面同步三维数字模型的姿态, 提供动态变化的投影内容, 使投影仪的投影图像与移动投影面精确对齐, 不失真.
4 研究的局限性目前, 该系统可以生成高达30 cm3、具有24 bit RGB颜色、分辨率为每英寸72像素(PPI)的虚拟物体. 通过扩展一些硬件设备, 可以相对容易地增加3D全息图像的大小. 但本系统也存在以下几种局限性: (1)目标物体的形状非常复杂, 包括具有自身遮挡和锐利的凹形区域, 则投影图像无法正确覆盖整个投影表面; (2)虚拟物体的颜色范围被限制在投影仪的色域和黑色级别内. 因此, 某些用于光度补偿的颜色超出了投影仪的色域范围, 则无法准确再现; (3)旋转台可以将投影面旋转到180 °/s, 因此在不干扰用户沉浸感的情况下, 可以非常快速、顺利地完成视点的更改或虚拟对象的切换. 然而, 在当前系统中, 不能同时显示多个对象并旋转其中的每个对象, 因为当前系统只能支持一个优选的旋转轴.
5 总结本文提出了一种能够显示具有真实感3D图像的新型数字投影展示系统. 该系统中多投影相机系统的几何校正使该系统能够正确地将物体的纹理图像投影到动态实物模型表面上, 而不会产生几何畸变. 利用扩展颜色混合矩阵建立了一个整体光谱响应的辐射模型, 为每个投影仪生成补偿图像, 补偿整个系统的辐射失真. 同时, 为了解决一般博物馆环境中环境光的影响和“障碍物”的存在对投影展览的限制, 把光学透明显示引入到该系统中进行了测试.
测试结果表明在不同光照条件下, 本系统投影面受极小的环境光影响, 具有较强的鲁棒性. 为了改变被动展览模式, 本系统还利用了机械旋转杠使文物实物模型具有动态投影面和使用传感器跟踪技术, 展示了具有纹理和形状变化的文物.
| [1] |
Nakagaki K, Vink L, Counts J, et al. Materiable: Rendering dynamic material properties in response to direct physical touch with shape changing interfaces. Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems. San Jose: ACM, 2016. 2764–2772.
|
| [2] |
De Stefano A, Tausch B, Santos P, et al. Modeling a virtual robotic system for automated 3D digitization of cultural heritage artifacts. Journal of Cultural Heritage, 2016, 19: 531-537. DOI:10.1016/j.culher.2015.11.008 |
| [3] |
Pedersen I, Gale N, Mirza-Babaei P, et al. More than meets the eye: The benefits of augmented reality and holographic displays for digital cultural heritage. Journal on Computing and Cultural Heritage, 2017, 10(2): 11. |
| [4] |
Yoshida S. fVisiOn: 360-degree viewable glasses-free tabletop 3D display composed of conical screen and modular projector arrays. Optics Express, 2016, 24(12): 13194-13203. DOI:10.1364/OE.24.013194 |
| [5] |
Bekele MK, Pierdicca R, Frontoni E, et al. A survey of augmented, virtual, and mixed reality for cultural heritage. Journal on Computing and Cultural Heritage, 2018, 11(2): 7. |
| [6] |
耿楷真, 高治华. 单摄像机单投影仪结构光三维测量系统标定方法. 应用光学, 2018, 39(2): 225–229.
|
| [7] |
陈锋, 刘越. 基于投影机-摄像机结构的光照补偿技术综述. 计算机辅助设计与图形学学报, 2015, 27(6): 992-1004. |
| [8] |
Ke FK, Xie JM, Chen YP. A flexible and high precision calibration method for the structured light vision system. Optik, 2016, 127(1): 310-314. DOI:10.1016/j.ijleo.2015.09.178 |
| [9] |
Lei Z, Liu XJ, Lu WL, et al. A new calibration method of the projector in structured light measurement technology. Procedia CIRP, 2015, 27: 303-308. DOI:10.1016/j.procir.2015.04.083 |
| [10] |
宋玮, 郑毅, 谢翔, 等. 一种投影仪-摄像机系统的简易高精度标定方法. 微电子学与计算机, 2015, 32(2): 28-32. |
| [11] |
刘世光, 王海荣, 刘锦. 快速四点一致性点云粗配准算法. 山东大学学报(工学版), 2019, 49(2): 1-7. |
| [12] |
韦盛斌, 王少卿, 周常河, 等. 用于三维重建的点云单应性迭代最近点配准算法. 光学学报, 2015, 35(5): 0515003. |
| [13] |
Miyagawa I, Sugaya Y, Arai H, et al. An iterative compensation approach without linearization of projector responses for multiple-projector system. IEEE Transactions on Image Processing, 2014, 23(6): 2676-2687. DOI:10.1109/TIP.2014.2317979 |