1 引言

伴随着物联网、云计算以及人工智能、大数据等新一代信息技术的不断发展, 工业信息化、智能制造和智慧城市的研究进程正在迅速推进. 同时我国提出的“中国制造2025”与德国“工业4.0”完成合作对接, 以实现部署全面推进实施制造强国战略^[1]. 数字孪生(digital-twin)作为工业4.0的主要概念之一, 被越来越多的应用于工业领域和研究计划^[2]. 其中, 基于数字孪生的测试和检测作为一项能够将物理系统与虚拟系统实现虚实结合和信息融合的应用方向^[3], 在自动驾驶测试中也发挥着重要的作用. 现阶段基于场景库的自动驾驶测试体系中, 主要包括软件仿真SIL (Software In the Loop)、硬件在环HIL (Hardware In the Loop)、整车在环VIL (Vehicle In the Loop)以及封闭、开放和半开放场景下的实车场地测试和道路测试几种方法^[4]. 其中, SIL是通过虚拟仿真软件进行的测试, HIL是在将真实的控制器单元部署在虚拟的测试环境中对进行测试, VIL是在汽车实验室中将整车作为对象进行测试, 实车场地测试和道路测试是实车分别在测试场和道路中进行的测试. 基于数字孪生的自动驾驶测试需要倚靠与物理空间中结构、状态对应一致的真实车辆作为测试对象, 并在虚拟空间中实现同步对应.

数字孪生通过将物理模型和传感器数据在虚拟空间中实现映射从而构建起物理世界与信息世界的沟通桥梁^[5], 数字孪生体能够在虚拟系统中呈现出完整的生命周期; 同时将真实环境的内容融入到虚拟场景, 并实现双向交互式反馈的过程又称为混合现实^[6], 这一技术的特点是能够通过虚拟现实技术实现物理实体与虚拟空间的互动, 同时又具备将数据融合分析和决策迭代优化应用于物理实体的功能性扩展中, 从而实现虚实结合, 虚实交互的系统形态.

本文针对现阶段几种自动驾驶测试体系中无法同时将车辆动力、道路、驾驶员纳入测试环境中的情况, 或者忽略了价值成本、安全性、可重复性方面的问题, 提出了一种混合现实的数字孪生三维交通环境构建方法, 通过数字孪生技术将物理空间中的真实车辆以数字孪生体的形式映射到虚拟的三维场景中; 同时将虚拟三维场景中的道路、天气以及光照环境以视觉形式反馈给驾驶员; 不仅如此, 车辆数字孪生体可以与虚拟场景中的其他交通参与者产生交互行为, 以此构建混合现实的数字孪生三维交通环境.

2 相关工作

现阶段的数字孪生技术在研究构建混合现实的场景方面, 正处于不断发展完善的过程中, 伍朝辉等^[7]从数字孪生概念、发展和关键技术的角度对交通场景数字孪生的研究与应用进行了分析和展望; 由国家工信部发布的《数字孪生应用白皮书2020》^[8]中指出了将建立实体的数字化映射作为虚拟仿真与真实环境相结合的自动驾驶测试系统中包含的搭建虚拟仿真平台数字孪生系统的核心之一. Wang等^[9,10]利用车载到云V2C (Vehicle-to-Cloud)通信, 通过将传感器数据经过服务器传输到虚拟空间中经过相应的模型计算得到决策提议并实时反馈给驾驶员; Pan等^[11]通过将现实世界中获取的具有纹理特征的图像和连续片段的视频通过特征匹配融合到虚拟场景中, 在虚拟场景中构建出更加真实的数字孪生体. Wu等^[12]设计出一种将二维全景图、卫星纹理和三维模型融合在一起的大尺度场景多视角实时监控的混合现实框架, 并用于生成数字孪生的三维道路场景.

在与自动驾驶测试场景的构建相关的研究中, 李银国等^[13]提出了一种基于双目视觉的三维场景重建方法, 可以用于大规模智能驾驶场景的场景重建, 并且能够满足智能驾驶系统的实时需求. 汤辉等^[14]研究了一种将模拟驾驶器融入到自动驾驶场景中, 同时驾驶员通过驾驶模拟器控制后台驾驶车辆, 模拟现实世界中的驾驶行为, 该方法可以很好地促进自主驾驶车辆的仿真测试. Song等^[15]提出了一种涵盖传感器模块、车辆动力学模块、场景模块和控制算法模块的虚拟联合仿真技术平台, 解决了包括全天候道路、传感器选型设计、自动控制算法、驾驶性能测试等难以验证的难题, 同时提高了系统的自主驾驶性能.

综上所述, 数字孪生技术在构建虚实结合的自动驾驶测试场景方法研究方面, 一直以来处于相对比较空缺的地位. 而通过虚实结合形式构建的自动驾驶测试场景, 相比较于传统的几种测试方法中的SIL而言具有真实车辆和控制单元的优势, 对于HIL则可以实现将整车作为对象的测试, 相比于VIL可以实现更低成本, 并且能够在不同道路环境中进行的测试, 而对比实地测试场和道路测试, 具备更好的安全性、可重复性, 成本低廉等特点.

3 车辆数字孪生体的构建 3.1 空间坐标映射

为了实现物理空间中的真实车辆与虚拟空间中对应的数字孪生体在位姿上的一致性, 需要将车辆数字孪生体在虚拟世界坐标系下的位置、旋转角度的变换进行耦合. 假设在虚拟世界坐标系下, 车辆数字孪生体的当前坐标为 ${{p}}({{x}},{{y}},{{{\textit{z}}}})$ , 经过齐次坐标变换后为 ${{p'}}\left( {{{x'}},{{y'}},{{{\textit{z}}'}}} \right)$ , 则 ${{p'}}$ 与 ${{p}}$ 之间的变换矩阵表示为:

$\left[ {\begin{array}{*{20}{l}} {{{x'}}} \\ {{{y'}}} \\ {{{{\textit{z}}'}}} \\ 1 \end{array}} \right] = R \cdot {{T}}\left[ {\begin{array}{*{20}{l}} {{x}} \\ {{y}} \\ {{{\textit{z}}}} \\ 1 \end{array}} \right]$

(1)

其中, ${{T}}$ 表示平移矩阵, 如式(2)所示:

${{T}} = \left[ {\begin{array}{*{20}{c}} 1&0&0&{{T_{{x}}}} \\ 0&1&0&{{T_{{y}}}} \\ 0&0&1&{{T_{{{\textit{z}}}}}} \\ 0&0&0&1 \end{array}} \right]$

(2)

其中, ${T_{{x}}},{T_{{y}}},{T_{{{\textit{z}}}}}$ 分别表示物体在 ${{x}},{{y}},{{{\textit{z}}}}$ 三个坐标轴方向上的平移分量.

$R$ 表示旋转矩阵, 分别在 ${{x}},{{y}},{{{\textit{z}}}}$ 三个坐标轴方向上具有对应不同旋转角度的旋转矩阵 ${R_x},{R_y},{R_{\textit{z}}}$ , 并且有如下关系:

$R = {R_{\textit{z}}} \cdot {R_y} \cdot {R_{{x}}}$

(3)

绕 ${{x}}$ 轴旋转角度为 $\alpha $ 的旋转矩阵 ${R_x}$ 为:

$ {R_x} = \left[ {\begin{array}{*{20}{c}} 1&0&0&0 \\ 0&{\cos \alpha }&{ - \sin \alpha }&0 \\ 0&{\sin \alpha }&{\cos \alpha }&0 \\ 0&0&0&1 \end{array}} \right] $

(4)

绕 $y$ 轴旋转角度为 $\;\beta $ 的旋转矩阵 ${R_y}$ 为:

${R_y} = \left[ {\begin{array}{*{20}{c}} {\cos \beta }&0&{\sin \beta }&0 \\ 0&1&0&0 \\ { - \sin \beta }&0&{\cos \beta }&0 \\ 0&0&0&1 \end{array}} \right]$

(5)

绕 ${\textit{z}}$ 轴旋转角度为 $\gamma $ 的旋转矩阵 ${R_{\textit{z}}}$ 为:

${R_{\textit{z}}} = \left[ {\begin{array}{*{20}{c}} {\cos \gamma }&{ - \sin \gamma }&0&0 \\ {\sin \gamma }&{\cos \gamma }&0&0 \\ 0&0&1&0 \\ 0&0&0&1 \end{array}} \right]$

(6)

经过以上的变换过程, 可以实现将物理空间中真实车辆的位姿变化映射到虚拟空间中对应的车辆数字孪生体.

3.2 碰撞检测模型

由于物理空间中的车辆具有真实的实体结构, 因此在虚拟空间中为了满足对应的实际要求, 需要对虚拟空间中的车辆数字孪生体设置相应的约束条件.

本文采用基于包围盒^[16]的碰撞检测. 其中最常用的是分离轴定理SAT (Separating Axis Theorem)^[17]下的碰撞检测模型, 如图1所示.

对于A、B两个具有OBB属性的碰撞物体, 其中心点与顶尖的间距在分离轴 $S$ 上的投影分别为 ${l_1}$ 与 ${l_2}$ , 且A、B两个物体的中心点之间的间距在分离轴 $S$ 上的投影为 $L$ , 那么验证A、B两个物体是否发生碰撞的条件为:

$\delta = {{L}} - \left( {{l_1} + {l_2}} \right)$

(7)

当碰撞检测标志 $\delta > 0$ 时, 表明A、B两个物体之间处于分离状态; 当 $\delta \le 0$ 时, 则表明A、B物体之间发生碰撞.

3.3 虚拟场景注册

虚拟场景注册是为了突出数字孪生原型在虚拟空间的表达过程中具有一致的空间和时间属性, 并且具有与物理实体相同的生命周期, 以便用于数字孪生系统的可见性和预测性以及假设分析的应用研究^[18].

本文构建出的虚拟空间中的车辆数字孪生体, 在时空属性上与物理空间中的车辆具有一致性. 其中的时空属性包括车辆ID (Identity Document)、GPS(Global Positioning System)位置坐标 $P$ 、行驶速度 $V$ 、航向角 $\theta $ 、时间戳 $T$ . 通过车辆ID建立具有时间序列的车辆时空属性参数表, 如表1所示.

时空属性中行驶速度和航向角的表达方式中, 行驶速度除了在虚拟空间中的参数与物理空间形成一致, 另外在虚拟空间中通过基于PhysX物理引擎^[19]的车辆动力单元对车辆孪生体的运动进行驱动; 航向角参数通过本文3.1节虚拟空间映射中的旋转矩阵 $R$ 将相应的参数值代入计算, 从而实现将物理空间中真实车辆的航向角与虚拟空间中车辆数字孪生体对应的航向角形成一致关系.

4 混合现实系统环境

本文依据数字孪生五维结构模型^[3]设计出一种面向混合现实的自动驾驶测试系统模型, 包括物理层、数据层以及测试层. 其中物理层包含物理空间中由驾驶员操控的真实车辆和V2X车载通信设备, 用于构成车辆数字孪生体的原型; 数据层包含具有时间序列的真实车辆时空属性和对应的参数以及通过LTE-V和TCP/IP分别构成的V2X通信单元和数据传输通信单元; 测试层主要包含虚拟空间中的车辆数字孪生体以及基于封闭测试场地的三维场景建模、虚拟的图像传感器和交通参与者, 用于构成虚拟空间中的测试主体和测试环境, 如图2所示.

基于上述自动驾驶测试系统模型构建的混合现实系统环境由真实单元和虚拟单元构成; 真实单元包含由物理空间中驾驶员操控的真实车辆和封闭测试场地; 虚拟单元包含图像传感器、基于封闭测试场地的三维场景建模以及交通参与者. 混合现实的系统环境结构示意图如图3所示.

5 实验结果分析

本文通过虚拟现实平台Unity3D搭建混合现实测试环境, 实际中的测试主体为一辆比亚迪电动汽车、测试道路为长安大学交通运输部认定自动驾驶封闭场地测试基地、数据的采集和传输过程通过搭载的智能车载终端以及布设在测试基地中的路侧设施完成.

场地方面, 实际测试路段选择的是一段空旷、无遮挡的150 m直线道路, 如图4所示.

实验过程中的测试环境和场地道路如图5所示.

道路行驶测试过程中, 车辆和智能车载终端的相关参数和配置方法见表2.

如图6所示为混合现实系统虚拟场景中的数字孪生车辆行驶过程, 左下角为驾驶员视角.

对应于数字孪生原型车辆, 虚拟场景中作为测试主体的数字孪生车辆, 其动力学参数需要结合实际的车辆配置以及虚拟物理引擎的碰撞特征经过相应计算后进行调整, 虚拟场景中数字孪生车辆的参数配置见表3.

根据安全性能评估测试方法, 分别在场景中设置了虚拟车辆、行人, 并且进行不同项目的安全测试, 图7和图8分别为车辆碰撞检测和行人碰撞检测项目测试.

虚拟空间中的数字孪生车辆具有基于包围盒的碰撞检测系统和刚体(RigidBody)^[20]组件属性, 因而在与虚拟的车辆和行人发生碰撞时会产生物理碰撞效果, 图9和图10分别为数字孪生车辆与虚拟的车辆和行人之间发生碰撞的结果及示意图.

碰撞检测边界指的是具有包围盒结构的物体的边缘属性, 中心距离是指两个物体的包围盒中心点之间的距离.

实际测试过程中的结果表明, 本文构建的混合现实数字孪生自动驾驶测试环境具有实际车辆与虚拟交通参与者之间的交互特征, 并且能够进行基本的碰撞测试.

系统性能方面, 通过在50 ms、200 ms和1000 ms采样频率下对采集的数据序列进行了丢包情况的统计分析, 统计标准为序列时间内两次采样间隔超过采样频率, 结果如表4所示.

以及在系统在各采样频率下运行的帧率, 测试环境为Windows 7操作系统, CPU: Intel Core i5-3210M, 内存: 8 GB, 显卡: GTX660M, 测试的结果如图11所示.

对以上的实验结果进行分析, 从计算结果角度来看, 数字孪生车辆原型在真实道路下的行驶轨迹与映射在虚拟空间中的车辆行驶轨迹基本吻合, 且二者呈现线性相关; 同时文中分别测试了3种采样频率下, 数字孪生车辆在虚拟空间的行驶过程中分别与道路、车辆、建筑的碰撞检测. 结果表明数字孪生车辆在不同采样频率下均能准确识别所有的碰撞物体, 但对于车辆和建筑的识别有先后次序的差别, 最先检测到车辆的是采用200 ms采样频率下的识别结果, 最先检测到建筑的是采用50 ms采样频率下的识别结果. 另外, 从系统性能来看, 文中分别统计了几种采样频率下的丢包情况, 采样频率在200 ms和1000 ms的条件下, 系统的数据采集均未出现丢包; 而当采样频率设置为50 ms时, 出现了很严重的丢包情况; 最后文中还分析了各采样频率下的系统运行帧率, 当系统工作在50 ms和200 ms的采样频率下时, 均出现明显的掉帧情况, 而在1000 ms采样频率下, 系统的平均帧率相比较其他两种采样频率的系统帧率要高, 并且没有出现特别明显的掉帧情况.

以上结果表明, 文中构建的混合现实的数字孪生自动驾驶测试环境中数字孪生原型车辆的位置和轨迹能够很好地表达在虚拟空间中, 同时能够对周围的物体进行有效识别并检测到碰撞物体. 系统性能结果分析表明, 当系统运行在200 ms采样频率下不会出现丢包但会出现一定的掉帧情况, 当在1000 ms采样频率下时, 既不会出现丢包也不会出现掉帧情况, 此时环境下的系统运行最稳定.

6 结束语

本文提出了一种基于混合现实的数字孪生自动驾驶测试环境的构建方法, 通过构建基于真实车辆的数字孪生体, 实现了数字孪生车辆原型在虚拟空间中的坐标映射和碰撞检测; 同时基于数字孪生五维结构模型构建了混合现实的自动驾驶测试系统模型, 并且通过实验对比分析了3种采样频率下的车辆数字孪生计算结果的准确性以及系统的性能, 得出了车辆具有很好的数字孪生特性以及系统在特定条件下具有稳定性的结论. 下一步将考虑车辆在网络传输和通信过程中产生的延时问题, 通过解决和改善系统延时特性, 能够进一步提高车辆数字孪生结果的准确性和可靠性.