在MMSA-VL中, RGB相机持续采集智能车周围的2D环境图像.RGB图像中包括丰富的语义信息, MMSA-VL利用目标检测神经网络识别环境中的智能车, 这一过程称为车辆语义信息提取.

用于V2V波束预测任务的目标检测器需要精准快速地检测图像中的智能车.在计算机视觉研究领域中有许多成熟的目标检测网络模型, 一个典型的例子是YOLOv5(You Only Look Once)^[28].

基于预训练的YOLOv5框架, MMSA-VL通过微调参数, 使模型在更快收敛的同时, 更适应本文的研究任务.

对于每个输入的图像样本, YOLO模型输出若干个智能车的二维边界框信息:

D[n]={ dobj1[n], dobj2[n], …},

每个边界框信息由

d_obj[n]=[x_center, y_center, w, h]

确定, 包括中心坐标(x_center, y_center)和长宽w、h.

车载激光雷达采集的点云包含物理空间中物体的精确位置信息, 为了后续提取车辆的位置信息, MMSA-VL需要对采集的原始点云进行预处理.

首先剔除激光点云的地面背景, 减少计算复杂度.一种简单直观的方法是去除所有z坐标值在0附近的点.对于复杂高动态城镇十字路口车联网场景, 基于高度的地面背景去除方案已能满足要求.实际情况中可能会出现更复杂的地面情况, 因此可针对不同地面情况设计各种专用的地面背景去除方案.

为了更精确地从点云中提取车辆的位置信息, 考虑使用聚类将每辆车和背景噪声形成单独的点云簇.鉴于物理环境中存在的车辆数量对于算法是未知的, 各种车的形状各异但是尺寸相似, 因此MMSA-VL选择DBSCAN(Density-Based Spatial Clu-stering of Applications with Noise)聚类已去除地面背景的点云.

RGB图像和激光雷达点云具有不同的数据格式和不同的感知能力, 本文希望构建一种融合机制, 使两种模态的优势互补.RGB相机使用透镜聚焦物理空间中反射的光线, 将景物投影到感光材料上, 形成二维图像, 这个过程即透视投影.

如图3所示, MMSA-VL使用透视投影, 将3D物理空间中采集的点云投影至2D图像空间(2D平面), 与YOLO模型输出的检测框匹配, 筛选车辆对应的点云簇, 实现图像空间语义信息和物理空间位置信息的精准匹配.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 透视投影原理图Fig.3 Perspective projection

具体而言, MMSA-VL对每个相机进行透视投影, 整个过程分为如下步骤.

1)求出投影相机相对于激光雷达设备的相对坐标:

$\begin{array}{l} {\left[x_{0}, y_{0}, z_{0}\right]=} \\ \quad\left[x_{\text {camera }}, y_{\text {camera }}, z_{\text {camera }}\right]-\left[x_{\text {LidAR }}, y_{\text {LidAR }}, z_{\text {LidAR }}\right] . \end{array}$

2)根据相机以X轴、Y轴、Z轴为中心的旋转角β _x、 β _y、 β _z, 计算旋转矩阵R_x、R_y、R_z和平移矩阵T:

$\boldsymbol{R}_{x}=\left[\begin{array}{cccc} 1 & 0 & 0 & 0 \\ 0 & \cos \beta_{x} & -\sin \beta_{x} & 0 \\ 0 & \sin \beta_{x} & \cos \beta_{x} & 0 \\ 0 & 0 & 0 & 1 \end{array}\right], $

$\boldsymbol{R}_{y}=\left[\begin{array}{cccc} \cos \beta_{y} & 0 & \sin \beta_{y} & 0 \\ 0 & 1 & 0 & 0 \\ -\sin \beta_{y} & 0 & \cos \beta_{y} & 0 \\ 0 & 0 & 0 & 1 \end{array}\right], $

$\boldsymbol{R}_{z}=\left[\begin{array}{cccc} \cos \beta_{z} & -\sin \beta_{z} & 0 & 0 \\ \sin \beta_{z} & \cos \beta_{z} & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 \end{array}\right]$

$\boldsymbol{T}=\left[\begin{array}{cccc} 1 & 0 & 0 & x_{0} \\ 0 & 1 & 0 & y_{0} \\ 0 & 0 & 1 & z_{0} \\ 0 & 0 & 0 & 1 \end{array}\right] \text {. }$

3)计算刚体变换矩阵

$\boldsymbol{R}=\boldsymbol{R}_{y} \boldsymbol{R}_{x} \boldsymbol{R}_{z} \boldsymbol{T} .$

4)计算3D物体空间每个点$\boldsymbol{p}_{i}=\left[x_{i}, y_{i}, z_{i}\right]$的旋转后坐标:

$\left[\begin{array}{c} x_{i}^{r t} \\ y_{i}^{r t} \\ z_{i}^{r t} \end{array}\right]=\boldsymbol{R}\left[\begin{array}{l} x_{i} \\ y_{i} \\ z_{i} \end{array}\right], $

其中i表示第i个点.

5)计算每个点投影至2D图像空间(2D平面)的坐标:

$\left[x_{i}^{p j}, y_{i}^{p j}\right]^{\mathrm{T}}=\left[\frac{f_{0} x_{i}^{r t}}{z_{i}^{r t}}, \frac{f_{0} y_{i}^{r t}}{z_{i}^{r t}}\right]^{\mathrm{T}}, $

其中f₀表示相机焦距.

6)剔除投影相机的检测框之外的2D图像空间的点, 将距离相机平面最近的剩下点云簇作为目标车辆对应的点云簇.

7)计算目标车辆对应点云簇的质心坐标, 作为该时刻目标车辆与相机的相对坐标.

在2.3节中, 智能车已获得目标车辆相对于相机的坐标, 考虑到相机与天线之间具有位置差异, 并且该差异可被预先测量.因此平移变换 T可将所有相对于相机的坐标转换成相对于天线的坐标, 具体如图4所示.坐标校正后消除系统误差, 实现波束角度的精确估计.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 坐标校正示意图Fig.4 Coordinate calibration

智能车在每个时刻都有能力获得周围环境中所有车辆的运动状态.假定在初始接入时, 发射端通过波束训练或卫星定位等先验信息获得目标车辆的大致位置, 与多模态感知检测的所有车辆匹配, 筛选目标车辆的位置信息$\boldsymbol{u}^{(t)}[n] \in \boldsymbol{U}[n]$, 其中

$\boldsymbol{U}[n]=\left\{\boldsymbol{u}^{(1)}[n], \boldsymbol{u}^{(2)}[n], \cdots\right\}$

为车辆位置信息集合,

$\boldsymbol{u}^{(m)}[n]=\left[x^{(m)}, y^{(m)}\right] \text {. }$

在后续过程中依据目标车辆的历史轨迹点, 筛选目前时刻目标车辆的运动状态.由于整个系统从多模态感知数据的采集、处理到信号的发射存在延时, 导致波束追踪精度下降.MMSA-VL考虑使用LSTM预测这一过程, 具体如图5所示.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 运动状态预测和波束预测示意图Fig.5 Motion state prediction and beam prediction

具体而言, MMSA-VL将目标车辆历史时刻的坐标

$\left[\boldsymbol{u}^{(t)}[n], \boldsymbol{u}^{(t)}[n-1], \cdots, \boldsymbol{u}^{(t)}[n-k]\right]$

作为LSTM的输入, 输出下一个时刻的运动状态估计值$\hat{\boldsymbol{u}}^{(t)}[n+1]$, 估计AoD, 产生下一时刻的发射波束成形矢量:

$\boldsymbol{f}[n+1]=\boldsymbol{a}_{t}(\hat{\theta}[n+1])$

本文选择M³SC(Mixed Multi-Modal Sensing-Co-mmunication)仿真数据集^[29]的复杂高动态城镇十字路口车联网场景(如图6所示), 网联智能车配备通信设备和多模态感知设备.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 十字路口场景车辆轨迹示意图Fig.6 Vehicle trajectories in urban crossroad scenario

M³SC数据集涵盖各种天气条件、不同频段和一天中的不同时间, 场景中的智能车在连续帧下同步采集RGB图像、激光雷达点云、毫米波雷达点云、信道状态信息(Channel State Information, CSI)等.具体数据样例如图7所示.

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 一辆智能车在不同时刻收集的感知数据Fig.7 Sensing data collected by an intelligent vehicle at different times

车载设备的部署情况如图8所示.发射端车辆配备前后左右共四个视角的相机, 距离地面0.8 m, 捕获360° FoV的环境信息.车的顶部中心距离地面2.35 m处配备激光雷达和毫米波通信设备.

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 车载设备部署示意图Fig.8 Onboard equipment deployment

为了突出多模态感知辅助的重要性, 选择如下3种方案作为基准方案.

1)文献[10]方案(简记为EKF-DFRC).利用DFRC(Dual-Functional Radar-Communication)信号同时进行雷达感知和通信, 并使用EKF追踪车辆的角度、距离、速度和反射系数的演化, 从而避免专用的下行导频.在车联网动态场景中, 雷达感知性能和通信性能均会下降.EKF将运动状态线性化处理也会导致难以在复杂的车辆轨迹中获得良好的波束追踪性能.此方案可作为单模态射频感知辅助波束追踪的基准方案.

2)文献[13]方案(简记为ABP).利用额外的两条射频链形成一对辅助波束, 发送正交的两组Zadoff-Chu (ZC)序列.接收端通过序列的互相关性估计AoD, 并反馈给接收端, 用于波束追踪.然而方法假定直射径增益远大于非直射径增益, 在散射体丰富的车联网场景中追踪精度不佳, 只作为仅利用通信进行波束追踪的基准方案.

3)UMSA-V(Uni-Modal Sensing Assisted Beam Tracking with Vision Information).是MMSA-VL在失去LiDAR情况下的特例, 仅利用车辆前后左右的RGB相机获取 360° FoV的单模态视觉信息, 获取目标车辆与发射端之间的相对角度.由于失去LiDAR点云的位置信息, UMSA-V将发射端质点化处理, 这意味着相机与天线之间的位置差异会引入角度估计的系统误差.此方案可作为单模态非射频感知辅助波束追踪的基准方案.

M³SC数据集上使用的通信系统和信道参数如下.载波频率设为38 GHz, 带宽为380 MHz.接收噪声功率谱密度的设置参考文献[30].发射端功率为30 dBm, 接收端噪声功率谱密度为-174 dBm/Hz, 100 m自由空间路径损耗为100 dB.

EKF-DFRC引入的状态演化噪声方差均在10^-3数量级, 测量噪声方差均在 10^-6数量级.ABP利用收发端的16个天线的ULA, 每个辅助波束角度与中轴线间隔为π /16.

3.4.1 角度误差

对比4种方案的角度追踪效果, 角度追踪的绝对值和真实值如图9所示.由图可发现, 4种方案在连续角度追踪过程中均表现出接近真实值的追踪性能.

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 角度追踪绝对值Fig.9 Absolute values of angle tracking

为了更清晰观察各种方案的追踪效果差异, 4种方案角度追踪结果与真实值的误差如图10所示.由图可见, ABP在整个追踪过程中的误差值表现出明显的不稳定性, 尤其是整个过程的起始和结束时.原因是用于仿真的场景环境中存在丰富的散射体, 非直射径弱化两组ZC序列的正交性, 导致接收端估计的AoD含有严重的噪声.这种不稳定性会导致通信系统出现异常中断.EKF-DFRC在整个过程的中间部分出现偏移现象, 这是由于中间部分两车相距较近, EKF对状态演化的线性化与实际运动行为差异过大.UMSA-V同样出现类似的问题:在车辆相近时, 相机与天线之间的位置差异导致角度估计不准确.MMSA-VL虽然在中间部分出现略微的偏移, 但是在整个追踪过程中角度估计一直保持相对稳定的水平.

图10

Fig.10

	Figure Option ViewDownloadNew Window
	图10 角度追踪误差值Fig.10 Error values of angle tracking

此外, 选择平均绝对误差(Mean Absolute Error, MAE)和平均平方误差(Mean Square Error, MSE)量化评估4种方案的性能, 结果如表1所示.

表1

Table 1

表1(Table 1)

表1 各方案角度追踪的MAE和MSE对比 Table 1 MAE and MSE comparison of different angle tracking schemes 方案 MAE/rad MSE/rad2 MMSA-VL 8.50× 10-3 2.02× 10-4 ABP 6.60× 10-2 4.36× 10-3 EKF-DFRC 3.18× 10-2 1.01× 10-3 UMSA-V 3.34× 10-2 1.11× 10-3

表1 各方案角度追踪的MAE和MSE对比 Table 1 MAE and MSE comparison of different angle tracking schemes

由表1可见, MMSA-VL的角度追踪指标最佳.MMSA-VL追踪的 MAE值分别是ABP、EKF-DFRC、UMSA-V 的12.86%、26.69%、25.45%.MMSA-VL的MSE值更优, 分别是ABP、EKF-DFRC、UMSA-V的4.62%、19.90%、18.10%.由此可见, MMSA-VL能获取更优的角度追踪性能.

3.4.2 可达传输速率

为了更直接评估各种波束追踪方案的性能, 计算

$S N R_{n}=\frac{p_{n}\left|\kappa \alpha_{n} \boldsymbol{w}^{H}[n] \boldsymbol{a}_{r}(\phi[n]) \boldsymbol{a}_{t}^{H}(\theta[n]) \boldsymbol{f}[n]\right|^{2}}{\sigma^{2}}, $

进一步代入

$\text { Rate }_{n}=\log _{2}\left(1+S N R_{n}\right), $

计算可达速率, 其中, 天线阵列增益

$\kappa=\sqrt{N_{t} N_{r}} \text {, }$

α _n表示直射径系数, a_r(ϕ [n])表示直射径的接收导向矢量, a_t(θ [n])表示直射径的发射导向矢量, p_n表示发射端功率, σ ²表示接收端零均值高斯噪声的功率.假定收发端的波束理想对准, 该结果作为可达速率的上界(以下简称上界).

实验设定100 m自由空间路径损耗为100 dB, 发射端功率为30 dBm, 接收端噪声功率谱密度为-174 dBm/Hz, 系统带宽为380 MHz.在整个追踪过程中, 目标车辆和发射端相向行驶, 发射端和接收端的相对距离先减小后增加, 最远为209.5 m, 最近为14.5 m.

在收发端的ULA均配备8个天线的情况下, 各方案可达速率对比如图11所示.

图11

Fig.11

	Figure Option ViewDownloadNew Window
	图11 各方案的可达传输速率对比Fig.11 Performance comparison of achievable transmission rates

由图11可见, EKF-DFRC在车辆距离较近时表现出明显的速率下降, 仅能达到上界的97.89 %.而MMSA-VL、ABP和UMSA-V的平均可达速率分别能达到上界的99.86%、99.37%和99.41%.具体数值结果见表2和表3.

表2

Table 2

表2(Table 2)

表2 各方案的平均可达速率 Table 2 Average achievable transmission rates 方案 Nt=Nr=8 Nt=Nr=16 Nt=Nr=32 MMSA-VL 16.67 bps/Hz 18.59 bps/Hz 20.18 bps/Hz ABP 16.58 bps/Hz 18.23 bps/Hz 18.84 bps/Hz EKF-DFRC 16.34 bps/Hz 17.18 bps/Hz 18.25 bps/Hz UMSA-V 16.59 bps/Hz 18.27 bps/Hz 18.76 bps/Hz 上界 16.68 bps/Hz 18.69 bps/Hz 20.69 bps/Hz

表2 各方案的平均可达速率 Table 2 Average achievable transmission rates

表3

Table 3

表3(Table 3)

表3 各方案平均可达速率与平均上界速率之比 Table 3 Ratio of average achievable rate to average upper bound rate 方案 Nt=Nr=8 Nt=Nr=16 Nt=Nr=32 MMSA-VL 99.86% 99.48% 97.56% ABP 99.37% 97.56% 91.07% EKF-DFRC 97.89% 91.93% 88.20% UMSA-V 99.41% 97.75% 90.69%

表3 各方案平均可达速率与平均上界速率之比 Table 3 Ratio of average achievable rate to average upper bound rate

尽管增加天线可提高波束增益, 但更高的天线维度对波束追踪方案的追踪精度要求更高, 细小的偏差可能会降低可达速率.在收发端ULA分别配备16个和32个天线的情况下, 各方案的可达速率对比如图12所示.

图12

Fig.12

	Figure Option ViewDownloadNew Window
	图12 收发天线数不同时的可达传输速率Fig.12 Comparison of achievable transmission of different number of transmitting and receiving antennas

由图12可见, 在16个天线的情况下, 虽然每种方案的平均可达速率都有所增加, 但是更容易由于波束不对准而出现通信速率下降的情况.在32个天线的情况下, 几乎所有的方案都难以保持稳定的通信速率, MMSA-VL的平均可达速率仍能维持在上界的97.56%.

为了保证公平性, 在实验中假定EKF-DFRC、ABP、UMSA-V没有信号处理延迟, ABP没有反馈延迟, 即第n帧的感知信息和信号反馈信息直接用于辅助第n帧的波束追踪, 而不需要预测这一过程.同时, VBC-PF额外形成的辅助波束对需要额外的两条射频链开销, 难以在实际情况中应用.此外, EKF-DFRC中10^-6数量级的测量噪声功率等参数接近于理想情况, 在现实情况中也是难以达到的.因此, MMSA-VL对比其它方案的优越性能并不是参数设置导致的, 而是方案设计的固有差异.