基于鸟瞰图(Bird's-Eye View, BEV)的目标感知算法现正成为研究热点,但少有针对BEV的多传感器融合.因此,文中提出基于空间-通道注意力的多传感器融合模块,对不同模态的特征数据增加局部注意力机制,能有效修正多传感器之间的空间误差.利用转置注意力操作,充分融合图像和点云数据,消解不同模态语义信息之间的异质性,使融合的BEV特征在不引入空间偏差的同时,有效结合多传感器各自的独特信息,实现更全面准确的感知.在nuScenes数据集上的实验以及大量的消融实验表明,文中融合模块能有效提升目标检测算法的精度,可视化结果展现融合后的特征具有更完整、准确的特征信息,可明显提升对远处物体的检测.

构建多源传感数据空间一致性是路端多模态数据融合的基础,在车路协同及路端智能中发挥重要作用.然而,现有的路端多模态数据集主要侧重于目标检测等识别类任务的研究,缺少多源传感器之间的多种空间变换信息,不足以支撑路端多源数据空间一致性问题的研究.因此,文中构建一个专门用于路端多源数据空间一致性问题研究的数据集——InfraCalib(https://github.com/chenzhiwei888/InfraCalib-Dataset).数据集共包含23万多帧图像与点云数据,由两个路端智能移动设备采集,覆盖场景、模态、光照、设备空间位置及传感器姿态等多样变化.通过匹配特征关键点对关联多模态数据,构建PnP(Perspective-n-Point)问题,并利用最小重投影误差法解算外参矩阵,作为近似真值标签.最后,在InfraCalib数据集上进行经典特征匹配算法的实验分析,并讨论多源传感器外参标定的量化评估指标.