2023年, 第36卷, 第11期　刊出日期：2023-11-25

  

• 全选
  |

通信与多模态感知联觉机理和智能融合
• Select
  “通信与多模态感知联觉机理和智能融合”专辑序言

  程翔

  模式识别与人工智能. 2023, 36(11): 0-0.

  PDF全文 ( ) HTML ( ) 可视化 收藏
• Select
  机器联觉:通信与多模态感知的智能融合

  程翔, 张浩天, 李思江, 黄子蔚, 杨宗辉, 高诗简, 白露, 张嘉楠, 郑心湖, 杨柳青

  模式识别与人工智能. 2023, 36(11): 967-986. https://doi.org/10.16451/j.cnki.issn1003-6059.202311001

  PDF全文 ( ) HTML ( ) 可视化 收藏

  通信感知一体化技术局限于雷达感知与通信在频谱和硬件层面上的共享,不足以提升新兴应用场景中通信与感知的性能.在涵盖海量多模态感知和通信数据的场景中,通信感知一体化技术应向考虑多模态感知的方向进行范式演进,即通信与多模态感知的智能融合.受人类联觉现象启发,文中系统化建立并论述通信和多模态感知智能融合的范式——机器联觉.首先,总结机器联觉3种典型工作模式:唤起模式、增强模式、合作模式,系统全面给出通信和多模态感知之间相互辅助增强的目的与方式.然后,介绍机器联觉研究的数据基础(通信与多模态感知智能融合仿真数据集)和理论基础(通信与多模态感知联觉机理).最后,综述当前机器联觉的研究现状,并展望未来的研究方向.
• Select
  基于感知图像信息的无人机信道路径损耗预测

  孙铭然, 黄子蔚, 白露, 程翔, 张洪广, 冯涛

  模式识别与人工智能. 2023, 36(11): 987-996. https://doi.org/10.16451/j.cnki.issn1003-6059.202311002

  PDF全文 ( ) HTML ( ) 可视化 收藏

  为了更好地促进6G无人机对地通信技术的应用和发展,完善无人机对地通信系统设计理论基础及满足6G通信的安全性和有效性的需求,开展6G无人机对地通信场景下基于感知图像信息的信道路径损耗预测研究.首先,基于感知数据仿真平台AirSim和无线信道仿真软件Wireless InSite,构建动态无人机对地通信场景下的混合通信与感知智能融合数据集,为探索物理空间和电磁空间的映射关系提供重要的数据支撑.然后,基于构建的数据集,建立物理空间的感知图像信息与电磁空间的路径损耗信息之间的映射关系,实现6G无人机对地通信场景下的实时路径损耗预测.最后,通过仿真测试,将模型预测结果和测试集进行对比,验证模型的准确性.
• Select
  应用于毫米波车车通信的多模态感知辅助波束预测

  文韦博, 张浩天, 高诗简, 程翔, 杨柳青

  模式识别与人工智能. 2023, 36(11): 997-1008. https://doi.org/10.16451/j.cnki.issn1003-6059.202311003

  PDF全文 ( ) HTML ( ) 可视化 收藏

  为了确保车联网通信的传输可靠性,大规模多天线技术的毫米波通信亟需精确的波束赋形.在高动态的车辆通信环境下,传统的波束对准方式会造成巨大的资源开销,难以在相干时间内建立可靠链路.因此,文中提出基于多模态感知信息辅助的波束预测方案.该方案融合视觉和激光雷达点云两种非射频感知信息,利用深度神经网络进行多模态信息的特征提取,通过透视投影实现图像空间语义信息和物理空间位置信息的精准匹配和深度融合.通过协同感知坐标校正和车辆位置预测,将物理环境的特征精确映射到角域信道,从而实现实时准确的波束预测.在多模态感知仿真数据集(M³SC)上的测试结果表明,文中方案能实现较高的角度追踪精度和可达通信速率.
• Select
  面向道路目标检测的多模态融合语义传输

  朱增乐, 魏智伟, 张荣庆, 杨柳青

  模式识别与人工智能. 2023, 36(11): 1009-1018. https://doi.org/10.16451/j.cnki.issn1003-6059.202311004

  PDF全文 ( ) HTML ( ) 可视化 收藏

  在长尾效应的极端场景下,多车多传感器协作感知可为车辆提供有效的感知信息,但异构数据的差异化带宽限制和不同的数据格式使车辆在处理信息时难以进行统一高效的调度.为了在有限通信带宽下实现不同车辆间多传感器信息的有机融合,文中从语义通信的角度出发,提出基于Transformer的多模态融合目标检测语义通信模型.不同于传统的数据传输方案,文中模型利用自注意力机制融合不同模态的数据,着重探究各模态数据之间的语义相关性与依赖性.在有限的通信资源下帮助车辆进行信息传递和相互协作,提高车辆对复杂路况的理解能力.在Teledyne FLIR Free ADAS Thermal数据集上的实验表明,文中模型在多模态目标检测语义通信任务中表现出色,不仅大幅提升目标检测的准确性,同时也减少一半传输代价.
• Select
  定位与通信受限的网联协同感知算法

  毛瑞清, 贾宇宽, 孙宇璇, 周盛, 牛志升

  模式识别与人工智能. 2023, 36(11): 1019-1028. https://doi.org/10.16451/j.cnki.issn1003-6059.202311005

  PDF全文 ( ) HTML ( ) 可视化 收藏

  随着车联网通信技术的不断发展,协同感知的网联自动驾驶成为未来智慧交通系统中重要的组成部分,可有效解决传统单车智能在感知和计算能力上的固有局限.然而,现有的协同感知算法大多依赖准确的定位信息进行多视角融合,往往忽略通信带宽与通信时延的约束.因此,文中提出面向定位与通信受限条件下的特征层级协同感知算法,在不依赖准确位置与位姿信息的情况下实现不同视角信息的匹配,同时对通信时延具有一定的鲁棒性,能根据信道状态动态调整通信数据量.文中算法结合传统两阶段感知范式与深度度量学习,通过传输区域特征图进行跨视角信息匹配,降低定位误差和通信时延带来的影响.同时,通过车联网通信传输的区域特征图数量可以实时在线调整通信数据量,满足不同信道条件的约束.在协同感知数据集上的实验表明,文中算法在各场景下均表现出显著的协作增益,在一定通信时延下感知精度不显著衰减,可有效降低所需传输的数据量.
• Select
  基于鸟瞰图的空间-通道注意力多传感器融合

  吉宇哲, 陈奕洁, 杨柳青, 郑心湖

  模式识别与人工智能. 2023, 36(11): 1029-1040. https://doi.org/10.16451/j.cnki.issn1003-6059.202311006

  PDF全文 ( ) HTML ( ) 可视化 收藏

  基于鸟瞰图(Bird's-Eye View, BEV)的目标感知算法现正成为研究热点,但少有针对BEV的多传感器融合.因此,文中提出基于空间-通道注意力的多传感器融合模块,对不同模态的特征数据增加局部注意力机制,能有效修正多传感器之间的空间误差.利用转置注意力操作,充分融合图像和点云数据,消解不同模态语义信息之间的异质性,使融合的BEV特征在不引入空间偏差的同时,有效结合多传感器各自的独特信息,实现更全面准确的感知.在nuScenes数据集上的实验以及大量的消融实验表明,文中融合模块能有效提升目标检测算法的精度,可视化结果展现融合后的特征具有更完整、准确的特征信息,可明显提升对远处物体的检测.

• Select
  路端多源数据空间一致性数据集构建及评估方法研究

  陈志伟, 张皓霖, 严宇宸, 陈仕韬

  模式识别与人工智能. 2023, 36(11): 1041-1058. https://doi.org/10.16451/j.cnki.issn1003-6059.202311007

  PDF全文 ( ) HTML ( ) 可视化 收藏

  构建多源传感数据空间一致性是路端多模态数据融合的基础,在车路协同及路端智能中发挥重要作用.然而,现有的路端多模态数据集主要侧重于目标检测等识别类任务的研究,缺少多源传感器之间的多种空间变换信息,不足以支撑路端多源数据空间一致性问题的研究.因此,文中构建一个专门用于路端多源数据空间一致性问题研究的数据集——InfraCalib(https://github.com/chenzhiwei888/InfraCalib-Dataset).数据集共包含23万多帧图像与点云数据,由两个路端智能移动设备采集,覆盖场景、模态、光照、设备空间位置及传感器姿态等多样变化.通过匹配特征关键点对关联多模态数据,构建PnP(Perspective-n-Point)问题,并利用最小重投影误差法解算外参矩阵,作为近似真值标签.最后,在InfraCalib数据集上进行经典特征匹配算法的实验分析,并讨论多源传感器外参标定的量化评估指标.