随着通信网络和人工智能技术的快速发展, 网联智能系统在越来越多的领域中发挥重要的作用。网联智能系统由多个具有自主性、互动性和协作性的智能体组成, 通过网络实现信息共享和协同处理, 从而完成单个智能体难以实现的复杂任务。网联智能系统在无人驾驶、智慧物流、低空经济等领域具有广阔的应用前景, 可以提高效率、安全性和可靠性, 为社会创造更多的便利和价值。

网联智能系统包含智慧的网络和连接的智能, 需要通信网络和人工智能的深度交叉融合, 而其中通信与多模态感知的智能融合是核心基础之一。当前, 通信与多模态感知智能融合领域虽已存在初步研究工作, 但应用范围局限, 通信和感知研究相对分离, 缺乏系统框架来统一指导其设计思路与目标。受人类联觉启发, 我们团队在全球范围内首次提出了机器联觉(Synesthesia of Machines, SoM)的概念, 在最具权威的综述性期刊《IEEE Communications Surveys & Tutorials》(影响因子为35.6, 在IEEE旗下所有期刊中排名第一, 代表了该领域的学术前沿和未来的发展方向, 年发文量仅有80篇)发表题为“ Intelligent Multi-Modal Sensing-Communication Integration: Synesthesia of Machines” 的论文, 系统化地建立并论述了通信和多模态感知智能融合的统一框架:机器联觉(SoM), 旨在推动通信与多模态感知智能融合理论的研究发展并指导该领域的相关研究, 助力实现B5G/6G时代的泛在连接和网联智能。

为了让读者更更好地了解面向通信网络和人工智能深度交叉融合的网联智能的发展现状和未来趋势, 我们组织了这一期“ 通信与多模态感知联觉机理和智能融合” 专辑, 包括:进一步深入阐述机器联觉的数据和理论基础, 以及最新相关研究成果和思路; 探索和研究通信射频和多模态感知之间的联觉机理; 基于机器联觉辅助增强的通信传输研究; 基于机器联觉辅助的网联多模态感知算法和方案设计。通过这一期专辑, 希望跟读者分享通信与多模态感知智能融合的新进展、新应用和新方向, 引发读者的思考和创新, 推动网联智能又好又快的发展。

《机器联觉:通信与多模态感知的智能融合》一文来自北京大学程翔教授团队, 本文进一步深入系统化论述了通信和多模态感知智能融合的统一框架:机器联觉(Synesthesia of Machines, SoM)。基于该框架, 作者通过定义其三种工作模式:机器联觉-唤起模式、机器联觉-增强模式、机器联觉-合作模式, 全面总结了通信和多模态感知之间相互辅助增强的目的与方式。作者介绍了支撑机器联觉研究的数据基础(通信与多模态感知智能融合仿真数据集)与理论基础(通信与多模态感知联觉机理)。作者也简要综述了当前机器联觉领域的研究现状、介绍了作者团队的相关研究成果, 最后展望了未来的研究方向。

《基于感知图像信息的无人机信道路径损耗预测》一文来自山东大学白露教授团队, 本文针对6G无人机对地通信场景下基于感知图像信息进行射频信道路径损耗预测展开研究, 探索了通信与感知信息的联觉机理。作者构建了一个动态无人机对地通信场景下的混合通信与感知智能融合数据集, 并基于所构建的数据集, 建立了物理空间的感知图像信息与电磁空间的路径损耗信息之间的映射关系, 并开展了他们之间联觉机理的研究, 实现了6G无人机对地通信场景的实时路径损耗预测。最后, 通过仿真测试, 验证了所构建路径损耗预测模型的准确性。

《应用于毫米波车车通信的多模态感知辅助波束预测》一文来自于Samsung Semiconductor高级工程师高诗简博士及其合作者, 本文提出了一种基于多模态感知信息和射频信息联觉辅助增强的波束预测方案。该方案融合了视觉和激光雷达点云两种非射频感知信息, 利用深度神经网络进行多模态信息的特征提取, 通过透视投影实现图像空间语义信息和物理空间位置信息的精准匹配、深度融合。同时, 方案通过协同感知坐标校正和车辆位置预测, 将物理环境的特征精确映射到角域射频信道, 从而实现实时准确的波束预测。

《面向道路目标检测的多模态融合语义传输》一文来自同济大学张荣庆副教授团队, 本文聚焦于智能交通系统, 重点解决在极端场景中车辆如何对目标物体进行准确识别的问题。鉴于各传感器的局限性和适用场景的不同, 作者提出了一种创新思路, 即构建多车多传感器的多源异构数据协作感知环境。为应对在协同传输和处理时所面临的异构数据带宽和格式差异, 作者引入了基于Transformer的多模态融合目标检测语义通信框架。该框架利用自注意力机制融合不同模态的数据, 不仅降低了50%的传输代价, 同时也取得了更为优越的目标检测效果。

《定位与通信受限的网联协同感知算法》一文来自清华大学周盛副教授团队, 本文针对网联自动驾驶中的协同感知任务, 重点解决移动性条件下通信与定位的非理想性对感知性能的影响。作者将传统两阶段感知范式与深度度量学习进行结合, 提出了一种传输数据率可调的特征层级协同感知算法框架。通过传输区域化特征图并进行跨视角信息匹配, 该算法对定位误差与通信时延均体现出良好的鲁棒性, 同时大幅降低了协作所需传输的数据量。

《基于鸟瞰图的空间-通道注意力多传感器融合》一文来自香港科技大学(广州)郑心湖助理教授团队, 本文针对多传感器融合中存在的异质性进行研究, 重点解决激光雷达点云与相机图像间存在的空间和语义的特征差异。作者团队提出了基于空间-通道注意力的多传感器融合模块, 通过对不同模态的特征数据增加局部注意力机制, 有效修正多传感器之间的空间误差; 利用转置注意力操作, 消解不同模态的语义信息差异。融合模块所产生的BEV特征在不引入空间偏差的同时, 有效结合多传感器各自的独特信息, 实现对环境更全面准确的鲁棒感知。

《路端多源数据空间一致性数据集构建及评估方法研究》一文来自西安交通大学陈仕韬助理教授团队, 本文构建了一个专门用于路端多源数据空间一致性问题研究的数据集InfraCalib, 数据覆盖场景、模态、光照、设备空间位置及传感器姿态等多样变化, 弥补了该领域的一些固有不足, 同时也对推动网联智能车、车路协同等领域的发展具有积极的促进作用。作者详细介绍了数据采集过程中的关键工作, 如传感器系统时间同步、采集设备内部模块搭建、自动化采集程序设计等, 并利用最小重投影误差法求解PnP(Perspective-n-Point)问题, 解算出传感器之间的外参矩阵作为真值标签。最后, 在InfraCalib数据集上进行图像特征匹配和点云配准等经典算法的实验测试, 分析了InfraCalib数据集可能存在的难点及其研究价值, 并讨论了多源传感器外参标定的量化评估指标。

网联智能涉及的领域很宽、内容很多, 这一期专辑侧重在通信传输与多模态感知的智能融合层面, 我们衷心期望通过本专辑的7篇文章引起大家的兴趣, 引发大家的思考, 进而推动通信与多模态感知智能融合理论的研究发展, 助力实现B5G/6G时代的网联智能, 那么这期专辑将善莫大焉!