引用本文
孙铭然, 黄子蔚, 白露, 程翔, 张洪广, 冯涛. 基于感知图像信息的无人机信道路径损耗预测. 模式识别与人工智能, 2023,36(11): 987-996
SUN Mingran, HUANG Ziwei, BAI Lu, CHENG Xiang, ZHANG Hongguang, FENG Tao. Sensing Image Data Based Unmanned Aerial Vehicle Channel Path Loss Prediction. PATTERN RECOGNITION AND ARTIFICIAL INTELLIGENCE, 2023,36(11): 987-996.  
Doi: 10.16451/j.cnki.issn1003-6059.202311002
Permissions
Copyright©2023, 《模式识别与人工智能》编辑部
《模式识别与人工智能》编辑部
基于感知图像信息的无人机信道路径损耗预测
孙铭然1, 黄子蔚1, 白露2,3, 程翔1, 张洪广4, 冯涛4
1.北京大学 电子学院 北京 100871
2.山东省工业技术研究院 济南 250100
3.山东大学 山东大学-南洋理工大学人工智能国际联合研究院 济南 250101
4.中国人民解放军军事科学院 系统工程研究院 北京 100039
通讯作者：

白 露,博士,研究员,主要研究方向为6G无线通信网络信道测量与建模.E-mail:lubai@sdu.edu.cn.

作者简介:

孙铭然,博士研究生,主要研究方向为基于人工智能的信道建模.E-mail:mingransun@stu.pku.edu.cn.

黄子蔚,博士研究生,主要研究方向为复杂高速移动场景下的无线通信信道的测量与建模.E-mail:ziweihuang@pku.edu.cn.

程 翔,博士,教授,主要研究方向为基于数据驱动的智慧网络、网联智能.E-mail:xiangcheng@pku.edu.cn.

张洪广,博士,助理研究员,主要研究方向为少样本学习、元学习、迁移学习.E-mail:zhang.hongguang@outlook.com.

冯 涛,博士,高级工程师,主要研究方向为智能网络、软件定义网络、网络管理.E-mail:fengt09@163.com.

收稿日期: 2023-10-09 接受日期: 2023-11-16
资助项目: 国家自然科学基金项目(No.62125101,62341101,62371273,62001018,62106282)、山东省自然科学基金项目(No.ZR2023YQ058)、新基石科学基金会科学探索奖、第九届青年人才托举工程项目(No.2023QNRC001)、泰山学者工程、北京市科技新星计划项目(No.20220484139)资助
摘要

为了更好地促进6G无人机对地通信技术的应用和发展,完善无人机对地通信系统设计理论基础及满足6G通信的安全性和有效性的需求,开展6G无人机对地通信场景下基于感知图像信息的信道路径损耗预测研究.首先,基于感知数据仿真平台AirSim和无线信道仿真软件Wireless InSite,构建动态无人机对地通信场景下的混合通信与感知智能融合数据集,为探索物理空间和电磁空间的映射关系提供重要的数据支撑.然后,基于构建的数据集,建立物理空间的感知图像信息与电磁空间的路径损耗信息之间的映射关系,实现6G无人机对地通信场景下的实时路径损耗预测.最后,通过仿真测试,将模型预测结果和测试集进行对比,验证模型的准确性.

关键词: 通信与感知融合; 路径损耗预测; 联觉机理; 无人机通信
中图分类号:TN92
Sensing Image Data Based Unmanned Aerial Vehicle Channel Path Loss Prediction
SUN Mingran1, HUANG Ziwei1, BAI Lu2,3, CHENG Xiang1, ZHANG Hongguang4, FENG Tao4
1. School of Electronics, Peking University, Beijing 100871
2. Shandong Research Institute of Industrial Technology, Jinan 250100
3. Joint SDU-NTU Centre for Artificial Intelligence Research, Shandong University, Jinan 250101
4. Institute of System Engineering, Academy of Military Sciences PLA, Beijing 100039
Corresponding author：
BAI Lu, Ph.D., professor. Her research interests include 6G wireless communication network channel mea-surements and modeling.

About Author:
SUN Mingran, Ph.D. candidate. His research interests include AI-based channel modeling.
HUANG Ziwei, Ph.D. candidate. His research interests include complex high-mobility communication channel measurements and mo-deling.
CHENG Xiang, Ph.D., professor. His research interests include data-driven intelligent network and networked intelligence.
ZHANG Hongguang, Ph.D., assistant professor. His research interests include few-shot learning, meta-learning and transfer-lear-ning.
FENG Tao, Ph.D., senior engineer. His research interests include intelligent network, software defined network and network management.

Fund:National Natural Science Foundation of China(No.62125101,62341101,62371273,62001018,62106282), Natural Science Foundation of Shandong Province(No.ZR2023YQ058), New Cornerstone Science Foundation through the XPLORER PRIZE, Young Elite Scientists Sponsorship Program by CAST(No.2023QNRC001), Taishan Scholars Program, Beijing Science and Technology New Star Program(No.20220484139)
Abstract

To facilitate the application and development of 6G unmanned aerial vehicle(UAV)-to-ground wireless communications, improve the theory foundation of UAV-to-ground communication system and meet the safety and efficiency requirements of 6G communications, sensing image data based UAV channel path loss prediction in 6G UAV-to-ground communication scenario is studied. Firstly, based on AirSim and Wireless InSite, sensing data simulation platform and channel data simulation platform, a mixed sensing and communication integration dataset for a dynamic UAV-to-ground communication scenario, is established to explore the mapping relationship between physical space and electromagnetic space. Secondly, based on the established dataset, the mapping relationship between sensing image in physical space and channel path loss in electromagnetic space is built and the 6G UAV-to-ground real-time path loss prediction is achieved. Finally, the prediction result of the proposed model is compared with the test set through the simulation test and the results verify the accuracy of the proposed model.

Key words: Sensing and Communication Integration; Path Loss Prediction; Synesthesia Mechanism; Unmanned Aerial Vehicle Communications

近来, 6G通信引起学者广泛的研究兴趣.为了满足6G对安全性和高效性的需求, 6G通信场景中的移动单元需要配备多模态的感知设备和通信设备, 并在不同的感知设备之间建立无线连接以获取全面的环境信息, 高效安全地保证传输任务的实施[1].然而传统的通信感知一体化(Integrated Sen-sing and Communications, ISAC)无法支撑这样的感知和通信的任务, 其原因在于ISAC通常局限在射频雷达感知和通信的融合.

为了填补这个空白, 受到人类联觉的启发, Cheng等[2]提出机器联觉(Synesthesia of Machines, SoM)的概念.人类联觉是指当一种人类感官受到刺激后, 唤起另一种感官的无意识的神经心理学特征.SoM是指多模态感知与通信智能融合.类似于人类联觉中的器官概念, SoM把多模态感知设备和通信设备视为机器感官.不同于ISAC仅局限于射频感知与通信的融合, SoM是指工作在不同频段的感知设备和通信设备的智能融合, 包含射频通信、射频感知(如毫米波雷达)和非射频感知(如激光雷达、RGB相机及深度相机).

作为6G通信的重要组成部分, 无人机(Un-manned Aerial Vehicle, UAV)对地通信因其容易组网、可靠性强、灵活性高和信道容量大的特点, 能满足6G通信对高可靠、低时延的要求.同时, 作为SoM的典型应用场景, 无人机对地通信感知融合场景受到广泛关注.为了支持通信感知融合无人机对地通信系统设计, 无人机对地通信的信道建模研究至关重要[3], 其中, 大尺度信道衰落特性, 如路径损耗, 在无人机对地通信中起到重要作用.例如, 对于无人机组网来说, 无人机对地通信信道的路径损耗决定无人机网络的通信能量损耗以及能量效率, 决定无人机网络的覆盖范围[4].因此, 无人机对地通信路径损耗的准确预测对无人机通信系统设计和完善至关重要.

在无人机对地通信场景中, 传统的路径损耗获取方式通常有两种:信道测量和信道仿真[5].信道测量通常将信道测量设备部署在无人机上, 开展信道测量活动以获得收发端之间的路径损耗.由于信道测量活动需要昂贵的设备成本和大量的时间耗费, 在面对不同类型场景的路径损耗预测问题时, 信道测量因其在人力、物力方面的巨大损耗而显得尤为笨重.信道仿真利用信道仿真平台, 如Wireless InSite, 基于射线追踪算法进行仿真, 从而获得路径损耗数据.相比信道测量, 信道仿真可在软件中灵活搭建三维场景模型, 减轻人力物力损耗.但是, 基于射线追踪算法的信道仿真方法也存在局限性:高计算复杂度带来的计算时间和资源的消耗.两种方法的共同点在于需要复杂的测量或仿真, 无法根据不同场景或不同位置实时准确地获取路径损耗数据.而在6G无人机通信中, 高可靠和低时延对于无人机组网及覆盖性能优化等至关重要[6].因此亟待研究实时、灵活、准确的无人机路径损耗预测方案.

为了克服传统方案的缺陷, Gupta等[7]利用激光雷达点云和曼哈顿实测数据训练卷积神经网络, 预测城镇场景的路径损耗, 即输入激光雷达点云, 输出路径损耗随距离变化的函数.Ates等[8]利用卫星二维图像和Wireless InSite仿真信道数据训练VGG-16和ResNet-50架构的卷积神经网络, 预测信道参数中的路径损耗指数和阴影的标准差, 实现输入卫星图像, 输出路径损耗指数和阴影标准差.在文献[8]的基础上, Ahmadien等[9]调整网络输出, 利用卫星二维图像和Wireless InSite仿真信道数据训练VGG-16架构的卷积神经网络, 预测路径损耗分布直方图, 实现输入卫星图像, 输出路径损耗分布直方图.Levie等[10]利用城市地图信息和基于射线追踪仿真得到的路径损耗数据, 训练RadioUNet, 实现输入城市地图信息, 预测路径损耗数值.Qiu等[11]将楼房位置、发射端位置及位置编码层作为输入, 将基于射线追踪仿真得到的路径损耗热力图作为输出, 训练SegNet, 实现路径损耗数值预测.

但是, 现有工作具有如下局限性, 导致其不能适应高动态无人机对地通信感知融合场景.1)上述方法皆关注静态场景, 即利用静态城市地图、卫星图像及在固定位置采集的激光雷达点云数据等静态数据进行路径损耗预测, 而非利用部署在动态无人机的感知设备获取实时感知信息并进行预测, 从而导致其在高动态的无人机对地通信场景中的应用受限.2)由于物理空间和电磁空间之间的信息差距巨大, 而现有工作皆是利用深度学习的方法, 将物理空间信息直接作为网络输入, 并要求网络直接输出电磁空间中的路径损耗信息.这样做的缺点在于难以克服物理空间和电磁空间的信息差距, 从而使路径损耗预测性能仅依赖于网络的性能, 缺乏通信层面的可解释性.3)缺乏动态无人机对地通信场景下混合通信与感知智能融合的数据集, 这也是使目前动态无人机场景下路径损耗预测研究处于空白研究阶段的重要原因, 即数据集的缺乏使物理空间和电磁空间联觉机理(映射关系)的挖掘缺少重要的数据支撑.

为了填补动态无人机对地通信场景下路径损耗预测研究的空白, 本文通过部署在无人机上的感知设备, 实时动态采集感知图像信息, 辅助探索物理空间到电磁空间的联觉机理(映射关系), 实现动态灵活准确的无人机路径损耗预测.在混合通信与多模态感知智能融合数据集[12]的启发下, 构建动态无人机对地通信场景下的混合通信与感知智能融合数据集, 为物理空间和电磁空间联觉机理(映射关系)提供重要的数据支撑.通过部署在无人机上的感知设备采集的感知图像提取物理空间中的环境特征, 克服物理空间和电磁空间的信息差距, 即通过提取感知图像数据中和路径损耗密切相关的楼房信息, 为路径损耗预测方案提供通信层面的可解释性.建立完善的动态无人机对地通信场景下基于感知图像信息的实时路径损耗预测方案, 并通过仿真测试, 验证方案的准确性, 实现物理空间感知图像到电磁空间路径损耗联觉机理的挖掘.

1 无人机场景的混合通信与感知智能融合数据集

为了探索无人机场景下的物理空间与电磁空间的映射关系, 亟需构建一个包含感知图像信息与路径损耗信息的混合通信与感知智能融合的数据集, 为探索映射关系提供重要的数据支撑, 实现无人机对地通信场景中实时准确的路径损耗预测.在数据集构建的过程中, 利用AirSim[13]采集物理空间感知图像信息, 即深度图, 利用Wireless InSite采集电磁空间无线信道信息, 即路径损耗.进一步地, 将物理空间感知信息与电磁空间信道信息进行深度融合和精准匹配, 实现混合通信与感知智能融合.

本文在场景构建和场景生成两方面实现深度融合.在场景构建方面, 将Wireless InSite中的粗糙场景进行渲染后再导入AirSim.同时, 精细的AirSim场景需要简化后才能导入Wireless InSite.在场景生成方面, 两个软件都需要修改动态物体的坐标才能生成通信与感知融合的动态场景, 即AirSim中需要逐帧设定每个物体的坐标, Wireless InSite中需要解析大量内部文件以批量修改物体坐标.对于精准匹配, 在场景对齐、坐标对齐、数据匹配和信息匹配这四个方面实现精准匹配.在数据匹配方面, AirSim中无人机配备的传感器位置与Wireless InSite中无人机配备的发射天线位置对齐, 并在Wireless InSite软件中逐帧进行坐标转换, 实现与感知数据的匹配.在信息匹配方面, 将AirSim中感知设备采集的范围和Wire-less InSite中信道路径损耗采集的范围对齐, 保证物理空间和电磁空间的信息匹配.

1.1 初始时刻场景搭建

为了构建一个无人机对地通信场景下的混合通信与感知智能融合的数据集, 首先需要搭建一个在初始时刻保持物理空间和电磁空间精准匹配的无人机对地通信场景.

在物理空间中, 利用PurePolygons中名为Modu-lar Building Set的模型, 即城镇十字路口场景, 导入3D游戏引擎Unreal Engine中, 完成场景搭建.再利用Unreal Engine中的仿真插件AirSim, 在场景中部署感知设备, 包含深度相机, 实现外来导入无人机感知数据的采集.

在AirSim仿真平台的物理空间中的城镇十字路口场景如图1(a)所示, 场景中包含城镇十字路口场景下高度不等的楼房和搭载深度相机的无人机.无人机配备的感知设备及通信设备距离地面的高度为63.35 m.随着无人机按照预设轨迹飞行, 无人机搭载的深度相机也会随无人机同步移动, 实时精准地采集高动态无人机物理空间感知图像信息, 即深度图.

图1 城镇十字路口场景Fig.1 Urban crossroad scenario

在电磁空间中, 利用Wireless InSite无线信道仿真软件, 搭建一个相同的城镇十字路口场景, 如图1(b)所示, 即导入在物理空间中的场景模型和无人机模型, 保证场景中楼房和无人机的尺寸大小一致, 实现物理空间和电磁空间在场景上的精准匹配.

进一步地, 为了实现物理空间和电磁空间的信息匹配, 将深度图采集的范围和无线路径损耗接收端面阵天线的范围保持一致, 如图2所示.(a)为AirSim中初始时刻由配备在无人机上的深度相机采集的深度图.(b)为Wireless InSite中初始时刻的信道路径损耗仿真热力图.由图可看出, 物理空间采集的深度图信息和电磁空间采集的信道路径损耗信息的范围保持一致, 实现物理空间和电磁空间精准匹配中的数据匹配和信息匹配.

图2 物理空间和电磁空间的信息匹配Fig.2 Information matching between physical space and electromagnetic space

具体而言, 在数据匹配方面, AirSim中无人机配备的传感器位置与Wireless InSite中无人机配备的发射天线位置对齐, 并在Wireless InSite软件中逐帧进行坐标转换, 实现与感知数据的匹配.在信息匹配方面, 将AirSim中感知设备采集的范围和Wireless InSite中信道路径损耗采集的范围对齐, 保证物理空间和电磁空间的信息匹配.场景中的接收端为与物理空间信息匹配的铺在地面的天线面阵, 天线阵列中的每个天线线元为全向天线.通信的载波频率为28 GHz, 通信带宽为2 GHz.Wireless InSite软件仿真时分别限制反射最大次数为4次和绕射最大次数为1次, 以尽可能真实模拟信号在无人机对地通信场景中信号的传播.在Wireless InSite的仿真绕射次数设置中, 如果设置为0, 在楼房后面非视距的区域将会无法接收到信号, 损失大量仿真区域的路径损耗数据, 并且不能真实模拟实际环境中的路径损耗分布情况.

此外, 考虑到绕射次数增加带来的巨大仿真时间消耗, 将绕射次数设置为较合理的1次.随着无人机按照预定轨迹飞行, 发射天线和接收天线同步运动, 精准实时地采集高动态无人机对地通信场景中与物理空间精准匹配的电磁空间路径损耗信息.

1.2 轨迹规划及动态场景批量生成与仿真

在初始时刻场景构建完毕的基础上, 规划无人机飞行轨迹.在预设的轨迹上, 使AirSim中的无人机及其搭载的深度相机、Wireless InSite中的无人机及其配备的发射天线、地面上的接收端天线面阵按照预设轨迹同步飞行和移动, 保证物理空间和电磁空间的精准匹配中的坐标匹配.

为了挖掘物理空间与电磁空间之间的映射关系, 需要在数据集上涵盖不同楼房高度和不同楼房相对位置分布的情形.因此, 在轨迹规划过程中, 尽可能使无人机飞行路径涵盖不同楼房分布情况, 从而同步采集多样化的物理空间图像数据以及电磁空间信道路径损耗数据.

如图3所示, 本文共设置7条具有不同飞行路线和方向的飞行轨迹, 确保覆盖整个城镇十字路口场景, 全面采集物理空间和电磁空间信息, 为物理空间和电磁空间的映射关系找寻提供数据支撑.AirSim仿真平台和Wireless InSite仿真软件中的无人机飞行轨迹严格一致, 实现物理空间和电磁空间采集的感知和信道信息的精准匹配.

图3 物理空间和电磁空间的信息采集轨迹Fig.3 Trajectory of information collection in physical space and electromagnetic space

对于物理空间, AirSim仿真平台可以基于预设的动态无人机轨迹, 利用Python脚本批量修改无人机及其配备的深度相机位置.其中, 无人机和深度相机的位置可通过脚本逐帧设置, 从而可在物理空间中逐帧采集深度图像.对于电磁空间, 通过解析Wireless InSite软件中的物体和天线配置文件, 利用MATLAB脚本批量生成场景文件, 并逐帧查验场景中无人机及其配备的发射天线及接收端天线的位置, 实现物理空间和电磁空间逐帧的精准匹配.

1.3 数据集详细信息

通过1.1节和1.2节操作, 基于AirSim和Wire-less InSite, 构建无人机对地通信场景下的混合通信与感知智能融合的数据集.

具体而言, 对于物理空间中采集的感知数据, 即深度图像, AirSim中采集包含图3(a)所示的7条路线的深度图像, 每隔0.5 m采集一帧, 图像的拍摄范围为120× 120 m2.其中轨迹1~轨迹3各350帧, 轨迹4~轨迹7各260帧, 一共2 090帧感知图像数据.

在每帧感知图像数据中, 除了png格式的深度图像文件, 还包含带有DepthPlanar信息数据的pfm文件, 即可通过深度图像读取相机所在相平面到图像中物体的直线距离.

对于电磁空间采集的信道路径损耗数据, 为了实现物理空间和电磁空间的信息匹配, Wireless InSite软件采集与物理空间中逐帧对应的路径损耗数据, 每帧接收端面阵天线的设置范围与图像采集范围一致, 即120× 120 m2.接收端面阵天线与天线之间的间隔为1.5 m, 共包含6 561个天线线元, 线元距离地面高度为2 m, 所以每帧场景包含6 561对通信链路的路径损耗数据.

设置无线信道仿真的接收端天线数目时, 在考虑仿真复杂度的基础上能获得更多单帧路径损耗数据, 并且考虑实际十字路口场景中的接收端高度, 从而使目标区域的路径损耗分布更接近真实环境, 所以在接收端天线面阵的设置中, 将天线间隔设置为1.5 m, 高度设置为2 m.结果文件包含无人机配备的单个发射天线与接收端面阵天线中每个线元的路径损耗数据, 即包含2 090个快照下的电磁空间路径损耗信息, 一共涵盖13 712 490对通信链路的路径损耗数据.

通过构建的混合通信与感知智能融合数据集, 在物理空间和电磁空间精准匹配的条件下, 为物理空间和电磁空间映射关系找寻提供全面而充足的数据支撑.

2 无人机信道路径损耗预测

基于构建的混合通信与感知智能融合数据集, 通过物理环境特征抽象以及多层感知机的训练, 实现物理空间到电磁空间联觉机理(映射关系)的挖掘, 即构建的无人机对地信道路径损耗预测方案通过无人机俯拍到物理空间的感知深度图像数据, 可实时获得相应电磁空间的路径损耗分布数据.构建方案的详细技术路线可分为两部分, 具体如图4所示.

图4 基于感知图像信息的无人机对地信道路径损耗预测方案Fig.4 Sensing image data based UAV-to-ground channel path loss prediction

由图4可看出, 通过楼房信息提取, 对物理空间的环境信息进行抽象提取.进一步地, 将提取的物理空间环境信息与电磁空间中获取的路径损耗分布进行配对标注, 输入多层感知机进行训练学习, 找到物理空间和电磁空间的映射关系, 实现通过深度图像预测当前区域内信道路径损耗分布.

2.1 楼房信息提取

利用AirSim仿真平台采集的感知深度图像, 通过二值化图像阈值分割方法[14], 对楼房所在区域进行划分, 实现物理空间环境中楼房的相对位置标定, 为高度信息提取提供索引.由于深度图像在数据格式上与灰度图相同, 相比RGB图像只有单通道的像素数据, 而二值化图像阈值分割方法适用于处理灰度图的图像分割问题, 因此可利用二值化图像阈值分割方法直接对深度图进行边缘分割, 实现楼房相对位置标定.

具体而言, 首先对深度图像进行去噪处理, 灰度翻转后对图像进行二值化, 再将楼房轮廓进行刻画, 得到楼房的边缘检测框, 具体检测结果如图5所示.由图可看出, 无论是在楼房分布较密集还是在楼房分布较稀疏的情况下, 二值化图像阈值分割方法都能较准确地提取环境信息, 有助于多层感知机提供准确的路径损耗预测结果.

图5 深度图像的阈值分割结果Fig.5 Threshold segmentation results of depth maps

在得到楼房的边缘检测框后, 将检测框所在图像的相对位置与pfm文件进行匹配, 读取楼房高度数据, 进而得到单帧物理空间中楼房的相对位置分布及楼房高度, 整理为环境信息向量:

$ \boldsymbol{V}_{b}=\left[\begin{array}{ccc} h_{1} & x_{1} & y_{1} \\ h_{2} & x_{2} & y_{2} \\ \vdots & \vdots & \vdots \\ h_{q} & x_{q} & y_{q} \end{array}\right]$

Vb第1列 hi为楼房高度, 单位为m, 表征单帧图像中每个楼房的高度信息.本文场景中q=10, n为场景中所有帧图像检测到楼房数量的最大值.当单帧楼房数量m< q时, hi=0, m< i≤q. Vb第2列 xi和第3列 yi为被检测楼房在当前帧图像中的相对位置坐标, 表征当前物理空间中楼房相对位置分布信息.同样地, 当单帧楼房数量 m< q时,

xi=yi=0, m< i≤q.

通过图像分割的方法, 利用环境信息向量 Vb中的h, x和y, 以简洁高效的形式和尽可能精炼的信息表征最直接影响电磁空间中路径损耗分布的环境信息, 即楼房相对位置分布和楼房高度.通过楼房信息提取, 从感知深度图像数据中得到2090帧表征物理空间环境信息的楼房信息向量, 并将其与电磁空间中的路径损耗分布进行匹配标注, 以训练多层感知机, 从而挖掘物理空间到电磁空间映射关系.

2.2 多层感知机搭建和训练

多层感知机是深度神经网络中常用的网络架构, 适用于输入和输出为数值向量的情况[15].在输入层和输出层之间加入隐藏层, 克服线性模型的限制, 多层感知机能处理物理空间到电磁空间复杂的非线性映射关系.相比结构复杂的人工神经网络, 如卷积神经网络、图神经网络等, 利用多层感知机可更简单高效地利用数层的全连接架构处理数值输入和数值输出的映射关系挖掘问题.本文方法的输入为利用深度图像信息提取的楼房信息向量, 输出为路径损耗的概率分布, 分布的区间为70 dB~200 dB, 区间间隔为2.5 dB, 共52个区间, 即输出每个区间内分布的概率, 为一个1× 52的向量.

设计多层感知机的网络架构, 利用反向传播方法实现梯度下降, 训练网络, 使其通过提取的物理环境信息准确预测路径损耗分布, 并以直方图的形式展示结果.

多层感知机网络架构如图6所示, 结构简单高效, 包含1个输入层、2个隐藏层、1个输出层.输入层为30个神经元, 接受来自楼房信息提取的楼房信息向量作为输入.多层感知机包含2个隐藏层, 神经元的个数分别为256和128, 构成多层感知机的权重系数矩阵, 激活函数为ReLU[16].使用ReLU作为激活函数, 包含如下三方面作用.1)ReLU的使用可使网络具有稀疏激活性, 它的非线性映射使网络的激活更稀疏, 有助于提高网络的泛化能力和表示能力.2)相比Sigmoid等传统激活函数, ReLU函数在正区间上的导数为1, 可避免梯度消失, 更好地传播深层网络的梯度.3)相比Sigmoid和tanh等激活函数, ReLU的计算速度更快, 可加速神经网络的训练和推理过程.因此, 在多层感知机的构建过程中, 使用ReLU作为激活函数.最后连接输出层, 包含52个神经元, 即输出信道路径损耗的分布.路径损耗分布的区间为70 dB~200 dB, 区间间隔为2.5 dB, 共52个区间, 每个区间的值表示当前无人机感知到的物理空间中路径损耗的分布概率, 表征电磁空间中的信道路径损耗信息.损失函数为均方误差(Mean Square Error, MSE)函数:

$ M S E=\frac{1}{n} \sum_{m=1}^{n}\left(\hat{y}_{m}-y_{m}\right)^{2} .$

其中, n表示样本数量, $ \hat{y}_{m}$表示无人机对地信道路径损耗预测值的分布(从70dB~200dB, 以2.5dB为间隔), ym表示无人机对地信道路径损耗真值的分布.

图6 多层感知机网络架构图Fig.6 Network architecture of multilayer perceptron

在网络训练之前, 标注和划分数据集.标注是将网络输出与输入进行匹配的过程, 将通过射线追踪仿真得到的路径损耗整理为70 dB~200 dB, 共52个区间的概率分布, 即一个1× 52的单行向量, 作为当前帧楼房信息向量的标注.此外, 将构建的混合通信与感知智能融合数据集进行划分, 按照3∶ 1∶ 1的比例随机划分训练集、验证集和测试集.利用训练集的数据训练网络, 利用验证集的数据参考结果, 从而调整网络的超参数.最后利用测试集的结果测试网络性能.

在训练过程中, 为了能更好地促使网络找寻物理空间和电磁空间的映射关系, 逼近最优解, 利用学习率下降[17]的方法, 使学习率随着训练进程逐渐下降, 防止由于震荡幅度过大导致无法收敛.多层感知机训练过程曲线如图7所示, 随着训练进程, 学习率逐渐下降, 损失函数梯度下降, 最终收敛.

图7 多层感知机训练过程中损失函数曲线Fig.7 Loss function curve of multilayer perceptron during training

3 仿真实验及结果分析

基于第2章的技术路线, 提取深度图中的楼房信息, 获取无人机飞行过程中物理空间的楼房相对位置分布和高度信息, 进而通过结构简单高效的多层感知机, 找寻物理空间到电磁空间的映射关系, 实现电磁空间中信道路径损耗分布的预测.

3.1 测试集路径损耗分布预测

训练多层感知机, 实现对路径损耗分布的预测, 并利用平均MSE衡量网络在测试集上的表现, 测试集上样本数为n=418, 对比测试集上每个样本的网络预测结果和基于射线追踪仿真获得的真实值, 并在整个测试集上取平均值, 衡量信道路径损耗分布预测的性能表现.经过测试, 多层感知机在整个测试集上的平均MSE为 1.148×10-3.测试集上轨迹1中的第58帧基于感知图像部分帧路径损耗预测结果和真实值的对比结果如图8所示.

图8 基于感知图像信息的无人机信道路径损耗预测结果Fig.8 Results of UAV channel path loss prediction based on sensing image data

3.2 测试结果分析

四帧路径损耗分布预测结果如图9所示, (a)中两帧仿真时刻的楼房相对低矮稀疏, (b)中两帧仿真时刻的楼房相对高大密集.从预测结果可看出, 当楼房较低矮稀疏时, 由于楼房的遮挡效应不明显, 场景中的路径损耗大部分由视距(Line-of-Sight, LoS)信号体现, 因此路径损耗分布直方图仅有一个明显的LoS峰.而当楼房较高大密集时, 场景中楼房对信号的遮挡效应显著, 从而使信号产生较多反射、绕射, 信号的路径损耗增大, 所以在路径损耗的直方分布图中除了有不受楼房遮挡效应影响的LoS峰存在, 还存在一个非视距(Non-LoS, NLoS)峰.

图9 不同楼房分布情况下的路径损耗分布预测结果Fig.9 Path loss distribution prediction results of different building distributions

进一步地, 从图9的预测结果可看出, 在不同的楼房分布情况下, 本文方法都能准确预测路径损耗分布, 原因在于, 本文方法能从物理空间中提取出影响大尺度信道衰落特性的环境因素, 从而准确预测电磁空间中路径损耗的分布.

具体而言, 图9(a)和(b)的预测结果只有一个较明显的LoS峰, 而(c)和(d)除了一个LoS峰, 由于楼房的遮挡, 还存在一个NLoS峰, 本文方法都能准确进行物理空间环境特征提取并进行准确预测.

对比测试集上的预测结果可发现, 基于感知图像信息的无人机信道路径损耗预测方法能较准确地提取和电磁空间信道路径损耗分布密切相关的物理空间环境信息, 即楼房信息, 并基于此准确预测电磁空间中信道路径损耗分布, 挖掘物理空间到电磁空间的映射关系.

4 结束语

在无人机对地通信场景下, 针对机器联觉机理, 本文开展一系列基于感知图像信息的信道路径损耗预测的研究工作.首先, 建立混合感知与通信智能融合数据集, 涵盖城镇十字路口场景下无人机对地通信场景中物理空间的深度图像数据和电磁空间的路径损耗数据.然后, 提出基于感知图像信息的路径损耗预测方法, 提取物理空间中与电磁空间路径损耗信息密切相关的环境信息, 进而通过多层感知机, 简单高效地实现电磁空间中路径损耗分布的准确预测.最后, 测试和分析测试集的性能表现, 验证本文方法的有效性.本文方法实现6G无人机对地通信与感知融合场景中实时准确的路径损耗分布预测, 为无人机组网的通信能量效率提升提供高效准确的预测技术方案, 设计与优化无人机通信系统.同时, 基于感知图像信息的信道路径损耗预测, 实现物理空间中感知图像到电磁空间中路径损耗映射关系的挖掘, 为揭示和探寻机器联觉机理迈出探索性的一步, 也为进一步找寻物理空间中多模态感知信息与电磁空间中通信信息之间的映射关系提供有价值的理论依据和有参考意义的技术路线.

今后将基于物理空间多模态感知信息, 如RGB图像、深度图像、激光雷达点云及雷达点云等, 实现电磁空间中大尺度信道衰落特性的预测, 系统全面挖掘不同场景条件(如不同天气、不同的无人机飞行高度)以及不同通信频段中物理空间和电磁空间的联觉机理.在进一步联觉机理的挖掘过程中, 难点和挑战可总结为如下两点.

1)数据采集频段差异增大.由于引入更多模态的感知信息, 不同的通信信息与多模态感知信息之间的采集频段差异巨大, 使物理空间和电磁空间的相关性降低, 联觉机理挖掘困难.

2)数据表现形式差异增大, 多模态的感知信息为包含离散值的二维结构或三维结构, 而无线信道信息之间的数据表现形式为一维的连续值.因此, 今后将设计合适的技术路线, 克服上述联觉机理挖掘的困难和挑战.

本文责任编委 郑心湖

Recommended by Associate Editor ZHENG Xinhu

参考文献
[1] CHENG X, DUAN D L, GAO S J, et al. Integrated Sensing and Communications(ISAC) for Vehicular Communication Networks(VCN). IEEE Internet of Things Journal, 2022, 9(23): 23441-23451. [本文引用:1]
[2] CHENG X, ZHANG H T, ZHANG J N, et al. Intelligent Multi-modal Sensing-Communication Integration: Synesthesia of Machines. IEEE Communications Surveys and Tutorials, 2023. DOI: DOI:10.1109/COMST.2023.3336917. [本文引用:1]
[3] CHENG X, HUANG Z W, BAI L. Channel Nonstationarity and Con-sistency for Beyond 5G and 6G: A Survey. IEEE Communications Surveys and Tutorials, 2022, 24(3): 1634-1669. [本文引用:1]
[4] SUMAN S, KUMAR S, DE S. Path Loss Model for UAV-Assisted RFET. IEEE Communications Letters, 2018, 22(10): 2048-2051. [本文引用:1]
[5] CUI Z Z, BRISO C, GUAN K, et al. Low-Altitude UAV Air-Ground Propagation Channel Measurement and Analysis in a Suburban Environment at 3. 9 GHz. IET Microwaves, Antennas and Propagation, 2019, 13(9): 1503-1508. [本文引用:1]
[6] MASARACCHIA A, LI Y J, NGUYEN K K, et al. UAV-Enabled Ultra-Reliable Low-Latency Communications for 6G: A Comprehensive Survey. IEEE Access, 2021, 9: 137338-137352. [本文引用:1]
[7] GUPTA A, DU J F, CHIZHIK D, et al. Machine Learning-Based Urban Canyon Path Loss Prediction Using 28 GHz Manhattan Mea-surements. IEEE Transactions on Antennas and Propagation, 2022, 70(6): 4096-4111. [本文引用:1]
[8] ATES H F, HASHIR S M, BAYKAS T, et al. Path Loss Exponent and Shadowing Factor Prediction from Satellite Images Using Deep Learning. IEEE Access, 2019, 7: 101366-101375. [本文引用:2]
[9] AHMADIEN O, ATES H F, BAYKAS T, et al. Predicting Path Loss Distribution of an Area from Satellite Images Using Deep Lear-ning. IEEE Access, 2020, 8: 64982-64991. [本文引用:1]
[10] LEVIE R, YAPAR Ç, KUTYNIOK G, et al. RadioUNet: Fast Radio Map Estimation with Convolutional Neural Networks. IEEE Transactions on Wireless Communications, 2021, 20(6): 4001-4015. [本文引用:1]
[11] QIU K H, BAKIRTZIS S, SONG H, et al. Pseudo Ray-Tracing: Deep Leaning Assisted Outdoor mm-Wave Path Loss Prediction. IEEE Wireless Communications Letters, 2022, 11(8): 1699-1702. [本文引用:1]
[12] CHENG X, HUANG Z W, BAI L, et al. M3SC: A Generic Dataset for Mixed Multi-modal(MMM) Sensing and Communication Integration. China Communications, 2023, 20(11): 13-29. [本文引用:1]
[13] SHAH S, DEY D, LOVETT C, et al. AirSim: High-Fidelity Vi-sual and Physical Simulation for Autonomous Vehicles // HUTTER M, SIEGWART R, eds. Field and Service Robotics. Berlin, Germany: Springer, 2018: 621-635. [本文引用:1]
[14] 杨晖, 曲秀杰. 图像分割方法综述. 电脑开发与应用, 2005, 18(3): 21-23.
(YANG H, QU X J. Survey of Image Segmentation Method. Computer Development and Applications, 2005, 18(3): 21-23. ) [本文引用:1]
[15] GARDNER M W, DORLING S R. Artificial Neural Networks(The Multilayer Perceptron)-A Review of Applications in the Atmospheric Sciences. Atmospheric environment, 1998, 32(14/15): 2627-2636. [本文引用:1]
[16] HE J C, LI L, XU J C, et al. ReLU Deep Neural Networks and Linear Finite Elements[C/OL]. [2023-09-24]. https://arxiv.org/pdf/1807.03973v2.pdf. [本文引用:1]
[17] YOU K C, LONG M S, WANG J M, et al. How Does Learning Rate Decay Help Modern Neural Networks?[C/OL]. [2023-09-24]. https://arxiv.org/pdf/1908.01878.pdf. [本文引用:1]