
于乃功,博士,教授,主要研究方向为模式识别、类脑计算、机器人环境感知.E-mail:yunaigong@bjut.edu.cn.
作者简介:

廖诣深,博士,讲师,主要研究方向为类脑计算、仿生建模、机器人导航.E-mail:liaoyishen@jxufe.edu.cn.

于贺捷,博士,工程师,主要研究方向为机器人导航、智能系统、车云协同.E-mail:1453251781@qq.com.

王成华,硕士研究生,主要研究方向为人工智能、类脑计算、仿生建模.E-mail:17607047207@163.com.
针对传统SLAM方法在大规模、动态及视觉退化场景中存在的漂移累积、闭环鲁棒性不足等问题,文中提出受视皮层与内嗅-海马认知机理启发的移动机器人SLAM方法(Mobile Robot SLAM Method Inspired by Cognitive Mechanisms of Visual Cortex and Entorhinal-Hippocampal System, VEH-SLAM).首先,以内嗅-海马路径积分模型的位姿估计为基础,构建受视图细胞机制启发的情景记忆网络,利用最大后验估计与后验熵驱动的自适应阈值机制,显著提升闭环检测的准确性与鲁棒性.然后,在基础地图学习模块的基础上,提出融合空间密度修剪与神经尺度伸缩的高效认知地图学习算法,旨在有效控制地图规模的同时自适应调节编码分辨率,从而兼顾建图的快速性与精确性.在7个公开数据集上的实验表明,VEH-SLAM在其中5个数据集上100%精确度下最大召回率取得最优值.在建图方面,方法大幅降低总耗时,并在部分序列上获得最低地图误差.室内外物理实验进一步验证其实时性与工程可行性.
YU Naigong, Ph.D., professor. His research interests include pa-ttern recognition, brain-inspired computing, and robot environment perception.
About Author:
LIAO Yishen, Ph.D., lecturer. His research interests include brain-inspired computing, bionic modeling, and robot navigation.
YU Hejie, Ph.D., engineer. His research interests include robot navigation, intelligent systems, and vehicle-cloud collaboration.
WANG Chenghua, Master student. His research interests include artificial intelligence, brain-inspired computing, and bionic modeling.
To address the problem of drift accumulation and insufficient loop-closure robustness of traditional SLAM methods in large-scale, dynamic and visually degraded scenes, a mobile robot SLAM method inspired by cognitive mechanisms of visual cortex and entorhinal-hippocampal system(VEH-SLAM) is proposed. Based on the pose estimation of entorhinal-hippocampal path integration model, VEH-SLAM is designed to construct a view-cell-inspired episodic memory network. Maximum a posteriori estimation and a posterior entropy-driven adaptive threshold mechanism are utilized to significantly improve the accuracy and robustness of loop-closure detection. In addition, an efficient cognitive map learning algorithm is developed based on the basic map learning module. Spatial-density pruning and neural-scale stretching are integrated into the algorithm. The map size is effectively controlled, and the encoding resolution is adaptively adjusted. Therefore, mapping speed and accuracy are balanced. VEH-SLAM is shown to achieve the highest recall at 100% precision on five of the seven public datasets. In terms of mapping, the total time is significantly reduced, and the lowest map errors are obtained on some sequences. Real-time performance and engineering feasibility are further verified through indoor and outdoor physical experiments.
快速准确的面向目标导航是移动机器人的核心关键技术之一.实现这一能力的前提在于机器人能在未知环境中同步完成自身定位与环境地图构建, 即同时定位与地图构建(Simultaneous Localization and Mapping, SLAM)问题.传统SLAM方法主要依赖滤波器或图优化框架[1, 2], 虽然在结构化环境中取得显著成果, 但在大规模、动态变化或视觉退化场景中, 仍面临计算复杂度较高、累积漂移难以消除、环路闭合检测鲁棒性不足等挑战[3].近年来, 研究者开始转向生物空间认知机制, 试图从神经科学的视角为机器人导航问题提供新的解决思路.
哺乳动物, 尤其是啮齿类动物, 在缺乏外部辅助时也可高效完成复杂环境中的空间定位与导航[4], 其背后依赖的是皮层与内嗅-海马神经系统(内嗅皮层与海马相关亚区构成的联合脑区)的协同工作机制, 为类脑SLAM方法的研究提供重要的生物学启发[5].在大鼠脑中, 视皮层对视网膜传入的视觉流进行层次化表征[6], 并通过视图细胞的特异性放电响应将瞬时的视角特征固化为稳健的神经编码[7], 为海马系统的情景记忆与检索提供支持[8].与此同时, 内嗅皮层的网格细胞将前庭与本体感觉的自运动信号转化为连续的位姿更新[9], 并通过海马CA3区位置细胞的路径积分机制持续维护空间度量框架, 即使在视觉线索缺失时也能维持短期定位[10].海马CA1区作为信息整合中枢, 位置细胞放电野(位置细胞表现出显著空间选择性放电的空间区域, 下文简称位置野)由位置与视觉信号联合编码[11].当大鼠初次探索新环境时, CA1区位置野较弥散化, 活跃细胞数目多但空间调谐较宽.随着探索经验的积累, CA1区将通过竞争型突触可塑性机制, 筛选空间调谐精确、放电稳定的位置细胞子集, 最终形成稀疏而高效的全局一致性认知地图表征[12].此外, 海马结构还表现出显著的背腹轴系统性梯度[13].背侧区域的位置野较小, 空间敏感度较高, 能实现高分辨率的环境几何表征; 腹侧区域的位置野逐渐扩大, 倾向于对环境进行全局性编码.这种生理上的尺度异质性支撑从精细局部到宏观环境的多尺度空间表征.
综上所述, 鼠脑中各神经系统的协同机制为移动机器人在复杂环境中的空间认知提供可借鉴的计算范式.因此, 本文侧重从神经认知功能层面对上述机制进行抽象建模, 提出受视皮层与内嗅-海马认知机理启发的移动机器人SLAM方法(Mobile Robot SLAM Method Inspired by Cognitive Mechanisms of Vi-sual Cortex and Entorhinal-Hippocampal System, VEH-SLAM).首先, 构建受视图细胞机制启发的情景记忆网络, 依据视图细胞的选择性响应、竞争性激活与突触可塑性, 实现环境视觉特征的在线增量学习.进一步将神经元群体活动建模为候选情景的后验概率分布, 通过最大后验估计融合当前视觉证据与历史学习先验, 并利用归一化后验熵刻画候选记忆之间的竞争程度, 动态调节闭环判定阈值.然后, 设计融合空间密度修剪与神经尺度伸缩的高效认知地图学习算法, 通过空间密度修剪抑制重访区域中冗余位置细胞的增长, 并将海马背腹轴由精细局部编码向粗粒度全局编码变化的尺度特性抽象为动态层级调度与可逆的细胞“ 融合-分离” 机制.在7个公开数据集上的实验表明, VEH-SLAM能自适应调节地图编码分辨率, 兼顾地图规模、建图效率与空间精度.
传统的SLAM方法根据传感器感知方式的不同, 主要分为激光SLAM方法与视觉SLAM方法.在激光SLAM领域, 早期研究多依赖滤波理论(如粒子滤波)进行位姿估计[14].随着算法的演进, 现阶段主流研究已转向基于几何特征扫描匹配的建图方案[15].视觉SLAM方法则通过摄像机捕获高维环境信息, 核心架构经历从EKF-SLAM(Extended Kalman Filter Formulation of SLAM)[16]向非线性优化(ORB-SLAM及其衍生方法)[17, 18]的范式转移.此类方法通常集成闭环检测机制以抑制累计漂移, 并辅以位姿图优化技术, 从而显著提升全局轨迹的一致性与建图精度.
闭环检测作为视觉SLAM方法中的核心模块, 早期代表性工作FAB-MAP[19]使用词袋模型构建概率表征, 并借助Chow-Liu树建模词汇共现关系, 抑制感知混叠, 在大规模室外环境中性能优异.然而, FAB-MAP依赖单帧匹配, 在光照剧变或季节更迭时鲁棒性较差.为此, Milford等[20]提出SeqSLAM, 利用连续图像序列进行场景匹配, 在图像差异矩阵中搜索局部最优的序列对齐路径, 在极端外观变化条件下仍能实现可靠的闭环检测.后续, Fidalgo-Garcia等[21]提出iBoW-LCD(Incremental Bag-of-Words Loop Closure Detection)、Tsintotas等[22]提出Tracking-DOSeqSLAM、Zhang等[23]提出LSGDDN-LCD、Zhou等[24]提出Loop Closure Detection Based on Lightweight Siamese Capsule Network, 分别从在线词典更新、序列匹配优化、局部超像素网格描述、孪生胶囊网络构造的角度, 进一步平衡检测精度与计算开销.在位姿图优化方面, Kü mmerle等[25]提出g2O, 将SLAM问题建模为非线性最小二乘问题, 适用于对全局一致性要求较高的离线建图场景.Kaess等[26]提出iSAM2, 引入贝叶斯树, 实现因子图的增量式维护与局部更新, 在保证估计精度的同时降低计算开销, 更适合在线建图任务.
尽管传统SLAM方法在精度与效率方面已取得显著成就, 但在大规模动态环境与长期运行条件下, 仍面临诸多挑战, 这促使研究者从生物空间认知机制中寻求新的解决范式.
类脑SLAM的研究起源于Milford等[27]提出的RatSLAM.该框架借鉴鼠脑海马结构的空间表征机理, 构建位姿细胞网络与经验地图的协同工作机制, 在室内外复杂场景中展现出较强的自适应性与稳定的建图质量.后期研究者陆续提出多种RatSLAM的变体方法.Yuan等[28]基于内嗅-海马结构中真实空间细胞的放电机理, 提出高仿生性的类脑SLAM模型, 精确建模神经元间的交互作用, 实现在室内环境中的高效建图.在此基础上, Yu等[29]引入条纹细胞, 作为网格细胞的前向驱动源, 并利用统一的计算机制实现4种核心空间细胞的协同建模, 进一步增强系统的生理学一致性.在视觉感知方面, Liang等[30]提出结合视觉Transformer的ViT-RatSLAM, 显著提升复杂动态环境中的视觉地点识别精度与拓扑建图的鲁棒性.在神经形态方面, Pirozzo等[31]引入真实神经元放电模型, 提出具备脉冲计算特性的Neuromorphic Rat-SLAM, 为类脑SLAM方法的高效神经形态实现提供新思路.
然而, 上述方法在长时建图过程中普遍面临性能下降的问题.针对上述局限性, Zeng等[32]受邻域细胞放电机制的启发, 引入邻域场概念以运动信息驱动顶点的稀疏化添加, 并结合场景融合操作, 合并重访位置的冗余顶点, 从而有效抑制长时建图中地图膨胀的问题.与此同时, Pizzino等[33]借鉴生物大脑的长短期记忆衰减与经验回放机制, 提出NeoSLAM, 通过对时空信息的选择性留存与历史轨迹的循环优化, 有效抑制长时导航中的累积漂移, 实现复杂动态环境中认知地图的长期一致性.
本文提出受视皮层与内嗅-海马认知机理启发的移动机器人SLAM方法(VEH-SLAM), 整体架构如图1所示.
VEH-SLAM由感知表征、地图构建与优化调节三个阶段协同完成.在感知表征阶段, EHPI(Bionic Path Integration Model for Mobile Robots Inspired by Entorhinal-Hippocampal Structure of Rat Brain)[34]对机器人自运动信息进行积分, 输出实时位姿估计.同时, 受视图细胞机制启发的情景记忆网络对当前环境图像进行特征编码.两路信息在海马 CA1 区汇聚并激活相应的位置细胞, 形成视觉特征与位姿信息的联合记忆.在地图构建阶段, 借助情景记忆网络对比各位置细胞存储的视觉特征, 并在视觉相似度较高的细胞对之间建立空间关联.在此基础上, 以全体 CA1 位置细胞的放电野中心(CA1位置细胞表现出显著空间选择性放电对应空间区域的中心位置)为节点、关联为边, 通过高效认知地图学习算法生成反映环境拓扑结构的认知地图.在优化调节阶段, 为了抑制位置细胞的无限扩张, 引入空间密度冗余细胞修剪算法, 控制地图规模.此外, 为了进一步提升建图速度与编码灵活性, 采用神经尺度伸缩优化算法和动态层级调度策略, 自适应调整地图的编码分辨率.
生理学研究表明, 视皮层-海马系统中的视图细胞能对环境中特定视觉场景产生选择性响应, 通过竞争性激活与突触可塑性, 自适应学习与表征环境中的视觉结构, 在空间情景记忆的形成中发挥重要作用[7].因此, 本文提出受视图细胞机制启发的情景记忆网络, 实现视觉特征的无监督在线增量学习.具体而言, 情景记忆网络逐帧提取图像特征, 通过竞争机制确定获胜细胞, 并更新获胜细胞及其邻域的权重.当获胜细胞的累计表征误差超过预设阈值, 或当前输入超出其有效邻域时, 自适应生成新细胞, 用于编码尚未充分学习的视觉模式.同时, 通过误差衰减和周期性剪枝机制, 抑制细胞的冗余增长, 实现网络规模的自适应调节.
设t时刻网络的输入向量为gt, 其通过GIST特征提取算法[35]获取.采用欧氏距离度量gt与各视图细胞权重向量的相似度, 选择距离最小的细胞作为获胜单元, 相应获胜细胞编号为:
c=arg
其中
为了保持网络的拓扑结构, 也需调整获胜细胞空间邻域的细胞权重向量:
其中, β 表示获胜细胞对邻域细胞的影响系数, α 0表示获胜细胞权重向量的初始学习率,
$\varepsilon_{c}^{t+1}=\varepsilon_{c}^{t}+\sum_{m=1}^{M}\left(g_{m}^{t}-w_{m c}^{t 2}\right)$
不断计算每一时刻输入向量与获胜细胞c对应权重向量之间每一维度误差的平方和$\sum_{m=1}^{M}\left(g_{m}^{t}-w_{m c}^{t 2}\right)$, 所有时刻的累积后, 得到当前时刻的累积误差
网络中新细胞的产生取决于如下情况:1)当获胜细胞的累计误差
其中s表示条件概率.同时, 每个视图细胞的平方误差累积和
其中,
当待检图像的特征向量输入网络时, 视图细胞的放电活动反映其存储特征与输入特征的相似程度.然而, 仅依赖单个获胜细胞匹配场景容易增加假阳性误检.生理学研究表明, 神经系统对外界信息的表征并非单个神经元的孤立响应, 通常依赖神经元群体的协同活动, 而神经元群活动的整体分布作为对外部刺激状态的概率性表征, 能反映不同记忆状态相对当前输入的支持强度[36].为此, 本文采用贝叶斯最大后验估计, 聚集多个高活跃度细胞活动进行匹配.设L表示一个离散随机变量, k表示从0时刻到t时刻的时间索引变量.设任意k时刻激活强度最大的细胞为lk, 激活强度定义为a(lk), 为了综合表征该时间段内各获胜视图细胞的激活响应及其出现概率, 本文对不同时刻的最大激活强度进行概率加权, 由此网络在t时刻预期活动水平为:
$E[a(L)]=\sum_{k=1}^{t} a\left(l_{k}\right) P\left(l_{k}\right), $
其中, P(lk)表示时间窗口内第k时刻激活强度最大细胞lk的出现概率.鉴于环境的随机性, 每个细胞在任意时刻处于最大活跃状态的概率是相同且相互独立的, 因此, 本文使用均匀分布模拟这种行为, 计算公式如下:
P(lk)=
其中t-t0表示时间窗口.然后, 利用最大后验估计获取t时刻激活强度最大的细胞.定义W为索引值, 则t时刻全体视图细胞的最大激活强度为:
a(lk)=
其中, Nk表示k时刻的细胞数量, μ 表示细胞选择的窗口变量.然后, 利用贝叶斯定理将后验概率P(W=i|gk)展开:
P(W=i|gk)=
其中:
P(gk|W=i)=exp(-β ‖ gk-wi‖ 2),
表示条件概率;
$ P(W=i)=f_{i}^{k}\left(\sum_{j=1}^{N^{k}} f_{j}^{k}\right)^{-1}$
表示先验概率, 通过学习频次进行计算,
$P\left(\boldsymbol{g}^{k}\right)=\sum_{j=1}^{N^{k}} P\left(\boldsymbol{g}^{k} \mid W=j\right) P(W=j), $
表示给定网络状态的归一化常数.
通过上述步骤, 最终得出t时刻整个网络的期望值E[a(L)].然而, 后验概率P(W=i|gk)的分布集中程度随输入场景的变化而波动, 固定阈值难以兼顾不同置信度下的匹配性能.生理学研究表明, 神经系统在感知决策过程中通常会依据神经元群体的放电活动及其不确定性水平调节响应门控[37].当输入刺激诱发的群体响应较集中时, 优势神经元群体可通过较强兴奋性活动和侧抑制机制, 形成稳定判断; 当多个神经元群体响应接近且分布分散时, 倾向于增强神经元竞争选择的严格性.为此, 本文引入后验熵量化网络的匹配不确定性.将后验概率P(W=i|gk)记为
$H^{k}=-\sum_{j=1}^{N k} q_{i}^{k} \ln q_{i}^{k}, $
Hk的取值范围为0≤ Hk≤ ln Nk.当后验分布退化为确定性分布时, Hk=0, 表明网络对匹配结果完全确信; 当后验分布为均匀分布
$ \widetilde{H}^{k}=\frac{H^{k}}{\ln N^{k}}=-\sum_{j=1}^{N^{k}}\left(\frac{q_{i}^{k} \ln q_{i}^{k}}{\ln N^{k}}\right) .$
利用网络运行中已积累的历史序列{
Sk=Sk-1+(
据此, 将原始固定阈值δ 按当前后验熵相对于历史水平的偏离程度进行缩放, 构造自适应判定阈值:
可以看出, 当
利用情景记忆网络进行场景学习与识别的框架如图2所示.
生理学研究表明, 内嗅-海马CA3结构输出的位姿信息和视皮层输出的情景信息被存储在海马CA1位置细胞中, 由多个CA1位置细胞构成的群体活动可形成对环境空间结构的内在表征, 即认知地图[11].因此, 本文将CA1位置细胞作为视觉情景信息与位姿信息的联合记忆单元, 并以其放电野中心作为认知地图中的基本节点.设第i个被创建的CA1位置细胞
ei={Vi, zi},
其中:Vi表示机器人感知的视觉信息, 由视皮层的视图细胞网络提供;
zi={(
表示机器人的位姿信息, 由内嗅-海马路径积分模型输出, θ i表示航向角,
ej={Vj, zi+Δ zi, j},
其中Δ zi, j表示细胞ei向ej的位姿转换.空间关联主要包括如下2种情况:上下文连接和相似情景连接.上下文连接表示相邻细胞之间建立的联系, 而相似情景连接表示视觉信息相似的两个细胞之间建立的联系.这种关联机制能使全体CA1位置细胞在空间中表现出复杂的拓扑结构.然后, 根据全体CA1位置细胞放电野中心位置的空间拓扑结构, 优化所有已存储的位姿信息, 细胞ei的位姿改变量:
$\begin{array}{c} \Delta z^{i}=\alpha_{\mathrm{ml}}\left[\sum_{j=1}^{N_{f}}\left(z^{j}-z^{i}-\Delta z^{i, j}\right)+\right. \\ \left.\sum_{k=1}^{N_{t}}\left(z^{k}-z^{i}-\Delta z^{k, i}\right)\right], \end{array}$
其中, α ml表示地图学习率, Nt表示被ei连接的细胞数量, Nf表示连接至ei的细胞数量.
上述整个过程能大幅消除路径积分过程的累计误差, 构建对应当前环境的精确认知地图.
随着机器人在环境中不断探索, CA1位置细胞群不断被新的视觉与位姿信息激活, 新生细胞数量随之累积增长.在反复经过的区域或视觉特征高度相似的邻近位置, 往往会有多个位置细胞先后被激活并保留下来, 导致同一空间区域内出现大量承载近似信息的细胞个体.这种冗余不仅造成认知地图中经验节点的密集堆叠, 还会增加节点间关联检索与匹配的计算负担, 削弱地图的学习效率.生理学研究表明, 海马位置细胞群体并非无限密集的编码环境, 而是通过稀疏编码和竞争性招募机制形成的稳定且高效的空间表征[12].因此, 为了有效处理信息过载, 提出空间密度冗余细胞修剪算法, 合并认知地图中超过最大空间密度的部分, 实现细胞的修剪, 其运行机制如图3所示.
| 图3 空间密度冗余细胞修剪算法运行机制Fig.3 Operating mechanism of redundant cell pruning algorithm based on spatial density |
图3中正方形网格区域的边长为:
Sgnet=ω
其中, ω 表示密度系数,
首先给出位置细胞的修剪依据:
{eb|eb∈ e, (
其中,
gnet=
表示已存在位置细胞ea的网格区域, e表示当前时刻全体CA1位置细胞集合.发现待剔除细胞eb后, 不仅要将eb中存储的视觉信息转移至ea, 而且要将eb所有的空间关联重新连接至ea, 即
其中:$\oplus$表示空间关联记录的合并与追加操作; lfa表示从其它位置细胞到ea的所有空间关联; lat表示细胞ea至其它位置细胞的所有空间关联; lib表示从其它位置细胞到eb的空间关联, Nfb表示相应关联数; lbj表示细胞eb至其它位置细胞的空间关联, Ntb表示相应关联数.上述方法使CA1位置细胞数量仅正比于探索空间的大小, 而与探索时长无关, 从而确保认知地图的规模始终可控.
虽然修剪机制有效控制CA1位置细胞数量, 但是认知地图的学习速度仍然较慢, 尤其是在修正较大的环路闭合时.生理学研究表明, 海马结构沿背腹轴方向表现出显著的空间编码尺度梯度.背侧海马位置细胞通常具有较小的位置野, 能提供精细的局部空间表征; 腹侧的位置野相对较大, 空间分辨率较低, 更倾向于整合较大范围的空间信息[13].不同尺度神经表征共同存在, 构成海马系统的多尺度空间表征体系, 从而支持大鼠根据任务需求、环境范围和空间精度要求调节不同尺度神经表征的相对参与程度.受此启发, 本文提出神经尺度伸缩优化算法, 模拟海马体通过切换神经编码尺度调节学习速度与精度的机制.在需快速收敛的阶段, 算法切换至高层级, 通过尺度收缩减少参与地图编码的位置细胞数量, 以低分辨率实现快速学习.在需要完善地图细节时, 切回低层级, 通过尺度扩张恢复高分辨率表征.层级调度策略的运行机理如图4所示.
首先, t时刻时认知地图在第l层级的平均调整量为:
$\begin{aligned} E_{l}(t)= & \frac{1}{N_{l}}\left(\sum_{i=1}^{N_{l}} \sum_{j=1}^{N_{f}}\left\|z^{j}-z^{i}-\Delta z^{i, j}\right\|^{2}+\right. \\ & \left.\sum_{i=1}^{N_{l}} \sum_{k=1}^{N_{t}}\left\|z^{k}-z^{i}-\Delta z^{k, i}\right\|^{2}\right), \end{aligned}$
其中Nl表示第l层的CA1位置细胞个数.然后, 给出t时刻时认知地图在第l层级的相对下降率:
ψ l(t)=
其中, ϵ表示常量, 用于防止分母为0.为了抑制传感器噪声或局部关联新增引起的瞬态波动对层级切换的误触发, 取连续Nsw次的位姿调整量比值ψ l(t)的最大值
l=
其中, Γ high表示升层阈值, Γ low表示降层阈值, Nlayer表示总层级数, tsw表示上一次层级切换发生的时刻, Tcool表示冷却步数.冷却期约束t-tsw> Tcool能有效防止升层后因优化结构突变导致ψ l骤变而产生的立即降层的振荡现象.当
在层级切换过程中, 位置细胞的融合与分离是实现神经尺度伸缩的关键.当执行低层级l向高层级l+1转换(实现融合机制)时, 高层级细胞的视觉信息与位姿信息均继承自对应低层级细胞.
第l+1层级上的第j个CA1位置细胞存储的视觉信息
其中,
第l+1层级上的第j个CA1位置细胞存储的位姿信息
其中
第l+1级上细胞ej向细胞ej+1的位姿转换量
Δ
其中, Δ
为了避免融合过程中位姿信息丢失, 还需存储被丢弃细胞相对于保留细胞的位姿偏差:
bj=
其中
因此, 融合残差bj 和初始位姿
对于位姿信息的分离而言, 需分情况讨论.其中, 低层级细胞
其中
其中
Δ
表示高层级优化产生的位移.
该机制能在曲线轨迹上准确还原被融合细胞的位姿信息, 有效抑制不断进行“ 融合-分离” 循环中的累积插值误差, 从而保障层级切换过程的鲁棒性和位姿信息的完整性, 兼顾地图学习的快速性与精确性.
为了验证VEH-SLAM的性能, 分别设计数据集实验与机器人平台物理实验.针对情景记忆网络, 采用数据集实验进行性能验证, 通过消融实验及对比实验, 评估场景匹配的准确性与效率.针对高效认知地图学习算法, 同时引入数据集实验与机器人平台物理实验.数据集实验通过消融实验与对比实验, 定量评估建图效率与地图精度; 机器人平台物理实验进一步评估VEH-SLAM在真实环境中的实际运行性能.
为了全面验证VEH-SLAM在不同环境条件下的场景匹配和地图构建性能, 在KITTI、Oxford、Malaga Parking 6L、Complex Urban 数据集上开展实验.KITTI数据集包含真实道路环境下采集的连续视觉序列及对应运动信息, 场景规模较大、运动距离较长, 本文选取其中的#00、#02、#05、#06序列, 验证方法在大尺度室外环境中的场景匹配与地图构建性能.Oxford数据集包含典型的城市道路与校园等场景, 具有明显的光照变化、视角变化及环境外观变化特征, 本文选取其中的City Center、New College子集, 评估算法的场景匹配性能.Malaga Parking 6L数据集主要由停车场环境下采集的双目图像序列组成, 场景中存在大量结构相似区域, 可用于测试方法在重复纹理和相似场景条件下的场景匹配性能.Complex Urban 数据集面向复杂城市环境, 包含丰富的道路结构、动态目标干扰及视觉外观变化等特征, 本文选取其中的#26、#27序列验证方法在高复杂度场景中的地图构建性能.
实验参数配置如下.内嗅-海马路径积分模块的参数设置沿用文献[34]的配置方案.在情景记忆网络中, GIST特征提取的参数设置如下:Gabor滤波器的尺度数为4, 每个尺度对应8个均匀分布的方向; 滤波后的图像被均匀划分为4× 4共16个子区域, 并对各子区域内的像素响应取均值后进行拼接, 最终得到512维的GIST特征向量.网络学习的相关参数设置如下:初始学习率α 0=0.3, 邻域影响系数β =64, 误差阈值τ th=0.1, 误差衰减系数η =0.99, 剪枝时间窗口ρ =7, 原始固定阈值δ =0.3.高效认知地图学习算法的相关参数设置如下:地图学习率α ml=0.5, 层级切换的观测窗口Nsw=2, 冷却步数Tcool=3, 总层级数Nlayer=3, 空间密度系数ω =1.2, 升层阈值Γ high=0.1, 降层阈值Γ low=0.000 5, 常量ϵ=0.000 1.
数据集实验均在Dell OptiPlex 7080工作站上运行, 该平台配备Intel Core i9-10900K处理器、NVI-DIA GeForce RTX 3070图形处理器、32 GB运行内存, 操作系统为Windows 10.为了提升计算效率, 所有涉及矩阵运算的计算任务均通过GPU加速实现.
物理实验使用的移动平台如图5所示.由图可看出, 对于室外实验, 预装Matlab Mobile应用程序的智能手机被固定于车辆前端, 分别通过后置摄像头、内置IMU传感器及GPS模块采集图像信息、自运动信息与真实运动轨迹.上述数据由Matlab Mobile实时采集并暂存于工作空间, 待采集完成后导入工作站以获取原始里程计数据.在室内实验中, 考虑到机器人需实时接收上位机发送的运动控制指令, 将笔记本电脑搭载于机器人平台之上, 并通过无线键盘对机器人进行遥控操作.实验过程中分别由前向摄像头、编码器及IMU传感器采集图像信息、线速度信息与航向信息.
情景记忆网络的学习过程是一个动态和自适应的过程.为了观察这一过程, 本节将情景记忆网络应用于数据集图像序列的学习, 并记录学习过程中网络参数的变化情况.KITTI数据集#00序列上前1 700帧图像序列的学习结果如图6所示.(a)为全体视图细胞的权重向量归一化后的编码效果, 颜色的变化表示视图细胞编码向量维度大小; (b)为学习过程中视图细胞数量的变化情况; (c)为学习结束后全体视图细胞累计误差ε 的统计结果.
| 图6 针对KITTI数据集#00序列的学习过程中视图细胞网络参数的变化情况Fig.6 Changes in parameters of view cell network during the learning process on sequence #00 of KITTI dataset |
如图6(a)、(b)所示, 在情景记忆网络的持续学习过程中, 细胞数量呈现动态增长趋势, 并且新激活细胞的权重向量持续对新输入数据进行增量编码.这一现象表明该网络具备显著的自适应拓扑演化特性, 能根据输入数据的复杂性与空间分布特性自主调整网络容量, 实现对特征空间的精准捕获.进一步分析图6(b)可知, 最终生成的细胞基数显著低于训练集上的总图像帧数, 表明单个视图细胞拥有对多帧图像信息的低维映射能力, 体现网络在特征压缩与存储方面的良好性能.
图6(c)反映视图细胞累计误差随时间推移逐步收敛的趋势.由于视图细胞编号反映其生成顺序, 较早生成的细胞经历更多次误差衰减, 历史累计误差被持续削弱; 较晚生成的细胞衰减次数较少, 因此保留较高的累计误差, 整体呈现随细胞编号降低而减少的趋势.这种收敛机制有效保障网络生长过程的均衡性, 抑制在空间重复区域产生认知冗余细胞.
同时, 图6(c)还揭示一个关键机制:当网络重复切入相似场景时, 对应细胞的累积误差呈现局部显著激增.该现象表明, 高度相似场景的引入会引发表征混淆, 降低网络对既往存储信息的表征精度.当累计误差突破预设阈值时, 网络将通过代偿性扩容机制自动触发新细胞的生成, 协同旧细胞重建信息表征.
上述结果表明, 情景记忆网络不仅具备对动态增量数据的持续编码能力, 还能通过局部拓扑调控提升对既往记忆的表征鲁棒性, 在处理时序信息时展现出高度的灵活性与自适应平衡.
3.3.1 准确性和效率
本节验证VEH-SLAM场景匹配的准确性与效率.首先, 采用精确度(Precision)和召回率(Recall)评价算法检测的准确度, 计算公式如下:
$\text { Precision }=\frac{T P}{T P+F P} \times 100 \%, $
$\text { Recall }=\frac{T P}{T P+F N} \times 100 \%, $
其中, TP表示真阳性的个数, FP表示假阳性的个数, FN表示假阴性的个数.
在Oxford、KITTI、Malaga Parking 6L数据集上进行实验.Oxford数据集上选取City Center、New co- llege数据集, 实验中使用Oxford数据集上左右成对的图像对中的右侧图像, 这些图像由指向侧面的摄像机记录.Malaga Parking 6L数据集由立体图像组成, 实验中仅考虑左摄像头拍摄的图像, 并且仅对未沿相反方向行驶的路线进行评估.
为了评估VEH-SLAM在City Center、New co- llege数据集上的闭环性能, 实验中使用相应数据集提供的闭环真值矩阵.KITTI数据集上使用文献[38]提供的闭环真值.
VEH-SLAM在各数据集上的精确度-召回率曲线如图7(a)所示, 100%精确度下的最大召回率统计结果如(b)所示.
由图7可知, 在大部分数据集上, VEH-SLAM能捕获较高比例的真实闭环帧并保持较高召回率(100%精确度条件下), 表明其具备良好的检测可靠性与鲁棒性.
为了定量评估VEH-SLAM在情景匹配方面的计算效率, 在Malaga Parking 6L、KITTI #00、City Center数据集上进行耗时性能测试.定义单帧图像的完整处理总耗时为Tlcd, 前端图像特征提取与描述符构建阶段的总耗时记为Timg, 则核心算法层(特征增量学习与检测搜索)的耗时可表示为Tlcd-Timg.VEH-SLAM在各数据集上的动态耗时变化曲线如图8所示.在图中, 蓝线表示用于特征学习(获胜神经元寻找、权值调整及神经元增减等)的耗时, 红线表示根据计算结果检索图像帧(最大后验估计、动态阈值与图像帧检索)的总耗时, 黄线表示特征学习和寻找闭环帧的总耗时Tlcd-Timg.VEH-SLAM在各数据集上进行情景记忆与检索的Tlcd和Tlcd-Timg平均值如表1所示.
| 图8 VEH-SLAM在各数据集上进行情景记忆与检索的耗时变化曲线Fig.8 Time-cost curves of episodic memory and retrieval for VEH-SLAM across different datasets |
| 表1 各数据集上的Tlcd和 Tlcd-Timg平均值 Table 1 Average Tlcd and Tlcd-Timg on different datasets ms |
由图8及表1可知, 3个数据集上的Tlcd 整体上处于同一量级, 表明其计算开销较稳定, 受数据集规模影响较小, 核心算法层耗时Tlcd-Timg占总耗时的比例较低.因此, Tlcd的主要来源为前端图像特征提取阶段, 情景记忆网络本身具备较高计算效率和实时运行的潜力.
3.3.2 对比实验与消融实验
为了说明VEH-SLAM在场景匹配上的性能优势, 本节选取如下5种具有代表性的基线方法进行对比:FAB-MAP[19]、SeqSLAM[20]、iBoW-LCD[21]、Tracking-DOSeqSLAM[22]、LSGDDN-LCD[23]、文献[24]方法、RatSLAM[27].SeqSLAM分别在灰度图像(GRAY)、全局图像特征(GIST)、卷积神经网络(CNN)这3种视觉模式下进行测试.
各方法在Oxford、KITTI、Malaga Parking 6L数据集上的性能对比如表2所示.
| 表2 各方法在不同数据集上的性能对比 Table 2 Performance comparison among different methods on different datasets % |
由表2可看出, VEH-SLAM在其中5个数据集上均取得最优值, 仅在New College、Malaga Parking 6L数据集上低于SeqSLAM(GIST)和文献[24]方法.
究其原因, New College序列中摄像头采用侧向倾斜视角, 且环形轨道两侧存在高度雷同的人造结构, 二者共同引发感知混叠.SeqSLAM(GIST)凭借其序列匹配机制, 对单帧视觉歧义具备更强的鲁棒性.Malaga Parking 6L数据集包含大量转弯、交叉路口及反向行驶路段, 容易造成显著的视角差异, 文献[24]方法凭借孪生胶囊网络在区域视角偏移下维持方向不变性的特征描述, 在该类具有强视角变化的场景中更具优势.
此外, 为了阐明最大后验估计(Maximum A Posteriori, MAP)与自适应阈值(Adaptive Threshold, AT)机制对情景记忆网络的性能增益的效果, 进一步设计消融实验.
各消融配置定义如下:
1)EMN表示基于固定阈值直接获取获胜神经元的基线方法;
2)EMN+MAP表示引入最大后验估计以检索最大激活强度神经元、并采用固定阈值的配置.
各模块具体消融实验结果如表3所示.由表可见, 相关性能指标在3种配置下及各数据集上均呈现一致的递进式提升.以EMN为基线方法, 引入MAE后, 普遍获得稳定增益, 表明检索最大激活强度神经元的策略能有效抑制误匹配.在此基础上, 引入AT后, 性能获得进一步提升, 表明自适应阈值可根据场景相似度分布动态调整判定标准以降低误判概率.
| 表3 各模块的消融实验结果 Table 3 Ablation experiment results of each module % |
由此可见, MAE与AT两种机制相互补充、协同作用, 共同提升情景记忆网络的性能优势.
3.4.1 消融实验
本文的高效认知地图学习算法由基础地图学习模块(Map Learning, ML)、冗余剔除模块(Redun-dancy Elimination, RE)和神经尺度伸缩模块(Neural Scale Stretching, NSS)组成.为了体现各模块的作用, 设计消融实验, 测试各模块对VEH-SLAM性能的影响.
首先, 分别在KITTI 数据集#00、#05、#06序列上, 对比ML和ML+RE在地图规模方面的表现, 验证RE的有效性.3个数据集上CA1位置细胞数量随图像帧变化的曲线如图9所示.由图可见, 在3个数据集上, ML和ML+RE生成的CA1位置细胞数量均随图像帧的累积而稳步上升.其中:ML生成的细胞个数始终与当前图像帧序号保持一致; ML+RE的增长率明显降低, 并且在机器人重复经过已探索区域时增速进一步放缓.这一差异在于:1)RE通过密度系数ω 对新增细胞施加空间密度约束, 避免相邻帧空间位移过小时在同一邻域内重复布设; 2)RE还能识别并抑制对重复场景的冗余编码, 在回环路段重复利用已有节点而不再分配新细胞.二者共同作用, 使ML+RE在保证地图覆盖完整的前提下, 将认知地图维持在精简、高效的规模状态, 有效缓解信息过载问题.
| 图9 KITTI数据集各序列上CA1位置细胞数量随图像帧变化曲线Fig.9 Curves of the number of CA1 place cells versus image frames on different sequences of KITTI dataset |
ML、ML+RE、ML+NSS、VEH-SLAM在建图过程中的地图学习耗时随图像帧数变化曲线如图10所示.
| 图10 KITTI数据集各序列上认知地图学习过程中的耗时变化曲线Fig.10 Time consumption curves during cognitive map learning process on the sequences of KITTI dataset |
由图10可看出, ML耗时最高, 并且与位置细胞的数量规模表现出高度的线性正相关性.在触发回环检测后, 该曲线的斜率进一步增加, 主要原因在于:闭环点不仅使位置细胞规模继续增大, 更使细胞间的关联数量显著增多, 致使单帧学习耗时加速上升.ML+RE的整体耗时低于ML, 整个过程的耗时曲线均保持线性增长且在闭环处未出现斜率提升, 主要原因如下:RE在同一邻域内或重复场景中复用已有节点, 抑制位置细胞数量及其关联结构的无效增长.相比之下, 引入NSS的两种配置呈现与前两者截然不同的特征:大部分区段的计算耗时被控制在极低水平, 仅在闭环处出现间歇性的尖峰, 表明NSS不仅能通过收敛判据大幅减少常规帧的学习计算量, 还可利用神经尺度的动态调节降低回环路段的地图学习耗时.综合来看, VEH-SLAM耗时最低, 尖峰高度亦总体低于仅含NSS的配置, 表明RE与NSS在降低地图学习耗时上具有协同增益.
3.4.2 对比实验
为了评估VEH-SLAM的综合建图性能, 选取如下2类建图方法进行对比: 1)ORB-SLAM3[18].2)仿生建图方法:文献[29]方法、ViT-RatSLAM[30]、Neu-romorphic Rat-SLAM[31]、NeoSLAM[33].在KITTI数据集#00、#02、#05、#06序列和Complex Urban数据集#26、#27序列上开展对比实验.
各方法在不同数据集上的环境认知地图构建的可视化结果如图11所示.同时, 分别从精度与时效性两个核心维度, 定量统计各方法的地图构建误差与总计算耗时, 具体如表4和表5所示.其中:地图误差定义为构建地图轨迹与真实轨迹(Ground Truth)之间的平均绝对位置误差; 建图总耗时用于表征建图过程的实时性, 由路径积分、回环检测及地图学习三个核心模块的累积时间开销叠加而成.
| 图11 各方法在不同数据集上的地图构建可视化结果Fig.11 Visualization of map construction for each method on different datasets |
| 表4 各方法在不同数据集上的地图误差 Table 4 Map errors for each method on different datasets m |
| 表5 各方法在不同数据集上的总耗时 Table 5 Total time consumption for each method on different datasets s |
由图11、表4和表5可看出, 各方法均能完成认知地图的构建, 但在精度与时效上差异显著.Neuromorphic Rat-SLAM的地图误差最大, 源于其神经形态位姿细胞的路径积分精度有限, 并且基于扫描线强度的闭环检测容易受环境噪声干扰, 难以有效校正大尺度场景中的累积漂移.相比Neuromorphic Rat-SLAM, 文献[29]方法的地图误差有所降低, 但耗时最长, 其通过内嗅-海马结构四种空间细胞的统一计算模型提高路径积分精度, 同时也显著增加计算复杂度.相比之下, ViT-RatSLAM引入视觉Trans- former模块, 提升场景识别的准确性和鲁棒性, 有效抑制累积误差, 进一步降低地图误差.ORB-SLAM3与NeoSLAM在精度与效率上较均衡, 并分别在KITTI #02、KITTI #05、Complex Urban #26、Complex Urban #27数据集上取得最低误差, 体现出非线性优化与记忆衰减-经验回放机制对漂移抑制的有效性.
VEH-SLAM在两个维度上展现出综合优势.在地图准确度方面, VEH-SLAM在KITTI数据集#00、#06序列上取得最低误差, 在其余序列上亦逼近最优值, 这主要得益于内嗅-海马路径积分模块[34]及情景记忆网络实现的准确位置估计与闭环检测, 二者协同为地图学习提供可靠的位姿初值与回环约束.在建图效率方面, VEH-SLAM在所有数据集上的建图总耗时均为最低水平, 且比次优方法(ORB-SLAM3或NeoSLAM)降低约
总之, VEH-SLAM在保持较高建图准确度的同时显著提升运行效率, 在精度与时效的权衡上优于现有对比方法.
为了进一步评估VEH-SLAM在实际应用中的性能表现, 依托3.1节的移动平台, 在多元化的真实室内外场景中进行认知地图构建实验.室外场景包含空间开阔、动态干扰较多的校园环境与居民楼社区环境; 室内场景选择在实验楼的同一楼层内, 具体包括结构高度相似的四通道长走廊, 以及空间狭窄、障碍物陈设密集且包含丰富特征细节的实验室内部环境.
各场景中信息采集过程的关键参数如表6所示, 表中Vsum表示获取的图像总帧数, Tc_sum表示面向采集过程的信息采集总耗时, Ts表示采样周期.
| 表6 室内外场景中信息采集过程的关键参数 Table 6 Key parameters of information acquisition process in different indoor and outdoor scenarios |
各室内外环境的俯瞰结构示意图如图12所示, 实验利用红线清晰绘制移动平台在环境中执行采集任务时的运动路径.各室内外环境中的部分场景快照如图13所示.
| 图12 室内外环境的俯瞰示意图及探索路径Fig.12 Top-down schematic views and exploration paths for indoor and outdoor environments |
室内外环境地图构建结果如图14和图15所示.在图中, 室外建图实验展示构建的认知地图和GPS获取的真实轨迹之间的对比效果.由于室内实验无法获取机器人的真实位置, 故仅展示认知地图与原始里程计之间的对比效果.地图构建任务完成后的地图误差、建图总耗时Tm_sum及实时性如表7所示.其中, 实时性的判断依据为:若平均建图周期(建图总耗时Tm_sum除以图像总帧数Vsum)小于采样周期Ts, 表明建图任务的处理速度能跟上信息采集的速度, 具备较好的实时性; 反之则不具备.
| 表7 地图构建任务完成后的性能统计结果 Table 7 Statistical results of performance indicators after map construction |
由图14、图15和表7可看出, VEH-SLAM在结构特性差异显著的多元化真实场景中均能成功构建与环境高度吻合的认知地图, 由此验证其对不同环境的良好适应性与鲁棒性.在实时性方面, 4种场景的平均建图周期均小于各自对应的采样周期Ts, 即建图任务的处理速度始终能跟上信息采集的速度, 满足系统实时运行的要求.
总之, 本节实验充分验证VEH-SLAM在实际应用场景中的可行性与工程实用价值.
针对传统SLAM方法在大规模、动态及视觉退化场景中产生的漂移累积、闭环鲁棒性不足等问题, 本文提出受视皮层与内嗅-海马认知机理启发的移动机器人SLAM方法(VEH-SLAM).方法以内嗅-海马路径积分模块的位姿估计为基础, 一方面构建受视图细胞机制启发的情景记忆网络, 通过竞争性激活、突触可塑性及后验熵驱动的自适应阈值提升闭环检测的鲁棒性; 另一方面提出融合空间密度修剪与神经尺度伸缩的高效认知地图学习算法, 在控制地图规模的同时自适应调节编码分辨率, 兼顾建图的快速性与精确性.实验表明, VEH-SLAM在保证较高的场景匹配性能与建图准确度的同时, 建图效率较优, 建图总耗时大幅下降.在室内外多元化真实场景中的物理实验表明VEH-SLAM能精确建图并满足实时性要求, 由此验证方法的可行性与实用价值.
未来可进一步向如下研究方向扩展:1)VEH-SLAM目前主要面向二维平面环境, 后续可将认知地图由二维平面表征拓展至三维空间认知, 适应无人机、水下探测机器人等更复杂的工程应用场景; 2)引入 RGB-D 相机、激光雷达及多视图几何重建方法, 将当前认知拓扑地图与点云、栅格或 Mesh 等稠密几何表征结合, 进一步提升方法对具体环境结构的表达能力; 3)探索VEH-SLAM在ARM(Advanced RISC Machine)、FPGA(Field Programmable Gate Array)甚至类脑神经形态芯片上的部署, 以更低的功耗完成实时的在线建图任务, 推动类脑SLAM方法走向实际的嵌入式应用.
本文责任编委 李贻斌
Recommended by Associate Editor Li Yibin
| [1] |
|
| [2] |
|
| [3] |
|
| [4] |
|
| [5] |
|
| [6] |
|
| [7] |
|
| [8] |
|
| [9] |
|
| [10] |
|
| [11] |
|
| [12] |
|
| [13] |
|
| [14] |
|
| [15] |
|
| [16] |
|
| [17] |
|
| [18] |
|
| [19] |
|
| [20] |
|
| [21] |
|
| [22] |
|
| [23] |
|
| [24] |
|
| [25] |
|
| [26] |
|
| [27] |
|
| [28] |
|
| [29] |
|
| [30] |
|
| [31] |
|
| [32] |
|
| [33] |
|
| [34] |
|
| [35] |
|
| [36] |
|
| [37] |
|
| [38] |
|

