图神经网络(GNN)学习节点、边或图的嵌入表示, 捕捉节点间的复杂关系和图结构信息, 完成预测和分类等下游任务.由于其优秀的性能表现, 近年来受到学术界和工业界的广泛关注.Kipf等^[12]提出基于谱图卷积局部一阶近似的图卷积网络, 利用图卷积层进行信息传递与聚合, 提高分类精度.Velič ković 等^[13]提出GAT(Graph Attention Network), 引入注意力机制, 为图数据中的节点分配不同权重, 并根据节点间关系的重要性程度进行信息的聚合与传播.Hamilton等^[14]提出Graph-SAGE(Graph Sample and Aggregate), 用于大规模图数据的归纳式表示学习, 采样和聚合邻居节点的特征, 生成节点的嵌入表示, 提升模型的泛化性.Xu等^[15]证明GNN的表达能力上限等价于Weisfeiler-Lehman图同构测试, 并提出GIN(Graph Isomorphism Network), 通过可学习参数ε 增强模型表达能力.Wu等^[16]提出FedGNN(Federated Graph Neural Network), 在用户设备上进行本地训练GNN并上传梯度至服务器进行聚合, 在保护用户隐私的同时利用高阶用户-物品交互信息提升推荐性能.Liu等^[17]提出GCN-HCRF(Graph Convolutional Net-works-Hidden Conditional Random Field), 结合图卷积网络和隐马尔可夫随机场, 保留骨架结构信息, 提升基于骨架的动作识别性能.Bo等^[18]研究GNN中低频信号和高频信号的作用, 动态整合不同频率信号, 提出FAGCN(Frequency Adaptation Graph Convo-lutional Networks), 旨在缓解过平滑问题.Lei等^[19]提出Dig-GCN, 扩散路径定义节点的邻域范围, 引入非凸正则化器, 提升节点分类效果.Xu等^[20]提出Radial-GCN(Radial Graph Convolutional Network), 构建径向图并运用图注意力机制, 提升视觉问题生成任务的性能.Zhong等^[21]提出CGCN(Contrastive Graph Convolutional Networks with Generative Adjacency Ma-trix), 引入自适应邻接矩阵和对比学习, 提升GNN的半监督分类性能.

随着对GNN研究的不断深入, 现有工作在提升模型表达能力、缓解过度平滑、融合联邦学习及跨模态应用等方面取得重要进展, 进一步推动GNN在图表示学习中的应用与发展.

通常, GNN包含消息传递和节点更新两阶段.在消息传递阶段, 每个节点收集来自其邻居节点的信息.该过程涉及节点特征的聚合, 如利用求和、平均或最大值等不同函数进行聚合.节点在第l+1层的表示为:

$\boldsymbol{h}_{i}^{(l+1)}=A G G^{(l)}\left(\left\{\boldsymbol{h}_{j}^{(l)} \mid j \in N(i)\right\} \cup\left\{\boldsymbol{h}_{i}^{(l)}\right\}\right),$

其中, hi(l)表示节点在第l层的表示, N(i)表示节点i的一组相邻节点, AGG(· )表示聚合函数.

在节点更新阶段, 每个节点会使用一个更新函数更新其特征表示.该更新函数通常是一个神经网络层, 如全连接层或其它类型层, 将聚合得到的信息转换为新的特征表示, 则节点在第l+1层的表示为:

$\boldsymbol{h}_{i}^{(l+1)}=U P D^{(l)}\left(\boldsymbol{h}_{i}^{(l)}, A G G^{(l)}\left(\left\{\boldsymbol{h}_{j}^{(l)} \mid j \in N(i)\right\}\right)\right),$

其中UPD(· )表示更新函数.

联邦子图学习主要应用于分布式环境下的图数据学习与分析, 在保护数据隐私和安全的前提下, 能充分利用分散在不同客户端上的图数据, 缓解数据孤岛问题.随着现实场景中对分布式学习需求的不断增长, 联邦子图学习已成为一个备受关注的研究方向.作为联邦子图学习中一种经典的模型聚合方法, FedAvg^[5]的主要工作流程如下.

1)在首个通信轮次, 通过中央服务器将K个客户端的本地模型参数均初始化为全局模型参数 θ-, 即 θk0= θ-, 其中 θk0表示第k个客户端的本地模型参数.

2)每个客户端的本地模型在其本地数据集上进行训练.根据

$\boldsymbol{\theta}_{k}^{(r+1)}=\boldsymbol{\theta}_{k}^{r}-\eta \nabla \boldsymbol{L}$

更新本地模型参数, 其中, η 表示学习率, Ñ L表示损失函数的梯度.

3)第k个客户端的训练数据量记为w_k, 总数据量

$W=\sum_{k=1}^{K} w_{k} .$

在本地训练完成后, 根据训练数据量在中央服务器上聚合本地模型参数, 即

$\boldsymbol{\theta}^{(r+1)}=\sum_{k=1}^{K}\left(\frac{w_{k}}{W} \boldsymbol{\theta}_{k}^{(r+1)}\right) .$

4)将更新后的全局模型参数分发至各客户端并进入下一通信轮次的模型训练, 直至设定的最终通信轮次.

在整个训练过程中, 只共享模型参数而不上传本地数据, 可避免数据泄露.目前, 相关研究工作大致可分为图间联邦子图学习和图内联邦子图学习两个方向.

在图间联邦子图学习中, 各客户端拥有相互独立的图数据, 不共享任何的节点或边.Xie等^[22]提出GCFL(Graph Clustered Federated Learning), 通过动态聚类机制, 根据GNN的梯度信息划分客户端群组, 减少不同客户端间图结构和节点特征的分布差异, 使客户端能高效协作, 训练模型.He等^[23]提出SpreadGNN, 将联邦多任务学习扩展到面向GNN的无服务计算环境中, 引入周期平均随机梯度下降, 应对多任务的去中心化学习, 解决客户端之间存在的数据非独立同分布问题.Tan等^[24]提出FedStar (Federated Graph Learning via Structure Knowledge Sharing), 在不同客户端之间共享高层次的图结构信息, 减少图数据在结构和节点特征上的异质性, 提高全局模型的性能.Huang等^[25]提出FGSSL(Fede-rated Graph Semantic and Structural Learning), 校准节点语义和图结构, 解决分布式图数据中的非独立同分布问题, 提升联邦图学习的性能.

不同于图间联邦子图学习中每个客户端拥有完全独立的图数据, 图内联邦子图学习中每个客户端拥有的是完整图的一部分.Wu等^[16]提出FedGNN, 引入节点特征, 对齐并融合不同客户端的局部图结构信息, 提高分布式环境下的图数据处理能力.Zhang等^[6]根据每个客户端的局部子图结构, 利用局部线性预测器探索客户端之间的潜在边, 通过缺失邻居生成器补全邻居节点信息, 提高模型对全局图结构的理解能力.Chen等^[26]提出SFL(Structured Federated Learning), 利用客户端之间的关系图改进知识共享和模型个性化, 为每个客户端生成适合的个性化模型.Pan等^[27]提出FedGKD(Federated Graph Neural Network with Kernelized Aggregation of Distilled Information), 通过客户端侧的数据蒸馏和服务器端的全局协作结构感知聚合, 旨在解决图异质性问题.Chen等^[28]提出FedGraph, 引入跨客户端图卷积操作和基于深度强化学习的智能采样, 解决分布式图数据隐私保护和训练效率较低等问题, 旨在提升联邦图学习的收敛速度和准确性.He等^[29]提出FedGraphNN(Federated Graph Neural Net-works), 支持图间与图内两种数据分布范式, 提供标准化的多任务数据集、模型与联邦算法, 实现对图分类、节点分类等任务的系统化评估, 为研究联邦环境下的GNN建模与解决非独立同分布问题提供基础平台.

现有联邦图神经网络研究已从基础的隐私保护拓展至图结构异质性、非独立同分布和个性化建模等复杂问题.图间联邦子图学习与图内联邦子图学习各有侧重, 前者关注结构隔离与协作, 后者强调局部信息建模.

然而, 大多现有研究工作未能考虑节点间的语义差异, 导致模型在图数据异质性较强时难以准确捕捉节点特征, 无法充分适应不同的数据分布情况.同时, 现有研究工作通常只考虑客户端模型之间的整体相关性, 无法精确识别与本地子图高度相关的参数, 限制模型个性化性能.在客户端模型的训练过程中, 现有研究工作大多未对客户端模型更新幅度进行有效控制, 导致其可能因过度拟合本地数据分布而偏离全局的参数分布.

本文提出基于嵌入对齐与参数激活的个性化联邦子图学习方法(FSL-EAPA), 整体框架如图1所示.FSL-EAPA首先利用不同客户端之间的相似性实现个性化模型聚合.然后, 引入参数选择性激活, 实现模型的高效训练和更新.最后, 通过更新后的客户端模型辅助节点嵌入对齐.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 FSL-EAPA整体框架图Fig.1 Overall architecture of FSL-EAPA

FSL-EAPA的主要步骤如下所示.

算法 FSL-EAPA

输入 训练轮数rnd, 本地训练次数e,

客户端数量K, 学习率η , 正则化系数λ ₁、λ ₂,

客户端i的子图数据G_i

输出 客户端全局参数

定义客户端函数$\text { ClientProcess }(\overline{\boldsymbol{\theta}})$;

初始化局部激活参数向量 μ _i;

计算局部模型参数θ _i;

for epoch=1, 2, …, e do

数据增强Au_s(G_i), Au_w(G_i);

生成节点嵌入h¹, h²;

计算节点嵌入损失 LNEAi;

反向更新θ _i;

end for

返回θ _i至中央服务器;

for round=1, 2, …, rnd do

for ∀ i do

if rnd=1 then

更新局部模型参数 θi(r+1);

else

计算客户端间相似度ω _ij;

更新模型全局参数 θ-i(r);

更新局部模型参数 θi(r+1);

end if

end for

end for

对于一个图数据集G=(V, E), V表示图中的节点集合, |V|=N₀, E={e_uv}表示节点u、v之间链接关系的边集合.假设有K个客户端, 每个客户端拥有子图G_i=(V_i, E_i), 其中

G= ⋃i=1KG_i.

对于任意两个子图G_i=(V_i, E_i), G_j=(V_j, E_j), 其中i≠ j, 1≤ i≤ K, 1≤ j≤ K, 满足

V_i∩ V_j=Ø , E_i∩ E_j=Ø .

基于上述基本设定, FSL-EAPA引入个性化模型聚合模块和参数选择性激活模块, 降低数据非独立同分布和结构特征异质性对模型整体性能的干扰.另外, 节点嵌入对齐模块旨在为每个客户端生成一个全局节点分类模型, 有效处理下游节点分类任务.综上所述, FSL-EAPA旨在最小化全局损失, 其优化目标定义为

$\min _{\left\{\boldsymbol{\theta}_{i}, \boldsymbol{\mu}_{i}\right\}_{i=1}^{K}} \sum_{G_{i} \subseteq G} L\left(G_{i}, \boldsymbol{\theta}_{i}, \boldsymbol{\mu}_{i}\right),$

其中

$\boldsymbol{\theta}_{i} \leftarrow \overline{\boldsymbol{\theta}_{i}} \cdot \operatorname{diag}\left(\boldsymbol{\mu}_{i}\right),$

表示客户端i的局部模型参数, θ-i表示聚合后的客户端i的全局参数, μ _i表示局部激活参数向量.

由于不同客户端的图数据通常存在显著的非独立同分布特性和结构特征异质性, 模型训练容易出现收敛困难和泛化性较差等问题.若直接使用传统的平均聚合方式, 容易引发模型更新方向冲突, 导致聚合偏移和性能退化.

为了解决这些问题, 基于网络同质性, FSL-EAPA计算子图之间的相似度, 将具有相似数据分布和结构特征的子图归为一类, 在执行个性化模型聚合的过程中能更有效利用相似子图携带的信息, 避免因非独立同分布造成的知识冲突, 实现模型性能的提升.

在联邦子图学习中, 不同客户端的子图信息只能在本地访问.在这种情况下, 现有方法通常将模型参数作为代理指标以计算子图相似度, 相似性分数

$S(i, j)=\frac{\boldsymbol{p}_{i} \cdot \boldsymbol{p}_{j}}{\left\|\boldsymbol{p}_{i}\right\|\left\|\boldsymbol{p}_{j}\right\|}=\frac{\sum_{t=1}^{n} x_{i t} x_{j t}}{\sqrt{\sum_{t=1}^{n} x_{i t}^{2}} \sqrt{\sum_{t=1}^{n} x_{j t}^{2}}},$

其中

$\boldsymbol{p}_{i}=\left(x_{i 1}, x_{i 2}, \cdots, x_{i n}\right), \boldsymbol{p}_{j}=\left(x_{j 1}, x_{j 2}, \cdots, x_{j n}\right),$

表示经过扁平化处理为向量的参数.

然而, 随着向量维度n的不断增加, 噪声和冗余信息也会不断增多, 导致计算复杂度显著提升.此外, 在高维空间中, 数据点之间的距离往往会趋于相似, 这可能会使数据点失去区分度, 相似性计算结果趋于一致且不可靠.

为了解决这些问题, FSL-EAPA引入基于随机块模型(Stochastic Block Model)^[30]生成的随机图G^r=(V, E), 作为所有客户端模型的共享输入, 避免因输入差异带来的相似性计算偏差, 使客户端模型间的对比更一致、稳定.另外, FSL-EAPA利用输出的平均节点嵌入计算客户端之间的相似度, 有效缓解维度灾难问题, 准确反映模型在统一输入下的行为差异.不同客户端模型之间的相似度如下所示:

$S(i, j)=\frac{\overline{\boldsymbol{x}_{i}} \cdot \overline{\boldsymbol{x}_{j}}}{\left\|\overline{\boldsymbol{x}_{i}}\right\|\left\|\overline{\boldsymbol{x}_{j}}\right\|},$

其中

$\overline{\boldsymbol{x}}_{i}=\frac{1}{M} \sum_{m=1}^{M} \boldsymbol{h}_{m},$

M表示随机图中节点嵌入向量的数量, h_m表示第m个节点的嵌入向量.

基于不同客户端模型之间的相似度S(i, j), 可在不同客户端之间进行个性化模型聚合, 实现子图之间高效的参数共享.具体地, 客户端i的全局参数可定义为

$\overline{\boldsymbol{\theta}}_{i}=\sum_{j=1}^{K} \omega_{i j} \cdot \boldsymbol{\theta}_{j},$

其中

$\omega_{i j}=\frac{\exp \left(\tau_{2} S(i, j)\right)}{\sum_{k=1}^{K} \exp \left(\tau_{2} S(i, k)\right)},$

表示客户端i、 j之间的归一化相似性, τ ₂表示缩放相似性的超参数.

在上述个性化模型聚合的过程中, 相似的子图之间会被赋予更大的权重, 以此降低数据非独立同分布对模型性能的干扰, 避免因受其过度影响而导致模型输出偏离合理的模式和规律, 提高模型对不同子图分布及特征的适应能力.

同类型客户模型的个性化聚合可有效应对数据非独立同分布和结构特征异质性问题, 但是个性化模型聚合只能判断客户端模型之间的相似性, 不能区分哪些参数对本地任务具有实际贡献.因此, FSL-EAPA引入参数选择性激活, 对模型进行选择性训练与更新, 旨在识别参数之间的相关性, 提升本地模型的个性化性能.

对于客户端i, 引入局部激活参数向量μ _i, 通过该向量与个性化聚合得到的全局参数, 计算得到客户端的局部模型参数:

$\boldsymbol{\theta}_{i}=\overline{\boldsymbol{\theta}_{i}} \cdot \operatorname{diag}\left(\boldsymbol{\mu}_{i}\right),$

其中, diag(μ _i)表示对角线元素由μ _i组成的对角矩阵, 若μ _i的第c个参数 μic接近1, 表明 θ-ic基本被保留, 若 μic接近0, 表明 θ-ic被有效屏蔽.

首先, 初始化局部激活参数向量μ _i为全1向量, 即对于∀ c, 都有 μic=1.然后, 动态增强激活参数的选择性, 使模型更聚焦于与本地子图相关的参数, 专注于自身子图特性, 减少与本地子图不相容的参数带来的影响, 有效应对子图结构特征异质性问题.然而, 在实际训练过程中, 如果不对μ _i加以约束, μ _i中各元素可能趋向于较大的取值, 从而导致本地模型仍保留较多的无关参数.因此, 为了使客户端模型能更有效地筛选对本地任务真正有用的关键参数, 在执行局部优化时, FSL-EAPA对μ _i进行L1正则化.

此外, 由于客户端本地数据量有限且分布偏差较大, 若其仅依据本地子图进行局部训练, 模型局部参数可能在优化过程中过度偏移, 出现过拟合现象, 导致更新过度偏离聚合后的全局参数方向.因此, FSL-EAPA引入近端项^[31], 在客户端的目标函数中添加正则化项$\lambda_{2}\left\|\boldsymbol{\theta}_{i}-\overline{\boldsymbol{\theta}}_{i}\right\|_{2}^{2}$, 有效控制模型的更新幅度, 使其更接近全局参数方向.

另外, 如果局部激活参数向量足够稀疏, 就能避免对零值参数的冗余计算, 显著减少计算资源消耗, 提升训练效率.

在经典的联邦子图学习中, 每个客户端仅在其本地数据上进行模型训练.然而, 这些客户端模型缺乏全局数据的完整视图, 可能会朝着某个特定的方向进行更新并收敛至局部最优解.因此, 依靠这些客户端模型提供正负样本可能会使局部优化方向发生偏移, 导致性能下降.

经过个性化模型聚合模块和参数选择性激活模块后得到的客户端模型聚合来自多个不同客户端的信息, 具有更小偏差, FSL-EAPA利用该模型为每个局部节点嵌入提供正负聚类表示, 聚集同一类的局部节点.局部节点的损失定义为

$\begin{array}{l} L_{m}^{\mathrm{NEA}}= \\ \frac{-1}{\left|V_{m}^{+}\right|} \sum_{m^{+} \in V_{m}^{+}} \ln \left(\frac{\varphi\left(\boldsymbol{h}_{m}^{1}, \boldsymbol{h}_{m^{+}}^{2}, \tau_{1}\right)}{\varphi\left(\boldsymbol{h}_{m}^{1}, \boldsymbol{h}_{m^{+}}^{2}, \tau_{1}\right)+\sum_{v^{-} \in V_{m}^{-}} \varphi\left(\boldsymbol{h}_{m}^{1}, \boldsymbol{h}_{m^{-}}^{2}, \tau_{1}\right)}\right) \end{array}$

其中, Vm+表示节点m的正样本集, Vm-表示节点m的负样本集, | Vm+|表示正样本集的数量, | Vm-|表示负样本集的数量, τ ₁表示对齐超参数, h_m表示节点m由局部GNN生成编码器H(· )得到的嵌入,

$\varphi\left(\boldsymbol{h}_{m}, \boldsymbol{h}_{r}, \tau_{1}\right)=\exp \left(\frac{S(m, r)}{\tau_{1}}\right) .$

因此, G_i的损失定义为

$L_{i}^{\mathrm{NEA}}=\frac{1}{\left|G_{i}\right|} \sum_{m \in G_{i}} L_{m}^{\mathrm{NEA}} .$

通过上述设计, FSL-EAPA在节点级上实现有效的嵌入对齐, 能学习更具泛化性的嵌入, 同时避免过度依赖固定拓扑结构, 从而稳定优化节点表征.这不仅提高节点分类的准确性, 也缓解数据非独立同分布给模型性能带来的负面影响.因此, 模型能更好地适应不同客户端的差异化数据分布, 提升其在复杂环境中的整体性能.

进一步地, 为了使客户端具备更好的判别能力, FSL-EAPA引入不平衡的增强模块, 生成两个不同视图.

1)使用较强的增强

Gi1=Au_s(G_i),

以70%的概率随机移除图中的边, 并以50%的概率随机掩盖图中节点的特征.

2)使用较弱的增强

Gi2=Au_w(G_i),

以30%的概率随机移除图中的边, 并以30%的概率随机掩盖图中节点的特征.

通过这种增强策略, 不仅能为模型的局部训练提供稳定可靠的全局语义信息, 还能引导模型向着全局最优方向进行优化的同时确保模型对本地数据始终保持敏感性和适应性.

因此, 为了有效应对客户端之间存在的非独立同分布和结构特征异质性带来的挑战, 稳定优化节点表征, 避免出现过拟合现象, 提升模型的泛化性和稳定性, 客户端i的目标函数定义为

$\begin{array}{r} L\left(\boldsymbol{\theta}_{i}, \boldsymbol{\mu}_{i}\right)=\min _{\left(\boldsymbol{\theta}_{i}, \boldsymbol{\mu}_{i}\right)} L\left(G_{i}, \boldsymbol{\theta}_{i}, \boldsymbol{\mu}_{i}\right)+\lambda_{c} L_{i}^{\mathrm{NEA}}+ \\ \lambda_{1}\left\|\boldsymbol{\mu}_{i}\right\|_{1}+\lambda_{2}\left\|\boldsymbol{\theta}_{i}-\overline{\boldsymbol{\theta}}_{i}\right\|_{2}^{2} . \end{array}$

其中:L(G_i; θ _i, μ _i)表示子图G_i的交叉熵损失函数, 驱动模型完成本地子图上的节点分类任务, 并直接决定模型最终的表现; λ _c、λ ₁、λ ₂表示超参数, λ _c控制节点嵌入损失的重要性, λ ₁控制参数激活的程度, λ ₂控制近端项对模型更新的影响程度.

实验在一台工作站上开展, 配备GeForce RTX 3090型号的GPU, CUDA驱动版本为11.3.基于深度学习框架PyTorch 1.12.1, 实现FSL-EAPA.

本文选择如下4个真实的基准图数据集.

1)CitationFullCora数据集^[32].面向引文网络的图数据集, 常用于GNN相关研究和实验.节点表示文献, 边表示文献之间的引用关系.根据文献主题, 所有节点分为70类.

2)CitationFullCiteSeer数据集^[32].与CitationFull-Cora类似的图数据集.节点表示文献, 边表示文献之间的引用关系.根据文献主题, 所有节点分为6类.

3)DBLP数据集^[32].面向计算机科学领域学术文献索引库的图数据集, 在GNN相关研究中常用于构建合作网络.节点表示论文、作者、会议等实体, 边表示这些实体之间的关系(如作者之间的合作关系、论文之间的引用关系等).根据研究领域, 所有节点分为4类.

4)CS数据集^[33].聚焦作者之间合作关系的图数据集.节点表示作者, 边表示作者之间的合作关系.根据作者的研究领域, 所有节点分为15类.

各数据集详细信息如表1所示.

表1

Table 1

表1(Table 1)

表1 基准图数据集 Table 1 Benchmark graph datasets 参数 Citation- FullCora Citation- FullCiteseer DBLP CS 类数量 70 6 4 15 节点数量 19793 2995 17716 18333 边数量 126842 10674 105734 163788 特征数量 8710 602 1639 6805

表1 基准图数据集 Table 1 Benchmark graph datasets

对于FSL-EAPA, 使用PyTorch和PyTorch Geo-metric作为深度学习库, 堆叠两层图卷积网络(Graph Convolutional Network, GCN)^[12]和一个线性分类器层, 每个图卷积层的隐藏维数设为128.实验中采用Adam(Adaptive Moment Estimation)优化器更新模型参数, 动量设为0.9, 权重衰减设为1× 10^-6, 学习率设为0.01.

对于每个数据集, 面向具有不同客户端数量的场景, 模拟不同的数据分布和计算资源情况.同时, 定义与参数选择激活项和近端项相关的正则化系数λ ₁=0.001, λ ₂=0.001, 损失函数系数λ _c=0.03.

此外, 采用METIS^[34]将数据集划分为不同规模的子图.所有数据集被随机划分为训练集、验证集和测试集, 比例分别为20%、40%和40%.为了更好地模拟不同规模的典型联邦学习环境, 并覆盖不同程度的异质性, 将客户端数量分别设为5, 10, 15, 20.

为了评估方法的有效性, 采用准确率(Accuracy, ACC)和F1值指标, 分别定义如下:

$\begin{array}{l} A C C=\frac{T P+T N}{T P+T N+F P+F N} \times 100 \%, \\ F 1=\frac{2 \text { precision } \cdot \text { recall }}{\text { precision }+ \text { recall }} \times 100 \%, \end{array}$

其中,

$\text { precision }=\frac{T P}{T P+F P}, \text { recall }=\frac{T P}{T P+F N},$

TP(True Positive)表示模型预测和实际标签都为正例的样本数, TN(True Negative)表示模型预测和实际标签都为反例的样本数, FP(False Positive)表示模型预测为正例但实际标签为反例的样本数, FN(False Negative)表示模型预测为反例但实际标签为正例的样本数.

为了验证FSL-EAPA的优越性能, 选择如下对比方法.

1)FedAvg^[5].经典的联邦学习算法, 在各客户端本地训练模型并平均聚合其模型参数, 无需汇聚各客户端上的数据即可实现全局模型的协同训练.

2)FED-PUB(Federated Personalized Subgraph Lear-ning)^[35].在保护数据隐私的前提下, 聚合多方知识并利用个性化权重掩码更新参数, 应对数据分布差异问题, 提升模型性能.

3)SpreadFGL^[36].引入自适应图补全生成器、多功能评估器、负采样机制和分布式训练方式, 促进信息流动, 提升模型的收敛速度和服务器之间的负载均衡.

4)FedGCN(Federated Graph Convolutional Network)^[37].利用联邦学习框架训练图卷积网络, 通过本地图数据进行模型训练并将模型参数发送至中央服务器进行聚合, 在一定程度上解决图数据异质性问题.

5)FedGTA(Federated Graph Topology-Aware Agg-regation)^[38].针对联邦图学习的个性化优化框架, 计算客户端的局部平滑置信度和混合邻居特征矩阵, 实现拓扑感知的个性化聚合, 提升分布式图学习性能.

各方法在4个数据集上的指标值对比如表2和表3所示, 表中黑体数字表示最优值.由表可见.FSL-EAPA在4个数据集上取得大部分ACC和F1最优值.

表2

Table 2

表2(Table 2)

表2 各方法在CitationFullCora、CitationFullCiteSeer数据集上的指标值对比 Table 2 Metric value comparison of different methods on CitationFullCora dataset and CitationFullCiteSeer dataset % 方法 指标 客户端数量 客户端数量 5 10 15 20 5 10 15 20 FSL-EAPA ACC F1 62.54 60.46 62.01 58.67 62.18 58.68 62.26 59.47 92.02 90.31 93.68 92.66 90.65 90.46 91.69 91.33 FED-PUB ACC F1 60.75 60.00 60.58 55.14 61.24 56.58 60.52 54.84 90.65 88.81 92.23 90.73 89.46 88.16 89.80 88.94 FedAvg ACC F1 59.61 58.32 56.18 53.29 49.65 44.57 41.47 35.45 87.87 86.41 87.81 85.51 79.24 79.36 73.10 69.92 SpreadFGL ACC F1 57.09 54.93 49.31 46.44 43.31 41.60 45.19 42.90 75.19 74.43 75.64 75.05 74.14 72.95 73.98 72.26 FedGCN ACC F1 60.27 55.28 60.01 54.59 59.50 53.39 58.28 51.83 88.93 87.94 88.92 88.24 89.57 88.88 88.79 87.72 FedGTA ACC F1 61.25 58.67 61.84 58.89 61.00 57.72 59.37 55.78 91.15 91.05 87.47 87.02 87.94 87.27 85.88 84.78

表2 各方法在CitationFullCora、CitationFullCiteSeer数据集上的指标值对比 Table 2 Metric value comparison of different methods on CitationFullCora dataset and CitationFullCiteSeer dataset %

表3

Table 3

表3(Table 3)

表3 各方法在DBLP、CS数据集上的指标值对比 Table 3 Metric value comparison of different methods on DBLP dataset and CS dataset % 方法 指标 客户端数量 客户端数量 5 10 15 20 5 10 15 20 FSL-EAPA ACC F1 84.12 83.58 83.01 82.08 82.74 81.08 81.05 78.58 92.20 91.42 90.81 89.12 90.80 89.66 89.68 88.58 FED-PUB ACC F1 80.56 80.69 81.99 81.50 81.34 80.42 80.84 78.90 91.13 90.64 90.49 88.44 89.19 87.38 88.72 86.37 FedAvg ACC F1 79.77 79.69 79.28 77.90 76.06 73.48 69.48 62.54 88.22 87.13 84.14 83.05 82.83 81.07 74.43 71.50 SpreadFGL ACC F1 75.92 78.64 74.17 77.32 73.64 76.99 73.44 76.73 91.41 91.30 90.55 90.31 89.91 89.63 89.50 89.12 FedGCN ACC F1 80.02 75.96 80.97 78.19 80.16 75.81 80.89 76.71 89.54 88.66 89.59 88.79 88.75 86.45 89.59 87.88 FedGTA ACC F1 82.60 82.09 80.78 79.65 79.85 78.87 80.60 78.99 91.56 90.11 90.26 88.56 89.80 88.05 89.43 87.29

表3 各方法在DBLP、CS数据集上的指标值对比 Table 3 Metric value comparison of different methods on DBLP dataset and CS dataset %

通过Wilcoxon符号秩检验进一步验证FSL-EAPA在提升性能方面的显著性.如表4所示, 所有p值(Wilcoxon符号秩检验)均远低于0.05, 表明FSL-EAPA的性能提升在统计学上具有显著性.这一提升归因于FSL-EAPA利用客户端模型之间的相似性对其进行个性化聚合, 有效缓解数据非独立同分布对整体性能的干扰.同时, FSL-EAPA引入参数选择性激活, 更关注与本地子图相关的参数, 有效解决子图结构特征异质性问题.此外, FSL-EAPA引入节点嵌入对齐操作, 有效聚集同一类的局部节点.

表4

Table 4

表4(Table 4)

表4 FSL-EAPA性能显著性检验 Table 4 Performance significance test for FSL-EAPA 方法 指标 p值 FED-PUB ACC F1 6.10352e-05 3.05176e-05 FedAvg ACC F1 3.05176e-05 3.05176e-05 SpreadFGL ACC F1 3.05176e-05 5.79834e-04 FedGCN ACC F1 3.05176e-05 3.05176e-05 FedGTA ACC F1 3.05176e-05 5.79834e-04

表4 FSL-EAPA性能显著性检验 Table 4 Performance significance test for FSL-EAPA

相比之下, FedAvg假设参与联邦学习的客户端具有相同的数据分布, 未考虑数据非独立同分布和图结构异质性.FED-PUB未充分挖掘节点之间的语义联系, 在处理复杂图结构数据时难以取得良好效果.SpreadFGL虽然使用自适应图补全生成器处理客户端之间的异质性, 但在处理具有不同程度异质性的图数据时, 难以保证稳定的性能, 无法较好适应各种复杂的异质图场景.FedGCN未能充分考虑客户端的参与度和贡献度, 影响学习效果.FedGTA是基于客户端的图结构和标签分布具有一定的相似性的假设, 但在实际应用中, 客户端数据往往存在显著分布差异, 容易导致聚合效果受限.此外, 随着客户端数量的增加, 对比方法的ACC和F1值均呈现逐渐降低的趋势.这是因为随着客户端数量的增加, 场景变得复杂, 客户端之间的异质性更明显.

下面在4个数据集上对比FSL-EAPA、FED-PUB、FedAvg、SpreadFGL、FedGCN客户端的平均性能和波动情况(利用标准差进行衡量), 具体如图2所示.图中柱体高度反映方法在客户端上取得的平均ACC值, 误差线反映不同客户端上ACC的离散程度(通过计算不同客户端的ACC的标准差得到).误差线越短说明ACC的标准差越小, 离散程度越低.由图可看出, 相比其它方法, FSL-EAPA的误差线长度在大多数情况下均最短.这表明FSL-EAPA能在提高ACC值的同时有效降低不同客户端模型之间的性能差距, 更好地解决数据非独立同分布和子图结构特征异质性问题.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 各方法在4个数据集上客户端的平均ACC值Fig.2 Average ACC of clients for different methods on 4 datasets

在DBLP、CS数据集上, FSL-EAPA的标准差略大于SpreadFGL.这是因为在这两个数据集上进行模型训练时局部激活参数向量较稀疏, 参数更新更频繁, 因此, 更新过程中会受到更多的噪声干扰, 导致优化过程出现不稳定的情况, 增加客户端模型之间的性能差异.

实验中默认采用METIS^[34]进行数据划分.为了进一步评估数据划分方式对不同方法的影响, 采用文献[39]的数据划分方式对数据集进行子图划分.与基于METIS的划分方式不同, 文献[39]更注重识别图中的聚类特征而不是图的物理分割, 因此通过这两种数据划分方式得到的数据分布情况完全不同.

文献[39]数据划分方式下各方法在4个数据集上的指标值对比如表5所示, 表中黑体数字表示最优值.由表可见, 当使用文献[39]数据划分方式时, FSL-EAPA仍可保持优良性能, 并且在大多数情况下优于对比方法.这说明即使改变数据划分方式, FSL-EAPA依然可有效解决数据非独立同分布和子图结构特征异质性问题.

表5

Table 5

表5(Table 5)

表5 文献[39]数据划分方式下各方法的指标值对比 Table 5 Metric value comparison of different methods under data partitioning scheme in Reference[39] % 方法 指标 CitationFull- Cora CitationFull- CiteSeer DBLP CS FSL-EAPA ACC F1 54.05 49.91 91.73 88.03 71.22 70.41 93.97 92.47 FED-PUB ACC F1 49.61 43.33 88.28 87.72 69.38 69.75 93.31 91.92 FedAvg ACC F1 47.23 43.48 88.96 88.13 65.36 65.41 93.17 90.74 SpreadFGL ACC F1 51.40 49.45 70.98 70.43 65.62 70.26 87.69 87.05 FedGCN ACC F1 53.50 46.10 89.00 88.85 71.50 66.23 92.56 92.30 FedGTA ACC F1 53.01 45.88 90.68 90.54 71.45 63.34 93.57 90.91

表5 文献[39]数据划分方式下各方法的指标值对比 Table 5 Metric value comparison of different methods under data partitioning scheme in Reference[39] %

最后, 从时间复杂度与运行时间两方面全面对比分析不同方法的效率.各方法在客户端和服务器端的时间复杂度如表6所示, 表中d表示特征数量, f表示中间层的特征维度, $|V|$表示节点数量, c表示类数量, $|E|$表示边数量, y表示聚合特征的次数, Y表示统计矩的阶数, K表示客户端数.由表可见, 相比FedAvg、FED-PUB和FedGCN, FSL-EAPA虽然在客户端引入额外项O(|V|²d), 一定程度上增加时间复杂度, 但相比复杂度更高的SpreadFGL和FedGTA, FSL-EAPA仍具有良好的计算效率.

表6

Table 6

表6(Table 6)

表6 各方法的时间复杂度对比 Table 6 Time complexity comparison of different methods 方法 客户端 服务器端 FSL-EAPA O( E(d+f)+ V(df+f2+fc)+ V2d) O(K2+K2d) FED-PUB O( E(d+f)+ V(df+f2+fc)) O(K2+K2d) FedAvg O( E(d+f)+ V(df+f2+fc)) O(K) SpreadFGL O( E(d+f)+ V(df+f2+fc)) O(K+ V2c+ V2f+ Vf2) FedGCN O( E(d+f)+ V(df+fc)) O(K) FedGTA O(y E(d+y Vc)+|V|d2+ Vc)) O(K+KYyc)

表6 各方法的时间复杂度对比 Table 6 Time complexity comparison of different methods

此外, 各方法在4个数据集上运行100轮次训练耗时如表7所示.

表7

Table 7

表7(Table 7)

表7 各方法在4个不同数据集上的运行时间对比 Table 7 Running time comparison of different methods on 4 datasets s 方法 CitationFull- Cora CitationFull- CiteSeer DBLP CS FSL-EAPA 405 256 278 366 FED-PUB 409 249 266 363 FedAvg 312 211 229 292 SpreadFGL 413 387 417 424 FedGCN 267 55 192 1297 FedGTA 659 38 106 461

表7 各方法在4个不同数据集上的运行时间对比 Table 7 Running time comparison of different methods on 4 datasets s

由表7可见, FSL-EAPA在4个数据集上的运行时间接近甚至优于多数对比方法, 验证FSL-EAPA在实现性能提升的同时具备良好的效率和实际可部署性.

FSL-EAPA包括如下核心模块:个性化模型聚合模块、节点嵌入对齐模块、参数选择性激活模块、L1正则化项、L2正则化项.分别移除各模块后的指标值如表8和表9所示, 表中黑体数字表示最优值.由表可见, 当FSL-EAPA中核心模块逐一移除时, 性能均有所下降.

表8

Table 8

表8(Table 8)

表8 FSL-EAPA在CitationFullCora、CitationFullCiteSeer数据集上的消融实验结果 Table 8 Ablation experiment results of FSL-EAPA on CitationFullCora dataset and CitationFullCiteSeer dataset % 方法 指标 客户端数量 客户端数量 5 10 15 20 5 10 15 20 FSL-EAPA ACC F1 62.54 60.46 62.01 58.67 62.18 58.68 62.26 59.47 92.02 90.31 93.68 92.66 90.65 90.46 91.69 91.33 无个性化模型聚合模块 ACC F1 61.83 58.72 61.36 58.76 61.71 58.97 61.51 59.34 90.66 88.77 92.71 91.46 89.89 88.94 91.07 89.88 无节点嵌入对齐模块 ACC F1 61.93 58.37 61.29 58.81 61.83 58.50 61.42 56.98 90.98 89.36 92.26 91.38 89.01 89.33 90.49 88.96 无参数选择性激活模块 ACC F1 60.34 56.79 60.42 58.24 61.26 58.91 61.24 58.22 90.83 89.52 91.22 88.03 89.07 89.30 90.60 89.92 无L1正则项 ACC F1 62.41 59.82 61.82 58.33 61.51 58.52 61.96 58.90 91.57 89.77 92.69 91.16 90.29 90.19 91.25 90.81 无L2正则项 ACC F1 62.19 59.69 61.72 58.13 61.46 58.49 61.83 59.32 91.86 90.16 93.20 92.30 89.77 89.95 91.89 91.43

表8 FSL-EAPA在CitationFullCora、CitationFullCiteSeer数据集上的消融实验结果 Table 8 Ablation experiment results of FSL-EAPA on CitationFullCora dataset and CitationFullCiteSeer dataset %

表9

Table 9

表9(Table 9)

表9 FSL-EAPA在DBLP、CS数据集上的消融实验结果 Table 9 Ablation experiment results of FSL-EAPA on DBLP dataset and CS dataset % 方法 指标 客户端数量 客户端数量 5 10 15 20 5 10 15 20 FSL-EAPA ACC F1 84.12 83.58 83.01 82.08 82.74 81.08 81.05 78.58 92.20 91.42 90.81 89.12 90.80 89.66 89.68 88.58 无个性化模型聚合模块 ACC F1 83.18 82.78 82.43 81.80 81.80 81.27 80.71 79.23 91.95 91.10 90.41 89.53 90.19 89.15 89.30 87.33 无节点嵌入对齐模块 ACC F1 83.32 82.95 82.49 81.65 81.51 80.91 80.62 78.38 91.73 90.92 90.58 88.84 90.46 89.30 89.28 87.71 无参数选择性激活模块 ACC F1 82.44 81.69 80.01 78.60 76.43 75.29 71.79 65.64 89.68 88.39 88.06 87.40 84.86 84.12 83.91 82.34 无L1正则项 ACC F1 83.06 82.74 82.11 81.41 81.92 80.69 80.68 77.91 92.14 91.40 90.49 89.12 90.17 89.08 89.23 87.04 无L2正则项 ACC F1 83.63 83.05 82.51 81.95 82.55 80.77 80.85 78.13 92.00 91.18 90.23 88.69 90.25 89.16 88.36 85.81

表9 FSL-EAPA在DBLP、CS数据集上的消融实验结果 Table 9 Ablation experiment results of FSL-EAPA on DBLP dataset and CS dataset %

当移除个性化模型聚合模块后, FSL-EAPA采用传统的全局聚合方式, 在不同数据集和不同客户端数量情况下, ACC和F1值分别平均下降约0.67%和0.57%.这是因为传统的全局聚合方式未能充分区分不同客户端模型间的差异, 导致全局参数中引入无关特征, 干扰本地模型的训练.

当移除节点嵌入对齐模块后, 在不同数据集和不同客户端数量情况下, FSL-EAPA的ACC和F1值分别平均下降约0.77%和0.86%.这是因为此时FSL-EAPA未能较好地优化表征空间, 可能出现过拟合自身局部数据分布的情况.

当移除参数选择性激活模块后, 在不同数据集和不同客户端数量情况下, FSL-EAPA的ACC和F1值分别平均下降约3.08%和3.36%.这是因为此时客户端模型无法完全专注于与本地子图相关的参数, 加剧全局参数中无关信息的干扰.

当移除参数选择性激活中的L1正则化项后, 在不同数据集和不同客户端数量情况下, FSL-EAPA的ACC和F1值分别平均下降约0.51%和0.58%.这是因为此时客户端模型筛选参数的能力被削弱, 导致本地模型仍保留许多无关参数.

当移除参数选择性激活中的L2正则化项后, 在不同数据集及不同客户端数量情况下, FSL-EAPA的ACC和F1值分别平均下降约0.45%和0.50%.这是因为此时模型仅依据本地子图进行局部训练, 容易在优化过程中出现过度偏移, 导致过拟合现象.

设置标签率为0.1, 0.2, …, 0.5, 涵盖低标签率场景和高标签率场景.随着标签率的变化, FSL-EAPA在4个数据集上的ACC值对比如图3所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 标签率不同时FSL-EAPA的ACC值对比Fig.3 ACC comparison of FSL-EAPA with different label rates

由图3可见, 总体上, FSL-EAPA的ACC值随着标签率的增加而增加.这是因为更高的标签率意味着数据集上具有更丰富的标注信息可用于模型学习.一方面, 充足的标签使模型能更清晰准确地理解不同类别数据的特征及边界, 在面对新数据时做出更精准的判断.另一方面, 高标签率可减少模型因标注信息不足而产生的不确定性, 降低对数据错误解读的可能性, 使模型能更好地拟合数据分布规律, 有效提升模型精度.

设置λ ₁=0.0001, 0.001, 0.01, 0.1, 1, 随着λ ₁的变化, FSL-EAPA在4个数据集上的ACC和F1值对比如图4所示.由图可见, 当λ ₁=0.001时, FSL-EAPA在4个数据集上的ACC和F1值均为最佳.当λ ₁逐渐增大时, FSL-EAPA在4个数据集上的ACC和F1值总体上都呈现先上升后下降的趋势.特别是当λ ₁由0.1变为1时, ACC和F1值急剧下降.这是因为当λ ₁由0.000 1变为0.001时, 局部激活参数向量的稀疏性也随之增强, 模型更专注与本地子图相关的参数, 更准确捕捉关键参数, 从而提高模型整体性能.然而, 随着λ ₁继续增大, 局部激活参数向量可能会变得过度稀疏, 丢失一些潜在有用的参数信息, 削弱模型准确性, 导致ACC和F1值的下降.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 λ 1不同时FSL-EAPA的指标值对比Fig.4 Metric value comparison of FSL-EAPA with different λ 1

设置λ ₂=0.0001, 0.001, 0.01, 0.1, 1, 10, 100, 随着λ ₂的变化, FSL-EAPA在4个数据集上的ACC和F1值对比如图4所示.由图可见, 当λ ₂=0.001时, FSL-EAPA在4个数据集的ACC和F1值均为最佳.当λ ₂由0.000 1升至1, FSL-EAPA在4个数据集上的ACC和F1值总体上都呈现上下波动的趋势.这是因为当λ ₂刚开始增大时, 近端项对模型的约束起到积极作用, 降低模型在有限本地数据上出现的过拟合风险.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 λ 2不同时FSL-EAPA的指标值对比Fig.5 Metric value comparison of FSL-EAPA with different λ 2

但是, 随着λ ₂的继续增大, 近端项的影响程度变得过强, 导致模型过度依赖全局参数而失去对本地子图独特特征的足够关注, 无法充分适应不同的子图结构.之后, λ ₂进一步增大, 模型不断地在局部参数和全局参数之间寻找平衡, 性能出现一定的起伏.

设置λ _c=0.003, 0.03, 0.3, 3, 30, 随着λ _c的变化, FSL-EAPA在4个数据集上的ACC和F1值对比如图6所示.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 λ c不同时FSL-EAPA的指标值对比Fig.6 Metric value comparison of FSL-EAPA with different λ c

由图6可见, 当λ _c=0.03时, FSL-EAPA在4个数据集的ACC和F1值均最佳.当λ _c由0.003升至30时, FSL-EAPA在4个数据集上的ACC和F1值总体上都呈现先上升后下降的趋势.这是因为当λ _c刚开始增大时, 节点嵌入损失在目标函数中的重要性也随之提高, 模型能更好地区分相似的子图结构.但是, 随着λ _c继续增大, 节点嵌入损失在目标函数中的比重变得过大, 导致模型过度关注这项损失而忽略其它重要的损失项, 进而出现ACC和F1值的下降.

设置学习率η =0.0001, 0.001, 0.01, 0.1, 1, 随着η 的变化, FSL-EAPA在4个数据集上的ACC和F1值对比如图7所示.

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 η 不同时FSL-EAPA的指标值对比Fig.7 Metric value comparison of FSL-EAPA with different η

由图7可见, 当η =0.01时, FSL-EAPA在4个数据集的ACC和F1值均为最佳或接近最佳.当η 过小时, 模型的收敛速度会变慢, 训练过程难以得到充分优化, 可能陷入局部最优, 影响性能.当η 过大时, 模型在参数空间中更新幅度过大, 容易在训练过程中跳过最优解, 导致损失函数震荡或持续增大, 使训练发散或收敛缓慢.