Loading [MathJax]/jax/output/HTML-CSS/jax.js
基于对比学习和结构更新机制的异质图结构学习
郭宁远1, 孙国义1, 李超1
1.山东科技大学 电子信息工程学院 青岛 266590
通讯作者:

李 超,博士,教授,主要研究方向为网络表示学习、社交网络分析、推荐算法.E-mail:1008lichao@163.com.

作者简介:

郭宁远,硕士研究生,主要研究方向为图表示学习、异质图神经网络.E-mail:guo.ningyuan@163.com.

孙国义,硕士研究生,主要研究方向为机器学习、异质图神经网络.E-mail:1139457124@qq.com.
第二十七届中国科协年会学术论文

摘要

异质图神经网络在挖掘复杂图数据任务中性能较优,但现有方法主要采用有监督学习范式,高度依赖节点标注信息,对原始图结构数据中的噪声链接较敏感,限制其在标注稀缺场景下的应用.针对上述问题,文中提出基于对比学习和结构更新机制的异质图结构学习方法(Heterogeneous Graph Structure Learning Based on Contrastive Learning and Structure Update Mechanism, HGSL-CL).首先,从原始数据中生成学习目标作为锚视图,结合类型感知特征映射与加权多视角相似度计算,生成学习者视图.然后,通过结构更新机制迭代优化锚视图,使用语义级注意力得到两个视角下的节点表示.最后,使用多层感知机将节点表示投影至同一维度空间,通过跨视角协同对比损失函数实现图结构优化,并引入融合节点拓扑相似度与属性相似度的正样本筛选策略,增强对比学习的判别能力.在3个数据集上的实验表明,HGSL-CL在节点分类、聚类等任务中性能较优,学习的图结构可泛化至半监督场景,取得比原始基线模型更优的性能,由此证实图结构学习的有效性.HGSL-CL源代码: https://github.com/desslie047/HGSL-CL.

关键词: 异质图神经网络; 对比学习; 图结构学习; 自监督学习; 元路径
中图分类号:TP39
Heterogeneous Graph Structure Learning Based on Contrastive Learning and Structure Update Mechanism
GUO Ningyuan1, SUN Guoyi1, LI Chao1
1. College of Electronic and Information Engineering, Shandong University of Science and Technology, Qingdao 266590
Corresponding author:
LI Chao, Ph.D.,professor.His research interests include network representation learning,social network analysis and recommendation algorithms.

About Author:
GUO Ningyuan, Master student.His research interests include graph representation learning and heterogeneous graph neural networks.
SUN Guoyi, Master student.His research interests include machine learning and heterogeneous graph neural networks.
Academic Papers of the 27th Annual Meeting of the China Association for Science and Technology

Abstract

Heterogeneous graph neural networks hold significant advantages in complex graph data mining tasks. However, existing methods typically follow a supervised learning paradigm. Therefore, they are highly dependent on node labeling information and sensitive to noisy links in the original graph structure. As a result, their applications in labeling-scarce scenarios are limited. To address these issues, a method for heterogeneous graph structure learning based on contrastive learning and structure update mechanism(HGSL-CL) is proposed. The learning target is first generated as the anchor view from the original data. The type-aware feature mapping and weighted multi-view similarity computation are combined to generate the learner view. Subsequently, the anchor view is iteratively optimized through the structure update mechanism, and the node representations in two views are obtained using semantic-level attention. Finally, node representations from both views are projected into a shared latent space via a multi-layer perceptron. The graph structure optimization is achieved by the cross-view synergistic contrastive loss function, and a positive sample filtering strategy fusing node topological similarity and attribute similarity is introduced to enhance the discriminative ability of contrastive learning. Experiments on three datasets show that HGSL-CL outperforms other baseline models in node classification and clustering tasks. Moreover, the learned graph structure can be generalized to semi-supervised scenarios, and HGSL-CL achieves better performance than the original baseline models. The results demonstrate the effectiveness of graph structure learning. The source code of HGSL-CL is available at https://github.com/desslie047/HGSL-CL.

Key words: Heterogeneous Graph Neural Network; Contrastive Learning; Graph Structure Learning; Self-Supervised Learning; Meta-Path

现实世界中的交互系统通常可用异质图的形式呈现, 利用异质图中多种类型的节点和边, 能有效建模社交网络、推荐系统等场景中的复杂关系[1, 2, 3].为了处理复杂图数据的表示学习问题, Zhang等[4]提出以HetGNN为代表的异质图神经网络(Hetero-geneous Graph Neural Network, HGNN), 采用随机游走策略, 捕获图中不同类型节点和边之间的复杂关系, 并编码至低维向量空间中.Wang等[5]提出HAN(Heterogeneous Graph Attention Network), 充分利用注意力机制, 在基于元路径的图上使用节点级注意力和语义级注意力, 分别学习节点之间的权重和不同元路径的权重.Hu等[6]提出HGT(Heterogeneous Graph Transformer), 对每条边使用注意力机制, 能在不同类型的节点和边上学习特定的表示.上述方法深入挖掘异质图的结构与语义特征, 提升节点表示的质量, 在节点分类、链接预测等任务中取得一定成效[7].

虽然现有的HGNN能学习异质图上复杂的语义信息和结构信息, 但传统方法存在局限性.基于监督学习范式的方法在训练过程中需要大量标记的数据, 但对现实世界中的数据集进行标记会大幅提高训练成本[8, 9].为了降低数据标注的成本, 同时提升模型泛化能力, 研究者们提出异质图对比学习方法, 旨在从图结构中找出相似的节点或边, 并映射至邻近的特征空间.对比学习设计合理的正样本选取策略, 划分原始数据中的节点, 并对比正样本对和负样本对, 学习更具判别性的图表示[10].然而, 目前很多异质图对比学习方法依赖原始图结构, 但现实交互中的图结构数据往往存在边的缺失和冗余问题, 原始图结构中的噪声可能会导致模型性能下降.

近年来, 为了实现图结构的动态学习, 减轻图神经网络对原始数据质量的依赖程度, 研究者提出图结构学习(Graph Structure Learning, GSL).Jin等[11]提出Pro-GNN(Property Graph Neural Network), 面向同质图, 通过邻接矩阵参数化与图神经网络的联合优化框架, 实现对图结构的充分利用.目前的图结构学习主要遵循监督学习范式, 利用节点分类方法对图结构和图神经网络进行协同优化.Franceschi等[12]提出LDS, 学习图中边的离散概率分布, 联合学习图结构和图卷积网络参数.Jiang等[13]提出GLCN(Gra- ph Learning-Convolutional Network), 整合图学习和图卷积, 得到最佳的图结构, 提升半监督学习的性能.Chen等[14]提出DIAL-GNN(Deep Iterative and Ada- ptive Learning for Graph Neural Network), 将图结构学习问题转化为相似度学习问题, 同时学习图结构和图嵌入, 通过迭代方法动态搜索并优化图结构.

上述同质图结构学习方法遵循有监督学习范式, 虽然取得较优性能, 但仍存在如下两个重要挑战.

1)现有图结构学习方法主要针对同质图设计, 假设图中所有边承载单一语义信息, 导致模型难以有效区分异质图中不同类型的节点或边, 进而无法充分利用其丰富的结构特征, 最终导致次优的学习结果.因此, 如何构建能有效利用异质图中丰富语义信息的图结构学习模型, 成为一个亟待解决的问题.

2)现有方法主要采用有监督学习范式, 标注信息在图学习中发挥至关重要的作用.现实场景中的异质图数据中可能存在标注缺失的问题, 并且数据标注的成本较高.因此, 如何减少图神经网络对标注信息的依赖, 提升在低标注率场景下模型的性能, 是另一个重要的挑战.

针对上述挑战, 本文提出基于对比学习和结构更新机制的异质图结构学习方法(Heterogeneous Graph Structure Learning Based on Contrastive Lear-ning and Structure Update Mechanism, HGSL-CL).首先, 从原始数据中生成一个学习目标作为锚视图.为了提供持续的指导, 引入结构反向更新机制, 利用学习的结构更新锚视图.然后, 利用对比学习最大化锚视图和学习者视图之间的一致性, 实现自监督学习.最后, 基于节点的拓扑相似和属性相似共同筛选可靠的正样本, 提升对比学习的效果.在ACM、DBLP、IMDB异质图数据集上的实验均表明HGSL-CL在图学习任务中的有效性.此外, 消融实验也验证HGSL-CL学习的图结构较完善.

1 相关定义

定义1异质图[15] 异质图可表示为

G=(V,E,T,R,ϕ,φ),

其中, V表示异质图节点集合, E表示异质图边集合, T表示节点类型集合, R表示边类型集合, 满足

|T+R|> 2.

ϕ VT表示节点类型映射函数, φ ER表示边类型映射函数.

定义2元路径[16] 元路径描述异质图中两个节点的复合关系, 即异质图中的一条路径:

A1R1A2R2RlAl+1,

其表示A1Al+1之间的一种复合连接关系R:

R=R1R2Rl

其中􀳱表示关系复合运算符.

定义3异质图嵌入 给定一个异质图

G=(V,E,T,R),

其目标是学习映射函数

f(G,H):vz,

其中, H为节点特征, z∈ Rd为节点v的低维信息向量, d≪|V|为向量表示的维度.

以ACM数据集为例, 一个由学术网络构建的异质图, 包含3种类型的节点(作者(Author, A)、论文(Paper, P)、主题(Subject, S)), 以及两种类型边的关系(作者-论文、论文-主题).P-A-P元路径表明两篇论文同属于一位作者, 而P-S-P表明两篇论文同属于一个主题, 具体结构如图1所示.

图1 异质图、元路径和拓扑结构的相关示例Fig.1 An example of heterogeneous graph, meta-path and topological structure

2 基于对比学习和结构更新机制的异质图结构学习方法

本文提出基于对比学习和结构更新机制的异质图结构学习方法(HGSL-CL), 总体框架如图2所示.HGSL-CL主要由图结构学习模块、图结构更新模块和对比学习模块构成.

图2 HGSL-CL总体框架Fig.2 Overall architecture of HGSL-CL

图结构学习模块根据不同的边关系, 构建不同边关系对应的特征相似图, 用于构造学习者视图.

图结构更新模块构建学习者视图与锚视图, 引入结构反向更新机制, 使用学习的结构更新锚视图, 得到较优的图结构, 并通过共享参数的编码器学习两个视角下的节点表示, 利用语义级注意力机制融合同一视图下不同结构的节点嵌入.

对比学习模块利用跨视角协同对比损失函数优化模型, 综合考虑拓扑相似度和属性相似度, 筛选可靠的正样本.

2.1 图结构学习模块

图结构学习模块的目标是构造一个特征相似图Sr, 决定两个节点之间基于节点特征有一条r类型边的可能性.

首先, 对于节点i, 采用特定关系类型的映射层, 将节点原始特征映射至公共特征空间, 得到映射后的特征:

fi=σ(fiWϕ(vi)+bϕ(vi)),

其中, fi表示节点的初始特征, Wϕ(vi)表示映射层的权重矩阵, bϕ(vi)表示偏置向量, σ (· )表示激活函数.

然后, 对于一个关系r, 对共同空间特征进行度量学习, 得到学习后的图结构Sr.对于节点ij之间的边,

Sr[i,j]={Γr(fi,fj),Γr(fi,fj)ϵr0, 其它 

其中:ϵr[0,1]表示稀疏度阈值, ϵr越大, 表示结构图越稀疏.若两个向量f'if'j之间的相似度小于ϵr,Sr[i,j]=0, 表示两个节点之间不存在相似性和隐含的连接关系; 使用两节点的节点特征, 计算K头加权余弦相似度

Γr(fi,fj)=1KKk=1cos(wk,rfi,wk,rfj),

wk, r表示可学习参数矩阵, ☉表示对两个具有相同维度的矩阵进行逐元素相乘.

2.2 图结构更新模块

在对学习的图结构(邻接矩阵)建模之后, 采用多视角对比学习的方式, 从原始数据中获取监督信号指导图结构的优化.基于学习的邻接矩阵A, 与特征矩阵X结合, 得到学习者视图Gl=(S, X).利用原始数据对锚视图Ga=(A, X)进行初始化, 使用锚视图指导图结构学习.

构建锚视图和学习者视图之后, 使用结构更新机制, 反向更新锚视图结构.具体而言, 引入一个衰减系数α ∈ [0, 1], 使用图结构学习模块输出的图结构S对锚视图结构A进行更新:

AαA+(1α)S.

为了分别学习不同视图下的节点表示, 使用图卷积网络(Graph Convolutional Network, GCN)作为编码器, 处理锚视图和学习者视图, 得到每个节点的表征.

在学习者视图中, 首先, 类型为r的边学习的图 Glr, 使用GCN进行编码, 得到学习者视角下类型r的向量表示:

Zlr=f(m)θ(Glr),

其中 f(m)θ(· )表示具有m层GCN的编码器.然后使用注意力机制计算每个元路径的权重:

(βl1,βl2,,βlR)=attsem(Zl1,Zl2,,ZlR),

其中, attsem(· )表示语义级注意力模型, βlr表示每种关系r类型学习的权重.

元路径Φ p具有不同的权重, 将学习的权重作为系数进行求和, 获得学习者视图下节点i的向量表示:

Zli=Rr=1βlrZlr.

同理, 使用锚视图Ga中类型为r的边学习的图 Gar输入编码器, 计算得到锚视图下节点i的向量表示 Zai.

2.3 对比学习模块

将锚视角下的向量表示 Zai和学习者视角下的向量表示 Zli使用多层感知机(Multi-layer Perceptron, MLP)投影到同一维度空间:

zai proj =w(2)σ(w(1)Zai+b(1))+b(2),zli proj =w(2)σ(w(1)Zli+b(1))+b(2),

其中, σ (· )表示激活函数, w(1)w(2)表示可学习权重矩阵.

在同一维度空间内, 使用投影后的表示计算锚视角下的损失:

Lai=ln(jPosexp(sim(zai proj, ljprojl)τ)k{PosNeg}exp(sim(zai proj, lk proj )τ)),

其中, sim(· , · )表示余弦相似度函数, τ 表示温度参数, Pos表示正样本集合, Neg表示负样本集合.特别地, 目标向量表示和正负样本向量表示分别来自不同视角, 实现跨视角的对比损失.

学习者视角下的损失:

Lli=ln(jPosexp(sim(zli proj, zaj proj )τ)k{PosNeg}exp(sim(zli proj, zak proj )τ)).

根据锚视角下的损失 Lai和学习者视角下的损失 Lli, 得到总损失函数:

L=1|V|iV[λLai+(1λ)Lli],

其中, λ 表示平衡系数, 用于平衡两个视角的损失对总损失的贡献程度.

在正样本的选择策略上, 从节点的拓扑相似和属性相似出发, 共同筛选可靠的正样本.通过统计节点之间的元路径条数获取节点的拓扑相似, 通过计算节点特征的余弦相似度获取节点的属性相似.具体正样本选取过程如图3所示.

图3 正样本选取过程Fig.3 Selection process of positive sample

元路径是一种描述节点之间连接关系和图的拓扑结构的方式, 节点对之间的元路径条数反映节点对之间相关性的强弱, 如果两个节点的特征相似, 说明两个节点之间存在一定的联系.

定义函数Ci(· ), 统计节点ij之间的元路径条数:

Ci(j)=Rr=1θ(jNri),

其中θ (· )表示指示函数.使用统计得到的元路径条数构造结构相似矩阵:

Cstr =[C1(1)C2(1)Ci(1)C1(2)C2(2)Ci(2)C1(j)C2(j)Ci(j)].

节点之间的属性相似矩阵可由节点之间的余弦相似度组合而成.对于节点ij, 定义函数Si(· ), 统计这两个节点的属性相似度:

Si(j)=sim(i,j;X),

其中sim(· )表示余弦相似度函数.使用节点之间的属性相似度构造属性相似矩阵:

Satt =[S1(1)S2(1)Si(1)S1(2)S2(2)Si(2)S1(j)S2(j)Si(j)].

对结构相似矩阵Cstr和属性相似矩阵Satt进行归一化, 将归一化后的相似矩阵相加, 得到综合相似度矩阵:

Di=Satt i|V|j=1Si(j)+Cstr i|V|j=1Ci(j).

根据Di的相似度设定正样本筛选阈值K, 按照相似度得分的高低划分正负样本.Di中相似度排在前K位的节点划分为正样本Pos, 剩余的节点划分为负样本Neg.

3 实验及结果分析
3.1 实验数据集

为了评价方法性能, 选取ACM、DBLP、IMDB数据集.

3个数据集的详细信息如表1所示.

表1 实验数据集 Table 1 Experimental datasets

ACM数据集包含论文、作者、主题三类节点和论文-论文、论文-作者、论文-主题三类边, 目标节点为论文.DBLP数据集包含作者、论文、会议、主题四类节点和论文-作者、论文-会议、论文-主题三类边, 目标节点为作者.IMDB数据集包含电影、导演、演员三类节点和电影-导演、电影-演员两类边, 目标节点是电影.

3.2 评价指标

为了定量分析方法性能, 本文使用宏平均F1(Macro-F1)、微平均F1(Micro-F1)、ROC(Recei-ver Operating Characteristic)曲线下面积(Area under the Curve, AUC)、均值化互信息(Normalized Mutual Information, NMI)和调整兰德系数(Adjusted Rand Index, ARI)指标.

Macro-F1和Micro-F1是两种评估分类模型性能的指标, 都基于F1分数综合度量精确率(Precision)和召回率(Recall).精确率表示模型在所有样本中正确分类的比例, 召回率衡量模型在所有真正例中成功识别出正例的比例, 计算公式如下:

 Precision =TPFP+TP, Recall =TPFN+TP,

其中, TP表示真正例(True Positive), FP表示假正例(False Positive), FN表示假负例(False Negative).

F1分数平衡精度和召回率之间的关系, 适用于类别分布不均匀的场景, 计算公式如下:

F1=2( Precision × Recall  Precision + Recall ).

Macro-F1平等对待所有类别, 计算各类别F1值的算术平均, 独立考察每个类别的精确率与召回率, 突出小类别性能, 计算公式如下:

 Macro- F1=1NNi=1F1i,

其中N表示类别总数.

Micro-F1通过全局汇总混淆矩阵统计量, 计算整体分类性能, 容易受大类别样本数量影响, 反映模型在均衡数据分布下的综合表现, 计算公式如下:

 Micro- F1=2Ni=1TPi2Ni=1TPi+Ni=1(FPi+FNi).

NMI和ARI是评估聚类方法性能的两个常用指标.NMI量化聚类结果与真实标签之间的相似性, 数值越高表示聚类与真实分布越匹配, 计算公式如下:

NMI(U,V)=I(U,V)H(U)H(V),

其中, I(U, V)表示聚类结果和真实标签之间的互信息, H(U)表示聚类结果的熵, H(V)表示真实标签的熵.

ARI基于样本对的划分一致性评估聚类质量, 通过校正随机分配偏差, 解决类别不平衡下的评估问题, 计算公式如下:

ARI(U,V)=ij(nij2)[i(ai2)j(bj2)(N2)][i(ai2)j(bj2)]2[i(ai2)j(bj2)(N2)],

其中, nij表示同时在聚类i中和真实标签j中的样本数量, ai表示聚类i中的样本数量, bj表示真实标签j中的样本数量.

AUC计算受试者工作特征曲线下面积, 评估模型的整体分类能力, 不依赖固定分类阈值, 反映模型在多样本分布场景中的稳定性, 计算公式如下:

AUC=10TPR(FPR1(t))dt

其中, TPR表示在所有真实正例中成功识别正例的比例, FPR表示所有真实负例中错误将负例预测为正例的比例, FPR-1(t)表示FPR的反函数, 即在t阈值下的假正例率.

3.3 对比实验

3.3.1 对比方法

实验选择如下6种自监督模型.

1)HDGI(Heterogeneous Deep Graph Infomax)[17].基于元路径的无监督异质图表示学习方法, 通过随机游走生成正样本节点, 利用注意力机制聚合全局图级表示, 最大化节点与图级表示的互信息(InfoNCE Loss(Information Noise-Contrastive Estima-tion Loss)), 避免传统方法对标签数据的依赖, 提升节点分类性能.

2)DMGI(Deep Multplex Graph Infomax)[18].针对异质图多关系特性, 设计关系子图对比学习框架, 对每个关系子图独立进行GCN编码, 生成子图级表示.引入节点-子图互信息对比学习, 捕捉关系感知的局部语义, 并引入注意力机制, 动态融合不同关系子图的节点表示, 解决多关系异质图的语义冲突问题.

3)HeCo(Heterogeneous Graph Neural Network with Co-contrastive Learning)[19].设计跨视角对比框架, 构建网络模式视角(同类型邻居)和元路径视角(异类型邻居), 生成双视图节点表示.通过生成对抗网络构造高难度负样本, 增强对比学习的判别性, 同时引入跨视角对齐损失函数, 缓解节点类型多样性导致的语义混淆.

4)NSHE(Network Schema Preserving Heterogeneous Information Network Embedding)[20].模式实例驱动的多任务学习框架, 通过预定义语义模式和随机游走生成模式感知子图, 并利用图注意力网络输出节点表示.引入模式实例采样器, 动态捕捉复杂语义关系, 利用多任务学习模型预测节点之间的关系, 并通过共享编码层实现语义迁移.

5)HGCML(Heterogeneous Graph Contrastive Multi-view Learning)[21].通过元路径结构扰动生成多视角增强子图, 设计自适应权重, 调整模块优化不同子图对间的对比损失.采用基于信息熵的动态权重分配, 优先关注高区分度的元路径组合, 并基于联合对比学习框架, 最大化任意元路径子图间的互信息, 实现多路径语义互补.

6)MEOW[22].构建双粒度对比视图, 用于对比学习, 其中, 粗粒度视图利用元路径高阶上下文生成全局语义表示, 细粒度视图基于局部一阶邻居捕捉结构细节.根据相似度加权值筛选负样本, 通过余弦相似度动态调整负样本权重, 利用注意力机制捕获跨元路径的依赖关系.

3.3.2 节点分类

本节分析并评估HGSL-CL在自监督模型上的节点分类结果.将节点表示放入支持向量机(Support Vector Machine, SVM)中进行分类, 采用20%、40%、60%和80%的训练率, 并使用Macro-F1、Micro-F1和AUC作为评价指标, 具体指标值如表2~表4所示, 表中黑体数字表示最优值, 斜体数字表示次优值.

表2 各方法在ACM数据集上的节点分类结果 Table 2 Node classification results of different methods on ACM dataset %
表3 各方法在IMDB数据集上的节点分类结果 Table 3 Node classification results of different methods on IMDB dataset %
表4 各方法在DBLP数据集上的节点分类结果 Table 4 Node classification results of different methods on DBLP dataset %

表2~表4可知, HGSL-CL凭借自适应学习异质图结构的能力, 始终性能较优.相比MEOW, 在ACM数据集上, HGCL-CL的Macro-F1和Micro-F1值提升1.18%和0.87%.相比基于元路径的HDGI、DMGI、HGCML和MEOW, HGSL-CL借助异质图对比学习思想, 根据节点的拓扑相似度和属性相似度进行正样本选取, 既充分利用图中的异质节点, 也提高分类准确率.相比多视图对比学习方法HeCo和NSHE, HGSL-CL在对比学习模块中引入专门的图结构学习方法, 不仅学习更优的图结构, 降低噪声对图表示学习的影响, 而且考虑不同视图下节点的相似性, 选择更可靠的正样本, 提升性能.值得注意的是, 在IMDB数据集上, HGSL-CL取得次优的AUC值, 产生该现象的原因在于IMDB数据集上数据分布不均, 稀疏性更高.DMGI通过节点-子图互信息对比直接捕捉局部结构特征, 而HGSL-CL的结构反向更新机制在数据稀疏时容易受初始噪声干扰, 在属性-结构相关性较弱的场景下, 基于拓扑和属性相似度的正样本筛选策略可能产生次优样本.HGSL-CL与对比方法在不同数据集上的性能差异, 揭示异质图结构学习对图数据完备性的内在依赖.

3.3.3 节点聚类

本节使用k-means学习所有节点的向量表示, 并采用NMI和ARI指标评估节点聚类性能.具体指标值如表5所示, 表中黑体数字表示最优值, 斜体数字表示次优值.

表5 各方法在3个数据集上的节点聚类结果 Table 5 Node clustering results of different methods on 3 dataset %

表5可见, HGSL-CL性能最优.DMGI和ME- OW虽引入对比学习, 但缺乏动态结构优化, 仅依赖原始图结构进行学习, 无法充分利用异质图中的高阶语义信息.得益于引入的图结构学习方法, HGSL-CL能充分利用异质图中的结构信息, 结合拓扑相似度和属性相似度, 筛选高置信度的正样本, 通过锚视

图与学习者视图的跨视角对比, 更好地聚集同一类别的节点, 聚类效果出色.

3.3.4 可视化结果

为了更直观地对比方法性能, 将HDGI、DMGI、HeCo、NSHE、HGCML、MEOW、HGSL-CL在DBLP数据集上的节点嵌入投影至二维空间中, 使用t-SNE(t-Distributed Stochastic Neighbor Embedding)可视化DBLP数据集上的作者类别, 具体如图4所示.

图4 各方法在DBLP数据集上的作者类别可视化结果Fig.4 Visualization results of author categories by different methods on DBLP dataset

由图4可见, 相比ACM、IMDB数据集, DBLP数据集规模较大(包含20 000余个节点和4个节点类型), 异质图结构具有更高的拓扑复杂性和语义层次性, 能更完整地验证方法对高阶结构特征的捕获能力.在HGCML和DMGI可视化结果中, 由于在聚合异质邻居节点的信息时未考虑不同邻居的重要性, 一些属于不同类别的节点相互混杂、界限模糊.在NSHE和HeCo可视化结果中, 因为同类别的节点较分散, 而基于元路径的模型在学习过程中无法充分利用异质节点的信息, 因此聚合准确度受到影响.借助图结构更新机制和正样本筛选策略, HGSL-CL展现出更清晰的边界和更密集的聚类结构, 有助于区分不同的类别.

3.4 消融实验

为了探索HGSL-CL中重要模块对整体性能的影响, 重新设计多个分支, 在节点分类任务中计算Macro-F1、Micro-F1(使用60%的训练数据划分)指标, 并与HGSL-CL进行对比.分支模块包括:移除结构更新机制(简记为HGSL-CL-w/o update)、筛选正样本时不考虑属性相似度(简记为HGSL-CL-w/o attr)、筛选正样本时不考虑拓扑相似度(简记为HGSL-CL-w/o topo).具体消融实验结果如表6所示, 表中黑体数字表示最优值, 斜体数字表示次优值.

表6 各模块的消融实验结果 Table 6 Ablation experiment results of different modules %

表6可见, HGSL-CL中各核心模块对性能提升均有贡献.在ACM、DBLP数据集上移除结构更新机制, 性能出现明显下降, 主要原因在于异质图节点间的多跳语义关系复杂, 并且图数据中普遍存在噪声, 仅依赖初始图结构可能难以捕捉节点间的关系.而结构更新机制使图结构在学习过程中逐步优化, 有效降低噪声对图结构的影响, 进而学习更优的节点表示.此外, 只依赖单一指标的正样本筛选策略, 在3个数据集上均出现不同程度的性能衰减, 证实拓扑结构与属性语义的互补融合机制能更全面地度量节点间的相似性, 捕捉节点关联特征, 从而为对比学习模块提供高质量的正样本对, 有效提升方法的语义判别能力.

3.5 图结构有效性分析

为了探索图结构学习模块对性能的影响, 验证学习的图结构的合理性, 将学习的图结构Gl插入半监督模型和自监督模型中进行训练, 并与原始图结构的训练结果进行对比.选取如下半监督模型:HAN[5]、MAGNN(Meta-path Aggregated Graph Neural Network)[7]、ie-HGCN(Interpretable and Efficient He- terogeneous Graph Convolutional Network)[23], 是否插入Gl后的节点分类结果如表7~表9所示.

表7 半监督模型在ACM数据集上的节点分类结果 Table 7 Node classification results of different semi-supervised learning models on ACM dataset %
表8 半监督模型在IMDB数据集上的节点分类结果 Table 8 Node classification results of different semi-supervised learning models on IMDB dataset %
表9 半监督模型在DBLP数据集上的节点分类结果 Table 9 Node classification results of different semi-supervised learning models on DBLP dataset %

表7~表9可见, 将学习者视角下学习的图Gl与HAN、MAGNN、ie-HGCN结合后, 均取得优于原始模型的效果.

相比基于关系感知的图神经网络模型ie-HGCN、基于元路径的模型HAN和MAGNN, 结合Gl后, 各模型的指标值都出现显著提升.图结构学习模块通过特征相似度对原始图进行精炼, 获得语义关系更清晰的图结构, 由此降低噪声边的影响, 提高邻居节点信息聚合的准确性, 得到反映真实语义信息的元路径, 在原始模型架构不变的基础上提升模型性能.

选取如下自监督模型:DMGI[18]、HeCo[19]、ME-OW[22], 是否插入Gl后的节点分类结果如表10~表12所示.

表10 自监督模型在ACM数据集上的节点分类结果 Table 10 Node classification results of different self-supervised learning models on ACM dataset %
表11 自监督模型在IMDB数据集上的节点分类结果 Table 11 Node classification results of different self-supervised learning models on IMDB dataset %
表12 自监督模型在DBLP数据集上的节点分类结果 Table 12 Node classification results of different self-supervised learning models on DBLP dataset %

表10~表12可发现, 相比原始的自监督模型, 结合Gl的模型在各方面均取得更优值.自监督对比学习方法依赖于视图构建, 图数据中的噪声会对正样本选取的准确度产生负面影响.良好的图结构是提升方法性能的关键, 高质量、低噪声的图结构有助于生成更准确的视图, 并进行更有效的对比学习.因此无论是基于互信息的方法还是利用多视图对比学习的方法, 引入高质量的图结构均能获得更优性能.

最后, 在半监督模型和自监督模型中是否插入Gl的节点聚类结果如表13所示.由表可见, 在节点聚类任务上, 结合Gl后的模型均取得比原始模型更优的聚类结果.图结构学习模块通过节点特征相似度构建新的图结构, 每个节点都能从语义相似的邻居处获取信息, 同时根据特征相似度进行稀疏化处理, 滤除原始图中对聚类具有误导性的噪声边.因此图结构学习器输出的图结构使模型更易学到具有高区分度的节点嵌入, 从而提高半监督和自监督模型聚类任务的准确性.

表13 各模型的节点聚类结果 Table 13 Node clustering results of different models %
3.6 参数敏感性分析

本节分析锚视角网络层数la与学习者视角网络层数ll的敏感性, 两者在ACM、IMDB、DBLP数据集上的Macro-F1值如图5所示.

图5 网络层数对HGSL-CL性能的影响Fig.5 Effect of network layers on HGSL-CL performance

由图5可知, 随着层数的增加, 神经网络可从更多层次的邻居节点中聚合信息, 适当增加网络层数可使方法在学习过程中获得更多的有用信息, 有助于提升性能.当神经网络层数进一步增加(两个视角的网络层数均超过2层)时, 在反向传播过程中可能会出现梯度消失或爆炸的问题, 对训练过程的稳定性造成影响.过深的网络容易出现过拟合问题, 导致节点之间的差异逐渐消除, 最终引起过平滑效应, 所有节点的表示相似, 导致性能下降.

下面探讨正样本选择过程中参数K对HGSL-CL性能的影响, 选取不同的K值, 在3个数据集上求解Macro-F1值, 结果如图6所示.

图6 K对HGSL-CL性能的影响Fig.6 Effect of K on HGSL-CL performance

由图6可知, HGSL-CL的性能随着正样本数量的增加, 在3个数据集上均呈现先上升后下降的变化趋势.对于规模较大的DBLP数据集, K=1 000时HGSL-CL性能最优, 而对于规模相对较小的ACM数据集和数据稀疏的IMDB数据集, K分别为5和3时, Macro-F1达到峰值.随着K值的逐渐增加, HGSL- CL得以选取更多的正样本, 更全面地学习节点间的语义关系.当K值过高时, 正样本选取策略可能会引入低相似度节点, 导致正样本质量下滑, 进而降低对比学习的判别性, 影响整体性能.

4 结束语

本文提出基于对比学习和结构更新机制的异质图结构学习方法(HGSL-CL).首先, 构建学习者视图与锚视图, 充分学习原始图数据.然后, 利用对比学习优化图结构.同时, 根据节点拓扑相似和属性相似筛选正样本, 引入结构反向更新机制, 获得较优的图结构.在ACM、IMDB、DBLP数据集上进行的广泛实验表明, HGSL-CL在3个数据集上均取得较优性能, 充分验证其有效性, 消融实验也证实HGSL-CL学习的图结构较完善.在未来的研究中, 针对方法在低标注数据场景下的性能衰减现象, 需进一步强化方法对噪声边和缺失特征的鲁棒性.其次, 方法在节点分类中的表现也体现结构反向更新机制的局限性, 可深入研究结构更新机制的动态参数调控方法, 进一步提升其在复杂图数据上的性能.

本文责任编委 王士同

Recommended by Associate Editor WANG Shitong

参考文献
[1] 章淯淞, 夏鸿斌, 刘渊. 结合自对比图神经网络与双预测器的会话推荐模型. 模式识别与人工智能, 2024, 37(3): 242-252.
(ZHANG Y S, XIA H B, LIU Y. Session-Based Recommendation Model with Self Contrastive Graph Neural Network and Dual Predictor. Pattern Recognition and Artificial Intelligence, 2024, 37(3): 242-252. ) [本文引用:1]
[2] 张玉朋, 李香菊, 李超, . 基于Transformer与异质图神经网络的新闻推荐模型. 模式识别与人工智能, 2022, 35(9): 839-848.
(ZHANG Y P, LI X J, LI C, et al. News Recommendation Model Based on Transformer and Heterogeneous Graph Neural Network. Pattern Recognition and Artificial Intelligence, 2022, 35(9): 839-848. ) [本文引用:1]
[3] 邬锦琛, 杨兴耀, 于炯, . 双通道异构图神经网络序列推荐算法. 计算机科学与探索, 2023, 17(6): 1473-1486.
(WU J C, YANG X Y, YU J, et al. Sequence Recommendation with Dual Channel Heterogeneous Graph Neural Network. Journal of Frontiers of Computer Science and Technology, 2023, 17(6): 1473-1486. ) [本文引用:1]
[4] ZHANG C X, SONG D J, HUANG C, et al. Heterogeneous Graph Neural Network // Proc of the 25th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York, USA: ACM, 2019: 793-803. [本文引用:1]
[5] WANG X, JI H Y, SHI C, et al. Heterogeneous Graph Attention Network // Proc of the World Wide Web Conference. New York, USA: ACM, 2019: 2022-2032. [本文引用:2]
[6] HU Z N, DONG Y X, WANG K S, et al. Heterogeneous Graph Transformer // Proc of the Web Conference. New York, USA: ACM, 2020: 2704-2710. [本文引用:1]
[7] FU X Y, ZHANG J N, MENG Z Q, et al. MAGNN: Metapath Aggre-gated Graph Neural Network for Heterogeneous Graph Embedding // Proc of the Web Conference. New York, USA: ACM, 2020: 2331-2341. [本文引用:2]
[8] LIU Y X, ZHENG Y, ZHANG D K, et al. Towards Unsupervised Deep Graph Structure Learning // Proc of the ACM Web Confe-rence. New York, USA: ACM, 2022: 1392-1403. [本文引用:1]
[9] 李雅琪, 王杰, 王锋, . 基于层次对比学习的半监督节点分类算法. 模式识别与人工智能, 2023, 36(8): 712-720.
(LI Y Q, WANG J, WANG F, et al. Semi-supervised Node Classification Algorithm Based on Hierarchical Contrastive Learning. Pa-ttern Recognition and Artificial Intelligence, 2023, 36(8): 712-720. ) [本文引用:1]
[10] HU Y F, ZHANG Y. Graph Contrastive Learning with Local and Global Mutual Information Maximization // Proc of the 8th International Conference on Information Technology(IoT and Smart City). New York, USA: ACM, 2021: 74-78. [本文引用:1]
[11] JIN W, MA Y, LIU X R, et al. Graph Structure Learning for Robust Graph Neural Networks // Proc of the 26th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York, USA: ACM, 2020: 66-74. [本文引用:1]
[12] FRANCESCHI L, NIEPERT M, PONTIL M, et al. Learning Discrete Structures for Graph Neural Networks. Proceedings of Machine Learning Research, 2019, 97: 1972-1982. [本文引用:1]
[13] JIANG B, ZHANG Z Y, LIN D D, et al. Semi-supervised Lear-ning with Graph Learning-Convolutional Networks // Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2019: 11305-11312. [本文引用:1]
[14] CHEN Y, WU L F, ZAKI M J. Deep Iterative and Adaptive Lear-ning for Graph Neural Networks[C/OL]. [2025-02-24]. https://arxiv.org/pdf/1912.07832. [本文引用:1]
[15] SHI C, YU P S. Heterogeneous Information Network Analysis and Applications. Berlin, Germany: Springer, 2017. [本文引用:1]
[16] DONG Y X, CHAWLA N V, SWAMI A. metapath2vec: Scalable Representation Learning for Heterogeneous Networks // Proc of the 23rd ACM SIGKDD International Conference on Knowledge Disco-very and Data Mining. New York, USA: ACM, 2017: 135-144. [本文引用:1]
[17] REN Y X, LIU B, HUANG C, et al. Heterogeneous Deep Graph Infomax[C/OL]. [2025-02-24]. https://arxiv.org/pdf/1911.08538. [本文引用:1]
[18] PARK C, KIM D, HAN J W, et al. Unsupervised Attributed Multiplex Network Embedding. Proceedings of the AAAI Conference on Artificial Intelligence, 2020, 34(4): 5371-5378. [本文引用:2]
[19] WANG X, LIU N, HAN H, et al. Self-Supervised Heterogeneous Graph Neural Network with Co-contrastive Learning // Proc of the 27th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. New York, USA: ACM, 2021: 1726-1736. [本文引用:2]
[20] ZHAO J N, WANG X, SHI C, et al. Network Schema Preserving Heterogeneous Information Network Embedding // Proc of the 29th International Joint Conference on Artificial Intelligence. San Francisco, USA: IJCAI, 2020: 1366-1372. [本文引用:1]
[21] WANG Z H, LI Q, YU D H, et al. Heterogeneous Graph Contrastive Multi-view Learning // Proc of the SIAM International Confe-rence on Data Mining. Philadelphia, USA: SIAM, 2023: 136-144. [本文引用:1]
[22] YU J X, GE Q Q, LI X, et al. Heterogeneous Graph Contrastive Learning with Meta-Path Contexts and Adaptively Weighted Negative Samples. IEEE Transactions on Knowledge and Data Enginee-ring, 2024, 36(10): 5181-5193. [本文引用:2]
[23] YANG Y M, GUAN Z Y, LI J X, et al. Interpretable and Efficient Heterogeneous Graph Convolutional Network. IEEE Transactions on Knowledge and Data Engineering, 2023, 35(2): 1637-1650. [本文引用:1]