[Paper] 通过课程引导特征学习和三阶段注意力网络提升不平衡节点分类

发布: 5天前 (2026年2月4日 GMT+8 02:10)

7 分钟阅读

原文: arXiv

Source: arXiv - 2602.03808v1

概述

不平衡的节点分类——某些类别在图中占主导，而其他类别稀缺——仍然是图神经网络（GNN）的一大障碍。本文提出了 CL3AN‑GNN，一种基于课程学习指导的三阶段注意力架构，模拟人类从易到难的学习过程，显著提升了在偏斜图数据上的性能。

Curriculum‑guided learning for GNNs：一种系统的“由易到难”训练计划，首先关注简单的局部模式，然后再处理复杂的多跳关系。
三阶段注意力机制 (Engage → Enact → Embed)
- Engage – 分离易于捕获的特征（1‑跳邻域、低度节点、类别可分对）。
- Enact – 自适应重新加权更难的信号（多步连接、异质边、少数类边缘节点）。
- Embed – 通过迭代消息传递和与课程相匹配的损失加权，整合所有学习到的表征。
Curriculum‑aligned loss weighting：动态调整各阶段对整体损失的贡献，在标签严重偏斜的情况下稳定训练。
广泛的实证验证：在八个 Open Graph Benchmark (OGB) 数据集（涵盖社交、生物和引用网络）上进行测试，相较最新基线在准确率、macro‑F1 和 AUC 上实现一致提升。
可解释性工具：梯度稳定性和注意力相关性可视化，展示模型焦点如何在课程阶段之间转移。

特征预选（Engage）
- 使用浅层 GCN 和 GAT 计算初始节点嵌入。
- 识别 “容易” 节点：度数低、局部同质性强、类别分离明显（通过嵌入的余弦相似度）。
- 仅将这些容易的特征输入第一个注意力块，使网络学习稳定的基础表示。
自适应难例强调（Enact）
- 引入第二个注意力层，对以下对象分配更高权重：
  - 多跳邻域（捕获长程依赖）。
  - 异质边（连接不同类别的边）。
  - 少数类边缘节点（常被误分类）。
- 注意力得分与节点嵌入共同学习，使模型能够在最关键的地方 “聚焦”。
迭代整合（Embed）
- 最后一个基于注意力的消息传递阶段聚合来自 Engage 和 Enact 的精炼特征。
- 损失函数被划分为阶段特定的组件，每个组件乘以一个课程权重，随着训练进行，权重逐渐从 Engage → Enact → Embed 转移。
训练流程
- 早期 epoch：对 Engage 损失赋予高权重 → 稳定收敛于易模式。
- 中期 epoch：提升 Enact 权重 → 模型开始纠正难例。
- 后期 epoch：以 Embed 损失为主 → 对完整表示进行微调，以实现最终分类。

整体流程轻量（除标准 GNN 层外无额外参数），可直接嵌入现有的 GNN 框架。

数据集 (OGB)	基线（例如 GraphSMOTE）	CL3AN‑GNN	Δ 准确率	Δ 宏观‑F1
ogbn‑arxiv	71.4 %	74.9 %	+3.5 %	+4.2 %
ogbn‑products	62.1 %	66.0 %	+3.9 %	+5.0 %
ogbn‑proteins	68.7 %	71.5 %	+2.8 %	+3.6 %
… (5 more)	…	…	…	…

更好地检测少数类，如欺诈、罕见疾病基因预测或小众推荐系统，无需昂贵的过采样或合成节点生成。
即插即用升级：由于 CL3AN‑GNN 基于标准 GCN/GAT 层，开发者只需几行代码即可将其集成到现有 PyTorch‑Geometric 或 DGL 流程中。
缩短训练时间：课程安排能够稳定早期学习，意味着更少的 epoch 和更低的 GPU 时长——对大规模工业图尤为有价值。
可解释的 GNN 决策：分阶段的注意力可视化可向终端用户或审计员展示，解释模型为何将某节点标记为罕见类别。
可迁移性：该课程框架可适用于其他图任务（链接预测、图分类），在数据不平衡的情况下同样有效。

总体而言，CL3AN‑GNN 提供了一套引人注目、对开发者友好的方案，用于解决图结构数据中的类别不平衡问题，将课程学习原理与现代基于注意力的 GNN 相结合。