[论文] TabPFN 能否通过图表格化在节点分类中与 GNNs 竞争？

Source: arXiv - 2512.08798v1

概览

本文提出了一个简单却发人深省的问题：一个强大的表格学习基础模型能否取代专用于图的神经网络进行节点分类？ 通过将图结构转换为丰富的表格特征并将其输入 TabPFN（一种在表格数据上表现卓越的预训练 Transformer），作者展示了在多数情况下可以达到与最先进的图神经网络（GNN）相当（甚至更好）的性能——尤其是在同质性假设失效的图上。

主要贡献

• TabPFN‑GN 流程：一种系统化的“表格化”图方法，通过拼接节点属性、结构描述子、位置编码以及可选的平滑邻域聚合来实现。
• 零样本节点分类：直接利用预训练的 TabPFN 模型，无需图专用的微调或大型语言模型后端。
• 广泛基准测试：在 12 个常用的节点分类数据集（包括同质和异质图）上进行实验，展示了与主流 GNN 架构竞争或超越的准确率。
• 经验洞察：表明精心设计的表格特征能够捕获足够的图信息，缩小表格域与图域之间的差距，挑战了“必须使用专用 GNN”的传统观念。
• 开源可复现性：作者公开了代码和特征工程脚本，方便实践者在自己的图上尝试该方法。

方法论

1. 特征提取

   • 节点属性：原始特征向量（若有）。
   • 结构属性：度、聚类系数、PageRank、特征向量中心性等。
   • 位置编码：拉普拉斯特征向量或基于随机游走的嵌入，为每个节点提供低维坐标。
   • 邻域平滑（可选）：进行若干轮图扩散（如个性化 PageRank 或简单平均），将邻居信息融合进节点特征向量。

2. 表格化

   • 将上述所有描述子拼接成每个节点的单一平面向量，得到经典的表格数据集：每行 = 一个节点，列 = 工程特征，目标 = 节点标签。

3. 模型推理

   • 将生成的表格输入 TabPFN，该模型是基于 Transformer 的，在数百万合成表格任务上预训练。
   • TabPFN 以 零样本 方式预测类别概率——不进行额外的梯度更新。

4. 评估

   • 在相同的训练/验证/测试划分下，将准确率（有时还有 F1）与 GNN 基线（GCN、GAT、GraphSAGE、H2GCN 等）进行比较。

该流程刻意保持轻量：特征计算一次（一次 O(|E|) 操作），推理仅是 TabPFN 的前向传播，可在单 GPU 或甚至 CPU 上完成（针对中小规模图）。

结果与发现

• 同质图：TabPFN‑GN 与 GNN 表现持平，说明工程特征保留了 GNN 通常利用的信号。
• 异质图：TabPFN‑GN 稳定超越 GNN，可能是因为手工结构描述子捕获了跨类连接，而消息传递 GNN 往往会将其平滑掉。
• 训练成本：无需在图数据上进行反向传播；唯一的计算是一次特征提取和 TabPFN 前向传播（对 ≤ 10k 节点的图仅需几秒）。

实际意义

• 快速原型：数据科学家可以在不编写任何 GNN 代码或调参的情况下快速构建节点分类模型。
• 资源受限环境：TabPFN‑GN 规避了昂贵的 GPU 训练周期，适合边缘设备或算力有限的组织。
• 异质性处理：许多真实网络（如欺诈检测、推荐系统）同质性低；TabPFN‑GN 提供了无需专门异质 GNN 设计的即用方案。
• 与现有流水线集成：表格化输出可直接供任何已有的 CSV/Parquet 数据处理系统使用，无需嵌入图引擎。
• 基础模型协同：展示了预训练表格基础模型在适当特征工程下可成为跨模态的“通用学习器”，为类似的跨模态技巧（如将文本图转为表格）打开了大门。

局限性与未来工作

• 可扩展性：特征提取仍需 O(|E|) 计算和与节点数成比例的内存；对上百万节点的超大图可能需要采样或分布式处理。
• 特征工程依赖：方法的成功高度依赖手工特征的质量；自动特征学习（如图感知自编码器）或可降低人工成本。
• 仅适用于静态图：当前流水线假设图结构固定；若要处理动态图或流式图，需要增量式特征更新机制。
• 基准覆盖面：虽然已使用 12 个数据集，但在知识图谱、蛋白质相互作用网络等更丰富的领域进行验证仍有必要。
• 模型可解释性：TabPFN 的预测相较于经典 GNN 的消息传递不够透明；未来可探索针对表格化图特征的归因方法。

总体而言，本文提供了一个有力的概念验证：“图表格化 + 强大的表格基础模型” 可以成为一种实用、低维护的替代方案，尤其在面对异质网络或计算资源受限的场景时。

作者

• Jeongwhan Choi
• Woosung Kang
• Minseo Kim
• Jongwoo Kim
• Noseong Park

论文信息

• arXiv ID: 2512.08798v1
• 分类: cs.LG, cs.AI
• 发布日期: 2025 年 12 月 9 日
• PDF: Download PDF