[Paper] 当大型语言模型失效时：通过图神经网络进行在线不文明行为预测

Source: arXiv - 2512.07684v1

Overview

不文明行为——从有毒语言到人身攻击——持续侵蚀在线社区的健康。虽然大型语言模型（LLM）主导了大多数文本分类流水线，但它们往往忽视了塑造敌意言论传播的关系上下文。本文展示了一种图神经网络（GNN）方法，将每条评论视为通过文本相似性相连的节点，能够在检测英语维基百科上的毒性、侵略性和人身攻击方面超越 12 种领先的 LLM，并且推理成本仅为其一小部分。

Key Contributions

• 以图为中心的表示： 将每条评论建模为图节点，并基于语义相似性连接节点，捕获纯文本模型无法感知的对话结构。
• 动态注意力融合： 引入可学习的注意力机制，在信息传递过程中自动平衡节点级（文本）特征与拓扑（图）线索。
• 全面基准测试： 在三个不文明行为类别上，将 GNN 与 12 种最先进的 LLM（如 GPT‑4、PaLM、LLaMA）进行比较，报告了在精确率、召回率和 F1 上的一致提升。
• 效率优势： 与表现最佳的 LLM 基线相比，推理时 延迟降低约 6 倍、GPU 内存占用降低约 4 倍。
• 开放资源： 发布构建的评论相似度图、训练脚本和完整预测日志，以促进可复现性和下游工具的开发。

Methodology

1. 数据预处理 – 对英语维基百科讨论页的评论进行毒性、侵略性和人身攻击标注。
2. 图构建 – 每条评论成为一个节点。使用句子嵌入（如 SBERT）的余弦相似度计算成对相似度，阈值过滤弱链接，得到稀疏且可扩展的图。
3. 节点编码 – 轻量级 Transformer 编码器（≈ 12 M 参数）将原始文本转换为固定维度向量。
4. 信息传递 – 多层 GNN（GraphSAGE 风格）聚合邻居信息。在每一层，动态注意力模块 计算两个分数：一个对应节点自身的嵌入，另一个对应聚合后的邻居嵌入，然后将二者融合。
5. 分类头 – 最终节点表示送入三个 Sigmoid 输出（分别对应一种不文明行为）。模型使用加权二元交叉熵损失进行训练，以处理类别不平衡。

该流水线端到端可微分，同时保持模块化：开发者可以在不重新设计系统的前提下替换文本编码器或图聚合方案。

Results & Findings

• GNN 将宏观平均 F1 提升了 约 9–12 分，超过最强 LLM 基线。
• 消融实验表明，去除图边会导致性能下降约 5 F1 点，验证了关系上下文的价值。
• 动态注意力模块相较于静态平均方案提升约 2 F1 点，说明模型能够针对每条评论自适应地加权文本与结构信息。
• 推理时的内存占用保持在单张 RTX 3080 的 2 GB 以下，而 LLM 则超过 8 GB。

Practical Implications

• 审核工具： 平台可以将 GNN 嵌入为轻量级微服务，实时标记潜在不文明评论，降低对昂贵 LLM API 的依赖。
• 可扩展流水线： 由于图可以增量更新（新评论作为节点加入，局部重新计算边），系统能够在高流量论坛中无需重建整个模型即可扩展。
• 可解释性： 边权重揭示了哪些历史评论影响了预测，为审核员提供了纯 LLM 分数所缺乏的可追溯“理由”。
• 成本节约： 延迟和 GPU 使用降低至原来的 1/6，组织可以在保持更高检测质量的同时显著削减云端推理费用。
• 跨域适应性： 同样的以图为中心的方案可用于其他行为信号——垃圾信息、错误信息或仇恨言论——只需重新定义边的准则（例如用户交互图、时间邻近性）。

Limitations & Future Work

• 图构建开销： 对大规模流数据计算成对嵌入可能成为瓶颈；作者建议使用近似最近邻索引作为后续改进。
• 语言范围： 实验仅限于英语维基百科；多语言扩展需要语言无关的相似度度量。
• 边定义的刚性： 仅使用文本相似性可能遗漏其他关系线索（如回复结构、用户声誉）。未来工作可将异构边类型融合进更丰富的异构图。
• 对抗攻击的鲁棒性： 论文指出，刻意模仿良性语言的恶意评论可能规避基于相似性的边；提出通过对抗训练进行缓解。

Authors

• Zihan Chen
• Lanyu Yu

Paper Information

• arXiv ID: 2512.07684v1
• Categories: cs.CL, cs.AI, cs.SI
• Published: December 8, 2025
• PDF: Download PDF