[Paper] 情感感知的抽取式与抽象式摘要用于非结构化文本挖掘
Source: arXiv - 2512.20404v1
(请提供您希望翻译的具体文本内容,我将为您翻译成简体中文,并保持原有的格式、Markdown 语法以及技术术语不变。)
概述
Junyi Liu 和 Stanley Kok 的论文解决了开发者和数据工程师日益增长的痛点:将嘈杂、充满情感的用户生成内容(tweets、reviews、forum posts)转化为简短、有意义的摘要,同时仍能传达其底层情感。通过将情感信号直接融入抽取式和生成式摘要流水线,作者展示了一种实用的方法,在单一、紧凑的输出中呈现“what people are saying”和“how they feel”——这是传统面向新闻的摘要器常常遗漏的。
关键贡献
- 情感感知的抽取式排序: 在经典的 TextRank 算法基础上加入情感加权边,使得包含强烈情感线索的句子在排序中更靠前。
- 情感注入的抽象式生成: 修改 UniLM(统一语言模型)解码器,使其能够基于情感嵌入进行条件化,从而生成明确体现积极、消极或混合语调的摘要。
- 双管线框架: 提供即插即用的架构,可根据延迟或资源限制在抽取式、抽象式或混合模式之间切换。
- 在真实用户生成内容(UGC)数据集上的全面评估: 在 ROUGE‑L、情感保留指标以及人工偏好评分上均表现出相对于基线摘要模型的持续提升。
- 开源实现与可复现套件: 提供代码、预训练模型以及小型基准套件,社区可直接使用并实验情感感知的摘要技术。
方法论
-
数据准备 – 作者收集了三个公开的短文本非正式语料库(Twitter 情感数据集、Amazon 产品评论和 Reddit 讨论串)。每篇文档都配有人类撰写的摘要和情感标签(积极、消极、中性)。
-
情感增强的 TextRank – 标准 TextRank 构建一个图,节点为句子,边权反映词汇相似度。Liu & Kok 注入了 情感相似度 项:
[ w_{ij}= \alpha \cdot \text{cosine}(s_i, s_j) + (1-\alpha) \cdot \text{sent_sim}(s_i, s_j) ]
其中
sent_sim在两句子具有相同情感极性时取值较高。得到的得分会优先考虑情感突出的句子。 -
带情感条件的 UniLM – 预训练的 UniLM 编码‑解码器在相同数据集上进行微调,但解码器会额外接收一个情感嵌入(由简单情感分类器学习),该嵌入与每个 token 的隐藏状态拼接。这样可引导生成过程体现源文本的整体情感。
-
混合融合(可选) – 为了兼顾两者优势,将 top‑k 抽取的句子作为“伪源”输入到抽象式解码器,使模型能够将富含情感的抽取内容改写为更流畅的叙述。
-
评估 – 使用标准的 ROUGE‑1/2/L 分数衡量内容重叠,同时通过 情感保留分数(SPS)检查摘要的极性是否与源文本匹配(使用独立的情感分类器)。人工评审还会对可读性、信息量和情感忠实度进行打分。
结果与发现
| Model | ROUGE‑L ↑ | SPS ↑ | Human Preference (%) |
|---|---|---|---|
| Vanilla TextRank | 31.2 | 71.4 | 38 |
| Vanilla UniLM (abstractive) | 34.8 | 73.1 | 42 |
| Sentiment‑aware TextRank | 36.5 | 81.9 | 55 |
| Sentiment‑aware UniLM | 38.2 | 84.6 | 62 |
| Hybrid (extractive + abstractive) | 39.1 | 86.3 | 68 |
- 添加情感加权使 ROUGE 分数提升了 约 5–6 分,并使情感保留率比基线提高了 约 10–13 %。
- 人类评估者在 超过三分之二 的案例中更偏好情感感知的输出,理由是情感基调更清晰且与原始帖子更相关。
- 混合方法在整体性能上最高,同时仍在可接受的批处理延迟范围内运行(单个 GPU 上约 0.8 秒处理 200 词文档)。
实际影响
- 品牌与声誉监测: 公司可以自动生成每日社交讨论摘要,不仅概括关键话题,还能标记上升的负面情绪,从而实现更快速的公关响应。
- 客户支持自动化: 聊天机器人流水线能够提取简明的情感感知摘要,展示工单历史,帮助客服优先处理愤怒或沮丧的用户。
- 市场研究仪表盘: 分析师可以摄取产品评论流,并收到带有情感标签的简短简报,显著减少手动阅读时间。
- 内容审核: 审核员能够快速获取帖子情感快照,辅助决定是否升级或删除内容。
- 低资源部署: 由于抽取组件轻量,开发者可以在边缘设备或无服务器函数中运行情感感知摘要,实现实时警报。
限制与未来工作
- 领域敏感性: 情感分类器仅在英文、主要以西方为中心的数据上进行训练;在多语言或文化细微差别的文本上性能可能下降。
- 短文本偏差: 虽然对 ≤ 300 字的输入有效,但在篇幅更长、话语结构更复杂的文章上,框架的收益递减。
- 细粒度情感: 目前的极性(积极/消极/中性)忽略了更细微的情感(例如讽刺、失望)。作者建议将情感信号扩展到多维情感空间。
- 实时约束: 抽象式 UniLM 解码器仍是高吞吐流式场景的瓶颈;未来工作可以探索蒸馏或量化模型以降低延迟。
总体而言,Liu 和 Kok 的情感感知摘要流水线弥合了原始用户生成内容与可操作商业情报之间的关键鸿沟,为希望在文本分析体系中加入情感感知的开发者提供了可直接集成的工具集。
作者
- Junyi Liu
- Stanley Kok
论文信息
- arXiv ID: 2512.20404v1
- 类别: cs.CL
- 发表时间: December 23, 2025
- PDF: Download PDF