[论文] 使用大型语言模型和说服策略检测获胜论点

Source: arXiv - 2601.10660v1

请提供您希望翻译的具体文本内容，我将为您翻译成简体中文并保留原有的格式。

Overview

本文探讨了如何通过显式推理六种经典说服策略（例如攻击声誉、转移注意、操纵性措辞），来教会大型语言模型（LLM）识别“获胜”论点。通过将这些策略嵌入提示过程，作者在包括流行的 Change My View 子版块语料库在内的三个真实世界数据集上，实现了对论点说服力更准确且可解释的预测。

关键贡献

• 策略引导提示：提出了多策略说服评分（MSPS）框架，引导大型语言模型通过六种预定义的说服策略来评估论点。
• 跨数据集验证：在三个多样的公开论证语料库（Winning Arguments、Anthropic/Persuasion、Persuasion for Good）上展示了该方法，显示出相较于基线 LLM 提示的一致提升。
• 带主题标注的 Winning Arguments：发布了新版的 Change My View 数据集，加入了高层次的讨论主题，便于更细粒度地分析策略效果。
• 可解释性提升：证明策略层面的评分能够提供论点为何被视为有说服力的透明理由，促进调试与信任。
• 鲁棒性洞察：实证发现，策略感知的提示能够降低不同主题间的性能方差，并减轻对表层词汇线索的过度依赖。

方法论

1. 说服策略分类 – 作者采用六种经过充分研究的策略（Attack on Reputation、Distraction、Manipulative Wording 等），来源于修辞理论。
2. 提示工程 – 对每个论点，LLM 接收结构化提示，要求它 (a) 识别每种策略的证据，(b) 为每种策略分配置信度分数（0–1），以及 (c) 将这些分数聚合为整体说服力预测。
3. 模型骨干 – 实验使用 GPT‑3.5‑turbo 和 Claude‑2 作为底层 LLM，通过 API 调用，温度设为 0 以获得确定性输出。
4. 无训练微调 – 不进行基于梯度的微调；该方法纯粹依赖提示设计和少量示例来展示每种策略。
5. 评估 – 使用标准分类指标（准确率、F1）将 MSPS 方法与普通 LLM 基线（单一提示“此论点是否具有说服力？”）以及在相同数据上训练的监督 BERT‑style 分类器进行比较。
6. 主题分析 – 将丰富的 Winning Arguments 数据集按讨论主题（如政治、技术、健康）划分，以评估特定领域中是否有某些策略占主导。

结果与发现

• 策略分数重要：在去除一种或多种策略的消融实验中，准确率下降了 3–5 %，证实每个策略都提供了有用的信号。
• 主题鲁棒性：不同主题间的准确率差异从基线的 ±6 % 缩小到 MSPS 的 ±3 %，表明模型受主题特定词汇的影响更小。
• 可解释性：人工评估者在 84 % 的案例中将策略层面的解释评为“清晰”，而普通 LLM 输出仅为 57 %。

实际意义

• 内容审核与事实核查：平台可以通过对帖子进行六种策略的评分来标记潜在的操纵性内容，从而实现比单纯的有害性过滤器更细致的政策执行。
• 自动化辩论助理：开发用于公共演讲或谈判的 AI 教练的开发者可以展示草稿论证中最强的说服策略，并提供有针对性的改进建议。
• 营销与文案工具：具备策略感知的评分可以帮助营销人员审查广告文案中是否存在过于激进或欺骗性的手法，以符合监管要求（例如 FTC 指南）。
• 教育技术：MOOC 或写作平台中的论证分析模块可以为学生提供关于其使用的修辞手法的透明反馈，促进批判性思维。
• 数据集丰富：已发布的带主题标注的 Winning Arguments 数据集可以作为面向领域感知说服检测的未来研究基准，促进可重复性和社区贡献。

限制与未来工作

• 提示敏感性：结果依赖于精心的提示措辞和少量示例；细微的变化可能影响分数，表明需要更稳健的提示流水线。
• 策略覆盖度：虽然六策略分类法基于文献，但可能遗漏在特定领域出现的细微策略（例如情感诉求）。
• 大语言模型偏见：由于该方法依赖专有的大语言模型，任何固有偏见（如文化或政治）都可能影响策略检测，需要进行偏见审计。
• 可扩展性：对每个论点进行多步提示会导致更高的 API 成本和延迟；未来工作可以探索能够内部化策略推理的蒸馏模型。
• 跨语言扩展：所有实验仅限英文；将框架扩展到多语言环境将提升其在全球平台上的适用性。

作者

• Tiziano Labruna
• Arkadiusz Modzelewski
• Giorgio Satta
• Giovanni Da San Martino

论文信息

• arXiv ID: 2601.10660v1
• 分类: cs.CL
• 出版日期: 2026年1月15日
• PDF: 下载 PDF