[Paper] 可解释的文体变异在人类和 LLM 写作中的跨体裁、模型和解码策略

Source: arXiv - 2604.14111v1

概览

论文 Interpretable Stylistic Variation in Human and LLM Writing Across Genres, Models, and Decoding Strategies 探讨了文本的“声音”在由人类还是大型语言模型（LLM）撰写时如何变化。通过将经典语言学特征集应用于数百万句子，作者展示了哪些风格线索在不同模型、体裁、提示和解码方法中得以保留（或消失）——这些洞见对任何构建或防御基于 LLM 的产品的人都直接有用。

关键贡献

• 大规模风格审计： 分析了超过 11 种大型语言模型（包括聊天变体），覆盖 8 种体裁（如新闻、小说、学术）和 4 种解码策略。
• 特征层面的可解释性： 使用 Douglas Biber 的词法‑句法和功能特征分类法（约 100 个语言标记）来量化风格，而非黑箱嵌入。
• 稳健的区分特征： 识别出少数语言特征（例如名词密度、从句复杂度、话语标记），能够始终区分人类文本与机器文本，且不受提示技巧的影响。
• 体裁主导风格： 证明体裁对特征分布的影响比来源（人类 vs. LLM）更强。
• 模型中心的聚类： 发现面向聊天的模型（例如 ChatGPT、Claude）在风格空间中形成紧密聚类，而较早的“补全”模型则更为分散。
• 解码影响层级： 展示模型选择比解码策略（温度、top‑p、核采样）更为重要，尽管某些策略可以放大或削弱特定的风格线索。

方法论

1. 数据收集 – 作者收集了八种明确定义的体裁（新闻、社论、学术、小说等）的人工撰写语料库，并使用 11 种公开可用的 LLM 生成平行文本。对每个模型，他们应用了四种解码设置：贪婪、温度 0.7、top‑p 0.9 和 typical‑sampling。
2. 特征提取 – 使用 Biber 1991 框架，他们计算了约 100 项词汇、语法和话语层面的特征（例如名词短语密度、动词时态多样性、连接词使用）。该方法产生可解释的数值，而非不透明的向量嵌入。
3. 统计分析 – 将特征向量归一化后，用 PCA 和 t‑SNE 可视化以检查聚类。ANOVA 和混合效应模型量化了 来源（人工 vs. LLM）、体裁、模型 和 解码 对风格方差的相对贡献。
4. 稳健性检查 – 进行提示工程实验（例如 “write like a human”）和少量示例续写，以测试 LLM 是否能够有意模仿人类风格。

结果与发现

简而言之，文体更多地受 你让模型写什么（体裁）和 你使用哪个模型 的驱动，而不是 你如何采样文本 的方式。

Practical Implications

• Content moderation & detection: Security teams can focus on a small set of robust linguistic markers (e.g., connective frequency) to flag synthetic text, even when adversaries tweak prompts or sampling.
• Prompt engineering: Knowing that genre dominates style, developers can steer LLMs by explicitly setting the genre context (e.g., “Write a news article about X”) rather than fiddling with temperature.
• Model selection for tone‑sensitive applications: If a product requires a “human‑like” discourse flow (e.g., tutoring bots), choosing a chat‑optimized model is more effective than trying to tune decoding parameters.
• Fine‑tuning & style transfer: The identified feature set can serve as a loss function for style‑controlled fine‑tuning, enabling developers to push a model toward a target genre’s stylistic fingerprint.
• Compliance & academic integrity tools: Institutions can integrate lightweight Biber‑feature extractors into plagiarism‑check pipelines to detect AI‑generated essays without heavy neural classifiers.

限制与未来工作

• 特征集覆盖度: Biber 的分类法虽然全面，但是为英文散文设计的；它可能遗漏代码、多语言或高度非正式领域（例如社交媒体表情包）中的特定体裁线索。
• 模型多样性: 本研究聚焦于 11 个公开发布的模型；新兴的开源大语言模型采用不同的训练方案，可能呈现出新的风格模式。
• 动态提示: 仅评估了静态提示；交互式、多轮提示可能使模型更灵活地调整风格。
• 真实世界噪声: 人类语料库经过筛选，较为干净；噪声较大的用户生成内容可能模糊体裁与风格之间的关系。

未来的研究方向包括将特征分析扩展到多语言语料库，探索能够有意改变风格维度的自适应提示策略，并将这些可解释的标记集成到实时检测 API 中。

作者

• Swati Rallapalli
• Shannon Gallagher
• Ronald Yurko
• Tyler Brooks
• Chuck Loughin
• Michele Sezgin
• Violet Turri

论文信息

• arXiv ID: 2604.14111v1
• 类别: cs.CL
• 出版日期: 2026年4月15日
• PDF: 下载 PDF