剖析 AI 文本的人性化流水线：六步消融研究
Source: Dev.to
消融研究：哪些转换步骤真的重要？
“分数看起来不错。但到底什么在起作用？”
在上一篇文章中，我构建了一个管道，使 AI 生成的文本更具人类感，并报告了 Mean Alignment = 0.945 和 Distribution Alignment = 0.864 的基准结果。这些数字看起来很稳健，但它们并没有告诉我们六个转换步骤中到底哪些真正起到了贡献，哪些只是噪声。
我做了什么
我进行了一项 消融（移除）研究：逐一禁用每个步骤，并在 500 条样本 的留出测试集（80 % / 20 % 划分）上重新评估管道。
下面是结果。
结果表
| Disabled Step | Mean Alignment | Distribution Alignment | Mean Drop | Dist. Drop |
|---|---|---|---|---|
| None (Full Pipeline) | 0.945 | 0.864 | — | — |
| 填充词插入 | 0.622 | 0.569 | ‑0.323 | ‑0.296 |
| 长句拆分 | 0.751 | 0.720 | ‑0.194 | ‑0.144 |
| 短句插入（插入语） | 0.763 | 0.742 | ‑0.182 | ‑0.122 |
| 模糊语注入 | 0.808 | 0.740 | ‑0.137 | ‑0.125 |
| 缓冲注入 | 0.851 | 0.779 | ‑0.094 | ‑0.085 |
| 自我纠正注入 | 0.944 | 0.866 | ‑0.001 | +0.001 |
| No Pipeline | 0.003 | 0.000 | ‑0.942 | ‑0.864 |
关键要点：
- 填充词插入导致最大的下降（‑0.323）。
- 长句拆分和短句插入共同导致的下降超过填充词（‑0.376）。
- 自我纠正注入几乎没有影响。
深入探讨意外因素
1️⃣ 填充词插入 – 最大贡献者（‑0.323）
| 指标 | 人类文本 | AI 文本 | Cohen’s d |
|---|---|---|---|
| 填充率（每句） | 0.165 | 0.001 | 1.755（非常大） |
人类经常使用诸如 “Well,”、 “You know,” 或 “Basically,” 等填充词（约每 6 句出现 1 次）。AI 几乎不使用，使得填充率成为最强的单一区分特征。
假阳性陷阱
我最初的实现把所有出现的单词 “like” (\blike\b) 都标记为填充词。这导致把 “I like pizza” 也算进去，使填充率被夸大到 > 0.3，进而错误地得出 人类 过度使用填充词的结论。
修正： 改为基于位置的检测：
# NG: 充斥大量假阳性
FILLER_PATTERNS = [r"\blike\b", r"\bso\b", r"\bwell\b"]
# OK: 仅检测句首 + 逗号的填充用法
FILLER_START_PATTERNS = [r"^(?:well|so|like)\s*,"]
FILLER_ALWAYS = [r"\byou know\b", r"\bi mean\b", r"\bbasically\b"]教训： 在定量 NLP 工作中，必须先消除正则表达式的假阳性，再得出结论。
2️⃣ 自我纠正插入 – 失效（‑0.001）
自我纠正标记（如 “wait, I mean…”， “sorry, what I meant was…”）在人类商务沟通中几乎不存在（0.19 % / 句，权重 = 0.097）。样本仅有 500 条，置信区间很宽（[0.001, 0.004]），导致任何效应都被噪声掩盖。
结果： 该步骤已从最终流水线中移除。
3️⃣ 长句拆分 & 短句插入
| 步骤 | 主要影响 | 机制 |
|---|---|---|
| 长句拆分 | 降低 词数 / 句 | 将平均句长从 18 → 13 个词 |
| 短句插入 | 增加 句长变异系数 | 添加简短插入语（如 “Hmm.”、“Got it.”） |
AI 往往生成长度均匀的长句；人类则在长篇解释中穿插短小的确认语。两者合计贡献 ‑0.376，已超过填充词的贡献。
指标权重（来源于判别力）
| 指标 | Cohen’s d | 权重 |
|---|---|---|
| 填充词率 | 1.755 | 1.88 |
| 词数 / 句子 | 1.356 | 1.45 |
| 句长变异系数 | 1.086 | 1.16 |
| 模糊词率 | 0.818 | 0.87 |
| 缓冲率 | 0.506 | 0.54 |
| 自我纠正率 | 0.091 | 0.10 |
效应量 d > 0.8 表示大效应；因此填充词率、词数/句子和句长变异系数在人工与 AI 区分中占主导地位。
Limitations & Future Work
- Context‑dependence: 当前流水线以固定概率注入填充词和模糊语。实际上，填充词的使用随主题而变化（在随意对话中更多，在技术写作中更少）。这种不匹配导致两个指标未通过 KS 检验。
- Automated vs. Human Evaluation: DPO 基准奖励表面特征匹配（例如，填充词或错别字的出现），但并不保证人类读者感受到文本是人类撰写的。人类评估仍然是必不可少的。
- Sample Size: 仅有 500 条测试样本时，罕见现象（例如，自我纠正）难以可靠评估。
步骤底线排名
| 排名 | 步骤 | 贡献（平均下降） | 要点 |
|---|---|---|---|
| 1 | Filler Insertion | ‑0.323 | 最关键 – 注意误报 |
| 2 | Long Sentence Splitting | ‑0.194 | 将每句词数对齐至人类水平 |
| 3 | Short Sentence Insertion | ‑0.182 | 引入自然的句子长度变化 |
| 4 | Hedge Injection | ‑0.137 | 增加歧义，影响有限 |
| 5 | Cushion Injection | ‑0.094 | 插入礼貌的前缀（“Sure,”, “Of course,”） |
| 6 | Self‑Correction Injection | ‑0.001 | 几乎为零——已从最终设计中移除 |
资源
- 代码与数据：
- 完整研究文章： (链接到下一篇文章)
已清理的 Markdown 结束。
状态： 正式以预印本形式发布
标题： HumanPersonaBase: A Language-Agnostic Framework for Human-Like AI Communication