[Paper] 文本风格迁移：参数高效的 LLM 微调与往返翻译

Source: arXiv - 2602.15013v1

（请提供您希望翻译的具体文本内容，我将按照要求保留源链接并保持原始格式进行简体中文翻译。）

Overview

本文提出了一种对 文本风格迁移 (Text Style Transfer, TST) 的新方法，通过对大语言模型 (LLMs) 进行 参数高效 的微调，并利用 往返翻译 生成合成平行数据。该方法先将单语文本转化为“中性”版本，再对其重新赋予目标风格，从而在质量上超越仅使用提示的基线模型——这使得该技术在风格特定语料稀缺的真实场景中具有很大吸引力。

关键贡献

• Parameter‑efficient LLM finetuning 用于 TST，避免了完整模型重新训练的成本。
• Round‑trip translation pipeline 从单语数据中创建伪平行的 “中性 ↔ 风格化” 句对。
• Unified neutral style 在训练和推理阶段均使用，简化模型的学习目标。
• Retrieval‑augmented generation (RAG) 集成，以在风格转换过程中保留领域特定术语和专有名词。
• Comprehensive evaluation 覆盖四个领域，展示了相较于 zero‑shot 提示和 few‑shot in‑context learning (ICL) 在 BLEU 和风格准确率上的持续提升。

方法论

1. 数据中和 – 将单语语料库中的每个句子翻译成枢纽语言（例如，英语 → 德语），然后再翻译回来。回译倾向于去除风格标记，同时保留内容，从而产生原始文本的“中性”版本。
2. 合成平行创建 – 原始（有风格）句子及其中性对应形成伪平行对（中性 ↔ 有风格）。对大量句子重复此过程即可构建一个规模可观的训练集，而无需任何人工标注的风格对。
3. 参数高效微调 – 作者不是更新所有模型权重，而是使用 adapters / LoRA‑style 模块，在冻结的 LLM 上添加一个小的可训练矩阵。这大幅降低 GPU 内存占用和训练时间。
4. 训练目标 – 模型学习将中性输入映射到目标风格（例如，正式 → 非正式），使用标准的 seq2seq 损失。由于中性形式在所有风格之间共享，同一微调的主干模型可以复用于多个风格目标。
5. 检索增强生成 (RAG) – 推理时，会查询一个轻量级的领域特定术语索引（例如，产品名称、技术术语）。检索到的片段被注入解码器上下文，帮助模型在保持关键术语不变的同时应用所需的风格。

结果与发现

• 参数高效微调模型 在平均上比零样本提示和少样本 ICL 提高了 6–8 BLEU 分。
• 风格准确率（输出被正确分类为目标风格的比例）提升了 10–13 %，证明模型不仅仅是复制内容，而是真正改变了风格。
• 添加 RAG 将术语保留率从约 78 % 提升至 >92 %，表明检索组件有效减轻了名称和领域特定词汇的幻觉。

Practical Implications

• 快速部署具备风格感知的助手 – 企业可以在不收集昂贵平行语料的情况下，将单一 LLM 适配为多种品牌语调（正式、友好、技术性）。
• 本地化流水线 – 通过中和源文本，同一模型可复用于不同目标语言或方言，降低每种语言的工程工作量。
• 内容审核与改写工具 – 需要改写用户生成内容（例如去除粗俗语言或强制企业语调）的平台，可利用中性风格的骨干实现一致且低延迟的转换。
• 保留关键术语 – RAG 扩展使该方法在受监管行业（法律、医疗、金融）中安全可靠，因为术语误译可能导致严重后果。
• 成本效益的扩展 – 由于仅训练一个小型适配器，该方法可在单个 GPU 上运行，使小团队或初创公司在无需庞大基础设施的情况下微调大型语言模型。

限制与未来工作

• 中性化质量 取决于枢轴语言和翻译系统；糟糕的回译可能引入噪声，损害风格学习。
• 该方法假设风格可以通过翻译大幅剥离，但对于高度惯用或文化绑定的风格可能不适用。
• 检索增强生成目前依赖静态术语索引；在动态或领域漂移的情境下可能需要更复杂的知识库更新。
• 未来的研究方向包括探索多语言枢轴、自适应检索机制，以及将该方法扩展到多模态风格迁移（例如代码风格或 UI 文本）。

作者

• Ruoxi Liu
• Philipp Koehn

论文信息

• arXiv ID: 2602.15013v1
• 分类: cs.CL
• 发表时间: 2026年2月16日
• PDF: 下载 PDF