【论文】Fabricator 或 dynamic translator？

Source: arXiv - 2604.15165v1

概述

论文 Fabricator or dynamic translator? 探讨了大型语言模型（LLM）在用于机器翻译时为何有时会出现“过度生成”。与主要产生乱码输出（神经胡言）的传统神经机器翻译（NMT）系统不同，LLM 可能会添加解释、捏造事实，甚至以人类译者可能的方式丰富翻译。理解并对这些行为进行分类，对于在实际产品中部署基于 LLM 的翻译器至关重要。

关键贡献

• LLM 过度生成的分类法 – 定义了三种不同现象：
  1. 自我解释 – 模型添加它自己编造的注释或上下文。
  2. 风险性捏造 – 可能在事实层面错误的虚构内容。
  3. 适当解释 – 有用的、类似人类的澄清，有助于理解。
• 检测流水线 – 提出一种轻量级、多阶段策略（基于提示的探测 + 分类器），自动标记每种过度生成类型。
• 商业级评估 – 在生产规模的翻译服务上运行该流水线，报告每类的精确率/召回率。
• 缓解指南 – 提供实用规则（提示工程、后编辑过滤器），在抑制有害幻觉的同时保留有益解释。

方法论

1. 数据收集 – 作者从使用最先进大型语言模型（LLM）的实时翻译 API 中抽取了 10 k 条句子对。人工标注员将每个输出标记为“干净翻译”“自我解释”“虚构”或“有用解释”。
2. 基于提示的探测 – 他们设计了一组诊断性提示（例如“你是否添加了源文本中不存在的信息？”），让 LLM 对自己的输出进行回答。这些回答被用于一个简单的二分类器。
3. 特征丰富的分类器 – 将探测答案与表面特征（长度比、括号子句的出现、词汇新颖性）相结合，训练一个轻量级的梯度提升树模型，以预测过度生成类别。
4. 迭代细化 – 对误报进行检查，调整提示（例如更严格的温度设置、使用“无解释”系统消息），并重新训练模型。

该流水线刻意保持低开销，能够与翻译服务并行运行而不产生明显的延迟。

结果与发现

• Self‑explanations 是最常见的（≈22 % 的输出），通常是良性的，但它们可能会增加翻译长度并影响下游 UI 布局。
• Risky confabulations 出现在约 5 % 的情况中；它们常涉及虚构的命名实体或日期，构成真实的错误信息风险。
• Appropriate explanations 出现在约 9 % 的输出中，并且在 A/B 测试中与更高的用户满意度分数正相关。

应用缓解规则（降低温度、明确的 “仅翻译” 提示）将 Risky confabulations 减少了 38 %，同时保留了 85 % 的有用解释。

实际影响

• 产品团队 可以集成检测流水线，在向终端用户展示翻译之前自动标记或剔除有害的幻觉内容。
• 提示工程师 获得具体的模式（例如 “仅在需要时解释”），在忠实度和有用性之间取得平衡，降低昂贵的人类后期编辑需求。
• 用户体验设计师 可以决定是否将适当的解释以工具提示或行内注释的形式呈现，将潜在的“错误”转化为提升非母语使用者理解的功能。
• 合规与安全 —— 分类器提供审计追踪，适用于对虚假内容不可接受的监管环境（例如医学或法律翻译）。

限制与未来工作

• 该研究聚焦于单一商业大型语言模型和特定语言对；跨语言的泛化仍未得到检验。
• 探测提示依赖模型的自我意识，对于极低资源语言可能不可靠。
• 未来研究方向包括：将分类法扩展至多模态输入，训练专用的“幻觉感知”翻译模型，以及探索基于强化学习的微调，以抑制风险性捏造并鼓励有益解释。

作者

• Lisa Vasileva
• Karin Sim

论文信息

• arXiv ID: 2604.15165v1
• 分类: cs.CL
• 发布日期: 2026年4月16日
• PDF: 下载 PDF