[Paper] 内部视角：揭示评论内化如何引导 LLMs 向好或坏

Source: arXiv - 2512.16790v1

概览

论文 Inside Out: Uncovering How Comment Internalization Steers LLMs for Better or Worse 研究了为什么大型语言模型（LLMs）在解决软件工程任务时常常“依赖”源代码注释。通过探查 LLM 的隐藏表征，作者展示了注释被存储为独立的潜在概念——而切换这些概念可以显著提升或削弱模型在代码补全、翻译和优化等任务上的表现。

关键贡献

• 首次针对 SE‑聚焦的大语言模型进行概念层面的可解释性分析，使用在计算机视觉中流行的相同方法（Concept Activation Vectors，CAV）。
• 发现大语言模型将注释编码为独立的潜在概念，并进一步区分注释子类型（Javadoc、行内、多行）。
• 受控的激活/去激活实验表明，当对注释概念进行操作时，任务特定的性能波动范围从 ‑90 % 的下降 到 +67 % 的提升。
• 在 10 项 SE 任务上进行的全面测量显示，代码摘要触发最强的注释概念激活，而 代码补全 的敏感度最低。
• 一条实用路线图，用于构建下一代 SE 工具，这些工具可以显式查询、编辑或抑制内部概念，而不只是依赖提示工程。

方法论

1. Data & Tasks – 作者收集了一个平衡的 Java 代码片段语料库，并对其进行三种注释风格（Javadoc、行内、 多行）的标注。他们评估了三项典型的软件工程任务：

   • Code Completion（预测下一个 token）
   • Code Translation（例如 Java → Python）
   • Code Refinement（错误修复或风格改进）

2. Concept Activation Vectors (CAV) – 对于每种注释子类型，作者在模型的中间嵌入上训练线性分类器，以生成指向“注释性”方向的 CAV。

3. Concept Manipulation – 使用 CAV，作者执行了两种操作：

   • Activation – 将 CAV 的缩放版本加到嵌入上，实际上是“注入”注释知识。
   • Deactivation – 从嵌入中减去 CAV，尝试消除注释信号。

4. Evaluation Loop – 每次操作后，模型会为上述三项任务生成输出，并记录标准的软件工程指标（BLEU、Exact Match、Pass@k 等）。

5. Cross‑Task Survey – 在另一项实验中，提示同一 LLM 执行十种不同的软件工程任务，同时测量其潜在空间中注释概念激活的幅度，从而进行比较性的敏感性分析。

所有步骤均可通过公开发布的代码和模型检查点完全复现。

结果与发现

• Subtype matters: Javadoc activation helped translation the most, while inline comments were most beneficial for refinement. → 子类型重要：Javadoc 激活对翻译帮助最大，而内联注释对细化最有益。
• Task sensitivity ranking (strongest to weakest comment‑concept activation): → 任务敏感度排名（从最强到最弱的注释概念激活）：
  1. Code Summarization → 代码摘要
  2. Code Translation → 代码翻译
  3. Code Refinement → 代码细化
  4. Code Generation (e.g., scaffolding) → 代码生成（例如，脚手架）
  5. Code Completion → 代码补全

These numbers demonstrate that the hidden “comment” neuron clusters are not just artifacts; they are functional levers that can be pulled to improve downstream SE performance. → 这些数据表明，隐藏的“注释”神经元簇不仅仅是副产物；它们是可以被利用的功能杠杆，以提升下游软件工程性能。

实际意义

• Prompt‑aware tooling – IDE 插件可以自动检测用户的请求是否与高注释激活任务（例如摘要）相匹配，并在前面添加一个简短的合成注释以引导模型。
• Model‑level fine‑tuning – 开发者无需重新训练整个大语言模型，只需微调注释概念向量，即可在极少的计算资源下获得显著提升。
• Safety & robustness – 通过停用注释概念，可以减轻“幻觉”文档或泄露隐私的注释对代码生成的意外影响，从而提升安全性和鲁棒性。
• Custom SE assistants – 企业可以嵌入轻量级的“概念控制器”，在每次 API 调用时切换注释感知，以适配特定工作流（例如，文档机器人使用大量注释，低延迟自动补全则最少使用）。
• Explainability for developers – 通过可视化注释概念的激活强度，开发者能够直观了解模型为何建议特定的重构，从而提升信任并简化调试。

限制与未来工作

• 模型范围 – 实验仅限于少数开源大型语言模型（≈2‑3 B 参数）。更大的商业模型可能呈现不同的概念结构。
• 语言焦点 – 本研究仅考察了 Java；其他具有不同注释约定的语言（如 Python 文档字符串、Rust 注释）需要单独分析。
• 静态操作 – 激活/停用是在冻结的嵌入上事后执行的；将概念控制直接集成到生成循环中可能产生更平滑、更自然的输出。
• 缺少用户研究 – 虽然技术收益显而易见，论文并未评估开发者在真实 IDE 环境中对概念控制建议的感知或受益情况。

未来的研究方向包括将 CAV 分析扩展到其他软件工程概念（例如类型提示、测试用例），构建端到端的“概念感知” LLM API，以及开展纵向用户研究以量化生产力影响。

作者

• Aaron Imani
• Mohammad Moshirpour
• Iftekhar Ahmed

论文信息

• arXiv ID: 2512.16790v1
• 类别: cs.SE
• 发布日期: 2025年12月18日
• PDF: 下载 PDF