[Paper] 迈向 LLM 个性化的有效模型编辑

Source: arXiv - 2512.13676v1

概览

个性化正快速成为与真实用户交互的大型语言模型（LLM）的必备功能。论文 Towards Effective Model Editing for LLM Personalization 将个性化重新定义为 model‑editing 问题：它不是进行昂贵的全模型微调，而是进行微小、针对性的编辑，使模型符合用户偏好，同时保持其通用能力。作者还发布了一个新基准 User Preference Question Answering (UPQA)，用于测试模型是否能够在现实的简短回答查询中回忆并应用特定的用户偏好。

关键贡献

• 个性化编辑框架 – 一种轻量级、基于编辑的方法，通过聚类的偏好表示引导的局部权重更新注入用户特定知识。
• UPQA 数据集 – 一个基于真实用户查询构建的简答问答基准，覆盖从易到难的偏好回忆场景以及多轮交互。
• 全面评估 – 表明个性化编辑在速度和内存上优于传统微调，并在多轮和隐式偏好任务上超越基于提示的基线。
• 失败模式分析 – 强调现有人格对话基准忽视了个性化的信息检索方面，推动了新数据集的提出。

方法论

1. Preference Representation – 对于每位用户，系统收集一小组偏好陈述（例如，“我更喜欢暗色模式”，“我最喜欢的菜系是泰国菜”）。这些陈述被嵌入并聚类，以捕捉不同的偏好维度。

2. Localized Model Editing – 使用类似“模型外科手术”的技术，作者识别出对聚类后的偏好向量最敏感的一小部分模型参数。随后他们应用低秩更新（例如 LoRA 风格的适配器），在不触及网络其余部分的情况下，将模型行为微调至符合用户偏好。

3. Edit Validation – 每次编辑后，使用轻量级验证集检查模型仍能正确回答通用查询，以防止灾难性遗忘。

4. Benchmark Construction (UPQA) – 收集真实用户查询，标注正确的简短答案，并按难度进行标签（显式 vs. 隐式偏好，单轮 vs. 多轮）。

整个流水线在单个 GPU 上只需几分钟即可完成，而完整微调则需要数小时。

结果与发现

• 更高的编辑准确率：基于编辑的方法能够可靠地注入精确的用户偏好。
• 速度更快且更轻量：仅触及极少量的参数，显著降低内存占用和时间消耗。
• 更好的多轮表现：由于编辑是持久的，模型能够在多轮对话中保持个性化上下文，而提示方式往往会出现漂移。

实际意义

• 快速上手 – SaaS 平台可以在几秒钟内为新用户的 LLM 助手进行个性化，无需专门的微调流水线。
• 边缘部署 – 由于编辑是低秩的，它们可以作为小补丁（几 MB）发送到存储空间有限的设备。
• 安全与合规 – 本地化的编辑更易审计；你可以验证仅更改了预期的偏好参数，从而降低隐藏回归的风险。
• 动态更新 – 当用户偏好发生变化（例如，新喜欢的运动），系统可以应用增量编辑，而无需从头重新训练。
• 更好的 QA 助手 – UPQA 基准为产品团队提供了一种具体的方法来衡量其 LLM 是否真正“记住”用户特定的事实，这一步超越了单纯的风格模仿。

限制与未来工作

• 偏好范围 – 当前方法假设偏好集合适度且定义明确；处理大规模、噪声较多的偏好历史仍是未解之题。
• 编辑粒度 – 虽然低秩更新效率高，但面对需要更深层模型修改的高度复杂或相互矛盾的偏好时可能力不从心。
• 评估广度 – UPQA 侧重于简答问答；将其扩展到更丰富的任务（代码生成、推荐等）可以检验基于编辑的个性化的极限。
• 长期稳定性 – 论文指出在多次连续编辑后会出现轻微漂移；未来工作可以探索正则化策略，以在大量用户更新下保持基础模型知识的稳定。

结论：通过将个性化视为有针对性的模型编辑问题，作者提供了一种快速、内存高效的方式，使大语言模型真正具备用户感知——为可扩展的本地化、持续适应的 AI 助手打开了大门。

作者

• Baixiang Huang
• Limeng Cui
• Jiapeng Liu
• Haoran Wang
• Jiawei Xu
• Zhuiyue Tan
• Yutong Chen
• Chen Luo
• Yi Liu
• Kai Shu

论文信息

• arXiv ID: 2512.13676v1
• 分类: cs.CL
• 出版日期: 2025年12月15日
• PDF: 下载 PDF