[Paper] PersonalAlign：层次化隐式意图对齐用于个性化 GUI 代理的长期用户中心记录

发布: 1天前 (2026年1月15日 GMT+8 01:12)

7 min read

原文: arXiv

Source: arXiv - 2601.09636v1

概述

本文介绍了 PersonalAlign，一种新的 GUI 代理范式，需要通过利用长期、针对特定用户的交互历史来理解隐式的用户意图。通过构建层次化的偏好和例行操作记忆，所提出的系统能够在模糊指令中填补缺失细节，甚至在用户提出请求之前预测其操作，使 GUI 助手更接近真正个性化、主动的帮助者。

PersonalAlign 任务定义 – 将使用持久、长期记录对齐 GUI 代理与隐含用户意图的挑战形式化。
AndroidIntent 基准 – 一个大规模数据集（20 k 条交互日志，775 条标注偏好，215 条例程），用于评估模糊指令解析和主动协助。
层次意图记忆代理 (HIM‑Agent) – 一种新颖架构，持续更新个人记忆，并将偏好/例程层次化组织，以实现高效检索。
全面评估 – 在 AndroidIntent 上比较最先进模型（GPT‑5、Qwen‑3‑VL、UI‑TARS），结果显示 HIM‑Agent 将执行准确率提升 15.7 %，将主动建议质量提升 7.3 %。

数据收集与标注 – 作者从多个用户处挖掘了 20 k 条 Android UI 交互日志。人工标注员标记了重复出现的用户特定偏好（例如 “始终在 Chrome 中打开链接”）和例行序列（例如 “早间新闻 → 邮件 → 日历”）。
任务制定 – 每个测试情节提供一个模糊指令（例如 “检查我的消息”）以及用户的长期记录。智能体必须 (a) 推断缺失的意图，(b) 执行正确的 UI 操作，且 (c) 可选地提出主动的后续步骤建议。
HIM‑Agent 架构
- Personal Memory Buffer：持续刷新、存储用户过去 UI 事件的缓存。
- Hierarchical Intent Graph：顶层节点捕获高层次偏好（例如 “默认浏览器”），下层节点编码例行链路。
- Retrieval & Reasoning Module：在给定新指令时，智能体查询图结构，使用轻量级 Transformer 对候选意图进行排序，并生成 UI 行动计划。
评估协议 – 指标包括 Execution Success Rate（智能体是否正确完成任务）和 Proactive Suggestion Score（预先行动的有用程度）。基线在相同提示下运行，但不使用层次记忆。

关键要点

开发者工具包：层次意图记忆可以打包成轻量级 SDK，供 Android / iOS 应用使用，使第三方助手在无需重新训练大型模型的情况下实现个性化。
企业自动化：业务工作流（例如工单分流、CRM 更新）通常包含重复的、用户特定的步骤；将 HIM‑Agent 风格的记忆集成进去可以减少澄清对话，提升任务完成速度。
隐私保护的个性化：因为记忆存储在设备本地，仅将检索得分发送给 LLM，用户偏好保持本地，符合新兴的隐私法规。
主动式用户体验：移动操作系统厂商可以嵌入此方法，呈现上下文感知的快捷方式（“你通常在上午 8 点打开日历后查看天气”），而无需硬编码规则。

PersonalAlign 展示了结构良好、持续更新的个人记忆能够将通用 GUI 代理转变为真正的个性化助手，为实现更直观、主动的人机交互开辟了道路。