[Paper] ReaSeq：通过推理释放世界知识用于序列建模

Source: arXiv - 2512.21257v1

概览

ReaSeq 是一个新框架，它将大型语言模型（LLMs）中存储的世界知识注入到工业推荐系统中。通过将显式的链式思考推理与潜在扩散推断相结合，它解决了两个长期存在的痛点：稀疏的仅 ID 项目嵌入以及无法呈现平台历史日志之外的兴趣。

关键贡献

• 混合推理管道 – 将 显式 多代理链式思考（CoT）推理用于生成结构化的产品语义，并结合 隐式 基于扩散的 LLM 推理，想象超出记录点击的合理用户行为。
• 项目 ID 的语义丰富 – 将原始项目标识符转换为密集、基于知识的向量，捕获属性、使用情境和跨域关系。
• 超出日志的行为生成 – 扩散 LLM 预测 “用户下一步可能做什么”，即使没有先前交互，也能有效扩大推荐范围。
• 大规模生产验证 – 部署在淘宝实时排序管道，服务数亿用户，实现点击率（CTR）和每次展示印象（IPV）提升 >6 %，订单增加 +2.9 %，商品交易总额（GMV）增长 +2.5 %。
• 多代理协作设计 – 引入轻量级协调协议，使多个专门的代理（知识提取器、语义映射器、行为生成器）在不进行大量模型再训练的情况下共享中间推理步骤。

方法论

1. Data Ingestion – 将现有的交互日志（用户‑商品点击、购买）输入到 knowledge extraction 代理。
2. Explicit CoT Reasoning
   • 一组提示引导 LLM 将每个商品拆解为属性层级（类别、材质、风格、使用场景等）。
   • 多代理系统迭代细化这些属性，生成每个商品的 structured knowledge graph。
   • 然后对图进行嵌入（例如通过图神经网络），创建一个 semantic item vector，用于增强传统的 ID 嵌入。
3. Implicit Diffusion Reasoning
   • 基于扩散的 LLM（如 Diffusion‑GPT）以用户的短期会话和已丰富的商品向量为条件。
   • 它采样日志中不存在的合理未来交互，实际上在“超日志”兴趣上进行幻觉式推断，同时通过语义知识保持 grounded。
4. Fusion & Ranking
   • 将原始协同过滤得分、语义向量以及扩散生成的候选商品在轻量级排序模型（通常是前馈网络）中合并。
   • 实时推理在淘宝排序服务的延迟预算内运行。

整个流水线是模块化的：任何 LLM 都可以替换，推理步骤会被记录以便解释性分析和调试。

结果与发现

• 稀疏商品（≤5 次历史交互）获得了最大的点击率提升（约 9 %），证实语义增强缓解了 ID 贫乏问题。
• 冷启动用户（新账号）受益于扩散生成的候选项，首日互动提升了 12 %。
• 消融实验表明，去除显式 CoT 或扩散组件都会使整体提升约下降 3 %，说明两种推理模式是互补的。

实际影响

• 改进的冷启动处理 – 开发者可以将 ReaSeq 的语义编码器接入现有推荐系统，使新项目在没有交互数据的情况下获得“知识提升”。
• 跨域推荐 – 由于物品知识图谱捕获了通用属性（例如 “户外运动”），相同的嵌入可以在不同产品类别甚至不同平台之间复用。
• 降低对大规模日志的依赖 – 在隐私约束严格的公司仍可受益于 LLM 派生的世界知识，从而减少高质量排序所需的用户级数据量。
• 提升产品团队的可解释性 – 明确的 CoT 步骤生成可读的属性列表，便于审计推荐出现的原因（有助于合规和信任）。
• 可扩展的架构 – 多代理设计并行运行推理，符合典型的延迟 SLA（在普通 GPU 上约 30 ms），因此可部署到任何高流量电商站点。

限制与未来工作

• LLM 幻觉风险 – 虽然扩散推理受语义向量约束，但仍观察到偶尔生成不合理的项目；需要更严格的落地机制。
• 领域特定术语 – 当前提示针对消费品进行调优；若要适配高度技术化的领域（例如 B2B 软件），可能需要定制的知识抽取流水线。
• 计算成本 – 增加两个 LLM 推理阶段会提升 GPU 使用率；未来工作将探索蒸馏或量化，以降低运营开支。
• 用户隐私 – 虽然 ReaSeq 减少了对原始日志的依赖，但仍会使用会话数据；将差分隐私保障集成进来是一个未解的研究方向。

总体而言，ReaSeq 证明了将世界知识与推理相结合能够突破许多推荐系统如今面临的 “仅日志” 上限，为实现更智能、上下文感知且普遍适用的推荐引擎开辟了道路。

作者

• Chuan Wang
• Gaoming Yang
• Han Wu
• Jiakai Tang
• Jiahao Yu
• Jian Wu
• Jianwu Hu
• Junjun Zheng
• Shuwen Xiao
• Yeqiu Yang
• Yuning Jiang
• Ahjol Nurlanbek
• Binbin Cao
• Bo Zheng
• Fangmei Zhu
• Gaoming Zhou
• Huimin Yi
• Huiping Chu
• Jin Huang
• Jinzhe Shan
• Kenan Cui
• Longbin Li
• Silu Zhou
• Wen Chen
• Xia Ming
• Xiang Gao
• Xin Yao
• Xingyu Wen
• Yan Zhang
• Yiwen Hu
• Yulin Wang
• Ziheng Bao
• Zongyuan Wu

论文信息

• arXiv ID: 2512.21257v1
• 分类: cs.IR, cs.CL
• 发布时间: 2025年12月24日
• PDF: 下载 PDF