[Paper] LORE：用于搜索相关性的大型生成模型

发布: 3天前 (2025年12月3日 GMT+8 02:50)

7 min read

原文: arXiv

Source: arXiv - 2512.03025v1

概览

本文提出了 LORE，一个面向生产的框架，利用大型生成模型（LLM）提升电商搜索的相关性排序。经过三年的真实世界迭代，LORE 实现了 “GoodRate” 指标提升 27 %，证明精心设计的 LLM 流水线能够在规模化场景下超越传统相关性模型。

先分解后设计 – 将相关性拆分为三种正交能力（知识 + 推理、多模态匹配、规则合规），而不是把它视为单一的整体任务。
两阶段训练流水线 –
1. 监督微调 (SFT)，配合渐进式 Chain‑of‑Thought (CoT) 合成，教会模型逐步思考。
2. 基于人类偏好的强化学习 (RLHF)，使模型输出与业务关键的相关性信号保持一致。
RAIR 基准 – 一个精心策划的评估套件，能够对每项能力进行独立评估，便于系统化诊断和持续改进。
查询频率感知部署 – 分层服务架构，将高频查询路由至轻量推理路径，同时对长尾搜索仍使用完整 LLM，以兼顾质量和时延。
生产影响报告 – 详细阐述数据收集、特征工程、离线‑在线评估循环以及运营监控的经验教训。

数据与特征准备 – 团队汇总点击日志、商品目录和用户生成内容（图片、标题、评论），并加入外部知识（如品牌层级），以及编码规则约束（如禁用词）。
渐进式 CoT SFT – 不直接喂入原始查询‑商品对，而是生成中间推理步骤（例如 “识别商品类别 → 匹配视觉属性 → 应用促销规则”），并微调 LLM 先输出这些步骤再给出最终相关性分数。
人类偏好对齐 (RLHF) – 标注员对同一查询的多个模型输出进行排序，排序数据用于训练奖励模型，随后通过近端策略优化 (PPO) 引导策略优化。
能力特定基准 (RAIR) – 测试集划分为：
- 知识/推理：需要事实推断的查询（如 “防水登山靴”）。
- 多模态匹配：需要视觉‑文本对齐的查询（如 “红色花卉连衣裙”）。
- 规则遵循：业务政策主导的查询（如 “打折电子产品”）。
分层服务 – 根据历史频率将查询分桶。最频繁的前 k 桶使用蒸馏的、低时延模型；其余桶调用完整 LORE 模型，在不牺牲长尾质量的前提下保持时延可接受。

指标	基线（传统排序器）	LORE（完整流水线）	Δ
GoodRate（线上）	1.00 ×	1.27 ×	+27 %
NDCG@10（RAIR） – 知识	0.71	0.84	+13 %
NDCG@10 – 多模态	0.68	0.80	+18 %
NDCG@10 – 规则遵循	0.75	0.88	+17 %
时延（99‑pct） – 高频桶	45 ms	48 ms	+3 ms（可接受）

解读：将相关性拆解后让模型专注于各自能力，带来了所有维度的一致提升。两阶段训练（SFT → RLHF）是关键：SFT 为模型奠定“思考”基础，RLHF 将其对齐到业务定义的“好”结果。分层服务策略使时延保持在生产容忍范围内。

对搜索工程师：LORE 展示了在不牺牲时延的前提下，将 LLM 嵌入现有排序体系的可行路径，只要采用频率感知的服务层。
对产品团队：模块化的能力视角便于在不同业务重点上分配工程资源（例如在推出新服装系列时聚焦视觉匹配）。
对 ML Ops：论文提供的全生命周期文档——数据管道、渐进式 CoT 生成、RLHF 循环、持续 A/B 测试——为旅行、房地产、招聘等其他垂直领域提供了可复制的模板。
业务影响：GoodRate 提升 27 % 直接转化为更高的转化率、更低的跳出率和更好的用户满意度，证明在长尾上使用 LLM 推理的计算成本是值得的。
开源潜力：RAIR 基准可以作为社区标准，用于评估真实搜索约束下的相关性，而非仅仅通用语言任务。

核心结论：LORE 是一个将前沿 LLM 研究与生产电商搜索的艰难现实相结合的有力案例，为希望利用生成式 AI 优化相关性的团队提供了清晰的路线图。