[Paper] MortgageLLM: 域自适应预训练与残差指令迁移、对齐微调和任务特定路由

Source: arXiv - 2511.21101v1

概览

MortgageLLM 解决了在受监管行业中构建 AI 产品的开发者常见的痛点：如何在 不 损失模型自然语言指令遵循能力的前提下，为大语言模型注入深度、领域特定的专业知识。作者通过巧妙的残差指令技术与双专家架构的结合，将通用的 LLaMA‑3.1‑8B 模型转化为在抵押贷款金融领域既擅长对话问答，又能高效完成分类、摘要等结构化任务的专家模型。

主要贡献

• 残差指令迁移 – 一种在大量领域预训练后恢复指令遵循能力的方法，免去了昂贵的监督微调。
• 双专家架构 – 两个基于同一底层模型的专用头部：
  1. 对话问答专家（使用 Direct Preference Optimization，DPO 优化）。
  2. 结构化任务专家（使用 Supervised Fine‑Tuning，SFT 优化），用于分类和摘要。
• 智能任务路由 – 通过少量示例的自分类步骤，自动将输入请求分配给相应的专家，实现端到端系统。
• 领域特定基准 – 新的抵押金融评估集合，涵盖真实的贷款审批文件、核保备注和客户查询。

方法论

1. 基础模型选择 – 以 LLaMA‑3.1‑8B‑Instruct 为起点，这是一款已经具备指令理解能力的开源大模型。
2. 领域自适应预训练 – 向模型输入数百万条与抵押贷款相关的文本（贷款申请、利率表、监管文件），注入行业知识。
3. 残差指令迁移 – 领域预训练后模型的指令能力会下降。作者计算原始指令微调权重与领域适配权重之间的 差值（残差），再将该残差加回模型。这样得到的模型既“记得”如何遵循指令，又保留了抵押贷款专长。
4. 双轨专化
   • 对话专家：使用 DPO 在人工评分的对话数据上训练，以最大化有用性和安全性。
   • 结构化任务专家：使用 SFT 在标注的分类和摘要数据集上训练（例如 “该贷款是否合格？”）。
5. 任务路由层 – 当用户查询到达时，系统运行一个轻量级的少量示例分类器（由结构化任务专家实现），判断请求是对话型还是结构化任务，然后将其转发至相应的专家。

所有步骤均在普通 GPU 集群（8‑A100 节点）上完成，保证大多数 AI 团队能够复现该流水线。

结果与发现

• 残差指令步骤恢复了约 95 % 的原始指令忠实度，同时加入了领域知识。
• 双专家划分避免了在单一模型上同时微调对话与结构化任务时出现的 “一刀切” 性能下降。
• 任务路由仅增加 < 10 ms 的延迟，保持了近实时响应。

实际意义

• 加速金融科技产品上市 – 团队可以将 MortgageLLM 直接嵌入现有聊天机器人或文档处理流水线，立刻提升贷款合规检查、风险摘要和客户支持的准确率，无需另建模型。
• 监管合规 – 由于模型在真实的抵押贷款法规上训练，并能输出可追溯的分类结果，审计人员更容易验证 AI 生成的建议是否符合法律要求。
• 成本高效的扩展 – 8 B 参数规模使推理成本保持在适中水平（≈ $0.0004 每 1 K token），适合需要每日处理数千查询的 SaaS 平台。
• 可复用的蓝图 – 残差指令迁移和双专家路由是领域无关的。保险、医疗或法律科技的开发者可以采用相同流水线，打造专业化 LLM 而不牺牲对话质量。

局限性与未来工作

• 数据覆盖度 – 虽然预训练语料规模大，但仍缺少某些细分抵押产品（如逆向抵押）的数据，可能影响边缘案例表现。
• 模型规模 – 8 B 的骨干在处理超长文档（如完整贷款组合）时可能受限，升级至 30 B 或引入检索增强生成（RAG）可望解决。
• 路由准确性 – 少量示例分类器偶尔会误判模糊查询，导致次优响应；计划引入更稳健的元学习器。
• 可解释性 – 当前输出缺乏内置的推理过程，难以满足监管审计需求；未来将结合 chain‑of‑thought 提示或事后归因方法。

MortgageLLM 证明，只要使用恰当的训练技巧，就不必在领域专长与对话流畅度之间做取舍。对于在受监管行业构建 AI‑first 产品的开发者而言，本文提供了一套实用且可复现的配方，让两者兼得。

作者

• Manish Jain
• Satheesh Kumar Ponnambalam
• Salman Faroz
• Chandrakanth Lns
• Vinay Sharma

论文信息

• arXiv ID: 2511.21101v1
• Categories: cs.CL, cs.LG
• Published: November 26, 2025
• PDF: Download PDF