[Paper] MortgageLLM: 잔여 지시 전이, 정렬 튜닝 및 작업별 라우팅을 통한 도메인 적응 사전 학습

Source: arXiv - 2511.21101v1

Overview

MortgageLLM은 규제 산업에서 AI 제품을 개발하는 개발자들이 흔히 겪는 문제를 해결합니다: 자연어 명령을 따르는 능력을 포기하지 않으면서 대형 언어 모델에 깊고 도메인‑특화된 전문성을 부여하는 방법. 잔차‑명령 기법과 이중‑전문가 아키텍처를 결합함으로써, 저자들은 일반 목적의 LLaMA‑3.1‑8B 모델을 모기지 금융 분야에서 대화형 Q&A와 분류·요약 같은 구조화된 작업 모두에 뛰어난 전문가로 변환합니다.

Key Contributions

• Residual Instruction Transfer – 도메인 사전 학습 후에도 명령 수행 능력을 복원하는 방법으로, 비용이 많이 드는 지도 학습 미세조정이 필요 없게 합니다.
• Dual‑Expert Architecture – 동일한 기반 모델에서 파생된 두 개의 전문 헤드:
  1. 대화형 Q&A 전문가 (Direct Preference Optimization, DPO 로 최적화).
  2. 구조화된 작업 전문가 (Supervised Fine‑Tuning, SFT 로 최적화)로 분류 및 요약 수행.
• Intelligent Task Routing – 몇 샷 자체 분류 단계를 통해 들어오는 요청을 자동으로 적절한 전문가에게 전달하여 시스템을 엔드‑투‑엔드로 유지합니다.
• Domain‑Specific Benchmarks – 현실적인 대출 승인 문서, 인수 심사 노트, 고객 문의 등을 포함한 새로운 모기지‑금융 평가 세트를 제공하여 모델을 테스트합니다.

Methodology

1. Base Model Selection – 이미 명령 프롬프트를 이해하는 강력한 오픈소스 LLM인 LLaMA‑3.1‑8B‑Instruct 로 시작합니다.
2. Domain‑Adaptive Pre‑Training – 모델에 수백만 개의 모기지 관련 토큰(대출 신청서, 금리표, 규제 텍스트 등)을 공급해 분야 지식을 주입합니다.
3. Residual Instruction Transfer – 도메인 사전 학습 후 모델의 명령 수행 능력이 저하됩니다. 저자들은 원래의 명령‑튜닝 가중치와 도메인‑적응 가중치 사이의 차이(잔차)를 계산한 뒤 이를 다시 더합니다. 그 결과, 명령을 따르는 방법을 “기억”하면서도 모기지 전문성을 유지하는 모델이 완성됩니다.
4. Dual‑Track Specialization
   • Conversational Expert: 인간이 평가한 대화 데이터를 사용해 DPO 로 학습시켜 유용성과 안전성을 극대화합니다.
   • Structured‑Task Expert: 라벨이 지정된 분류·요약 데이터셋(예: “이 대출이 적격한가?”)을 사용해 SFT 로 학습합니다.
5. Task Routing Layer – 사용자의 질의가 들어오면 시스템은 가벼운 몇 샷 분류기(구조화된 작업 전문가가 구현)를 실행해 질의가 대화형인지 구조화된 작업인지 판단하고, 적절한 전문가에게 전달합니다.

모든 단계는 일반적인 GPU 클러스터(8‑A100 노드)에서 수행되며, 대부분의 AI 팀이 재현할 수 있도록 설계되었습니다.

Results & Findings

• 잔차 명령 단계는 원래 명령 충실도의 약 95 %를 회복하면서 도메인 지식을 추가했습니다.
• 이중‑전문가 분할은 대화와 구조화된 작업을 동시에 미세조정할 때 나타나는 “one‑size‑fits‑all” 성능 저하를 방지했습니다.
• 작업 라우팅은 < 10 ms의 지연만을 추가해 거의 실시간 응답성을 유지했습니다.

Practical Implications

• FinTech 앱의 시장 출시 속도 가속 – 팀은 MortgageLLM을 기존 챗봇이나 문서 처리 파이프라인에 바로 연결해 대출 적격성 검사, 위험 요약, 고객 지원 등에서 높은 정확도를 즉시 얻을 수 있으며, 별도 모델을 구축할 필요가 없습니다.
• 규제 준수 – 모델이 실제 모기지 규제를 학습하고 추적 가능한 분류 결과를 생성하므로, 감사자는 AI‑생성 조언이 법적 요구사항에 부합하는지 보다 쉽게 검증할 수 있습니다.
• 비용 효율적 확장 – 8 B 파라미터 규모 덕분에 추론 비용이 낮아(일반 GPU 인스턴스 기준 ≈ $0.0004 per 1 K tokens) 수천 건의 일일 질의를 처리해야 하는 SaaS 플랫폼에 적합합니다.
• 재사용 가능한 청사진 – 잔차 명령 전이와 이중‑전문가 라우팅은 도메인에 구애받지 않습니다. 보험, 의료, 법률 기술 분야 개발자들도 동일한 파이프라인을 적용해 대화 품질을 희생하지 않는 전문 LLM을 만들 수 있습니다.

Limitations & Future Work

• 데이터 커버리지 – 사전 학습 코퍼스가 방대하지만, 역모기지와 같은 틈새 제품은 아직 충분히 포함되지 않아 극단 상황 성능에 영향을 줄 수 있습니다.
• 모델 규모 – 8 B 백본은 매우 긴 문서(예: 전체 대출 포트폴리오) 처리에 한계가 있을 수 있습니다. 30 B 로 확장하거나 검색 기반 생성(RAG)을 도입하면 해결될 수 있습니다.
• 라우팅 정확도 – 몇 샷 분류기가 가끔 모호한 질의를 잘못 라우팅해 최적이 아닌 응답을 초래합니다; 보다 견고한 메타‑러너를 도입하는 것이 향후 개선 과제입니다.
• 설명 가능성 – 현재 출력에는 규제 감사를 위한 근거 생성이 내장되어 있지 않으며, 향후 체인‑오브‑생각 프롬프트나 사후 귀인 방법을 통합할 계획입니다.

MortgageLLM은 올바른 학습 기법을 사용하면 도메인 전문성과 대화 품질 사이에서 선택할 필요가 없음을 보여줍니다. 규제 산업에서 AI‑우선 제품을 구축하는 개발자들에게, 양쪽 장점을 모두 얻을 수 있는 실용적이고 재현 가능한 레시피를 제공합니다.

Authors

• Manish Jain
• Satheesh Kumar Ponnambalam
• Salman Faroz
• Chandrakanth Lns
• Vinay Sharma

Paper Information

• arXiv ID: 2511.21101v1
• Categories: cs.CL, cs.LG
• Published: November 26, 2025
• PDF: Download PDF