[Paper] 인용은 되었지만 검증되지 않음: LLM 딥 리서치 에이전트에서 소스 귀속 파싱 및 평가

Source: arXiv - 2605.06635v1

Overview

이 논문은 대형 언어 모델(LLM)이 “깊은 연구 에이전트”로서 긴 Markdown‑형식 보고서를 생성할 때 실제로 출처를 얼마나 잘 인용하는지를 대형 언어 모델(LLM)이 실제로 출처를 얼마나 잘 인용하는지 측정하는 최초의 체계적인 방법을 제시한다. 인라인 인용을 파싱하고, 참조된 웹페이지를 가져와 접근성, 관련성 및 사실 일관성을 확인함으로써, 저자들은 숨겨진 신뢰성 격차를 드러낸다: 최고 수준의 모델조차도 겉으로는 보기 좋은 인용을 제공하지만 부정확한 사실을 포함하고 있다.

주요 기여

• 재현 가능한 AST‑기반 인용 파서로, 대규모 LLM‑생성 문서에서 Markdown‑스타일 참조를 추출합니다.
• 3차원 평가 프레임워크(Link Works, Relevant Content, Fact Check)로, 인용된 소스를 검색하고 인간 또는 LLM 평가자가 이를 평가하도록 하여 루프를 완성합니다.
• 14개의 폐쇄형 및 오픈소스 LLM에 대한 벤치마크 결과, 링크 유효성 (>94%) 및 관련성 (>80%)은 높지만 사실 정확도는 훨씬 낮음(39‑77%)을 보여줍니다.
• 도구 호출 깊이에 대한 소거 연구, 검색 호출이 많아질수록(2 → 150) 최첨단 모델에서 사실 정확도가 약 42% 감소함을 밝혀냈습니다.
• 오픈소스 평가 인프라(파서, 루브릭, 보정 스크립트)로, 커뮤니티가 향후 인용 품질 연구에 재사용할 수 있습니다.

방법론

1. 보고서 생성 – 각 LLM에 마크다운 형식의 연구 보고서를 작성하도록 프롬프트를 제공하고, URL을 포함한 인라인 인용([1], [2] 등)을 삽입합니다.
2. AST 파싱 – 가벼운 추상 구문 트리(AST) 파서가 마크다운 문서를 순회하면서 모든 인용 블록을 추출하고 URL을 정규화합니다.
3. 소스 가져오기 – 파서는 각 URL을 자동으로 가져오며(리다이렉트, HTTP 오류, 가능한 경우 페이월 처리 포함) 수행합니다.
4. 평가 차원
   • 링크 작동 여부 – URL이 접근 가능한 페이지(상태 200)로 연결되는지 확인합니다.
   • 관련 콘텐츠 – 인용된 구절과 보고서 본문 사이의 의미적 유사도(예: 임베딩)를 사용하여 주제 일치를 평가합니다.
   • 사실 검증 – 보고서의 사실 진술을 가져온 소스와 비교하고, 소규모 인간 주석 집합에 대해 보정된 루브릭 기반 LLM‑as‑a‑judge를 활용합니다.
5. 점수 및 집계 – 점수를 모델별·차원별로 평균내어 14개 시스템 간 직접 비교가 가능하도록 합니다.

전체 파이프라인은 오픈소스이며 컨테이너화되어 있어, 학계와 산업 팀 모두가 보통 수준의 GPU 워크스테이션에서도 실용적으로 실행할 수 있습니다.

Source:

결과 및 발견

• 인용 표면 품질이 높음: 대부분의 모델이 도달 가능한 URL을 안정적으로 생성하고 일반적으로 주제와 관련된 자료를 인용합니다.
• 사실 신뢰성은 뒤처짐: 가장 좋은 모델조차 인용된 사실이 정확한 경우는 전체의 절반 정도에 불과합니다.
• 깊이가 정확도를 저하시킴: 모델이 많은 도구 호출(최대 150회)을 수행할 경우, 사실 검증 점수가 얕은 2회 호출 설정에 비해 약 42% 감소합니다.
• 원샷 성공률: 50 % 미만의 오픈소스 모델이 추가 프롬프트 트릭 없이 완전한 인용 보고서를 생성할 수 있습니다.

실용적 시사점

• 툴‑기반 에이전트는 더 긴밀한 검증 루프가 필요합니다 – 단순히 더 많은 문서를 가져온다고 해서 더 나은 답변이 보장되는 것은 아니며, 개발자는 각 검색 단계 후에 사실 확인을 삽입해야 합니다.
• 자동 보고서 생성기(예: 컴플라이언스, 시장 분석, 학술 지원 등)는 출처 검증 UI를 제공해야 하며, 최종 사용자가 인용이 접근 가능하고, 관련성이 있으며, 사실적으로 정확한지 확인할 수 있도록 해야 합니다.
• LLM‑as‑a‑judge 파이프라인을 AI‑생성 콘텐츠의 CI/CD에 통합하여 배포 전에 정확도가 낮은 인용을 자동으로 표시할 수 있습니다.
• 오픈‑소스 모델 선택 – 검증 가능한 인용이 필요한 팀은 더 크고 잘 튜닝된 오픈‑소스 모델을 선호하고, 순수 생성에 의존하기보다 생성 후 검증에 투자해야 합니다.
• 규제 준수 – 엄격한 감사 추적이 요구되는 산업(금융, 제약, 법률 등)은 제공된 프레임워크를 사용해 AI‑생성 문서가 인용 기준을 충족함을 인증함으로써 책임을 감소시킬 수 있습니다.

제한 사항 및 향후 연구

• Source accessibility bias – 유료이거나 동적으로 생성된 페이지는 종종 Link Works 검사를 통과하지 못해, 고품질이지만 접근 제한된 출처를 인용하는 모델이 불이익을 받을 수 있습니다.
• Rubric calibration – Fact Check 차원은 소수의 인간 집합에 기반해 보정된 LLM 판사에 의존합니다; 보다 폭넓은 인간 검증이 신뢰성을 향상시킬 수 있습니다.
• Domain coverage – 실험은 일반 웹 소스를 중심으로 진행되었습니다; DOI 유료 장벽 뒤에 있는 과학 문헌과 같은 특수 도메인은 다른 패턴을 보일 수 있습니다.
• Scalability of retrieval – 현재 파이프라인은 각 URL을 순차적으로 가져옵니다; 대규모 프로덕션 사용을 위해 병렬 처리와 캐싱 전략이 필요합니다.

향후 연구 방향으로는 Markdown을 넘어서는 인용 스타일을 처리하도록 파서를 확장하고, 외부 사실 확인 API를 통합하며, 검증 피드백을 기반으로 에이전트가 인용을 반복적으로 개선하는 강화‑학습 루프를 탐구하는 것이 포함됩니다.

저자

• Hailey Onweller
• Elias Lumer
• Austin Huber
• Pia Ramchandani
• Vamse Kumar Subbiah
• Corey Feld

논문 정보

• arXiv ID: 2605.06635v1
• 분류: cs.CL
• 출판일: 2026년 5월 7일
• PDF: PDF 다운로드