[논문] COMPOSE: 인용과 형식 구조로 미래 정리 구성하기

Source: arXiv - 2605.30333v1

개요

논문 COMPOSE는 놀라울 정도로 실용적인 문제에 도전합니다: 연구자들이 다음에 증명할 미래의 정리를 자동으로 제안할 수 있을까? 저자들은 논문의 인용 네트워크와 기존 정리들의 형식적 의존 그래프라는 두 가지 보완적인 정보를 언어 모델에 조건으로 제공함으로써, 맥락을 인식하고 형식적으로 일관된 수학적 근거가 있는 추측을 생성하는 방법을 보여줍니다.

주요 기여

• 근거 기반 미래 정리 생성: 과학적 인용 추세와 형식적 정리 의존성을 모두 고려해야 하는 새로운 과제를 제시합니다.
• 이중 그래프 조건화 아키텍처 (COMPOSE): (1) 인용 그래프 (누가 누구를 인용했는가)와 (2) 형식적 의존 그래프 (각 정리가 어떤 보조정리/정리에 기반하는가)를 언어 모델에 입력하는 새로운 프레임워크입니다.
• 대규모 데이터셋: arXiv 논문과 Mathlib 라이브러리에서 108 K개의 과학‑형식 그래프 쌍을 구축하고, 2024‑2025년에 발표된 47 K개의 “미래” 논문을 벤치마크로 제공합니다.
• 강력한 실험 결과: COMPOSE는 실제 미래 논문에 대한 검색 성능에서 여러 강력한 베이스라인을 능가하며, 인간‑LLM 평가에서도 가장 높은 점수를 받아 보다 현실적이고 수학적으로 풍부한 출력을 보여줍니다.

방법론

1. 그래프 구성

   • 인용 그래프: 각 “앵커” 논문에 대해 들어오고 나가는 인용을 수집해, 연구 방향을 포착하는 로컬 인용 서브그래프를 만듭니다.
   • 형식적 의존 그래프: Mathlib의 정리‑증명 메타데이터를 활용해, 특정 정리가 의존하는 이전 정리들을 추출하여 형식적 지식의 방향성 비순환 그래프(DAG)를 구성합니다.

2. 이중 그래프 인코더

   • 두 개의 그래프 신경망(GNN)이 인용 그래프와 형식 그래프를 각각 임베딩합니다.
   • 얻어진 임베딩을 연결(concatenate)하고, 사전 학습된 대형 언어 모델(예: GPT‑NeoX)의 프리픽스로 삽입합니다.

3. 프롬프트 조건화 생성

   • LLM은 앵커 논문의 초록, 그래프에서 추출된 컨텍스트, 그리고 “그럴듯한 미래 정리를 생성하라”는 지시문을 포함한 프롬프트를 받습니다.
   • 빔 서치와 누클리어스 샘플링을 결합해 여러 후보 문장을 생성합니다.

4. 평가 파이프라인

   • 검색: 생성된 문장을 실제 2024‑2025년 논문과 의미적 유사도로 매칭합니다. 겹치는 정도가 클수록 근거가 탄탄함을 의미합니다.
   • LLM‑판정: 별도의 LLM이 각 후보를 관련성, 새로움, 형식적 정확성 측면에서 평가해 전문가 피어 리뷰를 모방합니다.

결과 및 발견

• 이중 그래프 조건화가 단일 소스 모델을 크게 앞선다는 결과는 인용 추세와 형식 구조가 서로 보완적인 신호임을 확인시켜 줍니다.
• 생성된 정리는 실제 미래 연구와 더 자주 일치하여 모델이 떠오르는 연구 방향을 포착하고 있음을 시사합니다.
• 형식 위반(예: 알려진 의존성을 반박하는 정리 제안)이 크게 감소해, 형식 그래프가 언어 모델을 효과적으로 제약한다는 점을 보여줍니다.

실용적 함의

• 연구 보조: AI 기반 문헌 리뷰 도구 개발자는 COMPOSE를 탑재해 “다음 단계” 추측을 제안함으로써 수학자들이 저수준 연구 기회를 포착하도록 도울 수 있습니다.
• 자동 가설 생성: 형식 검증이 중요한 분야(암호학, 형식 방법 등)에서는 이중 그래프 접근법이 기존 증명 의존성을 이미 만족하는 후보 보조정리를 제시할 수 있습니다.
• 교육 과정 설계: 교육 플랫폼은 인용 및 의존 그래프에 내재된 학습 경로를 따라 자연스럽게 이어지는 문제 세트를 자동 생성하는 데 모델을 활용할 수 있습니다.
• 지식 그래프 강화: 높은 신뢰도의 생성 추측을 인용 혹은 형식 저장소에 피드백함으로써, 보다 앞을 내다보는 지식 그래프를 부트스트랩할 수 있습니다.

한계 및 향후 연구

• 도메인 범위: 현재 데이터셋은 Mathlib과 연결된 수학 논문에 초점을 맞추고 있어, Coq, Isabelle 등 다른 형식 라이브러리나 덜 형식화된 과학 분야로 확장하는 것이 과제로 남아 있습니다.
• 평가 편향: LLM‑판정은 유용하지만 기본 언어 모델이 가진 편향을 그대로 물려받을 수 있습니다. 보다 큰 규모의 인간 전문가 검증이 주장 강화를 위해 필요합니다.
• 그래프 인코딩 확장성: 큰 인용 이웃은 계산 비용이 크게 증가합니다. 향후 계층적 혹은 희소 그래프 표현 방식을 탐색할 수 있습니다.
• 인터랙티브 생성: 인간 연구자가 생성된 추측을 수정·보완하는 피드백 루프를 도입하면, 보다 실용적이고 공동 창작적인 시스템이 될 수 있습니다.

COMPOSE는 서지학적 맥락과 형식적 정리 의존성을 결합함으로써, 미래 지향적인 수학적 발견을 위한 강력한 새로운 도구를 제시합니다. 이는 AI가 진정한 연구 파트너가 될 수 있음을 보여주는 흥미로운 전망입니다.

저자

• David Busbib
• Michael Werman

논문 정보

• arXiv ID: 2605.30333v1
• 분류: cs.CL
• 발표일: 2026년 5월 28일
• PDF: Download PDF