[Paper] Human-in-the-Loop와 AI: Materials Science를 위한 메타데이터 Vocabulary 크라우드소싱

Source: arXiv - 2512.09895v1

Overview

이 논문은 MatSci‑YAMZ라는 프로토타입 플랫폼을 소개한다. 이 플랫폼은 인공지능과 인간‑인‑루프(HILT) 워크플로우(크라우드소싱 기여 포함)를 결합하여 재료 과학 연구를 위한 메타데이터 어휘 생성 속도를 높인다. 6명의 분야 전문가와 함께 진행한 성공적인 파일럿을 통해, AI‑보강 크라우드소싱이 FAIR(Findable, Accessible, Interoperable, Reusable) 데이터 관행을 보다 확장 가능하고 노동 집약적이지 않게 만들 수 있음을 보여준다.

Key Contributions

• AI‑구동 정의 생성: 언어 모델이 새로운 메타데이터 용어에 대한 초안 정의를 생성하고, 이후 인간 피드백을 통해 다듬는다.
• Human‑in‑the‑loop 워크플로우: 구조화된 크라우드소싱 사이클을 통해 참여자가 AI‑생성 결과물을 편집, 승인 또는 거부하고, 투명한 감사 추적을 만든다.
• Proof‑of‑concept 검증: NSF 지원 연구원 6명이 몇 주에 걸쳐 19개의 검증된 용어 정의를 생성함으로써 접근 방식의 실현 가능성을 확인했다.
• Open‑science 정렬: 플랫폼 설계가 FAIR/FARR 원칙을 명시적으로 지원하여 개방적이고 재현 가능한 메타데이터 생성을 촉진한다.
• 확장 가능한 프로토콜: 저자들은 재료 과학을 넘어 다른 과학 분야에도 적용할 수 있는 반복 가능한 연구 프로토콜을 제시한다.

Methodology

1. 용어 모집: 참여자는 MatSci‑YAMZ 웹 인터페이스를 통해 후보 메타데이터 용어와 사용 예시를 제출한다.
2. AI 생성: 파인‑튜닝된 대형 언어 모델(LLM)이 각 용어에 대한 간결한 정의 초안을 만든다.
3. Human review loop: 기여자는 AI 출력물을 평가하고, 편집, 수락 또는 거부한다. 그들의 피드백은 모델에 다시 입력되어 이후 초안을 개선한다.
4. Iterative refinement: 합의된 정의가 도출될 때까지 사이클을 반복하며, 그 시점에 용어가 공유 어휘 저장소에 추가된다.
5. Documentation: 모든 상호작용이 기록되어 FAIR 감사 요구사항을 충족하는 출처 메타데이터를 생성한다.

이 워크플로우는 의도적으로 가볍게 설계되었으며, 참여자는 용어당 몇 분만 투자하고 AI가 언어적 무거운 작업을 대부분 담당한다.

Results & Findings

• 19개 정의 완료: 파일럿을 통해 19개의 고품질 용어 정의가 생성되었으며, 각각 최소 두 명의 전문가가 검증했다.
• 빠른 수렴: 대부분의 용어는 합의에 도달하기까지 2~3번의 피드백 반복만 필요했으며, 전통적인 수주간 수작업 초안 작성 과정을 며칠로 단축했다.
• 긍정적인 사용자 경험: 참여자들은 AI 제안이 유용한 “첫 초안” 역할을 하여 인지 부하를 줄이고 토론을 촉진한다고 보고했다.
• FAIR 준수: 결과 어휘는 영구 식별자, 기계 판독 스키마, 명확한 출처와 함께 공개되어 핵심 FAIR 기준을 충족한다.
• 확장성 신호: 워크플로우의 모듈식 설계는 수백 명의 기여자와 더 복잡한 온톨로지를 추가적인 약간의 엔지니어링으로도 처리할 수 있음을 시사한다.

Practical Implications

• 데이터 온보딩 가속화: 연구실은 도메인‑특화 메타데이터 어휘를 즉시 생성하여 새로운 데이터셋을 공유 저장소에 빠르게 통합할 수 있다.
• 인력 비용 절감: 초기 초안을 LLM에 위임함으로써 조직은 전담 큐레이터 수를 줄이고, 보다 높은 수준의 의미 설계에 집중할 수 있다.
• 학제 간 상호운용성: 표준화된 AI‑보강 프로세스는 하위 분야(예: 계산 화학, 나노제조) 간 어휘 정렬을 돕고 팀 간 데이터 교환을 용이하게 한다.
• 도구 통합: 플랫폼 API는 기존 ELN(전자 실험 노트) 시스템, 데이터 출판 CI 파이프라인, 혹은 Materials Project와 같은 커뮤니티 포털에 연결될 수 있어 “원클릭” 메타데이터 생성을 제공한다.
• 커뮤니티 구축: 크라우드소싱을 통한 정제는 더 넓은 이해관계자 참여를 장려하여 합의와 신뢰를 형성한다.

Limitations & Future Work

• 도메인 전문성 병목: 파일럿은 소수의 고도로 전문화된 그룹에 의존했으며, 더 크고 이질적인 커뮤니티로 확장할 경우 조정 문제가 발생할 수 있다.
• LLM 편향: 언어 모델은 학습 데이터의 용어 편향을 물려받을 수 있어, 구식이거나 부정확한 정의가 퍼지는 것을 방지하기 위해 인간 감독이 필요하다.
• 평가 범위: 연구는 실현 가능성과 사용자 만족도를 측정했지만, 데이터 재사용 메트릭에 대한 하위 효과는 정량화하지 않았다.
• 향후 방향: 저자들은 (1) 더 크고 공개된 크라우드를 대상으로 워크플로우 테스트, (2) 모델이 모호한 용어를 우선순위화하도록 하는 액티브 러닝 통합, (3) 기존 온톨로지와 비교하여 의미적 커버리지를 평가하는 벤치마크 수행을 계획하고 있다.

MatSci‑YAMZ는 AI와 인간 협업을 스마트하게 결합함으로써 전통적으로 느리고 수작업이던 메타데이터 어휘 생성 작업을 빠르고 커뮤니티‑주도적인 프로세스로 전환할 수 있음을 보여준다. 이는 많은 과학 및 공학 분야에서 FAIR 데이터 채택을 가속화할 수 있는 중요한 진전이다.

Authors

• Jane Greenberg
• Scott McClellan
• Addy Ireland
• Robert Sammarco
• Colton Gerber
• Christopher B. Rauch
• Mat Kelly
• John Kunze
• Yuan An
• Eric Toberer

Paper Information

• arXiv ID: 2512.09895v1
• Categories: cs.AI, cs.DL
• Published: December 10, 2025
• PDF: Download PDF