[논문] 수정: 규칙 충실 LLM 채점을 위한 증거 기반 진단형 개입 훈련

출처: arXiv - 2606.06350v1

개요

신뢰할 수 있는 루브릭 채점은 단순히 정확한 점수 예측 이상을 요구한다. 각 판단은 채점 기준표와 학생 답변에서 얻은 증거에 근거해야 한다. 기존의 점수 할당 및 개입 방법들은 주로 수학적 추론과 같은 자체 포함된 추론 작업을 위해 설계되었으며, 채점 추론이 어디서 잘못되는지 혹은 모델이 최종 점수에 대해 갖는 믿음이 추론 과정에서 어떻게 변하는지를 파악하지 못해 이 환경에서 어려움을 겪는다. 우리는 Evidence‑Diagnosed Intervention Training (EDIT)이라는 두 단계 프레임워크를 제안한다. EDIT는 루브릭에 보다 충실한 LLM 채점자를 훈련한다. 첫 번째 단계인 EDIT‑SFT는 내부 모델 신호(최종 점수에 대한 사후 믿음 및 입력 기반 점수)를 활용해 문제 있는 추론 단계를 찾아낸다. 그런 다음 루브릭 체크리스트의 도움을 받아 해당 로컬 단계만 수정한다. 두 번째 단계인 EDIT‑RL은 믿음 기반 보상 형태를 통해 채점자를 보정한다. 이는 큰 해로운 믿음 변동을 벌점으로 처리하면서도 유용한 탐색을 허용한다. 두 개의 실제 다과목 채점 벤치마크에서 수행한 실험 결과, EDIT는 도메인 내부·외부 모두에서 강력한 지도학습 미세조정 및 강화학습 베이스라인을 지속적으로 능가했으며, 내부 상태 진단이 이러한 성능 향상의 핵심임을 확인하는 소거 실험도 수행했다.

주요 기여

• cs.CL

방법론

자세한 방법론은 전체 논문을 참고하시기 바랍니다.

실용적 함의

본 연구는 cs.CL 분야의 발전에 기여한다.

저자

• Zhihao Wu
• Linhai Zhang
• Taiyi Wang
• Runcong Zhao
• Peter Andrews
• Cesare Aloisi
• Yulan He

논문 정보

• arXiv ID: 2606.06350v1
• Categories: cs.CL
• Published: 2026년 6월 4일
• PDF: PDF 다운로드