[논문] AQuAP: AI 기반 평가 시스템에서 항목 풀 건강 모니터링 및 관리
개요
교육 평가의 대규모 디지털화는 항목 은행의 지속적인 모니터링을 필수적이고 복잡하게 만들었다. 본 논문은 Analytics for Quality Assurance for Item Pools (AQuAP)라는 대시보드 환경을 소개합니다. 이 환경은 항목 품질과 항목 은행 건강을 모니터링하도록 설계되었습니다. AQuAP는 고위험 테스트용 대규모 항목 생성 절차의 운영 구현을 지원하며, 이는 Item Factory(자동화 및 인간 지원 시험 개발 프레임워크)에 포함되어 있습니다. 본 논문은 AQuAP가 항목 개발 과정과 어떻게 관련 있는지 설명하고, 항목 풀 품질 보증을 위한 보다 넓은 지표 프레임워크를 제시하며, Effective Bank Size (EBS)를 풀 생명의 핵심 지표로 강조합니다. EBS는 콘텐츠가 반복되기 전 구성할 수 있는 독립 시험 세션 수를 정량화하고, 노출 및 사용 지표와 결합될 때 항목 은행의 보안, 다양성, 효율성에 대한 통찰을 제공합니다. 또한 최대 노출, 최대 조건적 노출, 조정된 효과적 항목 크기, 드물게 사용되는 비율 등 항목 건강 지표를 추가로 소개하여 이 그림을 확장합니다. AQuAP는 운영 분석이 심리측정학적 개념을 고부하, AI 기반 시험 프로그램에서 품질 보장 도구로 전환할 수 있음을 보여줍니다. 본 연구는 Duolingo English Test (DET) 과정을 통해 예시화됩니다.
주요 공헌
본 논문은 다음 분야의 연구를 제시합니다:
- stat.AP
- cs.SE
방법론
자세한 방법론은 전체 논문을 참고하십시오.
실용적 의미
본 연구는 stat.AP의 발전에 기여합니다.
저자들
- Alina A. von Davier
- Xiaowan Zhang
- Yigal Attali
- Yena Park
- Jacqueline Church
- Andrew Runge
- Geoff T. LaFlair
- Alexander Tsigler
논문 정보
- arXiv ID: 2606.18536v1
- 분야: stat.AP, cs.SE
- 발행일: June 16, 2026
- PDF: Download PDF