[Paper] Humans' ALMANAC: 에이전트 협업을 위한 행동 수준 정신 모델 주석 인간 협업 데이터셋

Source: arXiv - 2606.06388v1

Overview

최근 LLM 에이전트의 발전으로 다단계 추론, 계획 수립, 도구 활용 등 복잡한 인지 능력이 가능해졌으며, 이러한 에이전트는 점점 인간 협업 파트너로 자리매김하고 있습니다. 그러나 효과적인 협업을 위해서는 협업 과정 동안 자신들의 추론, 파트너의 의도, 그리고 공동 목표에 대한 정신 모델을 지속적으로 유지하고 정렬해야 합니다. 현재의 에이전트는 주로 과제 수행에 최적화되어 있어 이러한 능력을 거의 갖추지 못하고 있으며, 행동 수준의 정신 모델 주석이 포함된 실제 인간 협업 데이터가 부족해 에이전트가 과정 수준의 협업 역량을 학습하기 어렵습니다.

이 격차를 메우기 위해, 우리는 ALMANAC을 제시합니다. 이는 사회 과학에서 고전적인 이인 라우팅 과제인 Map Task를 기반으로 만든 Action‑Level Mental model ANnotations for Agent Collaboration 데이터셋입니다. ALMANAC은 2,987개의 협업 행동을 포함하며, 각 행동마다 참여자의 자기 추론, 파트너 의도 인식, 팀 목표 인식을 기록한 이론 기반 정신 모델 주석이 짝지어져 있습니다. 우리는 여섯 개의 LLM을 대상으로 인간의 다음 턴 행동 및 정신 모델을 예측하는 벤치마크를 수행했습니다. 결과는 ALMANAC이 모델이 인간 협업 행동을 시뮬레이션하고 그 근본적인 정신 모델을 추론하는 능력을 평가하는 데 유용함을 보여줍니다.

Key Contributions

• cs.AI
• cs.CL

Methodology

자세한 방법론은 전체 논문을 참고하십시오.

Practical Implications

이 연구는 cs.AI 분야의 발전에 기여합니다.

Authors

• Jiaju Chen
• Yuxuan Lu
• Jiayi Su
• Chaoran Chen
• Songlin Xiao
• Zheng Zhang
• Yun Wang
• Yunyao Li
• Jian Zhao
• Tongshuang Wu
• Toby Jia‑Jun Li
• Dakuo Wang
• Bingsheng Yao

Paper Information

• arXiv ID: 2606.06388v1
• Categories: cs.AI, cs.CL
• Published: June 4, 2026
• PDF: Download PDF