[논문] LLM이 인간과 같은 특성을 지닌다면, 에이지 오브 엠파이어 II도 마찬가지다

Source: arXiv - 2605.31514v1

개요

논문 If LLMs Have Human‑Like Attributes, Then So Does Age of Empires II 은 AI 커뮤니티에서 점점 늘어나는 습관, 즉 대형 언어 모델(LLM)을 “이해”나 “도덕성” 같은 인간 고유의 특성을 가지고 있다고 취급하는 경향에 의문을 제기한다. 고전 전략 게임 Age of Empires II 를 플레이하도록 훈련된 소규모 신경망을 통해, 전혀 다른 기질에서도 동일한 “인간화” 신호가 나타날 수 있음을 보여준다. 핵심 메시지는, 엄격하고 기질에 구애받지 않는 측정 기준이 없이는 LLM의 인간‑유사 특성에 대한 주장이 과학적으로 모호하다는 것이다.

주요 기여

• 비유일성 입증: 단순한 게임‑플레이 네트워크도 인간‑유사 행동을 보일 수 있음을 보여, 이러한 신호가 LLM에만 국한되지 않음을 시사한다.
• “null” 가정 공식화: 실험 설계 시 LLM을 비유일 (즉, 자동으로 인간화 속성을 부여받지 않는다) 로 취급하도록 제안해 순환 논증을 방지한다.
• 기질‑의존성 분석: 관찰된 행동에 대한 해석이 기저 시스템(예: 레고 조립, 도시 규모 시뮬레이션)에 따라 크게 달라질 수 있음을 주장한다.
• 튜링 완전성 증명: Age of Empires II 가 기능적으로 튜링 완전함을 구성적으로 증명해, 복잡한 규칙 기반 환경이 풍부한 emergent 행동을 생성할 수 있음을 강조한다.
• 조사 및 비판: 기존 LLM 인간화 문헌을 간략히 조사하고, 흔히 나타나는 방법론적 함정을 강조한다.

방법론

1. 데이터셋 및 모델: Age of Empires II 의 게임플레이 트레이스(유닛 행동, 자원 관리, 승패 결과)를 수집하고, 현재 게임 상태를 입력으로 다음 행동을 예측하도록 가벼운 피드‑포워드 신경망을 훈련시켰다.
2. 행동 탐지: 전통적으로 LLM을 평가할 때 사용되는 “인간화 탐지”(예: 도덕적 딜레마 상황, 언어 스타일 프롬프트) 세트를 설계했다. 동일한 탐지를 텍스트‑to‑게임‑상태 변환 레이어를 통해 게임‑플레이 네트워크에 전달했다.
3. 비교 프레임워크: 동일한 프롬프트에 대해 AoE II 네트워크와 최첨단 LLM(GPT‑4‑스타일)의 응답을 측정했다. 평가 지표는 일관성, 인식된 의도성, 그리고 군중‑소싱 인간 판단으로부터 도출된 “도덕 정렬” 점수를 포함한다.
4. Null‑Assumption 실험: 관찰된 패턴을 인간‑유사 인지의 증거가 아니라 기질의 통계적 산물로 명시적으로 가정하고 탐지를 재실행했다. 이는 해석 편향이 결론에 미치는 영향을 평가하기 위한 기준선 역할을 한다.

결과 및 발견

• 핵심 관찰: AoE II 네트워크는 언어 훈련이 전혀 없음에도 불구하고 많은 탐지에서 인간‑유사 답변을 생성했다.
• 해석 전환: Null 가정을 적용하면 동일 데이터가 “이해”의 증거가 아니라 “emergent pattern matching” 으로 분류된다.
• 순환성 경고: LLM이 인간 속성을 가지고 있다는 전제 하에 실험을 설계하면 모호한 신호를 확인으로 해석하게 되고, 반대로 가지지 않는다는 전제 하에 설계하면 같은 신호를 잡음으로 치부한다.

실용적 함의

• 평가 설계: LLM 기반 에이전트를 개발하는 경우, “이해”가 무엇인지 명시적으로 정의하고 직관에 의존하지 않는 기질‑중립 벤치마크를 채택해야 한다.
• 안전 및 정렬: LLM에 도덕적 추론을 과도하게 귀속하면 허위 안전감이 생길 수 있다. 안전 프레임워크는 도덕 판단을 통계적 패턴의 출력 으로 간주하고, 윤리적 의도의 보장으로 오해하지 말아야 한다.
• 도구: 논문의 탐지 스위트는 강화학습 봇, 시뮬레이션 에이전트 등 어떤 AI 시스템에도 가볍게 적용할 수 있는 sanity‑check 로 재활용 가능하다.
• 제품 메시징: “우리 AI가 사용자의 의도를 이해한다”는 주장은 명확히 정의된 측정 기준에 의해 뒷받침되어야 이해관계자를 오도하지 않는다.
• 다분야 연구: Age of Empires II 의 튜링 완전성 증명은 복잡한 게임을 emergent 행동 연구용 테스트베드로 활용할 수 있음을 보여, 대규모 언어 모델 실험에 비해 비용 효율적인 대안을 제공한다.

제한점 및 향후 연구

• 기질 범위: 본 연구는 단일 게임과 비교적 단순한 신경망에 국한되어 있다. 로봇공학, 물리 시뮬레이션 등 다양한 시스템에 대한 폭넓은 검증이 필요하다.
• 탐지 설계 편향: 일부 탐지는 원래 언어 모델을 위해 설계돼 텍스트 추론에 유리하고, 전략적·시각적 추론에는 불리할 수 있다. 향후 연구에서는 모달리티‑중립 탐지를 개발해야 한다.
• 인간 판단 변동성: 군중‑소싱 평점은 특히 도덕적 질문에서 평가자 간 의견 차이가 크다. 보다 엄격한 심리측정 방법을 도입하면 신뢰성을 높일 수 있다.
• 이론적 기반: Null 가정은 유용한 휴리스틱이지만, “인간화 속성 존재”를 보편적으로 측정할 수 있는 메트릭을 정형화하는 일은 아직 남은 과제이다.

핵심 요약: 이 논문은 AI 커뮤니티에 emergent한 인간‑유사 신호를 기질의 특성 으로 간주하고, 진정한 인지를 증명하는 것이 아니라는 점을 강조한다. 실험을 명시적이고 기질‑독립적인 기준에 기반해 설계함으로써, 개발자는 보다 신뢰성 있고 투명하며 안전하게 정렬된 AI 시스템을 구축할 수 있다.

저자

• Adrian de Wynter

논문 정보

• arXiv ID: 2605.31514v1
• 분류: cs.CL, cs.AI, cs.CY
• 발표일: 2026년 5월 29일
• PDF: PDF 다운로드