[Paper] 관계 도덕 딜레마에서 Machine Behavior: Moral Rightness, Predicted Human Behavior, and Model Decisions

Source: arXiv - 2604.21871v1

개요

이 논문은 대형 언어 모델(LLM)이 의사결정자와 영향을 받는 당사자 간의 관계에 따라 달라지는 도덕적 딜레마를 어떻게 처리하는지를 조사합니다. 고전적인 Whistleblower’s Dilemma—부정을 폭로할지 여부를 결정해야 하는 상황—을 활용하여, 저자들은 crime severity와 relational closeness를 변형시켜 LLM이 엄격한 공정성 규칙을 따르는지, 인간이 실제로 행동하는 방식을 모방하는지, 혹은 자체적인 자율적 선택을 하는지를 살펴봅니다. 연구 결과는 눈에 띄는 불일치를 보여줍니다: LLM은 내부 “world‑model”이 인간은 충성심 때문에 행동할 것이라고 예측하더라도, 규범적인 도덕 기준에 고수하는 경향이 있습니다.

주요 기여

• Tri‑Perspective Framework – 기계 윤리성을 평가하기 위한 세 가지 관점을 소개한다: (1) Moral Rightness (해야 할 일), (2) Predicted Human Behavior (사람들이 실제로 하는 일), (3) Model Decision (LLM이 선택할 것).
• Relational Moral Benchmark – Whistleblower’s Dilemma를 범죄 심각도와 인간관계 친밀도의 체계적 조작으로 확장하여, 향후 LLM 안전 연구를 위한 재현 가능한 테스트 스위트를 만든다.
• Empirical Evidence of Divergence – LLM의 결정이 공정성 중심의 “rightness” 관점과 일치하는 반면, 인간 행동에 대한 LLM 자체의 예측은 관계적 유대가 강화될수록 충성도로 이동한다는 것을 보여준다.
• Interpretability via Reasoning Traces – 체인‑오브‑쓰루(chain‑of‑thought) 출력을 분석하여 각 관점으로 이어지는 추론 단계를 드러내고, 모델 내부 세계 모델이 최종 결정과 충돌하는 지점을 강조한다.
• Risk Highlight for Decision‑Support Systems – 조언자(예: 컴플라이언스 봇, HR 어시스턴트)로 배치된 LLM이 사회적으로 미묘한 기대를 무시할 수 있으며, 이는 신뢰를 약화시키거나 정책 실수를 초래할 위험이 있음을 주장한다.

방법론

1. 시나리오 구성 – 저자들은 세 가지 범죄 심각도(경미, 중간, 심각)와 네 가지 관계 거리(낯선 사람, 동료, 절친한 친구, 가족)를 곱한 12개의 프롬프트 매트릭스를 생성한다.
2. 세 가지 질문 유형
   • 도덕적 정당성: “…을 신고하는 것이 도덕적으로 옳은가?”
   • 예측된 인간 행동: “대부분의 사람들은 …을 신고할 것인가?”
   • 모델 결정: “당신이 그 사람이라면 …을 신고하겠는가?”
3. 모델 스위트 – 실험은 최신 LLM들(예: GPT‑4, Claude, Llama‑2)에서 체인‑오브‑생각 프롬프트를 사용해 추론을 이끌어내며 수행된다.
4. 채점 – 답변은 5점 리커트 척도(전혀 동의하지 않음 → 매우 동의함)로 매핑된다. 관점 간 일관성은 Cohen’s κ로 측정한다.
5. 정성적 추적 분석 – 저자들은 공정성, 충성, 의무, 결과에 대한 언급을 포함하는 추론 스니펫을 수동으로 코딩하고, 관점별 빈도를 비교한다.

Source: …

결과 및 발견

• 관점 간 차이: κ ≈ 0.22 (낮은 일치) – 예측된 인간 행동과 모델 결정 사이.
• 추론 흐름 통찰: “옳음”에 대해 물었을 때 모델은 “공정성”, “정의”, “법치”를 인용. 인간 행동을 예측할 때는 “관계 보호”, “보복에 대한 두려움”, “사회적 압력”을 언급. 그럼에도 최종 결정은 여전히 공정성 중심의 추론으로 귀결.
• 모델별 변이: GPT‑4가 도덕적 옳음과 가장 강하게 일치하고, Llama‑2는 약간 더 큰 변동성을 보이지만 여전히 공정성 쪽으로 기울음.

Practical Implications

• Compliance & Whistleblowing Platforms – 부정 행위 신고에 대해 직원에게 조언하는 AI 어시스턴트가 고발자의 실제 사회적 비용을 무시하고 과도하게 공개를 권장할 수 있습니다.
• HR & Conflict‑Resolution Tools – 인간관계 분쟁에서 행동을 제안하는 시스템은 관계적 맥락을 포함해야 합니다; 그렇지 않으면 사용자에게 “냉담하거나 비현실적”으로 느껴지는 해결책을 제시할 위험이 있습니다.
• Policy‑Making & Governance – AI 안전성을 평가하는 규제 기관은 모델이 옳다고 말하는 것이 무엇인지뿐만 아니라 사회적으로 민감한 상황에서 인간이 실제로 어떻게 행동하는지를 모델이 이해하고 있는지도 고려해야 합니다.
• Prompt Engineering – 개발자는 “사회적 인식을 고려한” 조언(예: “충성도와 개인 위험을 고려하십시오”)을 명시적으로 요청함으로써 모델이 보다 균형 잡힌 권고를 하도록 유도할 수 있습니다.
• Transparency Features – 사고 흐름 체인을 최종 사용자에게 공개하면 내부 갈등을 드러내어 인간이 정보에 입각한 최종 결정을 내릴 수 있게 합니다.

제한 사항 및 향후 연구

• 프롬프트 민감도 – 다른 표현이나 온도 설정에 따라 결과가 달라질 수 있으며, 본 연구는 단일 프롬프트 스타일을 사용했습니다.
• 문화적 범위 – 모든 시나리오는 서구식 개인 권리 중심의 도덕적 기준을 가정하며, 충성 vs. 공정성에 대한 문화 간 변이는 탐구되지 않았습니다.
• 모델 다양성 – 상업용 LLM 몇 개만 테스트했으며, 오픈소스 또는 소형 모델은 다르게 동작할 수 있습니다.
• 동적 맥락 – 실제 내부 고발은 지속적인 피드백 루프(예: 신고 후 보복 위험)를 포함하는데, 정적인 프롬프트로는 포착할 수 없습니다.
• 향후 방향 – 저자들은 관계 인식 파인튜닝 데이터셋 구축, 다중 에이전트 시뮬레이션을 통합해 하위 결과를 모델링, 공정성과 사회적 정렬을 동시에 평가하는 메트릭 개발을 제안합니다.

저자

• Jiseon Kim
• Jea Kwon
• Luiz Felipe Vecchietti
• Wenchao Dong
• Jaehong Kim
• Meeyoung Cha

논문 정보

• arXiv ID: 2604.21871v1
• Categories: cs.CL
• Published: 2026년 4월 23일
• PDF: PDF 다운로드