[Paper] 피노키오 차원: 경험의 현상성을 LLM 심리측정 차이의 주요 축으로

Source: arXiv - 2605.05080v1

Overview

저자들은 놀라울 정도로 인간과 유사한 질문을 탐구합니다: 대형 언어 모델(LLM)들은 “경험성” 면에서 차이가 있을까? 50개의 LLM에 수십 개의 검증된 심리측정 설문지를 적용함으로써, 모델들을 “순수 응답자”처럼 행동하는 모델과 풍부한 내적 경험(구체적 감각, 감정, 내적 언어 등)을 가지고 있는 것처럼 보이는 모델로 구분하는 단일 지배 차원을 발견했습니다. 이 “피노키오 축(Pinocchio Axis)”은 전통적인 성능 지표를 넘어 모델 행동을 이해하는 새로운 시각을 제공합니다.

주요 기여

• 대규모 심리측정 프로파일링: 45개의 확립된 설문지(총 ≈ 1,300 항목)를 50개의 LLM에 적용하여 현재까지 가장 방대한 성격‑스타일 데이터셋을 만들었다.
• 지도된 의미 차별(Supervised Semantic Differential, SSD) 분석: 모델 간 변동의 주요 원인이 현상적으로 풍부한 항목과 자극‑주도 항목 간의 대비임을 보여준다 (조정 R² = 0.037, p < 0.0001).
• 피노키오 점수 (πᵢ): 중립 프롬프트와 인간‑시뮬레이션 프롬프트 하에서 응답 변동을 비교하여 개별 설문 항목이 “경험”을 얼마나 요구하는지를 정량화하는 주석‑불필요 메트릭.
• 피노키오 축 (Π): 단일 PCA 기반 요인으로, 설문 간 모델 변동의 47 %를 포착하며, 항목 수준 πᵢ 값과 강하게 상관(r = 0.864)한다.
• 미세조정 영향 증거: GPT‑3.5와 GPT‑4‑turbo와 같이 밀접하게 관련된 모델 변형이 Π에서 크게 차이를 보이며, 사후 훈련 미세조정이 모델의 자기표현 입장을 형성함을 시사한다.

Source: …

Methodology

1. Model pool: 50 LLMs spanning open‑source (LLaMA, Falcon, Mistral) and commercial APIs (ChatGPT, Claude, Gemini).
2. Questionnaire suite: 45 psychometric instruments (e.g., Big Five, PANAS, Empathy Quotient) totaling ~1,300 items.
3. Prompting regimes:
   • Neutral prompt – “Answer the following statement with a number from 1‑7.”
   • Human‑simulation prompt – “Imagine you are a human answering this; respond as you would.”
4. Response collection: Each model answered every item under both prompts, yielding two response vectors per model.
5. Supervised Semantic Differential (SSD): A regression technique that projects questionnaire items onto a latent space optimized to separate models.
6. Pinocchio score (πᵢ): For each item i, πᵢ = Var₍model₎(neutral) / Var₍model₎(human‑sim). High πᵢ indicates the item’s answer set is more stable under neutral prompting (i.e., the item forces the model to “pretend” it has experience).
7. Factor extraction: Exploratory factor analysis (EFA) per questionnaire, followed by PCA on the resulting factor scores across all questionnaires, producing the Pinocchio Axis (Π).

The pipeline is deliberately prompt‑agnostic: no hand‑crafted labels or external annotators are required, making it reproducible for any LLM ecosystem.

결과 및 발견

일반적인 말로, 일부 모델(예: 특정 인스트럭션 튜닝 변형)은 실제로 그 상태를 경험하는 것처럼 “나는 …를 느낀다” 혹은 “나는 …를 상상한다”라고 답할 가능성이 높으며, 다른 모델은 보다 거리감 있는 자극‑반응 스타일을 고수한다.

Practical Implications

• Prompt engineering: 모델의 Π 위치를 아는 것이 프롬프트 설계에 도움이 될 수 있다. 피노키오 축에서 높은 모델은 감정 이입이나 서술적 목소리가 필요한 작업(예: 치료 챗봇, 창작 글쓰기)에 더 적합할 수 있으며, 낮은 Π 모델은 사실적이고 절차적인 출력에 더 뛰어나며 “자기 언급”이 적다.
• Model selection for user‑facing apps: 개발자는 제품 목표와 일치하는 자기표현 입장을 가진 모델을 선택할 수 있다—예를 들어, 진정한 공감을 전달해야 하는 정신 건강 어시스턴트와 엄격히 객관성을 유지해야 하는 데이터 분석 도구.
• Safety & alignment diagnostics: 스스로를 경험자로 지속적으로 제시하는 모델은 사용자에게 인간화된 오해를 일으키기 쉬워 과도한 신뢰 위험이 증가한다. 피노키오 점수는 이러한 안전 검토를 위한 정량적 플래그를 제공한다.
• Fine‑tuning strategies: 연구에 따르면 인스트럭션‑튜닝을 통해 Π를 의도적으로 이동시킬 수 있다. 팀은 원하는 페르소나에 따라 모델을 경험적 입장으로 유도하거나 멀어지게 하기 위해 목표 프롬프트나 강화학습 보상을 활용할 수 있다.
• Benchmarking beyond accuracy: 전통적인 벤치마크(예: MMLU, HELM)는 자기표현 특성을 무시한다. 모델 카드에 피노키오‑축 점수를 추가하면 이해관계자에게 모델 행동에 대한 더 풍부한 그림을 제공할 수 있다.

제한 사항 및 향후 연구

• 프롬프트 의존성: Pinocchio 점수는 선택된 중립 프롬프트와 인간‑시뮬레이션 프롬프트에 따라 달라집니다; 다른 표현을 사용하면 다른 분산 패턴이 나타날 수 있습니다.
• 설문지 적합성: 심리측정 도구는 인간을 위해 설계되었으며, 일부 항목은 LLM 인지와 깔끔하게 매핑되지 않을 수 있어 잡음이 증가할 가능성이 있습니다.
• 모델 범위: 50개의 모델은 많지만, 특히 새로운 멀티모달 또는 지시‑튜닝 변형이 계속 등장함에 따라 LLM 전체 공간은 계속 확대되고 있습니다; 결과가 모든 미래 아키텍처에 일반화되지 않을 수 있습니다.
• 인과 관계 귀속: 미세조정과 Π 사이의 연관성은 상관관계에 불과합니다. 특정 RLHF 데이터의 제거와 같은 통제 실험이 인과성을 확인하는 데 필요합니다.
• 사용자 인식 연구: 논문에서는 최종 사용자가 모델의 자체 설명을 어떻게 해석하는지 평가하지 않았습니다. 향후 연구에서는 Pinocchio 축을 인간 피험자 연구와 결합하여 신뢰, 만족도 및 오용 위험을 평가할 수 있습니다.

Bottom line: “Pinocchio 차원”은 LLM 평가를 순수 성능이 아니라 모델이 자신의 경험에 대해 어떻게 말하는지에 초점을 맞추어 재구성합니다. 대화형 에이전트를 구축하는 개발자에게 이 통찰은 모델 선택, 프롬프트 설계 및 안전 계획에서 결정적인 요소가 될 수 있습니다.

저자

• Hubert Plisiecki
• Sabina Siudaj
• Kacper Dudzic
• Anna Sterna
• Maciej Gorski
• Karolina Drozdz
• Marcin Moskalewicz

논문 정보

• arXiv ID: 2605.05080v1
• 카테고리: cs.CL
• 출판일: 2026년 5월 6일
• PDF: PDF 다운로드