[Paper] 질문하고, 답하고, 탐지하기: 질문 조건부 Mixture-of-Experts를 활용한 역할 연기 LLM을 통한 성격 탐지

Source: arXiv - 2512.08814v1

Overview

이 논문은 ROME이라는 새로운 프레임워크를 소개한다. ROME은 대형 언어 모델(LLM)을 활용해 고전적인 성격 설문지(예: MBTI, Big‑5)의 시험자 역할을 “역할‑플레이”한다. 사용자의 원시 소셜 미디어 게시물을 검증된 심리측정 항목에 대한 시뮬레이션 답변으로 변환함으로써, ROME은 잡음이 많은 텍스트와 추상적인 성격 라벨 사이에 투명한 다리를 만들고, 탐지 정확도를 크게 향상시키면서도 개발자가 추론 과정을 해석할 수 있게 한다.

Key Contributions

• 심리학‑인식 프롬프트: 설문 항목에 답변하는 LLM의 능력을 활용해 도메인‑특화 지식을 모델에 직접 주입한다.
• 질문‑조건부 Mixture‑of‑Experts (MoE): 원본 게시물과 생성된 질문 컨텍스트를 공동으로 처리하는 경량 라우팅 모듈로, 설문 답변을 보조 과제로 예측하도록 학습한다.
• 답변‑벡터 감독: LLM이 생성한 답변을 구조화된 “답변 벡터”로 변환하여 풍부한 중간 감독 역할을 하게 함으로써, 라벨이 부족한 성격 데이터 문제를 완화한다.
• 멀티‑태스크 학습 파이프라인: 답변 예측과 최종 성격 분류를 동시에 학습시켜 보다 견고한 엔드‑투‑엔드 시스템을 만든다.
• 강력한 실증적 향상: 공개된 Kaggle 성격 데이터셋에서 기존 최고 방법 대비 최대 **15.4 %**의 상대적 개선을 보이며, 두 번째 벤치마크에서도 일관된 향상을 달성한다.

Methodology

1. 데이터 준비 – 각 사용자의 게시물 모음에 심리측정 질문 집합(예: “나는 사교적인 모임을 즐긴다”)을 짝지어진다.

2. 역할‑플레이 LLM – 사전 학습된 LLM(예: GPT‑3.5)에 사용자의 게시물을 컨텍스트로 사용해 마치 사용자인 것처럼 각 질문에 답하도록 프롬프트한다. 이 과정에서 질문‑단위 답변(보통 리커트 척도 점수)이 생성된다.

3. 질문‑조건부 MoE

   • 게시물 텍스트는 트랜스포머 인코더로 인코딩된다.
   • 각 질문도 동일한 LLM 또는 작은 인코더를 통해 임베딩된다.
   • 게이팅 네트워크가 특정 게시물‑질문 쌍에 대해 어떤 전문가(작은 피드‑포워드 서브네트워크)를 사용할지 결정한다.

4. 답변 벡터 구성 – 모든 예측된 답변을 고정 크기의 벡터로 연결하여 원본 설문지 구조를 직접 반영한다.

5. 멀티‑태스크 목표 – 두 개의 손실을 동시에 최적화한다:

   • 답변 예측 손실(소규모 라벨링된 부분집합의 설문 정답으로 감독)
   • 성격 분류 손실(MBTI/Big‑5 라벨에 대한 표준 교차 엔트로피)

   보조 답변 과제는 모델이 심리학적으로 의미 있는 표현을 학습하도록 강제하고, 이는 최종 라벨 예측을 향상시킨다.

Results & Findings

• 해석 가능성: 답변 벡터는 특정 설문 항목이 어떤 성격 예측을 이끌었는지 보여주며, 텍스트‑전용 블랙박스 모델에서는 볼 수 없는 기능이다.
• 데이터 효율성: 전체 학습 데이터의 5 %만 라벨링되어 있어도 ROME은 전체 데이터를 사용한 기존 베이스라인보다 성능이 높아, 보조 감독의 힘을 입증한다.
• 소거 실험: MoE 라우팅이나 답변‑예측 과제를 제거하면 성능이 약 7 % 감소하며, 두 요소가 상호 보완적임을 강조한다.

Practical Implications

• 맞춤형 UX: 개발자는 기존 상호작용 로그만으로도 사용자의 특성을 추론할 수 있도록 ROME을 추천 엔진, 챗봇, 적응형 UI 시스템에 통합할 수 있다.
• 정신 건강 도구: 임상의는 답변 벡터를 1차 스크리닝 도구로 활용해, 예를 들어 높은 신경증을 보이는 사용자를 위험 요인으로 표시할 수 있다.
• 컴플라이언스 및 투명성: 모델이 인간이 읽을 수 있는 설문 점수를 출력하므로, 불투명한 임베딩보다 AI 설명 가능성 규정을 더 잘 충족한다.
• 저라벨 시나리오: 제한된 라벨링된 성격 데이터만 보유한 스타트업도 ROME의 멀티‑태스크 설정으로 고성능 탐지기를 빠르게 부트스트랩할 수 있다.
• 플러그‑인 방식: MoE 컴포넌트는 경량(≈ 2 M 파라미터)이며 기존 트랜스포머 기반 텍스트 인코더에 쉽게 붙일 수 있어, 프로덕션 마이그레이션이 간단하다.

Limitations & Future Work

• 프롬프트 민감도: 생성된 답변의 품질은 프롬프트 설계에 크게 좌우되며, 부실한 프롬프트는 편향을 초래할 수 있다.
• 설문지 범위: 현재 ROME은 고정된 심리측정 항목을 전제로 하며, HEXACO와 같은 다른 성격 모델로 확장하려면 추가 프롬프트 설계와 약간의 재학습이 필요하다.
• LLM 추론 확장성: 대형 LLM을 실시간으로 역할‑플레이하는 비용이 높을 수 있어, 향후 경량화된 디스틸링 모델이나 어댑터 기반 LLM을 탐색할 필요가 있다.
• 문화 간 타당성: 설문지는 주로 영어 중심이며, 다국어 혹은 문화적으로 다양한 코퍼스에서 ROME을 평가하는 연구가 아직 진행되지 않았다.

핵심 요약: ROME은 LLM의 생성 능력과 고전 심리학 평가를 결합함으로써 데이터 효율적이고, 해석 가능하며, 정확한 성격 탐지 파이프라인을 구현한다. 이는 개발자가 오늘날 바로 적용해 더 똑똑하고 사용자 중심의 애플리케이션을 구축할 수 있는 접근법이다.

Authors

• Yifan Lyu
• Liang Zhang

Paper Information

• arXiv ID: 2512.08814v1
• Categories: cs.CL
• Published: December 9, 2025
• PDF: Download PDF