[Paper] Large Language Models와 설득 전략을 활용한 승리 논증 탐지

Source: arXiv - 2601.10660v1

번역할 텍스트를 제공해 주시겠어요? 텍스트를 알려주시면 원본 형식과 마크다운을 유지하면서 한국어로 번역해 드리겠습니다.

Overview

이 논문은 대형 언어 모델(LLM)이 여섯 가지 고전적인 설득 전술(예: 평판 공격, 산만함 유도, 조작적 표현)을 명시적으로 추론함으로써 “승리하는” 논증을 식별하도록 교육할 수 있는 방법을 탐구한다. 이러한 전략을 프롬프트 과정에 통합함으로써, 저자들은 인기 있는 Change My View 서브레딧 코퍼스를 포함한 세 개의 실제 데이터셋 전반에 걸쳐 논증 설득력에 대한 보다 정확하고 해석 가능한 예측을 달성한다.

주요 기여

• 전략 기반 프롬프트: 여섯 가지 사전 정의된 설득 전략을 통해 LLM이 논증을 평가하도록 유도하는 다중 전략 설득 점수(MSPS) 프레임워크를 소개합니다.
• 교차 데이터셋 검증: 세 가지 다양한 공개 논증 코퍼스(Winning Arguments, Anthropic/Persuasion, Persuasion for Good)에서 접근법을 시연하여 기본 LLM 프롬프트 대비 일관된 향상을 보여줍니다.
• 주제 주석이 달린 Winning Arguments: 고수준 토론 주제로 강화된 Change My View 데이터셋의 새로운 버전을 공개하여 전략 효과성에 대한 보다 세밀한 분석을 가능하게 합니다.
• 해석 가능성 향상: 전략 수준 점수가 논증이 설득력 있다고 판단되는 이유에 대한 투명한 근거를 제공함을 보여주어 디버깅과 신뢰성을 촉진합니다.
• 견고성 인사이트: 실증적으로 전략 인식 프롬프트가 주제별 성능 변동성을 감소시키고 표면적인 어휘 단서에 대한 과도한 의존을 완화함을 발견했습니다.

방법론

1. Persuasion strategy taxonomy – 저자들은 수사학 이론에서 도출된 여섯 가지 잘 연구된 전술(평판 공격, 산만화, 조작적 표현 등)을 채택한다.
2. Prompt engineering – 각 주장마다 LLM에 구조화된 프롬프트가 제공되어 (a) 각 전략의 증거를 식별하고, (b) 전략별 신뢰도 점수(0–1)를 부여하며, (c) 이 점수들을 종합해 전체 설득력 예측을 수행하도록 요청한다.
3. Model backbone – 실험에서는 GPT‑3.5‑turbo와 Claude‑2를 기본 LLM으로 사용하며, API를 통해 접근하고 온도(temperature)를 0으로 설정해 결정론적 출력을 얻는다.
4. Training‑free fine‑tuning – 그래디언트 기반 미세조정은 수행되지 않으며, 이 방법은 순전히 프롬프트 설계와 각 전략을 보여주는 few‑shot 예시들에 의존한다.
5. Evaluation – 표준 분류 지표(정확도, F1)를 사용해 MSPS 접근법을 일반 LLM 베이스라인(단일 프롬프트 “Is this argument persuasive?”) 및 동일 데이터로 학습된 감독식 BERT‑style 분류기와 비교한다.
6. Topic analysis – 풍부해진 Winning Arguments 데이터셋을 토론 주제별(예: 정치, 기술, 건강)로 나누어 특정 분야에서 특정 전략이 지배적인지 평가한다.

결과 및 발견

• 전략 점수가 중요합니다: 하나 이상의 전략을 생략한 제거 실험에서는 정확도가 3–5 % 감소했으며, 이는 각 전술이 유용한 신호를 제공함을 확인합니다.
• 주제 견고성: 주제별 정확도 변동이 기본 모델에서는 ±6 %였으나 MSPS에서는 ±3 %로 감소하여 모델이 주제‑특정 어휘에 덜 영향을 받는다는 것을 보여줍니다.
• 해석 가능성: 인간 평가자는 전략‑수준 설명을 84 %의 경우 “명확함”으로 평가했으며, 이는 일반 LLM 출력의 57 %와 비교됩니다.

실용적 함의

• 콘텐츠 조정 및 사실 확인: 플랫폼은 여섯 가지 전략에 따라 점수를 매겨 잠재적으로 조작적인 게시물을 표시할 수 있어, 단순한 독성 필터보다 더 세밀한 정책 집행이 가능해집니다.
• 자동 토론 보조 도구: 공개 연설이나 협상을 위한 AI 코치를 개발하는 개발자는 초안 논증에서 가장 강력한 설득 전술을 드러내어, 개선을 위한 구체적인 제안을 제공할 수 있습니다.
• 마케팅 및 카피라이팅 도구: 전략을 인식한 점수 매기는 방식은 마케터가 과도하게 공격적이거나 기만적인 전술이 포함된 광고 카피를 감사하도록 도와주며, 규제 준수(예: FTC 가이드라인)와도 일치합니다.
• 교육 기술: MOOC나 글쓰기 플랫폼의 논증 분석 모듈은 학생들에게 자신이 사용하는 수사적 전략에 대한 투명한 피드백을 제공하여 비판적 사고를 촉진합니다.
• 데이터셋 강화: 발표된 주제 주석이 달린 Winning Arguments 데이터셋은 도메인 인식 설득 탐지에 대한 향후 연구의 벤치마크가 될 수 있어, 재현성 및 커뮤니티 기여를 장려합니다.

제한 사항 및 향후 연구

• 프롬프트 민감도: 결과는 신중한 프롬프트 문구와 few‑shot 예시 등에 의존하며, 작은 변화에도 점수가 달라질 수 있어 보다 견고한 프롬프트 파이프라인이 필요함을 시사합니다.
• 전략 범위: 여섯 가지 전략 분류는 문헌에 기반하지만, 특수 분야에서 나타나는 미묘한 전술(예: 감정적 호소)을 놓칠 수 있습니다.
• LLM 편향: 접근 방식이 독점적인 LLM에 의존하므로, 문화적·정치적 편향과 같은 내재된 편향이 전략 탐지에 영향을 미칠 수 있어 편향 감사가 필요합니다.
• 확장성: 논증당 다단계 프롬프트는 API 비용과 지연 시간을 증가시키므로, 향후 연구에서는 전략 추론을 내부화한 경량화 모델을 탐색할 수 있습니다.
• 다언어 확장: 모든 실험이 영어에만 국한되어 있으므로, 프레임워크를 다국어 환경에 적용하면 글로벌 플랫폼에서의 활용도가 확대될 것입니다.

저자

• Tiziano Labruna
• Arkadiusz Modzelewski
• Giorgio Satta
• Giovanni Da San Martino

논문 정보

• arXiv ID: 2601.10660v1
• 카테고리: cs.CL
• 출판일: 2026년 1월 15일
• PDF: Download PDF