[Paper] AI가 글을 쓸 때, 남는 목소리는 누구인가? Large Language Models에서 세계 영어 변종 간 문화적 표식 삭제량 정량화

Source: arXiv - 2602.22145v1

개요

논문 **“When AI Writes, Whose Voice Remains? Quantifying Cultural Marker Erasure Across World English Varieties in Large Language Models”**는 현대 LLM에서 발생하는 미묘하지만 중요한 편향을 조사합니다. 텍스트를 다시 쓰거나 “전문화”할 때, 모델은 종종 화자의 문화적 정체성을 나타내는 언어적 특징(예: 인도식, 싱가포르식, 나이지리아식 영어)을 제거합니다. 저자들은 이러한 체계적인 삭제 현상을 **“Cultural Ghosting”**이라고 명명하고, 이를 측정하기 위한 최초의 정량적 지표를 제시합니다.

주요 기여

• Definition of Cultural Ghosting: LLM‑generated 텍스트에서 문화적으로 특정된 언어 표지의 손실에 대한 명확하고 연구‑수준의 개념을 제시한다.
• Two novel metrics:
  • Identity Erasure Rate (IER) – 모델이 제거한 문화 표지의 비율.
  • Semantic Preservation Score (SPS) – 원본 텍스트와 재작성 텍스트 간의 의미 유사도 (임베딩 기반).
• Large‑scale empirical study: 다섯 가지 인기 LLM(GPT‑3.5, Claude, LLaMA 등)으로부터 22,350개의 출력물을 세 가지 프롬프트 스타일과 세 가지 World English 변형(인도식, 싱가포르식, 나이지리아식)에서 분석한다.
• Discovery of the “Semantic Preservation Paradox”: 모델이 의미는 유지하면서도(높은 SPS) 문화적 단서를 계속 지울 수 있음을 발견한다.
• Mitigation experiment: 간단한 “문화 표지 보존” 지시가 IER를 약 29 % 감소시키면서도 SPS에 영향을 주지 않음을 보여준다.

방법론

1. 데이터셋 구축 – 저자들은 문화적으로 표시된 어휘 항목(예: 정중함을 나타내는 입자 “lah”, “cheer up” 등)과 세 대상 영어 변종에 일반적인 화용적 관습을 포함하는 1,490개의 문장을 선별했습니다.
2. 프롬프트 조건 – 각 문장은 세 가지 프롬프트 아래에서 다섯 개의 LLM에 입력되었습니다:
   • 중립적 재작성 (추가 지시 없음)
   • 전문적인 어조 (예: “Make this sound formal”)
   • 문화 보존 (모델에 원래 문화적 표식을 유지하도록 명시적으로 요청)
3. 표식 탐지 – 규칙 기반 + 통계 기반 태거가 원본 및 생성 텍스트에서 문화적 표식을 식별합니다.
4. 지표 계산 –
   • IER = (제거된 표식 수) / (원본의 총 표식 수).
   • SPS = 원본과 출력의 문장 임베딩(SBERT) 간 코사인 유사도.
5. 통계 분석 – ANOVA와 사후 검정을 통해 모델, 프롬프트, 표식 유형(어휘 vs. 화용) 간 차이를 평가합니다.

Source: …

결과 및 발견

• 실용적 표시(정중함 입자, 담화 표시)는 순수 어휘 표시보다 1.9배 더 자주 삭제됩니다(71.5 % vs. 37.1 %).
• 의미 보존 역설: 거의 완벽에 가까운 의미 일치에도 불구하고 문화적 “목소리”는 종종 사라집니다.
• 프롬프트 영향: 문화 보존 프롬프트는 IER를 ≈29 % 감소시킵니다(예: 10.3 %에서 7.3 %로), SPS는 거의 변동이 없습니다(Δ ≈ 0.01).
• 모델 차이: 규모가 작고 instruction‑tuned된 모델은 표시를 더 많이 삭제하는 반면, 규모가 크고 다양성이 높은 모델(예: GPT‑4)은 가장 낮은 IER을 보입니다.

실용적 시사점

• 제품 디자인: 이메일, 보고서, 채팅 메시지를 자동으로 재작성하는 모든 SaaS는 사용자 목소리를 의도치 않게 동질화하지 않도록 “문화적 스타일 보존” 토글을 제공해야 합니다.
• 개발자 도구: LLM 기반 코드 주석 생성기, 문서 작성 도우미, 지식베이스 요약기는 텍스트를 “정리”하면 지역적 정체성이 사라져 비원어민 사용자를 소외시킬 수 있다는 점을 인식해야 합니다.
• 컴플라이언스 및 DEI: 글로벌 인력을 보유한 기업은 IER 지표를 진단 도구로 활용해 내부 AI 파이프라인의 문화적 편향을 감사하고 다양성·형평성·포용성 목표를 지원할 수 있습니다.
• 파인튜닝 전략: 지시 튜닝 세트에 문화적 표시가 포함된 예시를 추가하거나, 감지된 마커를 재삽입하는 후처리 필터를 적용하면 의미를 손상시키지 않으면서 고스팅을 완화할 수 있습니다.
• 사용자 경험: 문화별 예절 관습을 유지하면 AI가 생성한 커뮤니케이션의 정중함과 신뢰도가 향상되며, 특히 고객과 직접 마주하는 상황(예: 인도나 나이지리아 시장을 위한 챗봇)에서 효과적입니다.

Limitations & Future Work

• Scope of varieties: 이 연구는 세 가지 세계 영어 변종에 초점을 맞추고 있으므로, 다른 방언(예: 카리브, 말레이시아 영어)에서는 결과가 다를 수 있습니다.
• Marker detection reliance: 규칙 기반 태거가 미묘하거나 새롭게 등장하는 문화적 표지를 놓칠 수 있어 IER을 과소평가할 가능성이 있습니다.
• Semantic metric: SPS는 정적인 문장 임베딩을 사용하므로, 담화 일관성 같은 보다 정교한 의미 보존을 탐구할 여지가 있습니다.
• Mitigation depth: “문화적 표지 보존” 프롬프트는 다소 거친 도구이므로, 향후 연구에서는 문화적 스타일을 명시적으로 모델링하는 세분화된 제어 토큰이나 어댑터 레이어를 조사할 수 있습니다.
• Human evaluation: 자동 메트릭도 유용하지만, 대규모 인간 평가를 통해 음성 손실 및 수용성에 대한 인식이 확고히 입증될 수 있습니다.

저자

• Satyam Kumar Navneet
• Joydeep Chandra
• Yong Zhang

Paper Information

• arXiv ID: 2602.22145v1
• 분류: cs.HC, cs.AI, cs.CL
• 발행일: 2026년 2월 25일
• PDF: Download PDF