[Paper] TALES: LLM이 생성한 이야기에서 문화적 표현의 분류와 분석

Source: arXiv - 2511.21322v1

Overview

이 논문은 TALES를 소개하며, 대형 언어 모델(LLM)이 AI‑생성 스토리에서 인도 문화 정체성을 어떻게 묘사하는지를 체계적으로 연구한다. 문화적 오표현에 대한 분류 체계를 구축하고 여러 인기 모델을 평가함으로써, 대부분의 생성된 서사는 문화적 오류를 포함하고 있음을 밝혀냈다—특히 자원이 적은 언어와 교외 지역 설정에서—반면 모델 자체는 기본적인 문화 지식을 보유하고 있는 경우가 많다.

Key Contributions

• TALES‑Tax: 인도 전역에서 살아본 경험이 있는 사람들을 대상으로 한 포커스 그룹 및 설문조사에서 도출된 세밀한 문화 오표현 분류 체계.
• 대규모 주석 작업: 71개 인도 지역과 14개 언어를 대표하는 108명의 주석자가 만든 2,925개의 스토리 주석.
• 여섯 개 LLM에 대한 실증 감사: 모델, 언어, 지리적 스토리 설정별 문화 부정확성의 유병률을 정량화.
• TALES‑QA: 문화 지식을 분리하여 평가할 수 있는 질문‑답변 벤치마크로, 스토리 생성 파이프라인과는 별도로 기본 모델을 직접 평가할 수 있게 함.
• 통찰력 있는 역설: 모델은 (TALES‑QA에서 확인된 바와 같이) 올바른 문화 사실을 알고 있음에도 불구하고 여전히 결함이 있는 이야기를 생성한다는 점을 강조, 지식 검색과 생성 사이의 격차를 부각.

Methodology

1. 분류 체계 생성 – 다양한 인도 배경을 가진 참가자와 9개의 포커스 그룹 세션 및 15개의 개별 설문조사를 진행. 그들의 피드백을 계층적 분류 체계(예: 복장, 음식, 축제, 사회 규범, 방언적 신호)로 정제.
2. 스토리 생성 – 6개의 LLM(오픈소스와 상용 API 모두 포함)에 다양한 인도 지역 및 언어에 위치한 캐릭터에 대한 짧은 이야기를 작성하도록 프롬프트.
3. 주석 파이프라인 – 묘사된 문화와 개인적으로 동일시하는 108명의 주석자를 모집. 각 이야기를 분류 체계에 정의된 오표현 존재 여부에 대해 검토하여 2,925개의 라벨링된 사례를 도출.
4. 정량적 분석 – 모델, 언어 자원 수준(고자원 vs 저자원), 스토리 설정(도시, 교외, 농촌)별 오류율 측정.
5. 지식 탐색 – 분류 체계 항목을 1,200개의 객관식 질문(TALES‑QA)으로 변환하고, 스토리 생성과 무관하게 동일 모델들의 순수 사실 회상 능력을 평가.

Results & Findings

• **88 %**의 생성된 이야기에 최소 하나 이상의 문화적 부정확성이 포함됨.
• 오류 빈도는 중·저자원 인도 언어(예: 마라티어, 벵골어)에서 고자원 언어(예: 힌디어, 영어)보다 높음.
• 교외 지역에 설정된 이야기가 가장 높은 오표현 비율을 보이며, 모델이 전형적인 도시 서사에 편향되어 있음을 시사.
• TALES‑QA에서는 많은 모델이 70‑85 % 정확도를 달성, 문화적 사실 지식을 보유하고 있음을 나타냄.
• 이러한 불일치는 생성 파이프라인(프롬프트 처리, 디코딩 전략 등)이 올바른 지식을 표출하지 못한다는 점을 의미.

Practical Implications

• 제품 팀은 인도 시장을 위한 AI 기반 스토리텔링, 챗봇, 가상 비서 등을 구축할 때 문화 검증 레이어(예: TALES‑Tax 또는 TALES‑QA를 활용한 사후 생성 검사)를 통합해야 함.
• 프롬프트 엔지니어링: 문화적 세부 사항(지역, 언어, 관습)을 명시적으로 지정하면 일부 오류를 완화할 수 있지만, 체계적인 보호 장치가 여전히 필요함.
• 파인튜닝 및 RLHF: 문화적으로 다양하고 고품질의 데이터셋과 문화 인식 인간 피드백을 통한 강화 학습을 도입하면 지식‑생성 격차를 메울 수 있음.
• 현지화 파이프라인: 다국어 제품의 경우, 저자원 언어에 대한 고품질 데이터와 평가를 우선시하여 고정관념 재생산을 방지.
• 컴플라이언스 및 윤리: 기업은 TALES‑Tax를 감사 체크리스트로 활용해 문화적으로 민감한 상황에서 LLM을 배포할 때 책임 있는 AI 관행을 입증할 수 있음.

Limitations & Future Work

• 본 연구는 인도 문화 정체성에만 초점을 맞추었으며, 전 세계 적용을 위해서는 다른 지역에 대한 분류 체계 확장이 필요함.
• 주석은 자신이 직접 경험한 삶을 기반으로 했으며, 이는 가치가 있지만 지역 내 변이성을 완전히 포착하지 못할 수 있음.
• 여섯 개 모델만을 조사했으며, 최신 또는 보다 특화된 LLM은 다른 행동을 보일 가능성이 있음.
• 향후 연구에서는 문화 오표현 자동 탐지, 실시간 교정 메커니즘 통합, 명령 튜닝이 이러한 오류 감소에 미치는 영향 등을 탐색할 수 있음.

Authors

• Kirti Bhagat
• Shaily Bhatt
• Athul Velagapudi
• Aditya Vashistha
• Shachi Dave
• Danish Pruthi

Paper Information

• arXiv ID: 2511.21322v1
• Categories: cs.HC, cs.AI, cs.CL, cs.CY
• Published: November 26, 2025
• PDF: Download PDF