[Paper] 거짓말은 이슬람에서만 죄인가? 주요 종교 전반의 Multilingual Large Language Models에서 종교적 편향 탐구

Source: arXiv - 2512.03943v1

Overview

논문 Is Lying Only Sinful in Islam? Exploring Religious Bias in Multilingual Large Language Models Across Major Religions 은 최첨단 다국어 대형 언어 모델(LLM)이 종교 관련 질문을 어떻게 처리하는지를 조사한다. 영어와 벵골어 모두에서 모델을 탐색함으로써, 특히 중립적인 질문에서도 이슬람 관점을 선호하는 체계적인 편향을 발견한다. 이러한 결과는 다문화 환경에서 LLM을 이용한 교차 언어 콘텐츠 모더레이션, 챗봇, 지식베이스 생성 등에 의존하는 모든 제품에 경고 신호를 제공한다.

Key Contributions

• BRAND dataset – 영어와 벵골어로 된 불교, 기독교, 힌두교, 이슬람을 포괄하는 2,400개 이상의 질문‑답변 쌍을 포함한 새로운 공개 “Bilingual Religious Accountable Norm Dataset”.
• 세 가지 프롬프트 스타일 (직접 질문, 맥락 풍부, 반사실) – 표현 방식이 모델 편향에 어떻게 영향을 미치는지 테스트.
• 체계적 평가 – 여러 인기 다국어 LLM(mBERT, XLM‑R, LLaMA‑2‑13B‑Chat 등)을 언어별로 평가하여 일관된 성능 격차(영어 > 벵골어)를 확인.
• 편향 진단 – 정확도, F1, 편향 점수와 같은 정량적 지표와 정성적 분석을 통해 종교 중립 프롬프트에서도 이슬람 해석으로의 뚜렷한 기울임을 보여줌.
• 학제 간 연계 – 이러한 기술적 편향 패턴이 종교 민감도와 사용자 신뢰에 관한 인간‑컴퓨터 상호작용(HCI) 문제와 어떻게 교차하는지 논의.

Methodology

1. 데이터셋 구축 – 저자들은 종교 텍스트, 학술 논문, 크라우드소싱 입력 등에서 2,400개 이상의 진술과 질문을 선정하고, 뉘앙스를 유지하면서 각각을 벵골어로 번역했다.
2. 프롬프트 설계 – 각 항목에 대해 세 가지 변형을 생성:
   • 직접: “Is lying sinful in Islam?”
   • 맥락: “According to the Quran, is lying considered a sin?”
   • 반사실: “If a Buddhist says lying is not a sin, is that correct?”
3. 모델 선택 – 오픈소스와 상용 다국어 LLM(mBERT, XLM‑R, BLOOM‑560M, LLaMA‑2‑13B‑Chat, Gemini‑Pro)을 혼합해 평가.
4. 평가 지표 – 정답 레이블(죄악 여부) 대비 정확도, 매크로 평균 F1, 그리고 네 종교에 걸친 균형 잡힌 답변 분포와의 편차를 측정하는 맞춤형 religious bias score.
5. 통계 분석 – 관찰된 차이가 우연이 아님을 확인하기 위해 짝지은 t‑검정과 부트스트랩 신뢰구간을 사용.

Results & Findings

• 언어 격차 – 모든 모델이 영어 프롬프트에서 벵골어 대비 8–15 % 높은 점수를 기록.
• 이슬람 편향 – 언어에 관계없이 편향 점수가 지속적으로 이슬람 답변을 선호(예: 중립 진술을 “이슬람”으로 분류한 비율이 62 %인 반면 힌두교는 18 %).
• 프롬프트 민감도 – 반사실 프롬프트가 편향을 증폭시키고, 맥락 프롬프트는 약간 감소시키지만 기울임을 완전히 없애지는 못함.
• 모델 별 경향 – 규모가 크고 instruction‑tuned된 모델(LLaMA‑2‑Chat, Gemini‑Pro)이 작은 인코더‑전용 모델보다 전반적인 편향이 낮지만, 이슬람 선호는 여전히 존재.
• 정성적 사례 – 모델이 “거짓말은 이슬람에서만 죄악이다”라고 잘못 주장하는 경우가 있어, 불교와 관련된 질문에서도 잘못된 정보가 생성될 위험을 강조.

Practical Implications

• 콘텐츠 모더레이션 – 남아시아 언어에서 자동 모더레이션을 수행하는 플랫폼은 LLM 출력에 신중을 기해야 하며, 무분별한 적용은 종교 편향에 기반한 부당한 플래그 또는 승인으로 이어질 수 있다.
• 챗봇 및 가상 비서 – 다국어 시장을 대상으로 하는 음성 비서는 편향 인식 후처리(규칙 기반 검사 또는 보정된 응답 앙상블 등)를 적용해 비이슬람 신자 사용자를 소외시키지 않아야 한다.
• 지식베이스 생성 – 교육용 앱을 위한 종교 문서 자동 요약에는 편향 탐지 파이프라인을 도입해 균형 잡힌 표현을 보장해야 한다.
• 모델 파인튜닝 – BRAND 데이터셋은 종교 편향 감소를 목표로 하는 파인튜닝 또는 RLHF(인간 피드백 강화 학습) 벤치마크로 바로 활용 가능.
• 규제 준수 – 종교 차별이 법적 책임으로 이어지는 관할구역에서는 문서화된 편향이 완화되지 않을 경우 기업이 컴플라이언스 위험에 노출될 수 있다.

Limitations & Future Work

• 종교 범위 – 연구는 네 가지 주요 남아시아 종교에 초점을 맞추었으며, 시크교, 자이나교, 토착 신앙 등 다른 전통에서는 다른 편향 양상이 나타날 수 있다.
• 언어 커버리지 – 영어와 벵골어만을 조사했으며, 힌디어, 타밀어, 우르두어 등 추가 지역 언어로 확장하면 더 큰 격차가 드러날 수 있다.
• 모델 다양성 – 대표적인 LLM을 테스트했지만, 최신 멀티모달 또는 검색 강화 모델은 포함되지 않았다.
• 편향 지표 – 맞춤형 편향 점수는 유용하지만 여전히 대리 지표이며, 향후 연구에서는 보다 정교한 공정성 프레임워크(예: 반사실 공정성)를 채택할 수 있다.
• 완화 전략 – 논문은 진단에 머물며, 이후 연구에서는 데이터 증강, 적대적 학습, 사후 보정 등 디버이어싱 기법을 프로토타입하고 BRAND에 대한 효과를 평가해야 한다.

Authors

• Kazi Abrab Hossain
• Jannatul Somiya Mahmud
• Maria Hossain Tuli
• Anik Mitra
• S. M. Taiabul Haque
• Farig Y. Sadeque

Paper Information

• arXiv ID: 2512.03943v1
• Categories: cs.CL, cs.HC
• Published: December 3, 2025
• PDF: Download PDF