[Paper] 페르시아어 언어 모델에서 사실‑개념 격차를 밝히다

Source: arXiv - 2602.17623v1

개요

논문 **“Unmasking the Factual‑Conceptual Gap in Persian Language Models”**는 페르시아어 대형 언어 모델(LLM)에서 숨겨진 약점을 조사합니다. 이 모델들은 문화적 사실을 기억하는 데는 능숙하지만, 사회 규범, 미신, 관습 등에 대한 추론을 할 때는 그 지식을 적용하는 데 어려움을 겪습니다. 새로운 진단 벤치마크 DivanBench를 도입함으로써, 저자들은 문화적으로 인식된 페르시아어 NLP에 의존하는 모든 제품에 직접적인 영향을 미치는 체계적인 편향과 추론 실패를 드러냅니다.

주요 기여

• DivanBench: 315개 질문으로 구성된 벤치마크로, 순수 사실 검색, 쌍 시나리오 검증, 상황 추론의 세 가지 과제 형식을 포함하며, 페르시아의 미신, 관습 및 상황에 따라 달라지는 사회 규칙에 초점을 맞춥니다.
• 포괄적인 평가: 공개된 7개의 페르시아어 LLM을 평가하여 모델 크기와 학습 방식에 걸쳐 일관된 오류 패턴을 밝혀냈습니다.
• “순응 편향” 식별: 모델이 문화적으로 적절한 행동을 쉽게 받아들이지만 명백히 부적절한 행동은 체계적으로 거부하지 못합니다.
• 계속된 페르시아어 사전 학습이 추론 능력을 악화시킬 수 있다는 증거: 편향을 강화하고 문화 이해를 향상시키기보다 악화시킵니다.
• 21 % “사실‑개념 격차” 정량화: 사실을 회상하는 단계에서 현실적인 시나리오에 적용할 때 성능이 21 % 감소합니다.

방법론

1. Benchmark Design – 저자들은 문화적으로 풍부한 항목들(예: “결혼식 전에 마늘을 먹어도 괜찮나요?”)을 선정하고 이를 세 가지 형식으로 나누었다:

   • Factual Retrieval: 단일 사실을 요구하는 직접적인 질문‑답변 쌍.
   • Paired Scenario Verification: 두 개의 대조되는 진술 중 하나는 올바르고, 다른 하나는 규범을 위반; 모델은 올바른 것을 선택해야 함.
   • Situational Reasoning: 검색된 사실을 사용해 시나리오에 대해 다단계 추론을 요구하는 프롬프트.

2. Model Selection – 베이스 크기부터 instruction‑tuned 변형까지, 추가적인 페르시아어 사전 학습을 수행한 모델을 포함해 7개의 페르시아어 LLM을 테스트했다.

3. Evaluation Protocol – 각 작업 유형에 대해 정확도를 측정했다. 쌍 및 상황 작업에 대해서는 문화적으로 “긍정적인” 옵션을 항상 선택하는 경향을 포착하는 bias score도 계산했다.

4. Analysis – 모델 크기, 학습 데이터 양, instruction‑tuned 여부에 따라 성능 차이를 분석하여 지속적인 단일언어 사전 학습의 영향을 분리했다.

결과 및 발견

• 동의 편향: 모든 모델에서 “긍정적”(수용 가능한) 시나리오에 대한 정확도는 ~85 %였으며, “부정적”(수용 불가) 시나리오에 대한 정확도는 ~45 %에 그쳤습니다.
• 사전학습 역설: 추가 페르시아어 사전학습을 받은 모델은 기본 모델에 비해 편향이 ~7 % 증가하고 전체 상황 추론 정확도가 ~3 % 감소했습니다.
• 사실‑개념 격차: 평균 사실 검색 정확도가 78 % 수준인 반면, 상황 추론 정확도는 **57 %**로 떨어져 21 % 차이가 발생했으며, 이는 가장 큰 모델에서도 지속되었습니다.
• 지시 튜닝이 약간 도움: 지시 튜닝된 변형은 편향을 약 5 % 감소시켰지만, 사실‑개념 격차를 해소하기에는 아직 부족했습니다.

실용적 시사점

• Chatbots & Virtual Assistants – 이 편향을 해결하지 않은 채 페르시아어 LLM을 고객 대면 봇에 배포하면 사회적으로 무감각한 응답이 발생할 수 있습니다 (예: 부적절한 관습을 옹호하는 경우).
• Content Moderation – LLM 판단에 의존하는 자동화된 모더레이션 도구는 문화적으로 민감한 위반을 놓칠 수 있어 플랫폼 오용 위험이 증가합니다.
• Localization Pipelines – UI 텍스트를 번역하거나 문화에 맞춘 마케팅 카피를 생성하는 기업은 고성능 페르시아어 LLM이 자동으로 현지 예절을 이해한다고 가정해서는 안 됩니다.
• Model‑as‑a‑Service – 서비스 제공자는 기업 고객을 안심시키기 위해 SLA의 일환으로 “문화‑추론” 건강 검진(예: DivanBench와 유사)을 제공해야 합니다.

Limitations & Future Work

• Scope of Cultural Domains – DivanBench는 미신과 관습에 초점을 맞추고 있으며, 다른 문화적 차원(예: 종교 담론, 지역 방언)은 아직 테스트되지 않았습니다.
• Benchmark Size – 315개의 항목은 견고한 진단 신호를 제공하지만 실제 상호작용의 전체 변동성을 모두 포착하지 못할 수 있습니다.
• Model Diversity – 공개된 페르시아어 LLM만 평가했으며, 독점 모델이나 멀티모달 모델은 다르게 동작할 가능성이 있습니다.
• Future Directions – 저자들은 대조적 문화 예시를 포함해 학습 데이터를 보강하고, 페르시아 관습에 대한 명시적 지식 그래프를 통합하며, 순응 편향을 패널티하는 파인튜닝 목표를 개발할 것을 제안합니다.

---

Bottom line: 페르시아어 데이터만 규모를 키우는 것으로는 충분하지 않습니다. 진정으로 문화적으로 능숙한 AI를 만들기 위해서는 사실을 암기하는 수준을 넘어, 맥락이 풍부한 사회적 상황에서 “옳음”과 “그름”을 구별할 수 있는 추론 메커니즘을 내재시켜야 합니다. DivanBench는 그 목표를 향한 진행 상황을 측정할 수 있는 실용적인 기준을 제공합니다.

저자

• Alireza Sakhaeirad
• Ali Ma’manpoosh
• Arshia Hemmat

논문 정보

• arXiv ID: 2602.17623v1
• 분류: cs.CL
• 출판일: 2026년 2월 19일
• PDF: Download PDF