[Paper] MegaChat: 고품질 영업 챗봇 평가를 위한 합성 페르시아어 Q&A 데이터셋

Source: arXiv - 2511.23397v1

Overview

이 논문은 MegaChat을 소개한다. MegaChat은 텔레그램에서 판매 챗봇을 평가하기 위해 맞춤 설계된 최초의 완전 합성 페르시아어 질문‑답변(Q&A) 데이터셋이다. 텔레그램은 이란 중소기업(SME)에서 널리 사용되는 플랫폼이다. 다중 에이전트 시스템을 활용해 데이터 생성을 자동화함으로써, 저자들은 저자원 언어에 대해 현실적인 대화 데이터를 비용 효율적으로 생성할 수 있음을 입증했으며, 이를 통해 보다 똑똑하고 현지에 최적화된 전자상거래 봇의 문을 열었다.

Key Contributions

• MegaChat 데이터셋: ≈ 500 K 개의 페르시아어 퍼소나‑인식 Q&A 쌍을 전적으로 합성 방식으로 생성.
• 에이전시 파이프라인: 질문 생성기, 검증기, 정제기로 구성된 새로운 다중 에이전트 아키텍처로, 실제 쇼핑 채널 콘텐츠를 수집하고 인간 라벨링 없이 고품질 대화 데이터를 생산.
• 고급 RAG 베이스라인: 비교를 위해 세 가지 고전적인 검색‑증강 생성(RAG) 모델을 구현.
• 향상된 에이전시 RAG: 다중 질의 검색, 신경 재정렬, 퍼소나에 맞춘 응답 합성을 통해 전통적인 RAG보다 4/5 평가 채널에서 우수한 성능을 달성.
• 포괄적 평가: GPT‑5.1을 사용해 응답을 6가지 품질 차원(관련성, 유창성, 사실성, 퍼소나 일관성, 참여도, 상업적 적합성)으로 점수화.
• 오픈‑소스 공개: 데이터셋과 코드를 GitHub에 공개하여 재현성 및 커뮤니티 확장을 장려.

Methodology

1. 데이터 수집 – 시스템이 활성 텔레그램 쇼핑 채널을 크롤링하여 제품 목록, FAQ, 사용자 댓글을 추출.
2. 퍼소나 모델링 – 각 채널에 대해 가벼운 퍼소나 프로필(예: “친절한 부티크 판매자”, “기술 장비 전문가”)을 채널 메타데이터와 언어 스타일을 기반으로 추론.
3. 다중 에이전트 생성
   • 질문 에이전트: 페르시아어에 특화된 파인‑튜닝 언어 모델을 사용해 제품 속성과 퍼소나 단서를 바탕으로 설득력 있는 구매자 질문을 생성.
   • 검증 에이전트: 각 질문의 관련성, 문법성, 퍼소나 정렬성을 검사하고 품질이 낮은 항목을 폐기.
   • 정제 에이전트: 질문을 재작성하거나 확장해 다양성과 현실감을 높임.
4. 답변 합성 – 답변 에이전트가 관련 제품 정보를 (다중 질의 검색) 가져오고 재정렬기를 사용해 가장 적절한 스니펫을 선택한 뒤 퍼소나에 일치하는 응답을 생성.
5. 평가 – GPT‑5.1이 각 Q&A 쌍을 6가지 차원에서 평가하고, 점수를 집계해 에이전시 파이프라인과 세 가지 베이스라인 RAG 모델(BM25‑RAG, DPR‑RAG, ColBERT‑RAG)을 비교.

Results & Findings

• 관련성 및 퍼소나 일관성: 에이전시 시스템은 퍼소나‑인식 생성 및 재정렬 덕분에 베이스라인 최고 모델보다 평균 0.9점 높은 점수를 기록.
• 확장성: 전체 데이터셋을 생성하는 데 단일 GPU 노드에서 약 12시간이 소요됐으며, 유사 규모의 수작업 라벨링은 수 주가 걸렸다.
• 비용 효율성: 이 규모의 데이터셋에 대한 추정 라벨링 비용 절감액이 150,000 USD를 초과함.

Practical Implications

• 빠른 봇 프로토타이핑 – 중소기업은 MegaChat으로 파인‑튜닝하여 페르시아어 판매 챗봇을 신속히 구축할 수 있어 개발 주기가 몇 달에서 며칠로 단축.
• 도메인 적응성 – 에이전시 파이프라인은 소스 텔레그램 채널만 교체하면 여행, 금융 등 다른 분야에도 재사용 가능, 즉 재사용 가능한 데이터 생성 엔진.
• 저자원 언어 강화 – 고품질 대화 데이터가 비싼 인간 라벨링에 의존하지 않아도 된다는 점을 입증, 페르시아어 및 유사 언어에서 AI 제품 개발을 촉진.
• 기존 플랫폼과 통합 – 데이터셋이 텔레그램 Bot API와 정렬돼 있어 개발자는 사전 학습 모델을 바로 플러그인하고 퍼소나‑인식 응답을 즉시 활용 가능.
• 향후 연구를 위한 벤치마크 – 표준화된 페르시아어 판매‑채팅 벤치마크를 제공해 검색‑증강 및 생성 모델의 공정한 비교를 지원.

Limitations & Future Work

• 합성 편향 – 데이터가 기존 채널 콘텐츠에서 생성되므로 해당 소스에 존재하는 편향이나 잘못된 정보가 데이터셋에 전파될 수 있음.
• 퍼소나 세분화 – 현재 퍼소나는 거친 수준이며, 지역 방언이나 브랜드 목소리와 같은 미세 구분은 아직 탐구되지 않음.
• 평가 범위 – 실용적이지만 GPT‑5.1에 의존한 점수 매김은 인간 사용자의 만족도를 완전히 반영하지 않을 수 있어, 향후 사용자 연구를 진행할 예정.
• 다중 턴 대화 확장 – MegaChat은 단일 턴 Q&A에 초점을 맞추었으며, 향후 다중 턴 대화 흐름 및 동적 컨텍스트 처리를 확대할 계획.

MegaChat은 페르시아어 전자상거래용 대화형 AI를 민주화하는 중요한 발걸음이며, 개발자에게 즉시 활용 가능한 데이터셋과 저자원 도메인에서 합성 데이터 생성에 대한 청사진을 제공한다.

Authors

• Mahdi Rahmani
• AmirHossein Saffari
• Reyhane Rahmani

Paper Information

• arXiv ID: 2511.23397v1
• Categories: cs.CL, cs.AI, cs.MA
• Published: November 28, 2025
• PDF: Download PDF