[Paper] Testimole-Conversational: 30-Billion-Word 이탈리아어 토론 게시판 코퍼스 (1996‑2024) 언어 모델링 및 사회언어학 연구

Source: arXiv - 2602.14819v1

Overview

새로운 오픈‑소스 데이터셋 Testimole‑Conversational은 1996‑2024년 동안 공개 토론 게시판에서 수집된 300억 개 이상의 이탈리아어 단어‑토큰을 모았습니다. 이 데이터셋은 이탈리아어 온라인 커뮤니케이션의 연대기적으로 깊고 비공식적인 언어 스냅샷을 제공함으로써, 네이티브 이탈리아어 대형 언어 모델(LLM) 훈련 및 디지털 담론에 대한 사회언어학 연구의 초석으로 자리매김하고 있습니다.

주요 기여

• 규모: 300억 개 이상의 단어 토큰으로, 지금까지 공개된 가장 큰 단일 언어 이탈리아어 코퍼스 중 하나입니다.
• 시간적 폭: 28년간의 토론 게시판 활동을 포괄하여 언어 변화에 대한 통시적 분석을 가능하게 합니다.
• 도메인 다양성: 다양한 비공식 레지스터, 속어, 이모지, 코드 스위칭 및 포럼 고유의 관습을 포착합니다.
• 오픈 액세스: 저자들은 정제되고 토큰화된 데이터셋을 연구 및 상업적 사용을 위한 관용적인 라이선스로 배포할 예정입니다.
• 이중 활용도: NLP 실무자(사전 학습, 도메인 적응, 대화형 AI)와 사회언어학자(언어 변이 및 온라인 사회 행동 연구) 모두에게 유용합니다.

방법론

1. Data collection – 공개적으로 이용 가능한 이탈리아어 토론 게시판을 존중하는 크롤링 정책(robots.txt 준수, 속도 제한)을 사용하여 스크랩했습니다.
2. Cleaning pipeline – 중복 게시물, 서명 및 기본 탐색 텍스트를 제거했습니다. 비이탈리아어 콘텐츠와 스팸은 언어 식별 휴리스틱 및 경량 분류기를 사용해 필터링했습니다.
3. Tokenization & metadata – 텍스트를 이탈리아어 spaCy 토크나이저로 토큰화했으며, 각 메시지에 타임스탬프, 포럼 카테고리, 스레드 ID를 주석 달아 대화 맥락을 보존했습니다.
4. Quality checks – 무작위 샘플을 수동으로 검토하여 노이즈를 확인하고, 기본 통계(어휘 크기, 토큰‑타입 비율)를 계산해 코퍼스 상태를 검증했습니다.

이 파이프라인은 의도적으로 단순하게 설계되어 다른 연구자들이 추가 포럼이나 언어에 대해 재현하거나 확장할 수 있도록 합니다.

결과 및 발견

• 어휘 풍부성: 200만 개가 넘는 고유 어휘(lemma)와, 최근 몇 년에만 등장한 지역별 슬랭 및 신조어가 긴 꼬리를 이룬다.
• 시간적 변동: 빈도 분석 결과 2010년 이후 영어 차용어, 이모지, 인터넷 밈이 뚜렷하게 증가했으며, 이는 더 넓은 문화적 변화를 반영한다.
• 대화 역학: 스레드 수준 메타데이터를 통해 발화 순서 패턴, 응답 지연 시간, 사용자 상호작용 그래프 등을 추출할 수 있어 대화 시스템 학습에 유용하다.
• 기본 언어 모델: 코퍼스에 13억 파라미터 이탈리아어 트랜스포머를 파인튜닝하면, 일반 웹 크롤링으로 사전 학습된 모델에 비해 하위 이탈리아어 QA 및 채팅 벤치마크에서 퍼플렉시티가 12 % 감소한다.

Practical Implications

• Better Italian LLMs: Testimole‑Conversational에 사전 학습을 하면 영어 중심 LLM과 원어민 수준 이탈리아어 모델 간의 성능 격차를 줄일 수 있어, 코드 생성, 요약, 그리고 이탈리아어 사용자를 위한 가상 비서 품질이 향상됩니다.
• Domain‑adapted chatbots: 고객 지원 봇을 구축하는 기업은 이 데이터를 활용해 미세 조정함으로써 이탈리아 온라인 사용자들이 흔히 사용하는 비공식적인 어조와 관용 표현을 포착할 수 있습니다.
• Content moderation tools: 이 코퍼스는 이탈리아 포럼에서 혐오 발언, 괴롭힘, 혹은 허위 정보를 탐지하는 분류기를 훈련시키기 위한 현실적인 테스트베드를 제공합니다.
• Sociolinguistic dashboards: 연구자와 마케터는 거의 30년에 걸친 새로운 슬랭, 감정 추세, 혹은 지역별 언어 사용의 변화를 추적함으로써 제품 현지화 및 문화 분석에 활용할 수 있습니다.

제한 사항 및 향후 작업

• 플랫폼 편향: 데이터셋은 공개적으로 접근 가능한 특정 포럼에만 제한되어 있으며, 게임, LGBTQ+, 지역 방언 포럼 등과 같은 틈새 커뮤니티는 충분히 대표되지 않을 수 있습니다.
• 노이즈 잔류: 정제에도 불구하고 일부 스팸, 봇이 생성한 게시물, 이탈리아어가 아닌 조각이 남아 있어 민감한 응용 프로그램에서는 추가 필터링이 필요합니다.
• 윤리적 고려사항: 데이터가 공개되어 있더라도 사용자 익명성을 보장할 수 없으며, 향후 릴리스에서는 차등 프라이버시 기법이나 동의 기반 샘플링을 탐색해야 합니다.
• 확장 로드맵: 저자들은 코퍼스를 멀티모달 신호(이미지, 이모지를 별도 토큰으로)로 확장하고, 화자 수준의 익명화된 ID를 포함한 버전을 출시하여 보다 풍부한 대화 모델링을 목표로 하고 있습니다.

Testimole‑Conversational은 이탈리아어 중심 AI 도구의 새로운 세대에 문을 열어줄 뿐만 아니라, 디지털 공공 영역에서 언어가 어떻게 진화하는지에 관심 있는 학자들에게 살아있는 실험실을 제공합니다.

저자

• Matteo Rinaldi
• Rossella Varvara
• Viviana Patti

논문 정보

• arXiv ID: 2602.14819v1
• 분류: cs.CL
• 출판일: 2026년 2월 16일
• PDF: PDF 다운로드