[Paper] 도전적인 코퍼스를 활용한 도박 장애 조기 탐지를 위한 접근: UNSL at MentalRiskES 2025

Source: arXiv - 2511.23325v1

Overview

이 논문은 MentalRiskES 2025 챌린지에서 UNSL이 우승한 결과를 보고한다. 목표는 도박 장애가 발생할 위험이 높은 소셜 미디어 사용자를 식별하는 것이다. 경량 패턴 기반 분류기와 대규모 언어 모델을 결합함으로써, 저자들은 높은 예측 정확도와 빠른 의사결정이라는 두 가지 기준을 동시에 달성할 수 있음을 보여준다—이는 실시간 정신건강 모니터링 시스템에서 흔히 상충되는 목표이다.

Key Contributions

• Hybrid CPI + DMC 프레임워크: 예측 성능과 의사결정 지연을 별개의 최적화 목표로 다룬다.
• 세 가지 구체적 모델:
  1. SS3 – 위험한 게시물인 이유를 설명할 수 있는 투명한 토큰‑레벨 분류기.
  2. BERT‑extended – 도박 전용 어휘를 추가한 파인튜닝 BERT 모델.
  3. SBERT – 유사도 기반 위험 점수를 위해 사용되는 문장 임베딩 모델.
• 의사결정 정책: 사용자의 과거 게시물을 집계하여 충분한 증거가 축적되면 즉시 경고를 발생시킨다.
• 공식 리더보드에서 Top‑2 입상, 특히 “decision‑speed” 지표에서 뛰어난 성과를 보였다.
• 오류 분석: 경계선(저위험) 사용자와 실제 고위험 사용자를 구분하는 내재적 어려움을 드러내며, 데이터 품질 문제를 강조한다.

Methodology

1. Corpus & Task – 챌린지는 도박 장애에 대해 high‑risk 또는 low‑risk 라벨이 붙은 다국어 Reddit‑스타일 게시물 코퍼스를 제공한다.
2. CPI (Classification‑Performance‑Indicator) + DMC (Decision‑Making‑Cost) – 단일 손실 대신 두 점수를 최적화한다:
   • CPI: 검증 세트에서 전통적인 F1/정확도.
   • DMC: 시스템이 예측을 내리기까지 검토한 평균 게시물 수.
3. Model Stack
   • SS3: 위험 라벨에 기여한 용어를 확인할 수 있는 계층적 단어 빈도 맵을 구축한다.
   • BERT‑extended: 기본 BERT 토크나이저에 도박 관련 속어, 이모지, 도메인‑특화 해시태그를 추가하고 학습 분할에 파인튜닝한다.
   • SBERT: 각 게시물을 밀집 벡터로 인코딩하고, 알려진 고위험 프로토타입과의 유사도가 위험 점수를 결정한다.
4. Decision Policies – 각 사용자의 누적 위험 점수를 매 게시물마다 업데이트한다. 점수가 사전 정의된 임계값을 초과하면 경고가 발송된다. 두 가지 임계값을 탐색한다: 보수적(높은 정밀도, 느림)과 공격적(높은 재현율, 빠름).
5. Evaluation – 챌린지 공식 메트릭은 분류 품질(매크로‑F1)과 의사결정 지연(필요 평균 게시물 수)을 결합한다. 저자들은 개별 모델과 앙상블 결과를 모두 보고한다.

Results & Findings

• 앙상블은 전체 2위와 의사결정 속도 부문 1위를 차지했다.
• 오류 분석 결과, 많은 오분류가 도박 용어를 사용하지만 병리적 행동 징후가 명확하지 않은 사용자와 관련돼 있었으며, 이는 데이터의 의미적 모호성을 강조한다.
• 투명한 SS3 모델은 BERT보다 약간 정확도가 낮지만, 임상적 인계에 중요한 해석 가능성을 제공한다.

Practical Implications

• 실시간 모니터링 도구: 의사결정 정책 덕분에 포럼이나 스트리밍 채팅 같은 플랫폼이 몇 개의 게시물만으로 위험 사용자를 식별해 시기적절한 개입을 지원할 수 있다.
• 정신건강을 위한 설명 가능한 AI: SS3의 토큰‑레벨 설명은 관리자나 임상의에게 제공되어 신뢰를 구축하고 수동 검토를 용이하게 만든다.
• 도메인‑맞춤형 언어 모델: 도박 전용 속어를 BERT 어휘에 추가하면 탐지 성능이 크게 향상되며, 이는 게임·쇼핑 중독 등 다른 행동 중독에도 적용 가능하다.
• 자원 제한 환경 배포: SS3와 SBERT는 전체 BERT에 비해 가볍기 때문에 엣지 디바이스나 저비용 서버에서도 하이브리드 파이프라인을 실행할 수 있어 NGO나 소규모 플랫폼에 적합하다.
• 정책 설계: 정확도와 속도라는 두 목표를 동시에 고려하는 프레임워크는 제품 팀이 위험 허용도에 맞춰 임계값을 조정할 수 있는 튜닝 노브를 제공한다(예: 법적 책임이 큰 플랫폼에서는 더 엄격한 임계값 적용).

Limitations & Future Work

• 데이터 품질: 코퍼스에 노이즈가 많은 라벨과 제한된 맥락 정보(예: 사용자 인구통계)가 포함돼 있어 경계선 사례를 구분하는 모델 능력이 저하된다.
• 일반화: 모든 실험이 제공된 Reddit‑스타일 데이터셋에만 국한되어 있어, Twitter·Discord 등 다른 플랫폼에 대한 교차 검증은 아직 미해결이다.
• 윤리적 안전장치: 실제 배포 전 투명한 동의 절차와 편향 감사를 수행해야 한다는 점을 논문이 강조한다.
• 향후 연구 방향: 저자들은 임상의가 주석을 단 데이터셋 확대, 이미지·이모지와 같은 다중모달 신호 탐색, 그리고 저위험에서 고위험 행동으로의 전이를 이해하기 위한 인과 추론 방법 통합 등을 제안한다.

Authors

• Horacio Thompson
• Marcelo Errecalde

Paper Information

• arXiv ID: 2511.23325v1
• Categories: cs.CL
• Published: November 28, 2025
• PDF: Download PDF