[论文] 应对用于赌博障碍早期检测的挑战性语料库:UNSL 在 MentalRiskES 2025

发布: (2025年11月29日 GMT+8 00:26)
7 min read
原文: arXiv

Source: arXiv - 2511.23325v1

概览

本文报告了 UNSL 在 MentalRiskES 2025 挑战赛中的获胜方案,目标是标记出有高度赌博障碍风险的社交媒体用户。通过将轻量级基于模式的分类器与大规模语言模型相结合,作者展示了在高预测准确率快速决策两项往往相互制约的实时心理健康监测系统中实现双赢的可能性。

主要贡献

  • Hybrid CPI + DMC 框架,将预测性能和决策延迟视为两个独立的优化目标。
  • 三个具体模型
    1. SS3 – 一种透明的 token 级别分类器,能够解释为何某条帖子被判定为风险。
    2. BERT‑extended – 在自定义的赌博专属词汇上微调的 BERT 模型。
    3. SBERT – 用于基于相似度的风险评分的句子嵌入模型。
  • 决策策略:聚合用户的历史帖子,使系统在累计足够证据后即可触发警报。
  • 在官方排行榜中获得前二名,尤其在“决策速度”指标上表现突出。
  • 错误分析揭示了区分边缘(低风险)用户与真正高风险用户的内在难度,并指出了数据质量问题。

方法论

  1. 语料与任务 – 挑战提供了一个多语言的 Reddit 风格帖子语料库,标注为高风险低风险的赌博障碍。
  2. CPI(Classification‑Performance‑Indicator)+ DMC(Decision‑Making‑Cost) – 作者不是优化单一损失,而是同时优化两个分数:
    • CPI:验证集上的传统 F1/准确率。
    • DMC:系统作出预测前平均检查的帖子数量。
  3. 模型堆叠
    • SS3:构建层次化词频映射,可检查哪些词对风险标签贡献最大。
    • BERT‑extended:在基础 BERT 分词器中加入赌博相关俚语、表情符号和领域专属标签,然后在训练集上进行微调。
    • SBERT:将每条帖子编码为稠密向量;与已知高风险原型的相似度驱动风险评分。
  4. 决策策略 – 对每位用户,系统在每条新帖子后更新累计风险分数。当分数超过预设阈值时发出警报。探索了两种阈值:保守型(高精度、较慢)和激进型(高召回、较快)。
  5. 评估 – 挑战的官方指标将分类质量(macro‑F1)与决策延迟(平均所需帖子数)相结合。作者报告了单模型和集成模型的结果。

结果与发现

模型Macro‑F1Avg. Posts to Decision
SS30.784.2
BERT‑extended0.815.1
SBERT0.763.8
Ensemble (best‑of‑three)0.844.0
  • 集成模型整体排名第2名,并在决策速度子指标上获得第1名
  • 错误分析显示,许多误分类涉及语言仅围绕赌博术语但未出现明显病理行为的用户,凸显了数据的语义模糊性
  • 透明的 SS3模型虽略逊于 BERT 的准确率,却提供了宝贵的可解释性,对临床交接可能至关重要。

实际意义

  • 实时监控工具:决策策略使平台(如论坛、直播弹幕)能够在仅几条帖子后标记风险用户,支持及时干预。
  • 可解释的 AI 在心理健康中的应用:SS3 的 token 级解释可呈现给版主或临床医生,提升信任并便于人工复审。
  • 领域适配的语言模型:通过在 BERT 词表中加入赌博专属俚语显著提升检测效果——此方法同样可复制到其他行为成瘾(如游戏、购物)。
  • 资源受限的部署:相较于完整的 BERT,SS3 与 SBERT 更轻量,混合流水线可在边缘设备或低成本服务器上运行,使 NGO 或小型平台也能采用。
  • 策略设计:双目标框架(准确率 vs. 速度)为产品团队提供了可调节的“旋钮”,以匹配不同平台的风险容忍度——例如在法律责任更高的场景下采用更严格的阈值。

局限性与未来工作

  • 数据质量:语料库标签噪声大且缺乏上下文信息(如用户人口统计),限制模型区分边缘案例的能力。
  • 泛化能力:所有实验均基于提供的 Reddit 风格数据集;跨平台验证(Twitter、Discord 等)仍待探索。
  • 伦理保障:论文指出在实际部署前需建立透明的同意机制并进行偏见审计。
  • 未来方向:作者建议通过临床专家标注的样本扩充训练集,探索多模态信号(图像、表情符号),以及引入因果推断方法以更好理解从低风险向高风险行为的演进过程。

作者

  • Horacio Thompson
  • Marcelo Errecalde

论文信息

  • arXiv ID: 2511.23325v1
  • 分类: cs.CL
  • 发表时间: 2025年11月28日
  • PDF: Download PDF
Back to Blog

相关文章

阅读更多 »