[Paper] MAMA-Memeia！多方面多代理协作用于表情包中的抑郁症状识别

Source: arXiv - 2512.25015v1

概述

表情包已成为人们在 Reddit、Instagram 和 TikTok 等平台上分享情感——有时甚至是深层抑郁情绪——的常用方式。本文介绍了 MAMA‑Memeia，一种模仿临床心理学技术（认知分析疗法）的多代理系统，用于在表情包中识别隐藏的抑郁症状。通过将大语言模型生成的解释与人工标注（RESTOREx 数据集）相结合，作者将自动化基于表情包的心理健康检测的准确性提升至远超现有模型的水平。

关键贡献

• RESTOREx 数据集 – 一个新资源，包含配有 LLM 生成和专家验证的抑郁线索解释的 meme。
• MAMA‑Memeia 框架 – 一个协作式多代理架构，将 meme 分析拆分为多个“方面”（视觉、文本、情境和心理），并让专门的代理进行讨论，模拟认知分析疗法的逐步推理。
• 最先进的性能 – 在宏观 F1 上相较于之前的最佳模型提升 7.55 % 的绝对增益，在多个基准划分上超越 30+ 基线。
• 内置可解释性 – 每个代理生成可供人类阅读的推理，使系统决策对临床医生和版主透明。

方法论

1. 数据收集与标注

   • 收集了约12千条来自公共社交媒体的表情包。
   • 使用 GPT‑4 起草初步的症状解释，然后请临床心理学家进行完善，形成双层 RESTOREx 标注。

2. 多方面分解

   • 视觉代理：使用 Vision Transformer 提取视觉特征（色彩调色板、面部表情、物体）。
   • 文本代理：使用微调的 BERT 模型处理叠加文本。
   • 上下文代理：获取帖子的元数据（子版块、标签、用户评论）。
   • 心理代理：通过基于规则的知识库将提取的线索映射到 DSM‑5 抑郁症状标准。

3. 协作推理 (MAMA‑Memeia)

   • 代理在基于回合的对话中交换中间预测，并根据同伴反馈更新信念。
   • 中央 调解者 汇总最终症状得分并生成统一的解释。

4. 训练与评估

   • 使用多任务损失进行端到端训练，以平衡分类准确率和解释忠实度。
   • 评估指标包括宏观 F1、每个症状的精确率/召回率，以及解释质量指标（相对于人工注释的 BLEU‑4）。

结果与发现

• 仅视觉和文本代理的表现停留在约 70 % macro‑F1；协作步骤贡献了大部分提升。
• 人工评估者将系统的解释评为“清晰且临床相关”的比例为 84 %，相比基线模型的 62 % 有显著提升。
• 消融实验表明，去除任一单独方面会导致性能下降 2–4 %，凸显多方面设计的重要性。

实际意义

• 内容审核：平台可以实时标记潜在有害的 meme 群集，从而在危机升级前更快介入。
• 临床筛查工具：治疗师可以将系统用作低成本的分诊辅助，发现患者社交媒体足迹中的早期抑郁信号。
• 心理健康聊天机器人：将 MAMA‑Memeia 的推理引擎嵌入对话代理，可使其更具同理心，能够适当地响应基于 meme 的线索。
• 研究与公共卫生：RESTOREx 数据集为未来多模态心理健康 NLP 工作提供基准，鼓励更透明、可解释的模型。

限制与未来工作

• 文化偏见：表情包语料库主要来自英语为主的西方平台；在文化特定的幽默或非英语表情包上，症状检测可能失效。
• 隐私问题：大规模部署此类检测会引发关于用户同意和数据处理的伦理问题。
• 动态表情包：表情包快速演变（新格式、俚语）可能超出静态知识库的覆盖；作者建议通过持续的最新数据流进行微调。
• 未来方向：引入能够联合处理图像‑文本对的多模态 Transformer，探索跨语言扩展，并开发隐私保护的设备端推理。

作者

• Siddhant Agarwal
• Adya Dhuler
• Polly Ruhnke
• Melvin Speisman
• Md Shad Akhtar
• Shweta Yadav

论文信息

• arXiv ID: 2512.25015v1
• Categories: cs.CL
• Published: 2025年12月31日
• PDF: 下载 PDF