[Paper] 介绍 TrGLUE 与 SentiTurca：土耳其语通用语言理解与情感分析的综合基准

Source: arXiv - 2512.22100v1

Overview

该论文通过引入 TrGLUE（一种 GLUE 风格的基准，涵盖一系列自然语言理解（NLU）任务）和 SentiTurca（专门的情感分析基准），填补了土耳其语 NLP 长期存在的空白。作者提供了可直接使用的数据、标注流水线和评估脚本，为土耳其语社区提供了一个坚实的基础，以在统一的标准上比较 transformer 模型、LLM 以及其他 NLU 系统。

关键贡献

• TrGLUE 基准：8–10 个土耳其语本土 NLU 任务（例如句子分类、文本蕴含、同义句检测），仿照原始 GLUE 套件构建。
• SentiTurca：一个大规模、领域平衡的情感分析数据集，涵盖产品评论、社交媒体和新闻评论。
• 半自动标注流水线：结合强大的 LLM 生成标签、跨模型一致性过滤以及最终的人类验证步骤，以在保持低成本的同时确保高标签质量。
• 开源工具：端到端微调和评估脚本，适用于 Hugging Face 兼容的 transformer 模型，实现开箱即用的可复现实验。
• 经验基准：提供 BERT‑base、RoBERTa‑turkish 以及若干最新 LLM 的综合性能表，展示土耳其语 NLU 的当前水平。

方法论

1. 任务选择与数据来源 – 作者们整理了现有的土耳其语语料库（新闻、论坛、问答网站），并将其重新构造成 GLUE 风格的格式（单句、句对和多选）。
2. 标签生成 – 对于缺乏人工标注的任务，使用强大的土耳其语大语言模型（例如微调的 mT5）生成临时标签。比较了多次模型运行；仅保留模型间高度一致的示例供人工审查。
3. 人工验证 – 一支由土耳其语母语者组成的小团队进行抽查并纠正噪声实例，确保最终基准反映自然语言使用，而非翻译痕迹。
4. 基准构建 – 每个任务按照 GLUE 约定划分为训练/验证/测试集，保持类别分布平衡和领域多样性。
5. 评估框架 – 作者发布了一个 Python 包，封装 🤗 Transformers 训练器，自动计算任务特定指标（准确率、F1、Matthews 相关系数等），并将结果记录到 TensorBoard 或 Weights & Biases。

结果与发现

*归一化任务分数的平均值（0–100）。

• 领域鲁棒性：在 TrGLUE 上训练的模型在面向域外土耳其语文本时的泛化能力优于仅在单一任务上微调的模型。
• 标注流水线收益：半自动化方法与全人工标注子集的协议率超过 92%，验证了 LLM 辅助标注在低资源语言中的可靠性。
• 情感细微差别：SentiTurca 显示许多模型在处理讽刺和代码切换（土耳其语‑英语）时表现不佳，表明需要专门的预训练。

实际意义

• 标准化评估：构建土耳其语聊天机器人、语音助理或内容审核流水线的公司现在拥有了一个共同的基准，可用于衡量模型升级并比较供应商方案。
• 更快的数据集创建：标注流水线可以复用于新的土耳其语任务（例如意图检测），显著缩短产品团队的数据准备时间。
• 模型选择指南：基线结果表明，针对土耳其语的 RoBERTa 模型目前是大多数 NLU 工作负载的最安全默认选择，而更大的多语言大模型在细粒度任务上仍落后。
• 开源集成：提供的脚本可直接嵌入 CI 流水线（GitHub Actions、Azure ML），实现模型演进过程中的持续基准测试。

如果你正在构建土耳其语 AI 产品，建议克隆 TrGLUE 仓库，在自己的模型上运行基线脚本，并将生成的任何新任务数据回馈社区。该基准旨在随社区共同演进，早期采用者将塑造下一代土耳其语 NLU。

局限性与未来工作

• 任务覆盖：虽然 TrGLUE 包含了许多核心 NLU 任务，但缺乏结构化预测任务，如命名实体识别和共指消解，这些任务对下游应用很重要。
• 领域偏差：基准测试主要集中在新闻和产品评论领域；代表性不足的方言和非正式社交媒体俚语可能仍未得到充分测试。
• 人工验证规模：最终的人类审查步骤由相对较少的标注者完成，这可能限制对细微文化或地区差异的检测。
• 未来方向：作者计划通过增加任务（例如 QA、NER）来扩展 TrGLUE，加入更多多样化的方言数据，并开放排行榜以促进社区驱动的模型改进。

作者

• Duygu Altinok

论文信息

• arXiv ID: 2512.22100v1
• Categories: cs.CL, cs.AI
• 出版日期: 2025年12月26日
• PDF: 下载 PDF