[Paper] BERnaT：巴斯克语编码器用于表示自然文本多样性

Source: arXiv - 2512.03903v1

（请提供您希望翻译的正文内容，我将按照要求保留链接并进行简体中文翻译。）

概述

本文介绍了 BERnaT，这是一系列巴斯克语语言编码器，专门在标准、历史和社交媒体文本的混合上进行训练。通过这种方式，作者展示了语言模型可以变得更具鲁棒性和包容性，能够处理方言和非正式变体，而不会牺牲在传统基准上的性能。

关键贡献

• 多样语料库构建 – 将三类来源（标准文学、历史文献和社交媒体帖子）结合，创建更丰富的巴斯克语训练集。
• 三种模型变体 – 在 (i) 仅标准数据、(ii) 仅多样数据、以及 (iii) 两者混合的情况下训练仅编码器模型，以实现直接比较。
• 评估划分 – 提出一种新颖的基准划分，将 NLU 任务分为 标准 和 多样 子集，便于衡量模型在语言变体上的泛化能力。
• 实证证据 – 表明同时接触标准和多样数据的模型在所有任务类别上始终优于仅使用标准数据训练的模型。
• 开源发布 – 将语料库、预训练检查点和评估脚本公开，供社区使用。

方法论

1. 数据收集

   • 标准：当代巴斯克语新闻文章和 Wikipedia。
   • 历史：数字化的书籍和可追溯至 19 世纪的报纸。
   • 社交媒体：来自 Twitter、Reddit 等平台的帖子，捕捉俚语、方言和代码切换。
     所有文本均已清洗、去重，并使用共享子词词汇表进行分词。

2. 模型架构

   • 使用标准 Transformer 编码器（12 层，768 隐藏维度），类似于 BERT‑base。
   • 训练了三种配置：BERnaT‑Std、BERnaT‑Div 和 BERnaT‑All（标准 + 多样）。

3. 训练方案

   • 掩码语言模型（MLM）目标，掩码率为 15 %。
   • 在 8 块 A100 GPU 上训练 1 M 步，采用混合精度加速收敛。

4. 评估框架

   • 选取一套巴斯克语 NLU 任务（情感分析、命名实体识别、问答等）。
   • 对每个任务，创建一个 标准 测试集（来源于标准语料）和一个 多样 测试集（来源于历史/社交媒体数据）。
   • 根据任务报告 macro‑F1 或 exact‑match 分数。

Results & Findings

• All‑data model improves diverse test performance by ~9 % while slightly nudging standard accuracy upward.
• The gains are consistent across tasks: sentiment analysis on tweets jumps from 66 % to 78 % F1, and historical NER improves from 71 % to 80 % F1.
• No trade‑off is observed; the model does not overfit to noisy social media text, thanks to the balanced training mix.

Practical Implications

• 更具包容性的应用 – 基于 BERnaT 构建的聊天机器人、搜索和内容审核工具能够理解地区方言和非正式语言，降低非“标准”语言使用者的使用摩擦。
• 低资源迁移 – 该方法表明，即使是数据有限的语言，加入多样且噪声较大的来源也能带来实质性收益，为其他弱势语言提供了一套可行的方案。
• 对领域偏移的鲁棒性 – 在面对分布外文本（例如用户生成内容）的部署中，系统更不易出现故障，从而降低维护成本。
• 开源工具包 – 开发者可以在下游任务上微调已发布的检查点，而无需自行收集和清洗海量语料。

限制与未来工作

• 数据质量差异 – 社交媒体文本包含拼写错误和代码切换，仍可能使模型偏向主导方言。
• 规模 – 实验仅限于 BERT‑base 大小的模型；尚不清楚这些发现如何在更大架构上扩展。
• 评估范围 – 基准测试聚焦于少数 NLU 任务；生成式或对话导向的评估留待未来研究。
• 跨语言泛化 – 虽然对巴斯克语表现出前景，作者指出将此流程复制到类型学上不同的语言（例如黏着语与屈折语）仍需进一步研究。

作者

• Ekhi Azurmendi
• Joseba Fernandez de Landa
• Jaione Bengoetxea
• Maite Heredia
• Julen Etxaniz
• Mikel Zubillaga
• Ander Soraluze
• Aitor Soroa

论文信息

• arXiv ID: 2512.03903v1
• 类别: cs.CL, cs.AI
• 发表日期: 2025年12月3日
• PDF: 下载 PDF