[Paper] 巴斯克语学习中的自动作文评分与反馈生成

Source: arXiv - 2512.08713v1

概览

一个面向巴斯克语的**自动作文评分（AES）**和反馈生成的全新开源基准已发布。作者提供了一个规模可观、专家标注的 3,200 篇 CEFR‑C1 级别作文语料库，并展示了微调后的巴斯克语模型在评分一致性和教学反馈质量上均能超越领先的闭源大语言模型。

主要贡献

• 首个公开的巴斯克语 AES 数据集（3,200 篇作文），包含多维度评分（正确性、丰富性、连贯性、衔接性、任务匹配）以及详细反馈和错误示例。
• 微调的巴斯克语模型：RoBERTa‑EusCrawl 与大规模 Latxa（8 B / 70 B）模型，均已适配用于评分和反馈生成。
• 监督微调（SFT）流水线，将 Latxa 的性能提升至超过专有系统如 GPT‑5 和 Claude Sonnet 4.5。
• 新颖的反馈评估框架：结合自动一致性检查与专家对提取的学习者错误的验证。
• 开源发布数据、代码和训练好的检查点，支持低资源语言的可复现研究。

方法论

1. 数据收集与标注 – 作文来源于 HABE（巴斯克语水平考试）平台。受训语言学家对每篇作文在五个标准上打分并撰写针对性反馈，标注具体错误跨度。
2. 模型选择 – 探索了两大模型族：
   • 仅编码器（RoBERTa‑EusCrawl）用于纯评分。
   • 解码器增强（Latxa 8 B 与 70 B）用于评分 + 反馈生成的联合任务。
3. 监督微调（SFT） – 使用标注的对（作文 → 评分 + 反馈）进行训练，采用多任务损失平衡回归（评分预测）和序列到序列（反馈生成）。
4. 评估 –
   • 评分：与人工评分的 Pearson / Spearman 相关系数，Quadratic Weighted Kappa（QWK）。
   • 反馈：自动一致性（反馈是否引用标注的错误跨度？）以及对抽样子集的盲评专家审查，评估教学相关性和错误覆盖度。

所有步骤均使用 Hugging Face 🤗 Transformers 与 PyTorch 实现，训练脚本已容器化，便于复现。

结果与发现

• 评分：微调后的 Latxa 模型在 QWK 与相关系数上均高于最佳商业 LLM，证实了针对低资源语言的领域特定 SFT 优于通用提示。
• 反馈：Latxa‑70B 不仅在 78 % 的情况下与标注错误跨度保持一致，还能捕获更丰富的错误类型（语法、词汇选择、篇章衔接），专家评价其教学价值极高。
• 效率：仅编码器的 RoBERTa 在单个 V100 上每篇作文推理约 150 ms，而 Latxa‑70B 在 A100 上约 1.2 s——仍可在教育平台进行批量处理。

实际意义

• 教育技术平台 可集成已发布的 Latxa 检查点，实现实时、准则对齐的评分，降低对昂贵人工评卷员的依赖。
• 反馈生成 提供可操作的评论，帮助学习者理解为何失分，超越单纯分数的功能。
• 开放数据集 为其他低资源语言提供训练基准；开发者可将相同流水线迁移至西班牙语、加泰罗尼亚语或土著语言，只需适度标注。
• 合规与透明：模型开源后，机构可审计评分逻辑、解决偏见问题，并遵守禁止将学生文本发送至专有 API 的数据隐私法规。
• 可扩展部署：编码器模型适用于高吞吐量的批量评分（如夜间批量批改数千篇作文），而更大的 Latxa 模型可用于需要更丰富解释的按需反馈场景。

局限性与未来工作

• 领域覆盖：作文仅限于 CEFR‑C1 级别和 HABE 考试使用的话题；对低水平或域外提示的表现尚未验证。
• 错误分类：虽然标注方案已相当完整，但可能遗漏学习者常见的细微语用错误（如语域不匹配）。
• 模型规模与延迟：70 B 模型虽提供最佳反馈，但仍存在显著延迟；未来可探索蒸馏或检索增强生成，以在保持质量的同时降低推理时间。
• 跨语言迁移：作者建议研究多语言微调（如结合巴斯克‑西班牙平行数据）是否能进一步提升性能，尤其针对代码切换的学习者。

总体而言，该工作为巴斯克语 AES 建立了坚实、可复现的基线，并为低资源环境下的实用 AI 驱动语言评估工具打开了大门。

作者

• Ekhi Azurmendi
• Xabier Arregi
• Oier Lopez de Lacalle

论文信息

• arXiv ID: 2512.08713v1
• 分类: cs.CL, cs.AI
• 发表时间: 2025 年 12 月 9 日
• PDF: Download PDF