[Paper] SEMODS：已验证的开源软件工程模型数据集

Source: arXiv - 2601.00635v1

Overview

本文介绍了 SEMODS，这是一个经过策划和验证的数据集，包含 3,427 个从 Hugging Face 收集的开源软件工程（SE）模型。通过系统地对这些模型进行目录化，并将其关联到具体的 SE 任务（例如 bug triage、code summarisation、test generation），作者为开发者提供了一个“一站式”平台，以发现和复用真正与软件工程工作流相关的 AI 模型。

关键贡献

• 大规模软件工程模型集合 – 从 Hugging Face 抓取的 3,427 个模型，覆盖软件生命周期中广泛的软件工程活动。
• 混合验证流水线 – 结合自动过滤、人工专家标注以及大语言模型（LLM）辅助，以确保高质量、可信赖的条目。
• 任务中心分类法 – 将每个模型映射到明确定义的软件工程任务和开发活动（例如代码补全、需求分析、缺陷预测）。
• 标准化评估元数据 – 统一呈现报告的指标（准确率、BLEU、F1 等），实现可比性。
• 开放获取的数据集与工具 – 作者公开数据集、标注模式和脚本，以实现可复现性和社区扩展。

方法论

1. 自动收集 – 使用与软件工程相关的关键词和标签查询 Hugging Face Model Hub，提取每个候选模型的原始元数据。
2. 预过滤 – 应用简单启发式规则（例如，模型描述中出现 “code”、 “bug”、 “test”）将初始池子裁剪到可管理的子集。
3. 人工标注 – 由一组软件工程研究人员检查剩余的每个模型，将其分配到预定义分类法中的任务，并验证模型确实面向软件工程。
4. LLM 辅助审查 – 使用最先进的 LLM 提出任务标签并标记模糊条目，随后由人工确认或纠正。
5. 指标标准化 – 将报告的评估结果规范为统一的 JSON 架构（模型 ID、任务、数据集、指标名称、数值、评估划分）。
6. 验证与发布 – 测量标注者间的一致性（Cohen’s κ ≈ 0.78），并将最终数据集连同加载、查询和扩展脚本一起打包发布。

该流水线在可扩展性（自动抓取）与可靠性（人工在环检查）之间取得平衡，使得在新模型出现时能够保持目录的最新状态。

结果与发现

• 覆盖范围 – 最终的 SEMODS 目录涵盖 12 类软件工程任务（例如代码生成、问题分类、文档生成），并包含从小型微调 BERT 变体到大型代码中心 Transformer 的模型。
• 质量保证 – 手动验证确认超过 92 % 的模型真正解决软件工程问题；其余 8 % 要么标记错误，要么是通用语言模型。
• 度量统一性 – 通过对评估结果进行归一化，作者揭示了诸如“HumanEval 基准上的代码补全模型的中位数 pass@1 为 38 %”等趋势。
• 发现洞察 – 对数据集进行查询揭示了未被充分探索的细分领域（例如需求追踪模型），并突出显示了在模型评估中占主导地位的流行数据集（例如 CodeSearchNet、Defects4J）。

Practical Implications

• 更快的模型选择 – 开发者可以查询 SEMODS “生成 Python 单元测试的模型”，并立即获取带有性能指标的排名列表，从而缩短反复试验的时间。
• 轻松进行基准测试 – 研究人员和产品团队可以直接获取标准化的指标表，将新模型与社区基准进行对比，无需重新运行所有实验。
• 模型适配与微调 – 了解已有模型是否已针对特定软件工程任务，有助于团队决定是微调现成模型还是从头训练，从而节省计算资源。
• 生态系统透明度 – 通过公开每个模型的来源和评估细节，SEMODS 鼓励可重复性，降低在关键开发流水线中部署验证不足的 AI 组件的风险。
• 工具集成 – 已发布的 Python API 可嵌入 CI/CD 流水线、IDE 插件或内部模型注册表，自动为特定代码库或工作流推荐最合适的模型。

限制与未来工作

• Static Snapshot – 虽然收集过程是可重复的，SEMODS 反映的是研究时 Hugging Face hub 的状态；需要持续爬取和增量更新以保持最新。
• Task Taxonomy Granularity – 当前的分类将一些细微的活动（例如 “bug localisation” 与 “bug triage”）归入更宽泛的标题，这可能限制细粒度搜索。
• Metric Diversity – 并非所有模型报告相同的指标，且部分评估结果缺失或基于专有数据集，限制了直接比较。
• Human Annotation Bottleneck – 将人工验证步骤扩展到数万模型需要更复杂的 LLM‑辅助标注或众包验证。

作者概述的未来工作包括自动化定期重新爬取、通过社区反馈扩展任务分类，并整合使用统计（下载量、星标）以展示“流行”以及“高性能”模型。

---

如果您正在构建 AI‑增强的开发者工具，SEMODS 提供了一张现成的开源模型全景图——可以把它视为为软件工程量身定制的“模型市场”。

作者

• Alexandra González
• Xavier Franch
• Silverio Martínez-Fernández

论文信息

• arXiv ID: 2601.00635v1
• Categories: cs.SE
• Published: 2026年1月2日
• PDF: 下载 PDF