[Paper] 使用 LLMs 评估架构文档：来自数字市场环境的结果

Source: arXiv - 2601.19693v1

Overview

生成式 AI 在软件工程活动中扮演着日益重要的角色，例如提升效率或提供更高质量。然而，LLM 实际能带来多少收益往往并不明确。我们聚焦于软件架构师，研究了基于 LLM 的架构文档评估如何帮助软件架构师改进此类工件。在一个开发数字市场并需要分析数字解决方案的研究项目中，我们使用不同的 LLM 对架构文档的质量进行分析，并将结果与软件架构师的评估进行比较。研究发现，工件的质量对 LLM 的评估质量有强烈影响，即架构文档质量越高，LLM 基于的评估与人工专家评估越一致。虽然在该架构任务中使用 LLM 前景可观，但我们的结果显示出一些不一致性，需要进一步分析后才能推广。

Key Contributions

本文在以下领域提供了研究成果：

• cs.SE

Methodology

请参阅完整论文获取详细的方法论。

Practical Implications

本研究有助于推动 cs.SE 的发展。

Authors

• Frank Elberzhager
• Matthias Gerbershagen
• Joshua Ginkel

Paper Information

• arXiv ID: 2601.19693v1
• Categories: cs.SE
• Published: January 27, 2026
• PDF: Download PDF