[Paper] LLMs를 활용한 아키텍처 문서 평가: 디지털 마켓플레이스 환경에서의 결과

Source: arXiv - 2601.19693v1

Overview

생성 AI는 소프트웨어 엔지니어링 활동에서 점점 더 큰 역할을 하며, 예를 들어 효율성을 높이거나 품질을 향상시킵니다. 그러나 LLM이 실제로 얼마나 큰 이점을 제공하는지는 종종 명확하지 않습니다. 우리는 소프트웨어 아키텍트에 초점을 맞추어, LLM 지원 아키텍처 문서 평가가 소프트웨어 아키텍트가 이러한 산출물을 개선하는 데 어떻게 도움이 될 수 있는지 조사했습니다. 디지털 마켓플레이스를 개발하고 디지털 솔루션을 분석해야 하는 연구 프로젝트의 맥락에서, 우리는 다양한 LLM을 사용해 아키텍처 문서의 품질을 분석하고 그 결과를 소프트웨어 아키텍트의 평가와 비교했습니다. 그 결과, 산출물의 품질이 LLM의 품질에 강한 영향을 미친다는 것을 발견했습니다. 즉, 아키텍처 문서의 품질이 높을수록 LLM 기반 평가와 인간 전문가 평가 간의 일관성이 높아졌습니다. 이 아키텍처 작업에 LLM을 활용하는 것은 유망하지만, 우리의 결과는 일반화하기 전에 추가 분석이 필요한 불일치 현상을 보여주었습니다.

Key Contributions

이 논문은 다음 분야의 연구를 제시합니다:

• cs.SE

Methodology

자세한 방법론은 전체 논문을 참고하십시오.

Practical Implications

이 연구는 cs.SE 분야의 발전에 기여합니다.

Authors

• Frank Elberzhager
• Matthias Gerbershagen
• Joshua Ginkel

Paper Information

• arXiv ID: 2601.19693v1
• Categories: cs.SE
• Published: January 27, 2026
• PDF: Download PDF