[Paper] 소프트웨어 공학 학생들이 LLM을 사용해 연구 논문을 작성하는 방법: 경험 보고서

Source: arXiv - 2606.05114v1

개요

최근 경험 보고서는 3학년 소프트웨어 공학 학생들이 경험적 방법 과제의 짧은 연구 논문을 작성할 때 대형 언어 모델(LLM)을 어떻게 활용하는지를 조사합니다. 학생들에게 LLM 사용을 공개하도록 요구함으로써, 저자들은 실제 현장의 실천, 도전 과제 및 학습 결과를 포착할 수 있었으며, 소프트웨어 공학 커리큘럼에서 AI가 보강된 학술 작업을 드물게 엿볼 수 있게 했습니다.

주요 기여

• 학생 LLM 사용에 대한 실증 데이터 – 146개의 공개 성명서를 수집하고 체계적으로 분석함.
• 혼합 분류 파이프라인 – LLM‑지원 초기 태깅과 수동 검증을 결합하여 신뢰할 수 있는 사용 패턴 분류 체계를 생성함.
• 공통 LLM‑지원 활동 식별 – 브레인스토밍, 방법론 명확화, 결과 구조화, 문장 다듬기 등.
• 학생 우려에 대한 통찰 – 잘못된 정보, 환각, 검증 필요성이 반복적으로 강조됨.
• 교육적 권고사항 – 실증 소프트웨어‑공학 강좌에 반성적 LLM 사용을 통합하기 위한 구체적인 가이드라인.

방법론

1. 강의 맥락 – 이 연구는 3학년 소프트웨어 아키텍처 수업에서 진행되었으며, 각 학생은 빠른 리뷰 또는 회색 문헌 리뷰 접근법 중 하나를 사용하여 짧은 연구 논문을 작성해야 했습니다.
2. 반성적 공개 – 학생들은 과제 전반에 걸쳐 LLM(예: ChatGPT, Claude)을 어떻게 사용했는지에 대한 간단한 진술을 제출했습니다.
3. 데이터 수집 – 한 학기 동안 146개의 진술이 수집되었습니다.
4. 교차 분석 파이프라인
   • LLM이 먼저 각 진술에 대해 예비 카테고리(예: “아이디어 생성”, “인용 검토”)를 자동 태깅했습니다.
   • 연구자들은 수동으로 태그를 검토하고 정제하여 겹치는 카테고리를 병합하고 잡음을 제거했습니다.
5. 주제 통합 – 정제된 태그는 LLM이 연구·작성 워크플로우에서 수행하는 역할을 설명하는 상위 수준의 주제로 그룹화되었습니다.

결과 및 발견

전반적으로 학생들은 LLM을 저수준 글쓰기 작업에 대한 productivity boosters 로 인식했으며, 비판적 분석 및 검증을 위해 여전히 자신의 전문 지식에 크게 의존함.

Practical Implications

• 도구‑강화 커리큘럼 설계 – 강사는 구조화된 LLM 반성 활동(예: 의무적 공개 진술)을 삽입하여 책임 있는 AI 사용을 교육하고 지속적인 개선을 위한 귀중한 데이터를 수집할 수 있습니다.
• 문헌 검토의 빠른 프로토타이핑 – 팀은 LLM을 활용해 초기 범위 설정 및 개요 생성을 수행함으로써 반복적인 초안 작성에 소요되는 시간을 줄일 수 있습니다.
• 품질 보증 워크플로우 – 이 연구는 검증 단계의 필요성을 강조합니다; LLM‑지원 저작 도구를 개발하는 개발자는 인용 검증, 출처 연결 및 환각 탐지 메커니즘을 통합해야 합니다.
• 미래 엔지니어를 위한 기술 개발 – 프롬프트 활용, 프롬프트 엔지니어링, AI‑생성 콘텐츠에 대한 비판적 평가에 익숙해지는 것은 데이터 기반 소프트웨어 연구 및 문서화 분야에서 시장성 있는 역량이 됩니다.
• 정책 및 윤리 가이드라인 – 공개된 우려 사항은 AI‑지원 학술 작업에 대한 기관 정책의 기준점을 제공하며, 혁신과 학문적 진실성을 균형 있게 맞춥니다.

제한 사항 및 향후 연구

• 단일 강좌, 단일 기관 범위 – 결과가 다양한 교육 과정, 문화적 맥락 또는 경험 수준에 일반화되지 않을 수 있습니다.
• 자기 보고 데이터 – 학생들의 보고가 불완전하거나 사회적으로 바람직한 사용에 편향될 수 있습니다.
• LLM 버전 의존성 – 연구는 당시 사용 가능한 특정 LLM을 대상으로 수행되었으며, 모델의 급속한 진화가 사용 패턴을 변화시킬 수 있습니다.

저자들이 제시한 향후 연구 방향으로는 여러 강좌에 걸친 종단 연구, 학생 제출물에서 AI 생성 텍스트를 자동으로 탐지하는 방법, 그리고 학생들을 검증 가능하고 고품질의 결과물로 명시적으로 안내하는 단계적 프롬프트 설계가 포함됩니다.

저자

• Ronnie de Souza Santos
• Maria Teresa Baldassarre
• Cleyton Magalhaes
• Italo Santos

논문 정보

• arXiv ID: 2606.05114v1
• Categories: cs.SE
• Published: June 3, 2026
• PDF: PDF 다운로드