[Paper] AI-Generated Responses가 Software Engineering 설문조사에 미치는 영향에 대한 조사

Source: arXiv - 2512.17455v1

개요

설문 조사 연구는 경험적 소프트웨어 엔지니어링 연구의 초석이지만, ChatGPT와 같은 대형 언어 모델(LLM)의 부상으로 새로운 공격 표면이 열리고 있습니다: 참가자들은 이제 몇 번의 키 입력만으로 “그럴듯한” 답변을 생성할 수 있습니다. 본 논문은 AI가 생성한 응답이 실제 SE 설문조사를 이미 어떻게 오염시키고 있는지, 그리고 그것이 우리가 의존하는 데이터의 신뢰성에 어떤 의미를 갖는지 조사합니다.

주요 기여

• AI 오용에 대한 실증적 증거 – 소프트웨어 엔지니어를 대상으로 한 2025년 Prolific 설문 두 개에서 AI가 만든 응답 49개를 감지함.
• 패턴 분류 체계 – 반복적인 순서, 일관된 문구, 얕은 개인화와 같은 반복되는 구조적 단서를 식별하여 합성 저작임을 나타냄.
• 타당성 프레임워크 확장 – 구성, 내부, 외부 타당도와 함께 SE 설문에 대한 새로운 타당성 차원인 “데이터 진위성”을 제안함.
• 하이브리드 탐지 워크플로우 – 수동 정성적 검사와 자동화 도구(Scribbr AI Detector)를 결합하여 의심스러운 답변을 표시함.
• 연구자를 위한 가이드라인 – 설문 설계, 보고, 커뮤니티 표준에 대한 구체적인 권고를 제공하여 AI 생성 노이즈를 완화함.

Methodology

1. Survey deployment – Two separate questionnaires were run on the Prolific crowd‑sourcing platform in early 2025, each gathering several hundred responses from self‑identified software professionals.
2. Screening for anomalies – Researchers first looked for outliers (e.g., unusually fast completion times, identical answer strings) and then performed a deeper qualitative read‑through of suspect submissions.
3. Pattern analysis – The team catalogued linguistic and structural traits that repeatedly appeared in the flagged answers (e.g., “In my experience, …” followed by generic statements).
4. Automated detection – All responses were fed into the Scribbr AI Detector, a classifier trained to distinguish human‑written text from LLM‑generated text. The detector’s confidence scores were cross‑checked with the manual findings.
5. Validity assessment – The impact of the identified AI responses on the survey’s construct, internal, and external validity was evaluated, leading to the proposal of “data authenticity” as an additional validity lens.

Results & Findings

• **약 800개 응답 중 49개 (≈6%)**가 AI 생성의 강력한 증거를 보였습니다.
• 구조적 서명으로는 완벽하게 평행한 문장 구조, “as far as I know”와 같은 채워 넣는 구절의 반복 사용, 구체적인 개인 일화의 부재 등이 인간이 감지할 수 있는 가장 신뢰할 만한 단서였습니다.
• Scribbr AI Detector는 수동으로 식별된 AI 응답의 92 %를 신뢰도 > 0.85로 표시했으며, 인간 판단이 필요한 경계 사례도 몇 개 발견했습니다.
• AI‑생성 답변의 존재는 구성 타당도를 저하시켰습니다(측정된 구성들이 실제 실무자 신념을 더 이상 반영하지 않음) 그리고 내적 타당도를 위협했습니다(거짓 상관관계가 도입될 수 있음).
• 저자들은 데이터 진위성—각 데이터가 진정한 인간 응답자로부터 나온다는 보장—을 이제 1차 타당성 문제로 다루어야 한다고 주장합니다.

실용적 함의

• 설문 설계자는 “인간‑검증” 단계(예: 개인적인 맥락을 요구하는 개방형 질문, 예: “최근에 수정한 버그를 설명하세요”)와 시간 기반 검사를 삽입하여 빠른 AI‑구동 완료를 억제해야 합니다.
• 도구 제작자는 AI‑탐지기를 설문 플랫폼(Qualtrics, Google Forms 등)에 직접 통합하여 의심스러운 제출에 대해 실시간 알림을 제공할 수 있습니다.
• 연구자는 논문에서 탐지 방법과 진위성 지표를 공개하여 투명성과 재현성을 촉진해야 합니다.
• 산업 실무자가 설문 기반 벤치마크(예: 개발자 생산성 도구, CI/CD 도입률)에 의존할 경우, 진위성 보호 조치가 표준화될 때까지 발표된 결과를 일정 수준의 회의감으로 바라봐야 합니다.
• 커뮤니티 표준(예: ACM SIGSOFT, IEEE)은 설문을 포함한 학회 논문 제출 시 “데이터 진위성 선언문”을 요구할 가능성이 있습니다.

Limitations & Future Work

• 이 연구는 단일 크라우드소싱 플랫폼(Prolific)과 두 개의 설문조사에만 초점을 맞추었으며, 다른 모집 채널(예: GitHub, Stack Overflow)에서는 결과가 다를 수 있습니다.
• 탐지는 독점 AI 탐지기(Scribbr)에 의존했으며, 최신 LLM(예: GPT‑4‑Turbo, Claude 3)에서의 성능은 아직 검증되지 않았습니다.
• 저자들은 오탐 위험을 인정합니다—일부 진정한 응답자는 AI 출력과 유사한 간결하고 공식적인 스타일로 글을 쓸 수 있습니다.
• 향후 연구 방향에는 SE 분야를 위한 오픈소스, 도메인‑특화 AI 탐지기 구축, LLM이 탐지를 회피하기 위해 사용할 수 있는 적대적 프롬프트 기법 탐색, 그리고 LLM 접근성이 높아짐에 따라 AI 오용이 어떻게 진화하는지 추적하는 종단 연구 개발이 포함됩니다.

저자

• Ronnie de Souza Santos
• Italo Santos
• Maria Teresa Baldassarre
• Cleyton Magalhaes
• Mairieli Wessel

논문 정보

• arXiv ID: 2512.17455v1
• 분류: cs.SE
• 출판일: 2025년 12월 19일
• PDF: PDF 다운로드