[Paper] 스캐폴드, 어휘가 아니라? 통제된 2단계 사전 등록 연구: 포퍼주의 코드 생성 기술

Source: arXiv - 2606.06454v1

Overview

대형 언어 모델은 점점 더 코드를 작성·검토·판단하고 있으며, 모델에게 과학자처럼 사고하도록 요구하는 프롬프트 “스킬”을 빠르게 도입하고 있습니다. 대표적인 예는 모델에게 Popperian 반증주의자로 행동하도록 지시하는 것으로, 이러한 스킬이 생성된 코드의 품질을 향상시킨다고 보고됩니다. 그러나 이러한 향상은 거의 항상 LLM‑as‑a‑judge(위치, 자기‑선호, 스타일 편향이 문서화된 도구)를 통해 읽어내며, 이는 편향이 존재합니다.

우리는 다음과 같이 질문합니다: 도움이 되는 것처럼 보인다면, 그 이득은 스킬의 Popperian 내용 때문인가, 아니면 구조가 제공하는 스캐폴드 때문인가? 우리는 세 가지 대조군을 포함한 두 단계 절제 실험을 사전 등록했습니다:

• 길이‑매칭된 플라시보,
• Popperian 헤더는 유지하되 절차를 제거한 라벨‑전용 스캐폴드, 그리고
• 실행 오라클(HumanEval+ 단위 테스트),

여기에 어휘‑후광 센티넬과 동일 모델 자체‑판단 감사를 추가했습니다.

• 프론티어 모델 (Claude Sonnet 4.6, N = 163): 모든 조건이 벤치마크 상한에 가깝게 위치해 구분되지 않으며, 사전 등록된 +5점 향상이 지원되지 않음(상한에 의한 비검출).
• 소형 모델 (Qwen2.5‑Coder‑0.5B, N = 164): 구조화된 군이 best‑of‑eight 정확도를 20–22점 끌어올리지만, 전체 스킬은 라벨‑전용 스캐폴드 대비 구분 가능한 이점을 보이지 않음(집계 F@8 = L@8 vs V@8 = 34.8 %). 플라시보는 단지 2.4점 뒤처짐.
• 0.5B 자체‑판단자는 Popperian 루브릭을 적용했지만 무작위 선택보다 나은 성과를 내지 못하고 선택의 60 %를 하나의 인덱스에 집중함.

테스트된 두 환경 모두에서, 스킬의 Popperian 절차적 내용은 라벨‑전용 스캐폴드 이상으로 실행‑정확도에 구분 가능한 이점을 제공하지 않으며, 이득은 스캐폴드 구조에 의해 설명됩니다. 우리는 교정된 부정적 결과와 재사용 가능한 구분 프로토콜을 제공하며, 이 발견은 하나의 프롬프트‑스킬 군에 대한 공학적 주장에 한정된 것이며 Popperian 방법론 전체에 대한 평가는 아님을 강조합니다.

Key Contributions

• cs.SE
• cs.CL

Methodology

자세한 방법론은 전체 논문을 참고하십시오.

Practical Implications

이 연구는 cs.SE 분야의 발전에 기여합니다.

Authors

• Mehmet Iscan

Paper Information

• arXiv ID: 2606.06454v1
• Categories: cs.SE, cs.CL
• Published: June 4, 2026
• PDF: Download PDF