[논문] 내재된 사고가 도움이 될 때와 해가 될 때: 지시 수행에서 제약 수준 오류 전이
개요
대규모 추론 모델(LRMs)은 수학 및 코딩 성능을 향상시키는 경우가 많지만, 지시 수행에 미치는 영향은 명확하지 않다. 우리는 Qwen3 모델(1.7B‑32B)을 사용해 동일 가중치 Thinking ON/OFF 제어를 적용한 IFEval을 조사했으며, 네 가지 Hunyuan 모델이 방향성 교차‑패밀리 지원을 제공한다. 전체 통과율 변화는 작게(-0.55 ~ -3.52 pp) 나타났지만, 10‑20%의 프롬프트가 모드에 따라 통과와 실패를 오가며, Thinking이 오류 패턴을 바꾸는(일부 프롬프트는 개선되고 일부는 악화) 것이지 일관된 성능 저하를 일으키는 것이 아님을 시사한다. 사후(Qwen3 기반) 그룹화에 따르면, 제약 유형은 Planning(전역 카운팅, 구조, 조정)과 Precision(정확한 로컬 형태)으로 구분된다. Thinking을 적용하면 클래스 수준에서 Planning은 개선되는 반면 Precision은 지속적으로 악화된다; 이 클래스 수준 Planning/Precision 부호 패턴은 Hunyuan 모델 네 종류 모두에서 방향성은 반대이지만 동일하게 유지된다. Thinking은 최종 답변 길이에도 변화를 일으키며, 길이를 맞춘 분석에서는 Precision 감소가 크게 완화되지만 잔여 페널티가 남는다. 크로스‑인코더 관련성 지표로 사고 추적을 분석한 결과 세 가지 패턴이 드러났다:
- Neutral: 관련성‑준수 간에 양의 상관관계가 존재(r≈0.15).
- Planning: 예측 상관관계가 거의 없음(r≈0.02)에도 추적 참여가 측정돼, CE‑측정 추적 관련성과 최종 답변 준수 사이에 실행 격차가 존재함을 시사.
- Precision: 작은 음의 상관관계(r≈‑0.05)이며, 실패 사례가 통과 사례보다 평균 관련성이 더 높다.
1.7B‑14B 네 모델 크기에 대한 활성화 패치 실험에서는 Precision이 뒤바뀐 경우가 Planning이 뒤바뀐 경우보다 복원될 확률이 높았다(평균 층 복원 비율 32‑58% vs. 14‑40%). 가장 큰 차이는 14B 모델에서 약 30 pp 정도였다.
주요 기여
이 논문은 다음 분야의 연구를 제시한다:
- cs.CL
방법론
자세한 방법론은 전체 논문을 참고하시기 바랍니다.
실용적 함의
이 연구는 cs.CL 분야의 발전에 기여한다.
저자
- Sai Adith Senthil Kumar
논문 정보
- arXiv ID: 2606.09662v1
- 분류: cs.CL
- 발표일: 2026년 6월 8일
- PDF: PDF 다운로드