[Paper] 추론‑창의성 트레이드오프: 창의성 기반 문제 해결

Source: arXiv - 2601.00747v1

Overview

논문 The Reasoning‑Creativity Trade‑off: Toward Creativity‑Driven Problem Solving 은 현대 대형 언어 모델(LLM) 파이프라인이 “sample‑think‑refine”를 반복하면서 정확성을 추구할 때 창의성이 사라지는 이유를 탐구한다. 추론을 해결 경로에 대한 확률 분포로 정의함으로써, 저자들은 답변 품질과 의미적 다양성을 동시에 유지하는 통합 변분 목표인 Distributional Creative Reasoning (DCR)을 제안한다.

주요 기여

• 통합 이론적 프레임워크 (DCR): 인기 있는 방법들(STaR, GRPO, DPO, 엔트로피 보너스 등)이 추론‑경로 분포에 대한 단일 변분 손실의 특수 사례임을 보여준다.
• 다양성 감소 정리: 정확성 중심 목표가 추론 경로의 엔트로피를 필연적으로 감소시킨다는 공식 증명으로, STaR, GRPO, DPO마다 서로 다른 감소 패턴을 보인다.
• 안정성‑다양성 설계 레시피: 정확하면서도 다양한 정책으로 수렴하도록 보장하는 실용적인 알고리즘 조정(예: 엔트로피 정규화된 그래디언트 흐름, 적응형 온도 스케일링)이다.
• 실증 검증: 퍼즐 풀이, 자유형 코드 생성, 스토리 연속 등 창의적 추론 작업에 대한 벤치마크에서 DCR‑강화 모델이 기본 정확도와 동등하거나 이를 초과하면서 더 높은 의미론적 엔트로피를 유지함을 보여준다.

방법론

1. Trace‑level modeling: 각 추론 에피소드는 trace—중간 토큰 또는 “생각 단계”의 순서가 있는 시퀀스로 표현됩니다. 모델의 정책은 가능한 모든 trace에 대한 확률 측도를 정의합니다.

2. Variational objective: DCR은 모델의 trace 분포와 두 가지 힘을 균형 있게 조절하는 target 분포 사이의 KL‑유형 발산을 최소화합니다.

   • Correctness pressure (높은 점수를 받은 trace에 보상).
   • Creativity pressure (다양한 trace에 걸친 확산을 장려하는 엔트로피 보너스).

3. Gradient flow on measures: trace 분포를 연속적인 객체로 취급함으로써, 저자들은 표준 역전파와 몇 가지 추가 항(엔트로피 그래디언트, 적응 온도)을 더해 구현할 수 있는 gradient‑flow 업데이트를 도출합니다.

4. Special‑case mapping: 창의성 가중치를 0으로 설정하면 STaR/GRPO/DPO가 복원되고, 일정한 엔트로피 항을 추가하면 기존 엔트로피‑보너스 기법이 재현된다는 것을 수학적으로 보여줍니다.

Results & Findings

*Diversity Score = normalized pairwise trace‑distance.

Key takeaways

• Correctness is preserved – DCR matches or slightly exceeds the best baseline accuracy.
• Semantic entropy more than doubles, indicating a richer set of reasoning paths.
• Human evaluation on open‑ended code generation shows a 23 % increase in “novel yet functional” solutions.

실용적 함의

• 개발자 중심 툴체인: 기존 “self‑refine” 파이프라인에 DCR을 통합하면 (예: OpenAI의 function_call 루프, LangChain 에이전트) 단일 “안전한” 답변에 수렴하는 대신 다수의 실행 가능한 전략을 제시하는 어시스턴트를 만들 수 있다.
• 창의적 코딩 및 디버깅: 코드‑생성 모델의 경우, 높은 트레이스 다양성은 대안적인 알고리즘 접근법으로 이어지며, 성능과 가독성 사이의 트레이드오프를 탐색해야 하는 개발자에게 도움이 된다.
• 제품 디자인 및 아이데이션: LLM‑기반 브레인스토밍 봇은 사실 정확성을 손상시키지 않으면서도 지속적인 비전통적 제안을 제공하여 사용자 참여를 향상시킬 수 있다.
• 안전성 및 정렬: 모드 붕괴를 방지함으로써 DCR은 좁은 보상 프록시로 과도하게 최적화되는 위험을 감소시키며, 이는 의도치 않은 행동의 알려진 원인이다.

제한 사항 및 향후 연구

• 계산 오버헤드: 엔트로피 기울기를 추정하면 기존 STaR에 비해 실행 시간이 약 15 % 증가합니다; 수십억 파라미터 규모 모델에 적용하려면 근사 기법이 필요할 수 있습니다.
• 작업 범위: 실험은 추론 중심 벤치마크에 초점을 맞추었으며, 짧은 답변 QA나 순수 분류 작업에 대한 이점은 아직 명확하지 않습니다.
• 하이퍼파라미터 민감도: 정확도와 창의성 사이의 트레이드‑오프 가중치는 도메인별로 신중한 튜닝이 필요합니다; 자동 스케줄링은 아직 해결되지 않은 문제입니다.
• 향후 방향: 저자들은 (i) 비용을 더욱 낮추기 위한 계층적 트레이스 표현, (ii) 창의성 항의 커리큘럼식 어닐링, (iii) DCR을 멀티모달 추론(예: 비전‑언어 에이전트)으로 확장하는 방안을 제시합니다.

저자

• Max Ruiz Luyten
• Mihaela van der Schaar

논문 정보

• arXiv ID: 2601.00747v1
• 분류: cs.LG
• 출판일: 2026년 1월 2일
• PDF: PDF 다운로드