클로드와 프로젝트 계획을 검토할 때 무한 피드백 루프를 해결한 방법

Source: Dev.to

AI 프로그래밍은 언제나 즐겁습니다.

보통은 계획을 만든 뒤 검토를 받고, 그 다음 구현을 진행합니다.

하지만 최근 Opus 4.7부터 검토 과정이 제대로 돌아가지 않는 것 같았습니다. 혹시 Opus가 시야를 넓혔기 때문일까요? 계획과는 무관한 얘기를 자꾸 끌어내고, 자동화된 검토·수정 루프를 돌리면 피드백이 수렴하지 않았습니다.

Whac‑A‑Mole

그러다 어느 날 깨달았습니다.

조금 복잡한 로직을 짤 때마다 AI가 “이 부분이 틀렸다”, “저 부분이 틀렸다” 라고 계속 지적합니다. 마치 끝이 없는 두더지 잡기 같은 느낌이죠.

예를 들어, “B는 A 관점에서 약하다”는 지적을 받고 B를 고칩니다. 다음 검토에서는 “B는 과도하고, A는 부족하다”는 말을 듣고 A를 추가합니다. 그러자 “C가 일관성이 없다”는 지적이 나오고, C를 고치니 “C 설명이 중복된다”는 말을 듣고 또 고칩니다. 마지막으로는 “C가 충분히 설명되지 않았다”는 얘기가 나오죠.

이런 식으로 앞뒤가 뒤바뀌는 시소가 계속됩니다. 탈출구가 보이지 않습니다.

What I tried

이 문제를 인식하고 다음과 같이 시도했습니다.

1~2차 검토를 마친 비교적 완성된 계획에 대해 AI에게

“계획을 논리적 모순만을 대상으로 검토해 주세요.”

라고 요청했습니다.

그 결과는 완벽했습니다. AI가 모순을 차근차근 해결해 주었고, 몇 차례 검토를 거치면 정상적으로 수렴했습니다.

모순의 개수는 유한하기 때문에 결국 수렴합니다.

그리고 모순이 없는 계획으로 구현을 시작하면, AI는 멈추지 않고 바로 끝까지 진행합니다 (웃음).

물론 구현 중에 가끔 오류가 발생해 재시도해야 할 때도 있지만, 이는 당연한 일입니다.

I wondered if this exists in the world

이제는 “내가 처음 발견한 건가?” 하는 궁금증이 생겼습니다. 분명 나만 이런 걸 깨달은 게 아닐 테니까요.

관련 개념들을 찾아보니 비슷하지만 다소 다른 내용들이 있었습니다.

• Criteria Drift (Hamel Husain 설명, Shankar et al.): LLM을 리뷰에 활용할 때 평가 기준이 서서히 변하는 현상. 대응책은 “평가 축을 다듬으며 과거 점수를 재채점”하는 것이라고 하는데… 꽤 무겁습니다.
• Oscillatory Convergence (Fractal Thought Engine): LLM 피드백을 반복하면 일정 횟수만큼 진동한다는 관찰. 대책에 대한 논의는 없습니다.
• Moving the Goalposts (Microsoft Blog): 평가 중에 루브릭을 바꾸지 말고, 평가 시작 전에 최종 확정하라는 아이디어.

관련 주제는 많지만, 제가 한 일은 “루브릭을 확정”하는 것이 아니라 **“평가 축을 ‘모순’ 하나로 좁히는 것”**이었습니다. 범위가 넓으면 비판 포인트가 무한히 떠오르기 때문에, 이를 유한한 집합으로 제한하려는 시도였죠. 이런 접근을 명확히 다룬 연구는 찾지 못했습니다.

아마 학술적인 용어로는 존재할 텐데, 제가 깨달은 시점에서 이미 두 달이 흘러 있었을 겁니다.

Simple once you’re told

글로 적어 보면 아주 간단합니다. “범위를 좁히면 수렴한다.” 그게 전부죠.

하지만 제가 이걸 깨닫는 데 두 달이 걸렸습니다.

프롬프트를 바꿔 보면서 “Claude를 더 똑똑하게 쓰면 나아질 거야” 라고 생각했지만, “포인트를 너무 많이 주지 말라”거나 “이전 피드백과 일관되게 해라” 같은 지시를 넣어도 효과가 없었습니다. 문제는 프롬프트 자체가 아니라 평가 범위였으니까요.

‘유한한 항목만을 대상으로 평가한다’는 생각이 떠오르기까지 시간이 걸렸습니다. 일반적인 검토는 범위가 넓기 때문에, 고쳐도 다른 관점에서 새로운 구멍이 계속 발견되는 겁니다. 바로 그게 전체 이야기였습니다.

Conclusion

• 계획 검토가 수렴하지 않을 때는 범위를 “오직 모순만”으로 좁히세요.
• 모순은 유한하므로 과정이 수렴합니다.
• 범위가 넓으면 비판이 무한히 떠올라 Whac‑A‑Mole 현상이 발생합니다.
• 모순이 없는 계획을 AI에게 구현하게 하면, 멈추지 않고 끝까지 진행합니다.

같은 Whac‑A‑Mole 함정에 빠진 사람이 있다면, 이 글을 쓰는 것이 충분히 가치 있었습니다.

뭔가 잘했을 때는 기분이 좋습니다.