추론이 살아남지 못할 때

Source: Dev.to

저에게 번역할 본문을 제공해 주시면, 요청하신 대로 한국어로 번역해 드리겠습니다. (소스 라인은 그대로 유지됩니다.)

증발하기 전에 세션 추론 캡처하기

나는 /mark 라는 스킬을 만들어 세션 앵커를 작성한다. 이것은 가벼운 마크다운 파일로, 심사숙고의 순간을 기록한다: 어떤 추론이 있었는지, 왜 그 프레이밍을 선택했는지, 그리고 무엇이 불확실하게 남아 있었는지. 목표는 그 순간에 통찰을 포착하는 것이며, 나중에 메모를 통해 재구성하는 것이 아니다.

첫 번째 테스트

첫 번째 앵커는 같은 세션에서 이전에 개발한 인식론적 연구 프레이밍을 위해 작성했다. /mark 를 실행했을 때는 이미 세션이 한 차례 압축 과정을 거친 뒤였다. 따라서 내가 캡처하려던 추론은 압축 요약에서 나온 것이었고, 실시간 교류에서 나온 것이 아니다.

• 남은 내용: 네 가지 연구 목표와 그 구조.
• 사라진 내용: 순서 선정 이유—왜 그 순서였는지, 세션에서 실제로 어떤 논의를 했는지, 그리고 어디에 불확실성이 남아 있었는지.

그 결과는 결정된 사항을 깔끔하게 정리한 산출물이 되었지만, 어떻게 그 결정에 이르렀는지에 대한 기록은 남지 않았다.

LLM 세션의 두 레이어

1. Artifacts – 생성된 파일, 내린 결정, 추출된 노드, 작성된 코드. 이들은 파일 시스템, 금고, 혹은 저장소에 저장되기 때문에 지속됩니다.
2. Deliberative Reasoning – 왜인지를 설명: 프레이밍 선택, 거부된 대안, 스테이징 논리, 그리고 실시간 불확실성. 이 레이어는 아티팩트를 미래 검토를 위해 탐색 가능하고 이해하기 쉽게 만듭니다.

현재 LLM 도구는 Artifacts에 대한 견고한 인프라를 제공하지만 Deliberative Reasoning 레이어를 보존하는 데는 아무것도 제공하지 않습니다. 세션이 종료되거나(압축될 때) 이 레이어는 사라집니다. 각 압축 단계는 분기 경로를 버리고 결론만 남겨, 스테이징 근거와 대안 프레이밍이 사라지게 합니다.

기존 도구의 격차

• ECP 노드는 처리된 연구를 캡처합니다.
• 세션 노트는 운영 이벤트를 캡처합니다.

두 경우 모두 작업 조각을 다음 작업과 연결하는 추론을 포착하지 못합니다. 이 “심사숙고” 계층을 위한 인프라는 아직 존재하지 않습니다.

/mark 스킬

• 목적: 작업 세션 중에 심사숙고하는 순간을 포착하고, 사후에 기록하지 않는다.
• 설계 기준:
  • 세션 노트가 아니다 (무엇이 일어났는지 기록하는).
  • 추출된 연구 노드가 아니다 (처리된 내용을 기록하는).
  • 사이 레이어에 초점을 맞춘다 — 진행 중인 디자인 결정, 구성 중인 연구 프레이밍, 현재 작업과 미래 작업을 연결하는 논리.

앵커 형식

세션 앵커는 다음을 포함하는 마크다운 파일이다:

1. 결정된 내용을 기록한다.
2. 왜를 포착한다 (캡처 시점의 논거).
3. 남은 불확실성을 나열한다.

이 세 요소만 있으면 두 세션 뒤에도 결정을 탐색할 수 있다.

요약에서 캡처할 때의 실패

같은 세션에서 /mark 스킬을 만든 동시에 첫 번째 앵커도 생성되었습니다. 제가 /mark를 호출했을 때는 이미 압축 이벤트가 발생한 뒤였기 때문에, 연구 프레이밍은 압축 전 전사본에만 존재했고 저는 요약을 기반으로 작업하고 있었습니다.

• 캡처된 구조: 프레이밍 질문이 포함된 네 가지 연구 목표.
• 놓친 추론: 단계적 근거, 순서 정당화, 그리고 남아 있는 불확실성.

구조는 이중 압축을 견뎌냈지만, 추론은 그렇지 못했습니다. 이는 압축이 결론은 체계적으로 보존하고 추론 과정은 버린다는 것을 보여줍니다.

배운 점

• Capture must happen live, 압축이 일어나기 전에, 통찰이 발생하는 순간에.
• /mark를 사후에 실행하면 세션 노트가 생성하는 “artifact‑without‑argument” 문제와 동일한 문제가 발생합니다.
• 세션이 종료된 후에는 심사숙고하는 추론이 이미 사라지고; 오직 artifact 레이어만 남습니다.

LLM 실무자를 위한 권고사항

1. 캡처해야 할 레이어를 식별하세요.

   • Session notes → 무슨 일이 있었는지.
   • Summaries → 무엇이 결정되었는지.
   • Deliberative anchors → 왜 그 결정이 내려졌는지.

2. 실시간으로 캡처하세요. 실시간 세션 중에 /mark와 같은 도구를 사용하고, 압축이 일어나기 전에 캡처합니다.

3. 캡처를 검증하세요. 세션이 끝난 후, 노트에서 추론 과정을 재구성해 보세요. 재구성할 수 없다면, 추론이 사라진 것입니다.

심사숙고된 추론을 실시간으로 캡처하는 방식을 통합함으로써, 우리는 LLM 세션의 결과물뿐만 아니라 그 결과물을 의미 있게 만드는 논증까지도 보존할 수 있습니다.