만약 LLM에 더 큰 뇌가 아니라 척추가 필요하다면?

Source: Dev.to

Problem Statement

몇 달 동안 무언가를 만들고 있었는데, 제가 실제 문제를 해결하고 있는 건지 아니면 더 나은 프롬프트만으로도 해결될 일을 과도하게 구조화하고 있는 건지 아직도 고민 중입니다.

제 직관은 간단합니다: LLM은 생성에는 매우 뛰어나지만, 연속성을 기대할 때는 신뢰성이 크게 떨어진다는 것이죠. 에이전트가 일관된 흐름을 유지하고, 정보를 깔끔히 기억하며, 긴장 상황 후에 회복하고, 시간에 따라 일관성을 유지하기를 원할 때 모델 자체의 한계를 보게 됩니다. 이는 반드시 지능이 부족해서가 아니라, 일종의 골격이 부족하기 때문입니다.

많은 시스템에서 LLM은 모든 일을 한 번에 수행합니다: 말하고, 결정하고, 자체 메모리와 프레임을 즉흥적으로 만들죠. 이것은 어느 정도 작동하지만, 곧 흐트러지기 시작합니다. 프롬프트만으로도 어느 정도는 해결할 수 있지만, 여전히 취약하게 느껴집니다.

Proposed Approach

거버넌스를 모델 외부로 옮기는 아이디어입니다:

• LLM은 생성만 하고, 스스로 결정을 내리지는 않습니다.
• 명시적인 정책 레이어가 결정, 상태, 메모리를 관리하여 연속성을 제공합니다.
• 타임라인은 무슨 일이 일어났는지 검사 가능한 추적을 유지합니다.

Observations

지금까지 이 접근법이 보여준 결과는 다음과 같습니다:

• 내부 상태에 대한 발명성이 줄어들고 안정성이 향상되었습니다.
• 프롬프트 인젝션 상황에서도 제약을 더 잘 따르고 경계가 확고해졌습니다.
• 긴 시퀀스에서도 드리프트가 감소했습니다.

Open Questions

• 아직 상태 인과관계, 거버넌스된 메모리의 실제 영향, 혹은 결정적 재생을 공식적으로 증명하지 못했습니다.
• 동일한 문제를 다루는 기존 프로젝트가 있나요?
• 더 나은 프롬프트가 결국 이 추가 구조의 필요성을 없앨 수 있을까요?

Core Question

LLM이 근육이라면, 골격은 어떻게 생겨야 할까요?