패트릭 콜리슨의 LLM 워크플로우 도구 요청 검토

출처: Dev.to

Patrick Collison (https://x.com/patrickc) 은 자신이 실제로 원하는 LLM 워크플로우 도구에 대해 최근에 설명했습니다.
Patrick 가 원하는 것은:

• Markdown 등과 같은 입력 파일 집합과 기타 일반적인 컨텍스트를 관리할 수 있는 기능
• 실시간 협업, 스냅샷 혹은 VCS와 연동되는 개념
• 추론 워크플로우와 저장된 프롬프트 집합을 만들고 관리할 수 있는 능력
• 일반적인 코딩 에이전트에 대한 접근(단순 채팅 모델이 아니라)
• 외부에 공유할 수 있는 컴파일된 출력물 혹은 추론 결과에 대한 개념

그는 이 느낌을 “GNU Autotools × Notion”이라고 요약했습니다. 즉, 반복적으로 처리하고자 하는 자료 집합에 대해, 특정 산출물은 시간에 따라 보존·버전 관리·거버넌스·추론이 필요하다는 의미입니다.

진단은 정확합니다. 우리 대부분에게는 생성 병목이 이미 사라졌고, 남은 주요 문제는 다음과 같습니다.

• 여러 번의 반복과 여러 참여자를 거쳐도 살아남는 시맨틱 상태
• 인간과 에이전트가 혼합된 작업에서도 무너지지 않는 조정
• 작업과 함께 실제로 이동하는 증거
• 의도가 채팅 기록이나 임시 폴더에 흡수되지 않고 명시적으로 유지되는 거버넌스

vap는 Verivus Assurance Platform의 약자로, 오픈 소스 verivus-oss 프로젝트와 그 아래 verivusai-labs에서 구축 중인 더 깊은 기반을 아우르는 우산 프로젝트입니다. Patrick 이 겪는 마찰을 직접 해결하는 부분은 agentassurance 컴포넌트로 구현된 살아있는 연극 제작 스튜디오입니다.

• Productions 은 왼쪽 사이드바에 계층 구조로 표시됩니다. 전체 Verivus 포트폴리오 수준에서 볼 수도 있고, 22‑unit DAG‑TOML 복구 계획까지 확대해서 볼 수도 있습니다. 동일한 규칙과 ijbCRUD 패널이 모든 확대 수준에 적용됩니다.
• Workspaces 가 중앙을 채웁니다.
  • Storyboard: 의도 선언, depends_on·blocks 관계, 수용 기준, 증거 요구 사항 등을 1급 버전 가능한 아티팩트로 담은 타입드 DAG
  • Scene: 현재 집중하고 있는 리허설
  • Explore: 시맨틱 지도 작성
  • Working On: 실시간으로 뒤섞인 반복 작업 표면
• Exhibition 은 오른쪽 사이드바에 위치합니다. 보존·공유 가치가 있는 컴파일된 출력물과 전체 체인 오브 커스터디를 담고 있습니다.

모든 레이어에서 중심이 되는 동사는 ijbCRUD이며, 이는 증거 기반(provenance‑aware) 으로 설계되었습니다. 클로저 루트가 아티팩트와 함께 이동하고, 어설션은 정경에 살아 있습니다. 이것이 상태가 반복과 참여자를 거쳐도 채팅이나 신뢰할 수 없는 폴더로 무너지지 않는 이유입니다.

즉, “Autotools × Notion”을 전체 제작 프로세스로 끌어올린 것이며, DAG‑TOML 과 Agent Assurance 사양에 기반합니다. 명시적 의도, 클로저 루트를 통한 증거, 암호화된 출처, IJB 어설션을 기반으로 하며, 런타임에 구애받지 않도록 설계되었습니다.

• 입력 파일 + 일반 컨텍스트: sqry (시맨틱/생명 그래프와 메모리 레이어). 곧 scrub 로 이름이 바뀔 예정입니다.
• 실시간 협업 + 스냅샷/VCS: weave (구조적 연산을 지원하는 CRDT 다중 행위자 리허설 시스템) + ledger (취약한 파일/브랜치/커밋 기록을 대체하는 증거 풍부 시맨틱 에피소드)
• 저장된 프롬프트 + 추론 워크플로우: storyboard (감독의 플래닝 보드) – 타입드 DAG 를 1급 아티팩트로 사용하고, 의존성, 수용 기준, 증거 요구 사항, 계층적 순위, 상태 등을 모두 명시
• 일반 목적 코딩 에이전트: agentfederator (캐스팅 디렉터). 다중 LLM 라우팅, 고의도 플래닝을 위한 프론티어 모델, 실행 속도·비용을 위한 양자화 오픈 모델을 지원하는 하드웨어와 연동
• 공유 가능한 컴파일된 출력물: Exhibition 레이어 (ledger 에피소드 + 구조적 코덱 + 출처·서명·귀속을 위한 Assurance 서브스트레이트)

이 모델을 이미 공개적으로 운영해 왔습니다. X(트위터)에서 다중 LLM 합의와 증거 추적을 포함한 답변·크로스포스트를 제공하고, 22‑unit DAG‑TOML 계획에 따라 ledger 배포 검토를 진행했습니다.

전체 비전은 vap 아래 verivusai-labs 에서 진행 중인 내부 작업에 있습니다. 여기에는 ijb, vault, ledger, integrity, meter 등 전체 서브스트레이트, 스튜디오 세부 개선, 대규모 프로젝트에서의 일상 사용이 포함됩니다. 안정화되는 부분을 차례로 공개하고 있으며, 현재 공개된 verivus-oss 아티팩트가 진입점입니다. 이는 주간 직장 외에 밤과 주말에 완전히 독립적으로 진행되는 작업이며, 배운 점은 일방향으로만 공유됩니다(#ihaveadayjob).

Patrick 의 설명이 장기적인 에이전트 작업에서 겪는 마찰—반복을 넘는 컨텍스트, 버전 관리·거버넌스가 된 워크플로우, 의도적으로 배치된 에이전트, 진정한 출처를 가진 출력물—과 일치한다면, 이것이 vap 아래 verivus-oss 에서 진행 중인 방향입니다.

발표된 아티팩트가 진입점이며, 구체적인 실험(실제 스택에서 sqry 실행, 타입드 DAG 작성, 파이프라인을 통한 출력물 생성)과 증거 기반 피드백을 환영합니다. 레포 링크와 연락처는 프로필에 있습니다. 온톨로지를 다루고 실제 Production을 실행하고자 하는 초기 협업자는 언제든 환영합니다.

근본적인 믿음은 이러한 도구가 인지 공동 프로세서 역할을 하여, 시맨틱 엔트로피와 조정의 부담을 크게 줄이고, 남은 인간 작업을 고차원적인 방향 설정과 Production에 대한 충실한 관리로 전환시킨다는 점입니다.