Agentic AI의 미래: 내가 걸고 싶은 것 (그리고 걸고 싶지 않은 것)
Source: Dev.to
두 십 년 동안 기술 분야에 몸담으며, 나는 예측에 신중해야 함을 배웠다.
나는 “혁명적인” 플랫폼이 조용히 사라지는 모습을 지켜봤다. 점진적인 개선이 전체 산업을 재편하는 것을 목격했다. 그리고 기술에서 가장 위험한 말은 보통 “이번엔 다르다.” 라는 것이라는 교훈을 얻었다.
에이전시 AI는 의미 있는 면에서 다르지만, 과대광고가 암시하는 방식은 아니다. 미래는 가장 화려한 데모나 가장 자율적인 에이전트가 차지할 것이 아니다. 오히려 에이전시 시스템이 실제로 레버리지를 창출하는 곳과 용납할 수 없는 위험을 초래하는 곳을 정확히 이해하는 조직이 주도할 것이다.
아래는 내가 걸겠다고 생각하는 것과 그렇지 않은 것이다.
1. Composable Agent Architectures
The future is modular.
Monolithic agents that try to do everything will struggle under real‑world complexity. Enterprises don’t operate as single workflows; they operate as layered systems of responsibilities, permissions, and constraints.
Composable agent architectures—where agents are built from smaller, well‑defined components—scale better because they mirror how organizations already function.
In practice, this means:
- Separate agents for planning, execution, validation, and reporting
- Shared services for memory, retrieval, and observability
- Clear boundaries between reasoning and action
Composable systems are easier to debug, govern, and evolve. They also allow teams to replace parts without rewriting the whole system when models, tools, or regulations change—which they will. This isn’t just an architectural preference; it’s a survival strategy.
2. 강력한 거버넌스 레이어
거버넌스는 선택 사항이 아니다. 불가피하다.
에이전트가 실세계 행동을 트리거할 수 있게 되면서—레코드 업데이트, 거래 승인, 인프라 프로비저닝 등—조직은 위험에 맞는 제어 메커니즘을 요구하게 된다.
성공적인 시스템은 거버넌스를 일급 레이어로 취급한다, 사후 생각이 아니라, 여기에는 다음이 포함된다:
- 도구 접근 제어 및 권한 범위 지정
- 결정 및 행동에 대한 감사 로그
- 고영향 작업을 위한 승인 워크플로우
- 설계 단계뿐 아니라 런타임 시 정책 집행
거버넌스가 없는 에이전트 AI는 데모에서는 동작할 수 있지만, 컴플라이언스 감사, 보안 검토, 경영진 검증을 통과하지 못한다. 미래는 제한된 때문에 강력한 에이전트에게 속한다—제한이 없어서가 아니라 제한 때문에 강력하다.
3. 하이브리드 인간–AI 워크플로우
순수한 자율성은 과대평가되고, 협업은 과소평가된다.
제가 본 가장 효과적인 에이전시 시스템은 인간을 없애는 것이 아니라, 마찰을 없애고 인사이트를 도출하며 일상적인 실행을 처리함으로써 인간을 강화하는 것을 목표로 합니다.
하이브리드 워크플로우는 간단한 진리를 인식합니다:
- 저위험 작업 → 에이전트가 독립적으로 수행
- 중위험 작업 → 에이전트가 검토를 위해 행동을 제안
- 고위험 작업 → 에이전트가 인간에게 에스컬레이션
이는 강력한 팀이 이미 일하는 방식을 반영합니다: 주니어 직원은 실행을 담당하고, 시니어 직원은 예외 상황과 판단을 담당합니다. 에이전시 AI는 조직도를 대체하는 것이 아니라, 이를 실현합니다.
4. 도메인‑특화 에이전트
일반 지능은 매력적이다. 도메인 지능은 실용적이다.
실제 비즈니스 가치를 제공하는 에이전트는 금융, 의료 운영, 물류, 규정 준수, 고객 지원, 엔지니어링 워크플로와 같은 특정 도메인에 깊이 기반을 두고 있습니다.
이러한 에이전트가 이해하는 것:
- 산업‑특화 데이터 구조
- 도메인 규칙 및 제약 조건
- 규제 요구 사항
- 조직적 맥락
그들은 “모든 것을 알” 필요는 없습니다. 하나의 도메인에 대해 충분히 알고 일관되게 좋은 결정을 내릴 수 있으면 됩니다. 검색, 컨텍스트 큐레이션, 그리고 지식 경계는 모델 크기보다 훨씬 더 중요합니다. 실제 이해관계가 있을 때는 특화가 일반화를 능가합니다.
5. 기업 소유 인텔리전스
내가 가장 확고히 믿는 신념 중 하나.
인텔리전스를 임대형 상품처럼 취급하는 조직은 결국 후회하게 될 것입니다. 모델, 가격, 조건, 그리고 규제는 변할 수 있습니다. 변하지 말아야 할 것은 다음에 대한 소유권입니다:
- 비즈니스 로직
- 의사결정 프레임워크
- 조직 지식
- 운영 메모리
미래는 에이전트형 인텔리전스를 구축하고 소유하는 기업에 달려 있습니다. 모델을 근본적인 의존성이 아닌 교체 가능한 구성 요소로 활용하는 것이죠. 이는 모델을 처음부터 만드는 것을 의미하는 것이 아니라, 모델을 둘러싼 시스템을 소유하는 것을 의미합니다. 이 구분은 대부분의 사람들이 생각하는 것보다 훨씬 중요합니다.
Source: …
피하고 싶은 위험
1. 핵심 시스템에서 완전 자율 일반 에이전트
일반 에이전트가 점점 더 강력해지는 것은 의심하지 않지만, 엄격한 감독 없이 핵심 시스템에 맡기는 것은 위험하다고 생각합니다. 복잡한 환경에는 엣지 케이스, 상충되는 인센티브, 불완전한 정보가 가득합니다. 목표가 명확히 정의되지 않았거나 상황이 변할 때, 매우 능력 있는 에이전트도 미묘하고 큰 영향을 미치는 방식으로 실패할 수 있습니다.
- 저위험 환경에서는 실험적인 자율성을 허용할 수 있습니다.
- 규제 혹은 안전‑중요 시스템은 점진적이고 철저히 모니터링된 자율성을 필요로 합니다.
자율성은 선언이 아니라 획득되어야 합니다.
2. 일괄 적용 가능한 AI 플랫폼
범용 플랫폼은 속도와 단순성을 약속하지만, 실제 비즈니스는 복잡성과 예외 상황을 제공합니다. 모든 진지한 조직에는 다음이 존재합니다:
- 레거시 시스템
- 맞춤형 워크플로우
- 내부 정치
- 규제 의무
“평균 고객”에 최적화된 플랫폼은 실제 제약이 드러날 때 반드시 실패합니다. 실패는 설계 미흡이 아니라 추상화는 언제나 누수된다는 사실 때문입니다. 미래는 모든 것을 장악하는 하나의 플랫폼이 아니라, 조직의 구체적인 현실에 맞춰 설계된 적응형 시스템입니다.
3. 복잡한 비즈니스를 위한 “노코드” 에이전트 빌더
노코드 도구는 실험에 유용하지만, 이를 생산 준비된 시스템으로 착각하면 위험합니다. 복잡한 비즈니스는 다음을 요구합니다:
- 정밀한 로직
- 명시적인 계약
- 견고한 오류 처리
- 깊은 통합
이러한 요소들을 추상화한다고 해서 사라지는 것이 아니라, 문제가 발생할 때까지 숨겨두는 것에 불과합니다—대개 최악의 순간에 폭발합니다. 에이전트 시스템은 스프레드시트가 아니며, 스프레드시트처럼 다루면 잘못된 자신감을 얻게 됩니다.
4. 책임 없는 AI
여기가 제가 가장 강하게 선을 긋는 부분입니다.
현실 세계에 영향을 미칠 수 있는 모든 시스템은 명확하고 집행 가능한 책임 메커니즘을 갖추어야 합니다. 책임이 없으면 조직은 법적, 재정적, 평판상의 위험에 노출됩니다. 책임에는 다음이 포함됩니다:
- 투명한 의사결정 출처
- 고위험 행동에 대한 인간‑인‑루프 제어
- 감사 가능한 로그와 사후 검토 프로세스
엄격한 책임 체계가 있어야 기업이 에이전트 AI의 힘을 안전하게 활용할 수 있습니다.
“AI가 했어요”는 비즈니스, 법률, 윤리 어느 영역에서도 받아들여질 수 없는 답변입니다.
미래는 책임을 명시하는 시스템에 달려 있습니다:
- 누가 이 행동을 승인했나요?
- 어떤 데이터가 이 결정을 내렸나요?
- 어떻게 되돌릴 수 있나요?
- 실패했을 때 누가 책임을 지나요?
책임이 없으면 신뢰가 무너지고, 신뢰가 없으면 채택이 정체됩니다.
에이전트 AI는 인간을 대체하는 것이 아니라, 조직이 할 수 있는 일의 기준을 높이는 것입니다—더 빠른 의사결정, 병목 감소, 일관된 실행.
하지만 그 미래는 자율성을 목적 자체로 추구해서는 만들 수 없습니다. 자율성을 추구하는 것이 아니라, 겸손함, 구조화, 장기적 사고로 에이전트 AI에 접근하는 팀에 의해 구축됩니다—에이전트를 설계·거버넌스·개선해야 할 시스템으로 여기고, 마법처럼 풀어놓는 것이 아니라.
- 일부는 지속 가능한 경쟁력을 구축할 것입니다.
- 다른 일부는 인상적인 데모만 만들 것입니다.
어느 쪽에 설지 저는 이미 알고 있습니다.