AI와 AI 에이전트를 위한 거버넌스란 무엇인가?
Source: Dev.to
AI 거버넌스는 최근 기업들이 실제 환경에서 안전한 AI 시스템을 필요로 하면서 주목받고 있습니다. 하지만 여전히 많은 사람들은 AI 에이전트에 대한 거버넌스가 실제로 무엇을 의미하는지 궁금해합니다.
이 글에서는:
- AI 거버넌스가 실제로 의미하는 바를 풀어보고,
- 올바른 거버넌스를 구현하는 것이 왜 복잡한 문제인지 설명하며,
- Credal과 같은 AI 오케스트레이션 플랫폼이 팀이 거버넌스 접근 방식을 단순화하는 데 어떻게 도움을 줄 수 있는지 보여드립니다.
AI 거버넌스란 무엇인가?
핵심적으로, AI 거버넌스는 AI 시스템(모델, 애플리케이션, 에이전트)이 안전하고 규정을 준수하는 방식으로 구축, 배포 및 운영되도록 안내하는 정책, 프로세스 및 통제의 집합입니다. 이러한 프레임워크는 보안 취약점, 규정 위반 또는 평판 손상 없이 AI가 책임감 있게 도입되고 확장되도록 보장합니다.
이론적으로는 간단하지만, 실제로는 그렇지 않습니다.
AI 거버넌스는 AI 에이전트의 급속한 부상과 함께 등장한 몇 가지 하위 문제에 초점을 맞춥니다. AI 거버넌스가 아직 비교적 새로운 분야이기 때문에, 기존 프레임워크(예: SOC 2)는 주로 데이터와 관련된 측면에서만 부분적으로 다루고 있습니다.
AI 에이전트가 새로운 위험을 초래하는 이유
개발자와 사용자들은 AI 에이전트를 빠르게 받아들였습니다. 에이전트의 자율성과 높은 맞춤화 가능성은 매력적이지만, 바로 그 특성 때문에 새로운 보안 및 위험 과제가 발생합니다.
두 가지 주요 위험 범주
| 위험 유형 | 설명 |
|---|---|
| 데이터 위험 | 에이전트가 적절한 권한이 없는 직원에게 민감한 정보를 노출시켜 규제 벌금이 부과되거나 계약이 위험에 처할 수 있습니다. |
| 변경 위험 | 에이전트는 종종 쓰기 권한을 가지고 있어 외부 시스템을 잘못 업데이트할 수 있습니다(예: 이메일 전송, 허가되지 않은 Slack 메시지 게시, 티켓 삭제, 결제 수행 등). |
이러한 위험을 완화하려면 에이전트 생태계 전반에 걸쳐 접근 권한이 어떻게 제공되는지를 명확히 정의하고 시행하는 거버넌스 프레임워크가 필요합니다.
누가 책임이 있나요?
Responsibility for implementing these principles rests with the customer, not the vendor. Vendors are generally unwilling to assume liability for mistakes made by their applications—or their agents. Because agent behavior is largely unpredictable, enterprises must own the safeguards.
Example: Many vendors offer agents that can send emails or create Jira tickets. None will cover legal fees if an agent accidentally leaks sensitive data to a public board or sends PII to the wrong recipient.
Consequently, enterprises need the right tooling to manage agent risks, especially regulated companies facing significant penalties for data exposure. This demand has spawned a market of third‑party solutions (e.g., Credal) positioned between vendors and enterprises.
AI 거버넌스의 세 가지 핵심 원칙
-
접근
- 에이전트는 인간, 서버, 장치에 적용되는 제어를 우회하지 않는 권한을 받아야 합니다.
- 각 에이전트는 지정된 소유자를 가져야 하며, 그 소유자와 동일하거나 더 적은 권한만을 상속받아 최소 권한 원칙을 따라야 합니다.
-
감사
- 에이전트 활동은 오류나 침해를 조사하고 재현할 수 있도록 추적되어야 합니다.
- 인간과 달리 “누가 이 테이블을 삭제했나요?”라고 단순히 물어볼 수 없는 경우, 에이전트는 유용한 이력을 유지하기 위해 결정론적 모니터링이 필요합니다.
-
Human‑in‑the‑Loop (HITL)
- 중요한 작업에 대해서는 인간이 의도된 행동에 대한 간결한 요약을 검토한 후 에이전트의 접근을 명시적으로 승인해야 합니다.
- 이는 전체 데이터베이스 삭제와 같은 치명적인 실수의 위험을 줄여줍니다.
아래에서는 Human‑in‑the‑Loop 원칙에 초점을 맞춥니다. 위험과 제어는 수행되는 구체적인 작업 유형에 따라 달라지기 때문입니다.
에이전트가 실행할 수 있는 작업 결정
모든 작업은 위험 정도가 다릅니다. 우리는 작업을 세 가지 범주로 분류할 수 있습니다:
| 카테고리 | 위험 수준 | 일반적인 처리 |
|---|---|---|
| 읽기 전용 | 가장 낮음 | 인간 소유자가 자신의 권한 범위 내에서 접근을 허용합니다. |
| 낮은 위험 쓰기 | 낮음 | 권한 및 감시가 적절히 설정된 경우, 인간 승인을 기다리지 않고 에이전트가 진행할 수 있습니다. |
| 높은 위험 쓰기 | 높음 | 기업은 명시적인 인간 승인을 의무화해야 합니다. |
각 범주 관리 방법
-
읽기 전용 작업 – 인간 소유자가 책임을 집니다. 거버넌스 프레임워크를 통해 소유자는 자신의 권한 범위 내에서 에이전트에 접근을 허용해야 합니다.
-
낮은 위험 쓰기 작업 – 에이전트가 자율적으로 진행할 수 있습니다. 모든 작업에 인간 승인을 요구하면, 권한 및 감시가 올바르게 구성된 경우 오히려 방해가 될 수 있습니다.
-
높은 위험 쓰기 작업 – 기업은 명시적인 인간 승인을 요구해야 합니다. 낮은 위험과 높은 위험 작업 사이의 경계는 조직마다 다릅니다. 예시:
- Salesforce 레코드 업데이트 → 낮은 위험
- 결제 전송 → 높은 위험
높은 위험 상황에서는 승인을 제공하는 인간 소유자가 책임을 집니다. 낮은 위험 상황에서는 책임이 에이전트 소유자와 기본 거버넌스 제어에 있습니다.
Bottom Line
AI 거버넌스는 AI 에이전트를 대규모로 안전하게 배포하기 위해 필수적입니다. 명확한 access, auditing, human‑in‑the‑loop 제어를 설정하고, 행동을 위험 수준별로 분류함으로써 조직은 데이터 및 변형 위험을 완화하면서도 자율 AI 에이전트가 제공하는 생산성 향상을 누릴 수 있습니다.
Credal과 같은 플랫폼은 이러한 원칙을 실제 운영에 적용하도록 도와주며, 기업이 AI 에이전트를 책임감 있게 관리할 수 있는 도구를 제공합니다. 중앙 집중식 에이전트 거버넌스는 규모가 크거나 규제가 있는 기업에서 특히 중요해지며, 고위험·저위험 행동을 정의하는 등 관행을 체계화함으로써 규제당국에 대한 방어성을 입증할 수 있습니다.
Credal은 관리형 에이전트, 내장형 감사, human‑in‑the‑loop, 권한 상속 기능을 갖춘 AI 거버넌스 및 오케스트레이션 플랫폼입니다. 이 플랫폼은 에이전트에 대한 환경 및 규칙을 설정하지만, 저위험·고위험 행동이나 human‑in‑the‑loop 워크플로우를 지정하지는 않습니다—그러한 결정은 여전히 기업에 맡겨집니다.
Credal에 대해 더 알고 싶다면, 지금 데모 신청하세요.