빅테크·보안업계, AI 에이전트 보안 솔루션 강화
Source: Byline Network
인공지능(AI) 에이전트가 기업 내부 시스템에 접근하고 업무를 대신 수행하는 사례가 늘면서, 빅테크와 보안 기업들이 AI 에이전트의 권한과 행위를 통제하는 보안 기능을 강화하고 있다.
AI 에이전트는 사람의 권한을 받아 업무를 처리한다. 메일을 보내고 내부 문서를 조회하며, 코드를 실행하거나 외부 도구도 호출할 수 있다. 기업의 입장에서는 에이전트가 어떤 권한으로 무엇을 실행하는지 확인해야 하는 문제가 생겼다.
동시에 공격면도 넓어졌다. 공격자는 에이전트의 권한을 탈취해 데이터를 빼내거나, 에이전트가 접근하는 이메일, 웹페이지, 문서, 코드 저장소 등에 악성 프롬프트를 숨겨 잘못된 행동을 하게 만 수 있다.
AI 에이전트 자산·권한 관리 솔루션 확산
기업들은 AI 에이전트를 보안 자산으로 파악하고 권한을 관리하는 기능을 강화하고 있다. 조직 안에 어떤 에이전트가 있는지 알아야 소유자를 지정하고, 접근 권한을 부여하거나 회수할 수 있기 때문이다. 누가 만들었는지, 어떤 업무에 쓰는지, 어떤 모델과 애플리케이션에 연결됐는지도 함께 확인해야 한다.
마이크로소프트는 지난달 1일 ‘마이크로소프트 에이전트 365(Microsoft Agent 365)’를 출시했다. 회사는 이 솔루션에 직원이 사용하는 AI 에이전트를 찾아내고 관리하는 기능을 담았다. 디펜더(Defender)와 인튠(Intune)을 활용해 윈도우 기기에서 실행되는 로컬 AI 에이전트를 찾고 관리하는 기능도 예고했다. 회사가 승인하지 않은 에이전트가 개인 단말이나 개발 환경에서 실행되는 상황을 통제 대상으로 본 것이다.
옥타도 섀도우 AI 에이전트 발견을 핵심 기능으로 내세우고 있다. 옥타는 지난 4월 ‘옥타 포 AI 에이전트(Okta for AI Agents)’를 내놓았다. 직원이 AI 에이전트를 기업 애플리케이션에 연결하면 이를 탐지하고, 소유자를 지정해 관리 대상 자산으로 전환한다. AI 사용을 모두 막기보다는 숨어 있는 에이전트를 찾아 등록하고 정책을 적용하는 데 무게를 뒀다.
국내에서도 AI 에이전트 통제를 위해 가시성을 극대화하는 솔루션들이 나오고 있다. 이로운앤컴퍼니는 AI 보안의 핵심을 AI와 에이전트 사용 현황을 한눈에 볼 수 있는 체계에서 찾는다. 윤두식 이로운앤컴퍼니 대표는 “에이전트 시대의 거버넌스는 기업 안에서 누가 어떤 AI 모델을 쓰고, 어떤 데이터를 입력했으며, 어떤 답변을 받았는지 볼 수 있게 하는 체계”라고 강조했다.
윤 대표는 AI 활용을 막기만 하면 직원이 승인받지 않은 외부 AI를 우회적으로 쓸 수 있다고 봤다. AI를 잘 쓰게 하려면 뒤에서 안전하게 통제하는 구조가 필요하다는 것이다. 이로운앤컴퍼니의 대표 솔루션인 ‘세이프엑스(SAIFE X)’도 이 방향으로 설계됐다. 관리자는 관리자 모드에서 사용자별 사용량, 모델 사용 현황, 비용, 프롬프트와 응답, 가드레일 탐지 내역을 확인할 수 있다.
숨은 에이전트를 찾았다면 다음 과제는 ‘신원과 권한 관리’다. 에이전트를 하나의 행동 주체로 식별하지 못하면 권한을 주거나 회수하기 어렵다. 누가 만든 에이전트인지, 어떤 사용자를 대신하는지, 어떤 데이터와 시스템에 접근하는지 알아야 한다. 이 부분에서는 아이덴티티 보안 기업들이 관련 솔루션을 강화하고 있다.
세일포인트는 AI 에이전트를 사람 소유자, 데이터, 시스템과 연결해 관리한다. 세일포인트는 지난달 11일 AI 에이전트 신원과 권한 관리를 위한 ‘세일포인트 에이전틱 패브릭(SailPoint Agentic Fabric)’을 출시했다. 관련 제품인 ‘에이전트 아이덴티티 시큐리티(Agent Identity Security)’는 AI 에이전트를 모아보고, 소유자를 지정하며, 접근 권한을 검토하고, 필요하면 권한을 회수하는 기능을 제공한다.
세일포인트는 AI 에이전트의 책임 주체가 불명확해질 수 있다는 점을 위협으로 봤다. 에이전트가 누구의 책임 아래 있는지, 어떤 데이터와 시스템에 접근하는지, 어떤 도구를 쓰는지 알 수 없다면 통제도 어렵기 때문이다. 지정권 세일포인트 한국 대표는 “AI 에이전트를 단순 자동화 도구가 아니라 사람, 기계 계정과 함께 관리해야 할 비인간 신원으로 봐야 한다”고 설명했다.
사이버아크는 AI 에이전트를 높은 권한을 가진 기계 계정으로 본다. 사이버아크는 지난해 11월 ‘시큐어 AI 에이전트(Secure AI Agents)’ 솔루션을 발표했다. AI 에이전트가 서비스형 소프트웨어(SaaS), 클라우드, 개발 환경에 접근하면 특권 계정처럼 작동할 수 있다는 시각에서 통제 구조를 설계했다.
맷 코헨 사이버아크 최고경영자는 “기업이 AI 에이전트를 사용하면서, 구축자와 방어자는 에이전트가 높은 권한을 요구할 때 아이덴티티 측면에사 위협이 얼마나 커질 수 있는지를 이해해야 한다”고 말했다. 이어 “에이전트를 탐지하고 권한을 통제하며 생애주기를 관리하는 체계가 없으면 기업은 AI에 대한 가시성을 잃고 위협에 노출될 수 있다”고 강조했다.
이상근 고려대학교 정보보호대학원 교수도 AI 에이전트 보안의 핵심을 ‘권한 위임’이라고 짚었다. 기존 생성형 AI에 도구 사용과 실행 기능이 붙으면서 사람이 하던 일을 에이전트가 대신하도록 권한을 넘겨받는 구조가 됐다는 설명이다.
박관순 티오리 최고정보보호책임자(CISO)는 “사람에게 주어진 권한을 에이전트에 그대로 넘기는 것이 아니라, 사용자 권한과 에이전트 권한의 교집합만 허용하는 구조가 필요하다”고 설명했다. 내부 문서 검색이나 요약은 자동으로 처리하더라도 외부 메일 발송, 권한 변경, 계정 삭제, 저장소 공개, 결제, 배포 같은 작업은 사람 승인이나 추가 인증을 거치게 해야 한다는 것이다.
행동 통제까지 넓어지는 AI 에이전트 보안
에이전트 자산을 찾고 권한을 부여해도 통제는 끝나지 않는다. 에이전트가 어떤 입력을 받고, 어떤 도구를 호출하는지, 그리고 어떤 결과를 외부로 내보내는지 등 행동 전반을 봐야 하기 때문이다.
기업들은 에이전트의 행동 흐름까지 통제 대상으로 보고 있다. 에이전트가 어떤 데이터를 읽고, 어떤 도구를 호출하며, 어떤 결과를 만드는지 알아야 사고를 막거나 원인을 확인할 수 있기 때문이다.
팔로알토네트웍스는 이 지점을 겨냥했다. 팔로알토네트웍스는 지난 3월 ‘프리즈마 에어스(Prisma AIRS) 3.0’을 발표했다. 이 제품은 에이전틱 AI를 발견하고, 위험을 평가해 보호하는 기능을 가지고 있다. 특히 에이전트가 연결한 모델 컨텍스트 프로토콜(MCP) 서버, 플러그인, 외부 도구 호출을 꼼꼼하게 확인한다. 회사가 승인하지 않은 에이전트나 개발 환경에서 쓰이는 코딩 에이전트까지 보안팀의 관리 범위에 넣겠다는 것이다.
팔로알토네트웍스는 에이전트 보안을 ‘발견, 평가, 보호’ 세 단계로 본다. 먼저 어떤 에이전트가 있는지 찾고, 에이전트 코드와 연결 도구에 위험한 권한이나 취약점이 있는지 평가한다. 이후 실행 단계에서 정책을 적용해 위험한 행동을 차단하거나 승인 절차를 거치게 하는 방식이다.
클라우드플레어는 AI 애플리케이션 앞단의 프롬프트와 응답 흐름을 통제하는 데 집중했다. 지난 3월에는 ‘AI 시큐리티 포 앱스(AI Security for Apps)’를 내놓았다. AI 애플리케이션 앞단에서 프롬프트 주입 공격, 개인정보 노출, 민감 주제, 정책 위반 요청을 탐지하고 통제하는 솔루션이다.
클라우드플레어가 앞단에서의 통제에 집중한 이유는 AI 에이전트가 자연어를 입력값으로 쓰기 때문이다. 공격자는 이메일, 문서, 웹페이지에 숨긴 지시문으로 AI 에이전트를 속여 승인되지 않은 행동이나 데이터 유출을 유도할 수 있다. 이런 위험을 줄이기 위해 AI가 요청을 처리하거나 응답을 내보내기 전 프롬프트와 응답을 검사하는 방식을 택했다는 것이다.
이태진 가천대학교 스마트보안학과 교수는 AI 에이전트가 검색증강생성(RAG), 메모리, 계획 수립, 외부 도구 호출, 실행 기능을 결합해 문제를 푸는 구조라고 설명했다. 이런 구조에서는 점검 대상이 고정돼 있지 않다. 같은 프롬프트와 같은 행동이라도 해석이 달라질 수 있고, 입력 내용에 따라 호출되는 도구와 실행 경로도 바뀔 수 있다.
이처럼 행동하는 에이전트의 보안 위협은 입력과 출력만으로 끝나지 않는다. 에이전트는 프롬프트를 읽고, 도구를 호출하고, 파일을 수정하고, 응답을 외부로 보낼 수도 있다. 통제 지점은 입력, 게이트웨이, 런타임, 도구 호출, 응답 흐름 전체로 넓어진다.
유상윤 에임인텔리전스 대표는 “AI가 무엇을 보고 어떤 출력을 내며 어디까지 행동할 수 있는지에 대한 관리 체계가 아직 뒤처져 있다”며 “입력과 출력 전 단계에서 유해 행위를 차단하는 실시간 AI 방화벽이 필요하다”고 설명했다.
에임인텔리전스는 AI 레드팀과 가드레일을 결합한 접근을 내세운다. AI 서비스의 취약점을 공격자 관점에서 찾아내고, AI가 위험 행동을 하지 않도록 안전장치를 설정하는 방식이다. 기업 AI 환경에서 개인정보와 민감정보 보호 시나리오를 모색하고 있다.
에이전트가 실제 업무를 수행하면 로그의 의미도 달라진다. 기존 보안관제는 엔드포인트, 네트워크, 클라우드, 아이덴티티 로그를 중심으로 이뤄졌다. AI 에이전트 환경에서는 여기에 프롬프트, 응답, 도구 호출, 승인 절차, 외부 전송 기록이 추가된다.
기업은 누가 어떤 프롬프트를 입력했고, 어떤 데이터가 참조됐으며, 어떤 응답이 나왔고, 어떤 후속 행동이 실행됐는지 추적해야 한다. 로그가 없으면 사고 원인을 확인하기 어렵다. 에이전트가 잘못된 외부 명령을 따랐는지, 사용자가 승인했는지, 어떤 도구가 호출됐는지, 어떤 데이터가 외부로 나갔는지 알 수 없기 때문이다.
크라우드스트라이크는 이 지점을 보안관제 데이터로 본다. 크라우드스트라이크는 5월 21일 클로드 컴플라이언스 API(Claude Compliance API)와 팔콘(Falcon) 플랫폼을 통합한다고 발표했다. 기업에서 쓰는 클로드 엔터프라이즈와 클로드 플랫폼 활동을 보안관제 데이터로 끌어와 탐지, 대응, 거버넌스 대상으로 삼겠다는 것이다.
대니얼 버나드 크라우드스트라이크 최고사업책임자는 “모든 엔터프라이즈 애플리케이션에는 모니터링과 보호가 필요하며 AI도 예외가 돼서는 안 된다”고 말했다. 그는 클로드가 조직 운영의 일부가 되면 보안팀은 이를 엔드포인트, 아이덴티티, 클라우드 신호와 같은 운영 화면 안에서 봐야 한다고 설명했다.
윤두식 대표도 AI 에이전트 환경에서는 행동 반경에 포함되는 질문과 답변의 흐름을 모두 모니터링해야 한다고 봤다. 어떤 사용자가 에이전트에 명령했는지, 에이전트가 사용자 권한을 넘어선 행동을 했는지, 어떤 결과물을 만들고 어떤 시스템을 호출했는지 기록해야 한다는 것이다.
AI 모델 개발사도 자체 에이전트 통제 장치 강화
AI 개발사들도 자체적으로 에이전트 통제 장치를 강화하고 있다. 빅테크와 보안 기업들이 여러 모델과 업무 시스템을 가로질러 에이전트의 신원과 권한, 실행 로그를 관리한다면, 모델 개발사들은 자사 모델이 위험한 요청을 처리하거나 민감한 행동을 실행하지 않도록 제어 장치를 두고 있다.
앤트로픽은 이달 9일 새 모델 클로드 페이블5(Claude Fable 5)와 클로드 미토스5(Claude Mythos 5)를 공개하면서 에이전트 통제와 안전장치를 함께 제시했다. 앤트로픽이 제시한 핵심 장치는 분류기다. 분류기는 사용자의 요청이 사이버보안, 생물학·화학, 모델 증류처럼 악용 가능성이 큰 영역에 해당하는지 감지한다. 해당 요청이 감지되면 클로드 페이블 5가 직접 처리하지 않고 클로드 오푸스 4.8(Claude Opus 4.8)로 응답을 전환한다. 모델 성능을 모두 열어두지 않고, 위험도가 높은 요청에는 상대적으로 제한된 모델을 쓰도록 하는 일종의 격리 체계다.
앤트로픽은 탈옥 공격을 방어하기 위한 시스템도 강조한다. 탈옥은 모델의 안전정책이나 개발자 지시를 우회해 금지된 답변이나 행동을 끌어내려는 시도다. 앤트로픽은 범용 탈옥을 완전히 막기는 어렵지만, 탈옥 시도의 비용과 시간을 높여 대규모 악용 전에 탐지하고 막는 것을 목표로 한다고 설명했다.
오픈AI도 에이전트의 보안 위협에 대응하기 위한 방어 체계를 구축하고 있다. 오픈AI는 지난 3월 공개한 글에서 프롬프트 주입 공격을 단순히 악성 문구를 찾아내는 문제로 보지 않는다고 설명했다. 이메일, 웹페이지, 문서처럼 외부 콘텐츠에 숨은 지시가 에이전트를 속일 수 있기 때문에 공격을 완벽히 식별하는 것보다 공격이 성공해도 피해가 커지지 않게 설계하는 것이 중요하다는 설명이다.
오픈AI는 개발자용 에이전트 도구에서도 입력 가드레일, 출력 가드레일, 도구 가드레일, 사람 승인 절차를 제시한다. 예를 들어 주문 취소, 파일 수정, 셸 명령, 민감한 MCP 작업처럼 실제 부작용이 생기는 행동은 실행 전에 사람이나 정책의 승인을 받게 할 수 있게 했다.
구글은 에이전트가 여러 도구와 다른 에이전트에 연결되는 환경을 게이트웨이에서 통제하고 있다. 구글은 지난 4월 ‘제미나이 엔터프라이즈 에이전트 플랫폼(Gemini Enterprise Agent Platform)’을 소개하며 에이전트 신원과 게이트웨이를 중심으로 통제 체계를 제시했다.
구글의 ‘에이전트 아이덴티티(Agent Identity)’는 AI 에이전트를 사람이나 일반 서비스 계정과 구분되는 별도 신원으로 관리하는 기능이다. ‘에이전트 게이트웨이(Agent Gateway)’는 에이전트와 외부 도구, 다른 에이전트, 모델 컨텍스트 프로토콜 서버 사이의 통신을 통제하는 관문 역할을 한다.
또한 ‘모델 아머(Model Armor)’는 게이트웨이를 지나는 요청과 응답을 검사한다. 프롬프트 주입 공격, 탈옥 시도, 민감정보 유출, 유해 콘텐츠 생성을 줄이기 위한 가드레일이다. 기업은 에이전트에 같은 보안 정책을 적용할 수 있고, 요청이 정책을 위반하면 차단하거나 민감정보를 제거할 수 있다.
글. 바이라인네트워크