클로드 코드 보안 결함, 개발자 워크플로우에서 AI 위험을 보여줌

출처: DevOps.com

Anthropic의 Claude Code 개발 도구에 존재하던 취약점은 위협 행위자가 CI/CD 워크플로우 내에서 자격 증명 및 기타 비밀을 노출시킬 수 있었으며, 이는 AI 코딩 에이전트가 초래하는 소프트웨어 개발 파이프라인 보안 위험의 최신 사례이다.

Microsoft 보안 연구원 Dor Edry와 Amit Eliahu는 보고서에서 현재 패치된 Claude Code GitHub Action의 결함이 프롬프트 인젝션 공격을 통해 악의적인 명령을 삽입함으로써 AI 에이전트가 이를 수행하도록 조작될 수 있었으며, 이 과정에서 이슈 본문, 풀 리퀘스트 설명, 댓글 등과 같은 비밀이 노출될 수 있었다고 밝혔다.

이러한 형태의 프롬프트 인젝션 공격—간접 프롬프트 인젝션—은 급속히 부상하고 있는 위협이다.

“현재 간접 프롬프트 인젝션(Indirect Prompt Injection, IPI)은 보안 커뮤니티의 최우선 과제로, 적대자가 AI 에이전트를 표적 삼아 침해할 주요 공격 벡터로 예상됩니다.”라고 Google 보안 연구원들은 4월에 작성했습니다. “사용자가 챗봇을 ‘탈옥’하는 직접 인젝션과 달리, IPI는 AI 시스템이 웹사이트, 이메일, 문서와 같이 악성 지시가 포함된 콘텐츠를 처리할 때 발생합니다. AI가 이러한 오염된 콘텐츠를 읽으면 사용자의 원래 의도가 아닌 공격자의 명령을 조용히 수행할 수 있습니다.”

이 경우 Edry와 Eliahu는 “여러 공급업체에 걸친 AI 지원 GitHub 워크플로우에서 공개 저장소를 대상으로 하는 시도를 추적하고 있었으며, 여기서 공격자가 제어하는 이슈 또는 PR(풀 리퀘스트) 내용이 AI 에이전트에 의해 처리되어 도구 사용에 영향을 미칠 수 있다”고 적었다.

AI가 GitHub 모델을 바꾸다

GitHub Actions는 저장소의 자동화 및 CI/CD 플랫폼이다. 이 플랫폼을 통해 실행되는 워크플로우는 이슈와 풀 리퀘스트 메타데이터, 클라우드 자격 증명, 서드파티 API 키 등 다양한 민감 데이터를 포함할 수 있다. 이러한 워크플로우는 에이전시 AI를 염두에 두고 설계되지 않았다.

“GitHub 워크플로우는 결정론적 자동화를 위해 구축되었습니다: 테스트 실행, 아티팩트 빌드, 코드 배포, 이슈 라벨링, 혹은 저장소 정책 적용 등.”라며 연구원들은 말했다. “AI 기반 워크플로우는 이 모델을 바꿉니다. 사전 정의된 로직만 실행하는 대신, 저장소 컨텍스트를 흡수하고 자연어 입력을 해석하여 다음에 취할 행동을 스스로 결정합니다.”

Claude Code에서는 악의적인 행위자가 GitHub 풀 리퀘스트, 댓글, 이슈 등에 프롬프트 인젝션 공격을 숨길 경우가 위협이 된다. AI 에이전트는 악성 프롬프트를 정상적인 명령으로 인식하고 이를 수행함으로써 공격자가 민감 데이터가 포함된 파일에 접근할 수 있게 된다.

Claude Code Action의 핵심 결함은 Bash와 같은 서브프로세스 실행 경로는 샌드박스 환경에서 격리되었지만, Read 도구는 동일하게 격리되지 않았다는 점이다.

“Read 작업을 Bash와 동일한 보안 격리 경계로 라우팅하지 않고, 직접 프로세스 내에서 호출함으로써 버블랩 샌드박스를 우회하고 프로세스의 환경 변수에 완전 접근하게 됩니다.”라고 Edry와 Eliahu는 설명했다.

테스트가 위협을 입증하다

연구원들은 Claude Code Actions를 통해 테스트용 프롬프트 인젝션 페이로드를 성공적으로 실행했으며, 이 페이로드가 두 가지 방어 층—Claude의 안전 및 시스템 프롬프트 거부 레이어와 GitHub의 Secret Scanner—을 모두 회피했다는 점을 확인했다. 악성 프롬프트는 Read 도구를 호출해 API 키를 반환했으며, 이는 Read 도구가 Bash와 동일한 서브프로세스 내에서 보호되지 않았기 때문이라고 밝혔다.

Microsoft는 4월 말 Anthropic에 해당 결함을 보고했으며, AI 공급업체는 Claude Code 2.1.128 업데이트를 통해 Read 도구가 /proc/ 내 여러 파일을 무조건 거부하도록 하여 파일 유출을 방지했다.

자연어가 실행 가능한 코드가 되다

Edry와 Eliahu는 방어자와 개발자가 AI 에이전트가 개발 환경 내에서 야기하는 보안 위험을 이해해야 한다고 강조했다. AI를 GitHub Actions에 통합하는 것은 단순히 생산성을 높이는 것이 아니라 “CI/CD 보안 모델을 근본적으로 재작성하는 것”이며, 현재 개발 속도가 방어보다 빠르게 진행되고 있다고 덧붙였다.

“우리는 자연어가 실행 가능한 코드가 되는 시대에 진입하고 있으며, GitHub 이슈와 같은 신뢰할 수 없는 입력은 기본적으로 적대적인 것으로 취급되어야 합니다.”라며 연구원들은 말했다. “신중하게 설계된 하나의 댓글과 오해된 신뢰 경계만으로도 생산 환경 자격 증명을 탈취할 수 있습니다.”

Anthropic은 지난해 말에 발생한 세 가지 치명적인 취약점으로 시스템 장악이나 API 키 탈취 위험에 직면했으며, 3월에는 1,906개 파일에 걸쳐 510,000줄 이상의 소스 코드가 유출되는 사고도 겪었다(보도자료).