Google Kaggle와 함께 사이버 위협 인텔리전스 에이전트 구축 여정
Source: Dev.to
Introduction
안녕하세요! 저는 인도에서 사이버 보안 위협 인텔리전스 전공을 하고 있는 열정적인 학생입니다. 최근에 Google × Kaggle AI Agents Intensive 코스에 참여했습니다. 캡스톤 과제로 사이버 위협 인텔리전스(CTI) 에이전트를 구축했으며, 이를 통해 위협 조사, 상관관계 분석, 보고서 작성을 자동화하고자 했습니다. 이번 글에서는 왜 이 프로젝트를 선택했는지, 어떻게 구축했는지, 배운 점, 최종 결과를 차례대로 살펴보겠습니다.
Why a Threat‑Intel Agent?
- 사이버 보안 환경이 점점 복잡해지면서 SOC 팀과 방어자들은 알림, CVE, 로그, 다양한 출처의 위협 데이터에 압도당하고 있습니다.
- 수동으로 진행되는 위협 인텔리전스 워크플로우(취약점 조회, IOC 상관관계 분석, 위협 맥락 조사, 보고서 작성)는 오류가 발생하기 쉽고 시간이 많이 소요됩니다.
- 현대 AI 에이전트를 활용해 데이터 수집, 분석, 상관관계 및 구조화된 보고서 생성을 자동화할 수 있는 방법을 탐구하고 싶었습니다.
- 이 문제는 자동화와 에이전시 AI의 혜택을 크게 받을 수 있습니다.
Overview of the Agent
캡스톤을 위해 AI Cyber Threat Intel Agent를 만들었습니다.
- 다중 에이전트 아키텍처를 사용합니다: 서브 에이전트가 인풋 처리, 분석, 보고와 같은 개별 작업을 수행하는 파이프라인 형태입니다.
- 맞춤형 보안 도구(CVE 조회, 위협 인텔리전스 스크래핑, 로그 파싱 등)를 지원합니다.
- 지속적인 조사 컨텍스트/메모리를 유지합니다(세션 스토리지 + 장기 위협 인텔리전스 저장소)하여 축적된 정보를 재사용할 수 있습니다.
- 입력은 취약점(CVE), 로그, 위협 지표 등일 수 있으며, 에이전트는 관련 인텔리전스를 가져와 분석·상관관계 후 구조화된 위협 보고서와 컨텍스트 정보, 위험 평가를 생성합니다.
- 파이썬으로 구현했으며, 코스에서 제공된 에이전트 프레임워크를 활용했습니다.
My Demo & Results
AI Cyber Threat Intel Demo notebook을 사용해 샘플 입력으로 에이전트를 테스트했습니다:
- CVE 조회(취약점)
- 샘플 보안 로그 이벤트(실패 로그인, 의심스러운 IP)
- 위협 지표(의심스러운 해시 또는 도메인)
에이전트는 해당 취약점에 대한 공개 인텔리전스와 알려진 악용 캠페인을 수집하고, 제공된 로그 또는 지표 데이터와 상관관계를 분석해 통합된 위협 인텔리전스 보고서를 생성했습니다. 보고서에는 발견 내용, 역사적 맥락, 심각도, 실행 가능한 권고사항(예: 패치 권고, 보안 강화 조치) 등이 요약되어 있습니다. 이를 통해 AI 기반 워크플로우가 초기 위협 인텔리전스 단계에서 수작업을 크게 줄이고 즉시 깔끔한 감사 보고서를 제공할 수 있음을 보여줍니다.
What I Learned from the Intensive Course and My Capstone Work
- 다중 에이전트 파이프라인을 구축하면서 모듈식 사고(인풋 → 분석 → 보고)를 하게 되었고, 이는 실제 SOC 워크플로우를 반영하며 시스템 확장성을 높여줍니다.
- 상태와 컨텍스트를 유지하는 것이 중요합니다. 위협 인텔리전스는 여러 출처와 이벤트에 걸쳐 있기 때문에 메모리가 없으면 상관관계가 사라질 수 있습니다.
- 구조화된 데이터(CVE, 로그)와 비구조화된 인텔리전스(보고서, 포럼, OSINT 피드)를 결합하는 부분이 AI 에이전트의 강점이며, 파싱·요약·상관관계 작업을 효율적으로 수행합니다.
- 데모만으로도 트라이에지와 인텔리전스 워크플로우를 가속화할 가능성을 보여주며, AI와 인간 분석가가 사이버 보안에서 어떻게 협업할 수 있는지 힌트를 제공합니다.
Challenges & What I Would Improve
- 실제 데이터 소스는 지저분하고 잡음이 많으며 때로는 신뢰성이 떨어집니다. 따라서 견고한 검증, 오류 처리, 실시간 위협 인텔리전스 피드와의 통합이 필요합니다.
- 프로덕션 환경에서는 자격 증명 보안 관리, 향상된 로깅 및 감사 추적이 필수이며, 더 높은 정확도를 위해 파인튜닝된 모델이나 검색 파이프라인을 도입할 수도 있습니다.
- 향후 확장 방안으로는 정기적인 자동 스캔, 보안 도구(SIEM, EDR)와의 연동, 자동 알림, 자산별 위험을 반영한 취약점 컨텍스트 강화 등이 있습니다.
Conclusion & My Thoughts
캡스톤 프로젝트와 코스는 강력한 학습 경험이었으며, 에이전시 AI 시스템을 사이버 보안 문제에 적용할 수 있음을 보여주었습니다. 데이터 수집·상관관계·보고서를 자동화함으로써 이러한 에이전트는 보안 팀의 업무 부담을 줄이고, 분석가가 보다 깊은 조사와 대응에 집중할 수 있도록 돕습니다. 저는 AI와 인간 감독이 결합된 하이브리드 접근 방식이 위협 인텔리전스의 미래라고 믿습니다.
- GitHub repository:
- Demo Kaggle Notebook: