AI가 해킹을 배울 때

Source: Dev.to

Overview

마크 스톡리의 화면에 3시 47분에 알림이 떴다: 또 다른 제로데이 취약점이 무기화되었고, 이번엔 단 22 분 만에 이루어졌다. Malwarebytes의 보안 연구원인 스톡리는 빠른 익스플로잇 개발에 익숙했지만, 인공지능은 규칙서를 완전히 다시 쓰고 있었다.

“궁극적으로 우리는 대부분의 사이버 공격이 에이전트에 의해 수행되는 세상에 살게 될 것이라고 생각합니다,” 라고 그는 최근 브리핑에서 동료들에게 경고했다. “그것이 언제 일어날지는 우리가 얼마나 빨리 도달하느냐의 문제일 뿐입니다.”

그 미래는 누구도 예상한 것보다 빨리 찾아왔다. 2025년 초, 사이버 보안 연구원들은 전례 없는 현상을 문서화했다: AI 시스템이 인간의 개입 없이 스스로 취약점을 발견하고, 악용하며, 무기화했다. 기계‑주도 해킹 시대가 단순히 시작된 것이 아니라, 눈부신 속도로 가속화되고 있었다.

현실을 직시하라: 전 세계 조직의 87 %가 지난 해 AI‑구동 사이버 공격을 경험했으며, 사이버 보안 연구원에 따르면 이는 202 % 증가한 피싱 이메일이 2024년 하반기에 발생했음을 의미한다. 현재 피싱 이메일의 82.6 %가 어떤 형태로든 AI 기술을 사용하고 있으며, 이는 전통적인 사기꾼들을 부러워하게 만들 정도의 성공률이다.

디지털 지뢰밭을 헤쳐 나가는 일반인에게 그 의미는 심오하다. 개인 데이터, 금융 정보, 디지털 정체성은 이제 기회주의 범죄자들의 표적일 뿐만 아니라, AI 시스템이 “수상한 이메일”이라는 말을 할 새도 없이 개인화된 공격을 신속히 만들어낼 수 있는 자동화된 사냥터의 쉬운 먹이가 되고 있다.

하지만 역설이 있다: AI가 공격자를 강화하는 동시에 방어자를 초고속으로 강화한다. 빠른 취약점 악용을 가능하게 하는 동일한 기술이 개인 사이버 보안을 혁신하고 있다. 문제는 AI가 위협 지형을 장악할지 여부가 아니라, 그때 당신이 준비돼 있느냐이다.

The Rise of Machine Hackers

AI가 사이버 보안을 얼마나 급진적으로 바꾸었는지 이해하려면 2024년 말 마이크로소프트 연구실에서 일어난 일을 살펴보라. 연구원들은 취약점 정보를 Auto Exploit이라는 AI 시스템에 입력했고, 그 시스템이 몇 시간 안에 작동 가능한 개념 증명(POC) 공격을 생성하는 모습을 흥미롭게 지켜보았다. 이전에는 새로 발견된 보안 결함을 무기화하려면 상당한 인간 전문 지식과 시간이 필요했다. 이제 알고리즘이 전체 과정을 자동화한다.

“LLM‑기반 소프트웨어 분석 및 익스플로잇 생성의 지속적인 개발은 개념 증명 코드를 몇 달이 아니라 몇 시간, 심지어 며칠 안에 정기적으로 만들어낼 것이다,” 라고 시연을 목격한 연구원들이 경고했다. 그 파장은 디지털 지진처럼 보안 커뮤니티 전체에 퍼졌다.

이 기술은 실험실에만 머물지 않았다. 2025년 초까지 사이버 범죄자들은 WormGPT, FraudGPT와 같은 불길한 이름의 AI‑구동 도구를 활발히 배포했다. 이 시스템들은 자동으로 취약점을 스캔하고, 수십 개 언어로 설득력 있는 피싱 이메일을 작성하며, 필요에 따라 새로운 악성코드 변종을 생성할 수 있었다. 보안 업체들은 2024년 전체 AI‑생성 악성코드가 40 % 증가했으며, 각 변종이 이전 것과 약간씩 달라 전통적인 서명 기반 탐지를 거의 무용지물로 만들었다고 보고했다.

CrowdStrike의 수석 부사장 Adam Meyers는 변화를 직접 목격했다:

“점점 더 진보된 적들이 이를 자신들의 이점으로 활용하고 있다. 우리는 매일매일 그 사용이 늘어나는 것을 보고 있다.”

그의 팀은 정부 지원 해커들이 AI를 이용해 정찰을 수행하고, 취약점 악용 가치를 파악하며, 심지어 정교한 필터를 통과하는 피싱 메시지를 제작하는 사례를 문서화했다.

이러한 민주화는 특히 불안했다. IEEE 시니어 멤버이자 Ulster University 사이버 보안 교수인 Kevin Curran은 더 넓은 함의를 이렇게 설명했다:

“혁신 덕분에 소프트웨어를 만들고 적응시키는 것이 그 어느 때보다 쉬워졌으며, 이는 비교적 낮은 숙련도의 행위자도 이제 정교한 공격을 실행할 수 있음을 의미한다.”

The Minute That Changed Everything

아마도 AI가 가져온 변혁을 가장 잘 보여주는 사건은 CVE‑2025‑32711, 일명 “EchoLeak” 취약점이다. 2025년 초 마이크로소프트 생태계를 뒤흔든 이 결함은 Aim Security 연구원들이 발견했으며, AI 에이전트를 대상으로 한 제로‑클릭 공격이라는 완전히 새로운 유형을 제시했다.

이 취약점은 Microsoft 365 Copilot에 존재했으며, 수백만 사용자가 생산성 작업을 위해 의존하는 AI 어시스턴트였다. 프롬프트 인젝션이라는 기법을 통해 공격자는 겉보기엔 무해한 이메일이나 문서에 악성 명령을 삽입할 수 있었다. Copilot이 이러한 파일을 처리하면 자동으로 사용자의 개인 데이터(이메일, OneDrive 파일, SharePoint 콘텐츠, Teams 메시지 등)를 검색하고, 민감 정보를 공격자 제어 서버로 전송했다.

가장 무서운 점은? 사용자 상호작용이 전혀 필요 없었다. 피해자는 의심스러운 링크를 클릭하거나 악성 첨부 파일을 다운로드할 필요가 없었다. 단지 Copilot이 무기화된 문서를 처리하기만 하면 데이터 유출이 일어났다.

“이 취약점은 AI 보안 연구에 있어 중요한 돌파구를 의미한다. 왜냐하면 공격자가 사용자 상호작용 없이 Microsoft 365 Copilot의 컨텍스트에서 가장 민감한 정보를 자동으로 유출할 수 있음을 보여주기 때문이다,” 라고 Aim Security 공동창업자이자 CTO인 Adir Gruss가 설명했다.

마이크로소프트는 이 결함을 신속히 패치했지만, 이번 사건은 AI 시스템이 사용자를 돕기 위해 설계되었음에도 불구하고 정밀하게 악용될 수 있다는 냉혹한 현실을 드러냈다. 이 취약점은 마이크로소프트가 부여한 CVSS 점수 9.3(국가 취약점 데이터베이스는 7.5)이라는 거의 최고 수준의 위험도를 받았으며, AI 에이전트 자체가 주요 표적이 되었다는 신호를 보냈다.

When Deepfakes Steal Millions

기술적 취약점이 헤드라인을 장식하는 반면, AI가 일반인에게 가장 파괴적인 영향을 미치는 영역은 사회공학, 즉 인간을 조작하는 기술이다. 한때 할리우드 스튜디오와 연구실에 국한됐던 딥페이크 기술이 이제 대규모로 무기화되고 있다.

2024년 1월, 영국 엔지니어링 기업 Arup은 홍콩 사무소에서 $25 백만을 잃었다. 사기범들은 비디오 회의 중 딥페이크 기술을 사용해 회사 임원의 실시간 영상과 음성을 만들어냈고, 직원들을 설득해 사기성 이체를 승인하게 만들었다. 기술이 너무 정교해서 참가자들은 사기임을 눈치채지 못했고, 사후에야 상황을 파악했다.

음성 클로닝 공격도 마찬가지로 파괴적이었다. 여러 은행은 2024년에 AI를 이용해 고객의 목소리를 흉내 내어 음성 인증 시스템을 우회한 사기범들로부터 $10 백만 이상의 손실을 보고했다. 공격은 놀라울 정도로 단순했다: 사기범들은 소셜 미디어 게시물, 전화 통화, 음성 메일 등에서 목소리 샘플을 수집하고, AI를 이용해 설득력 있는 복제본을 생성했다.

2024년까지 딥페이크는 전체 사기 공격의 **6.5 %**를 차지했으며, 이는 2022년 대비 2,137 % 증가한 수치다. 금융 전문가 중 **53 %**가 딥페이크 사기 시도를 경험했으며, 많은 이들이 진짜와 AI‑생성 위조를 구분하는 데 어려움을 겪었다고 밝혔다.

심리적 충격도 금전적 손실을 넘어선다. 피해자들은 디지털 커뮤니케이션에 대한 신뢰가 무너지고, 언제든지 사기당할 수 있다는 불안감에 시달린다고 전한다.

“돈만 문제가 아니라,” 라고 한 음성 클로닝 사기 피해자가 말했다. “진실과 허구를 구별할 수 있는 자신감 자체를 잃은 것이다.”

The Automation Imperative

이러한 고프로파일 사건들 뒤에는 보다 근본적인 변화가 숨어 있다: 사이버 범죄 운영의 완전 자동화다. 전통적인 해커들은 목표를 식별하고 공격을 설계하는 데 상당한 시간과 전문 지식이 필요했지만, 이제 AI 시스템이 이러한 작업을 스스로 수행한다.

Malwarebytes의 마크 스톡리는 확장성에 대해 이렇게 설명했다:

“대상을 선택하는 작업을 에이전트에게 위임할 수 있다면, 순간적으로 랜섬웨어를 … 스케일링할 수 있다.”

The article continues to explore how AI‑driven automation is reshaping the threat landscape and what defenders can do to stay ahead.