Mozilla, Mythos가 발견한 271개 취약점과 ‘거의 오탐 없음’이라고 밝혀
Source: Hacker News
Mozilla의 CTO가 지난달 AI‑지원 취약점 탐지로 인해 “제로‑데이의 시대가 끝났다”고 선언했을 때, 그리고 “방어자는 마침내 결정적인 승리를 거둘 수 있다”고 말했을 때, 사람들은 믿을 수 없다는 표정을 지었습니다. 결국 이것은 너무 익숙한 패턴의 일환처럼 보였습니다: 몇 가지 인상적인 AI 성과만을 골라내고, 보다 미묘한 그림을 그릴 수 있는 세부 사항은 생략한 뒤, 과대광고를 이어가는 것이죠.
그러한 회의론을 염두에 두고, Mozilla는 목요일에 Anthropic Mythos—소프트웨어 취약점을 식별하는 AI 모델—를 활용해 두 달 동안 271개의 Firefox 보안 결함을 찾아낸 과정을 공개했습니다. 게시물에서 Mozilla 엔지니어들은 그들이 최종적으로 실용화한 돌파구가 주로 두 가지 요인 덕분이라고 설명했습니다:
- 모델 자체의 개선.
- Mozilla가 Firefox 소스 코드를 분석하도록 Mythos를 지원하는 맞춤형 “하네스”(https://arxiv.org/abs/2603.28052)를 개발한 것.
“거의 오탐이 없음”
엔지니어들은 이전에 AI‑지원 취약점 탐지를 시도했을 때 “원치 않는 잡음”에 시달렸다고 말했습니다. 일반적으로 누군가 모델에 코드 블록을 분석하도록 요청하면, 모델은 전례 없는 규모로 설득력 있는 버그 보고서를 생성합니다. 그러나 인간 개발자가 추가 조사를 하면, 대부분의 세부 사항이 환상에 불과하다는 사실을 알게 됩니다. 그 결과 인간은 전통적인 방식으로 취약점 보고서를 처리하는 데 상당한 작업량을 투자해야 했습니다.
Mozilla가 Mythos와 함께 수행한 작업은 달랐다고 Mozilla Distinguished Engineer인 Brian Grinstead가 인터뷰에서 밝혔습니다. 가장 큰 차별점은 에이전트 하네스(https://parallel.ai/articles/what-is-an-agent-harness)를 사용했다는 점입니다. 이는 LLM을 둘러싸서 일련의 구체적인 작업을 안내하는 코드 조각입니다. 이러한 하네스가 유용하려면 프로젝트‑특화 의미 체계, 도구, 프로세스에 맞게 맞춤화하는 데 상당한 리소스가 필요합니다.
Grinstead는 팀이 만든 하네스를 다음과 같이 설명했습니다:
“목표를 달성하기 위해 LLM을 구동하는 코드입니다. 모델에게 지시를 내리고(예: ‘이 파일에서 버그를 찾아라’), 도구를 제공하며(예: 파일을 읽고/쓰고 테스트 케이스를 평가하도록 허용), 완료될 때까지 루프를 실행합니다.”
이 하네스는 Mythos에게 인간 Mozilla 개발자들이 사용하는 동일한 도구와 파이프라인, 그리고 테스트에 사용하는 특수 Firefox 빌드에 대한 접근 권한을 부여했습니다.