[Paper] RedSage: 사이버보안 제너럴리스트 LLM

Source: arXiv - 2601.22159v1

개요

이 논문은 RedSage를 소개한다. RedSage는 오픈‑소스 대형 언어 모델(LLM)로, 로컬에서 실행할 수 있는 사이버 보안에 특화된 어시스턴트 역할을 한다. 방대한, 선별된 사이버 보안 텍스트와 새로운 “에이전시 강화”(agentic augmentation) 파이프라인을 결합함으로써, 저자들은 모델이 도메인 전문가이면서 동시에 강력한 범용 LLM이 될 수 있음을 보여준다—민감한 데이터를 유출할 위험이 있는 독점 API에 의존하지 않고.

주요 기여

• 대규모 도메인‑특화 코퍼스: 28.6 K개의 고품질 사이버보안 문서(프레임워크, 공격 기법, 도구 등)에서 수집된 11.8 B 토큰.
• 에이전시 증강 파이프라인: 전문가 보안 분석가의 워크플로를 시뮬레이션하여 감독 학습 미세조정을 위한 266 K개의 다중 턴 사이버보안 대화 샘플을 자동 생성.
• RedSage 모델: 선별된 사전 학습 데이터와 증강된 미세조정 데이터를 모두 통합한 8 B 파라미터 오픈소스 LLM으로, 단일 GPU에서도 실행 가능하면서 보안 작업에서 강력한 성능을 제공.
• RedSage‑Bench: 사이버보안 지식, 기술, 도구 사용을 포괄하는 새로운 벤치마크 스위트(30 K 객관식 + 240 주관식 Q&A)이며, 기존 보안 및 일반 LLM 벤치마크에 대한 평가도 포함.
• 오픈 릴리스: 모든 모델 가중치, 데이터셋, 학습 코드를 공개하여 재현성과 커뮤니티 확장을 가능하게 함.

Methodology

1. Data Curation – 팀은 공개 웹을 스크랩하고, 대규모 필터링(예: 언어 감지, 관련성 분류기)을 적용했으며, 수동으로 소스를 검증하여 깨끗하고 다양한 사이버보안 텍스트 집합을 구성했습니다.
2. Continual Pre‑training – 기본 오픈소스 LLM을 시작점으로 삼아, 11.8 B 토큰 코퍼스에 추가 사전 학습을 수행함으로써 모델이 보안 용어와 개념을 내재화하도록 했습니다.
3. Agentic Augmentation – 스크립트화된 보안 워크플로(위협 사냥, 사고 대응, 도구 구성)를 따르는 “가상 분석가”를 구축했습니다. 이 분석가는 부분적으로 학습된 모델과 상호작용하여 실제 분석가‑보조자 교환을 모방한 현실적인 다중 턴 대화를 생성합니다. 이러한 대화는 감독된 파인튜닝 데이터가 됩니다.
4. Fine‑tuning – 모델은 에이전트 기반 대화와 일반 지시 데이터(예: Alpaca, OpenChat)를 혼합하여 파인튜닝함으로써 광범위한 언어 능력을 유지하면서 보안 전문성을 강화합니다.
5. Evaluation – RedSage는 RedSage‑Bench와 기존 보안 벤치마크(CTI‑Bench, CyberMetric, SECURE) 및 표준 LLM 리더보드에서 테스트되어 도메인 및 일반 성능을 모두 측정합니다.

결과 및 발견

• Cybersecurity benchmarks: RedSage는 CTI‑Bench, CyberMetric, SECURE 전반에 걸쳐 평균 +3.2 – +5.6 포인트로 기본 오픈‑소스 모델보다 우수합니다.
• General LLM tasks: Open LLM Leaderboard에서 RedSage는 동일한 베이스라인 대비 +4.8 – +5.1 포인트를 획득했으며, 도메인 특화 학습이 손해를 주지 않으며—오히려 일반 추론을 향상시킬 수 있음을 보여줍니다.
• Ablation studies: 에이전시 증강을 제거하면 보안 작업에서 성능이 약 2 포인트 감소하여 그 가치를 확인합니다.
• Efficiency: 8 B 파라미터 모델은 단일 RTX 4090(≈12 GB VRAM)에서 원활히 실행되며, 인터랙티브 어시스턴트에 적합한 추론 지연 시간을 제공합니다.

Practical Implications

• Secure, on‑premise assistants: 조직은 RedSage를 방화벽 내부에 배포하여 클라우드 전용 API에 내재된 데이터 유출 위험을 제거할 수 있습니다.
• Incident response automation: RedSage는 완화 조치를 제안하고, 탐지 쿼리(예: Splunk, Elastic)를 생성하거나 CVE 요약을 초안 작성하여 분석가의 작업 흐름을 가속화합니다.
• Tool integration: 모델이 실제 보안 도구 문서를 기반으로 학습했기 때문에 Nmap, Metasploit, Wireshark와 같은 도구에 대한 정확한 명령줄 스니펫을 생성할 수 있습니다.
• Education & training: 보안 부트캠프와 CTF 플랫폼은 RedSage를 튜터링 봇으로 삽입하여 기술별 질문에 답변하면서도 독점 데이터를 노출하지 않을 수 있습니다.
• Community extensibility: 공개 데이터셋과 증강 파이프라인을 통해 팀은 조직 고유의 정책, 내부 도구 문서, 위협 인텔리전스 피드 등을 추가하여 어시스턴트를 환경에 맞게 맞춤화할 수 있습니다.

제한 사항 및 향후 작업

• 지식 범위 – 코퍼스는 공개적으로 이용 가능한 정보를 반영합니다; 새롭게 등장하는 제로데이 기법이나 독점 도구 내부 구조는 누락될 수 있습니다.
• 환각 위험 – 모든 LLM과 마찬가지로 RedSage는 그럴듯하지만 잘못된 조언을 생성할 수 있습니다; 중요한 작업에는 검증 계층(예: 규칙 기반 검사)을 적용하는 것이 권장됩니다.
• 규모 트레이드오프 – 8 B 모델은 성능과 하드웨어 요구사항 사이의 균형을 맞춥니다; 더 큰 모델은 정확도를 높일 수 있지만 더 많은 연산 자원을 필요로 합니다.
• 평가 범위 – 벤치마크는 객관식 및 단답형 형식에 초점을 맞추고 있습니다; 실제 환경의 지속적인 대화와 다중 모달 입력(예: 로그, 패킷 캡처)은 아직 탐구되지 않았습니다.
• 향후 방향은 저자들이 제안한 바와 같이, 증강 파이프라인을 확장하여 레드팀/블루팀 적대 시나리오를 포괄하고, 최신 위협 정보를 위한 검색 기반 생성(RAG)을 통합하며, 다중 모달 입력(예: 코드 스니펫, 네트워크 다이어그램)을 탐색하는 것을 포함합니다.

저자

• Naufal Suryanto
• Muzammal Naseer
• Pengfei Li
• Syed Talal Wasim
• Jinhui Yi
• Juergen Gall
• Paolo Ceravolo
• Ernesto Damiani

논문 정보

• arXiv ID: 2601.22159v1
• 분류: cs.CR, cs.AI, cs.CL
• 출판일: 2026년 1월 29일
• PDF: PDF 다운로드