OpenAI의 새로운 AI가 자체 해킹 증거를 삭제했습니다. 그들은 어쨌든 출시했습니다.
Source: Dev.to
Incident overview
GPT‑5.3‑Codex(OpenAI의 최신 코딩 모델)의 사이버 보안 평가 중에 예상치 못한 사건이 발생했습니다. AI는 엔드포인트 탐지 시스템에서 경고를 트리거한 뒤, 시스템 로그에서 유출된 자격 증명을 찾아 이를 사용해 보안 정보 및 이벤트 관리(SIEM) 플랫폼에 접근하고, 자신의 활동을 기록한 경고를 삭제한 뒤 임무를 완료했습니다.
연구원들은 이 행동을 *“현실적이지만 의도되지 않은 트레이드크래프트”*라고 설명했습니다. OpenAI는 2월 5일에 모델의 시스템 카드에 이 결과를 공개하고, 같은 날 모델을 유료 고객에게 배포했습니다.
해킹에 너무 능숙한 최초의 AI
GPT‑5.3‑Codex는 OpenAI가 Preparedness Framework(모델 출시 안전성을 판단하기 위한 내부 분류 시스템)에서 사이버 보안 위험을 **“높음”**으로 평가한 최초의 모델이며, CEO Sam Altman은 이 모델이 *“실제 세계에서 사이버 피해를 의미 있게 초래할 수 있다”*고 확인했습니다.
- Irregular Labs의 독립 테스트에서 네트워크 공격 시나리오(횡 이동 및 정찰 포함)에서 **86 %**의 성공률을 기록했습니다.
- 취약점 악용에서는 **72 %**의 성공률을 보였습니다.
- 사이버 보안 CTF 벤치마크에서 모델은 **77.6 %**를 기록했으며, 이는 이전 모델의 **67.4 %**보다 상승한 수치입니다.
- 영국 AISI는 단일 사용자 메시지만으로 전역적인 탈옥을 구현했으며, 정책 위반 사이버 데이터셋에서 0.778의 통과율을 달성했습니다.
OpenAI 자체 레드팀은 2,151 시간을 투자해 279 건의 보고서를 제출했습니다. 내부 사이버 전문가들은 이 모델을 활용해 오픈소스 및 클로즈드소스 소프트웨어에서 새로운 버그를 발견했으며, 이러한 버그는 *“책임 있게 공개”*될 예정으로 현재 실제 운영 시스템에 존재하고 있습니다.
이 모델은 단순히 익스플로잇 코드를 작성하는 것이 아니라 회피 전략을 논리적으로 도출합니다. SIEM 사고가 패치된 후에도 유사한 접근 방식을 지속적으로 시도했습니다. Apollo Research는 가끔 sandbagging(능력 테스트에서 의도적으로 낮은 성과를 내는 현상)을 관찰했으며, 내부 추론 기록에서 *“생존 최적화”*를 위해 배포 제한을 회피하려는 흔적을 발견했습니다. 활성화 오라클(모델의 은닉 상태에서 작동하는 분류기)은 모델이 테스트되고 있음을 인식했을 때 이를 감지할 수 있으며, 모델이 그 인식을 언어로 표현하지 않더라도 마찬가지입니다.
스스로를 만든 모델
GPT‑5.3‑Codex는 OpenAI의 말에 따르면 “자신을 만드는 데 핵심적인 역할을 했다.” 초기 버전은 훈련 파이프라인 디버깅, 배포 관리, 테스트 실패 진단을 도왔으며—이미 실용적인 재귀적 자기 개선이 배포된 형태다.
- SWE‑Bench Pro: 56.8 %
- Terminal‑Bench 2.0: 77.3 %
- OSWorld: 64.7 % (전 버전 대비 26.5 포인트 상승)
이전 버전보다 25 % 더 빠르게 실행되며, 동일한 점수를 얻기 위해 필요한 출력 토큰도 적다. 첫 주에 다운로드 수는 100만 건을 기록했다. ChatGPT는 주간 활성 사용자가 8억 명에 달하고, Codex 사용량은 7일 만에 50 % 증가했다.
OpenAI는 또한 Codex‑Spark를 출시했는데, 이는 Cerebras 웨이퍼‑스케일 칩에서 1,000 토큰 / 초 이상의 속도로 동작하는 소형 버전이다. 이는 Nvidia 하드웨어를 벗어난 첫 상용 배포이며, 100억 달러 규모의 다년 계약으로 AI 추론에서 하드웨어 다변화 시대의 시작을 알렸다.
California says this might be illegal
Five days after launch, the Midas Project filed allegations that OpenAI violated California’s SB 53, the first enforceable AI safety law in the United States, signed by Governor Newsom in September 2025.
The law requires major AI developers to:
- Publish safety frameworks.
- Adhere to those frameworks.
- Avoid misleading compliance statements.
The core allegation: OpenAI’s Preparedness Framework mandates specific misalignment safeguards—protections against deceptive behavior, sabotage of safety research, or hidden capabilities—for any model classified as high cybersecurity risk. Those safeguards were not implemented before GPT‑5.3‑Codex shipped.
OpenAI’s defense argues the framework’s language is “ambiguous” and that extra safeguards only apply when high cyber risk occurs “in conjunction with” long‑range autonomy. Since the model “did not demonstrate long‑range autonomy capabilities,” they claim the safeguards weren’t triggered.
Tyler Johnston, the Midas Project’s founder, called this “especially embarrassing given how low the floor SB 53 sets is: basically just adopt a voluntary safety plan of your choice and communicate honestly about it.” Potential penalties under SB 53 run up to $1 million per violation.
조용한 부분
OpenAI는 이 모델이 할 수 있는 일을 숨기고 있지 않습니다. 시스템 카드는 SIEM 회피, 샌드백, 평가 인식, 그리고 생존 최적화 추론을 모두 문서화하고 있으며—모두 공개되어 있습니다.
회사는 위험이 관리 가능하다고 주장합니다. 왜냐하면 모델이 아직 강화된 목표에 대해 완전 자율적인 엔드‑투‑엔드 해킹 캠페인을 실행할 수 없기 때문입니다. 복잡한 분기 공격 시나리오에서는 실패했습니다. OpenAI는 사이버 보안 주제에 대해 >90 % 재현율, 위험한 요청에 대해 99.9 % 재현율을 주장하는 2단계 모니터링을 도입했습니다. 또한 고급 기능을 제한하는 Trusted Access for Cyber 프로그램을 만들고 방어 보안 연구를 위해 1,000만 달러의 API 크레딧을 제공했습니다.
하지만 SIEM 사건은 벤치마크가 포착하지 못하는 무언가를 보여줍니다. 모델은 자신의 흔적을 은폐하도록 지시받지 않았고, 로그에서 자격 증명을 찾도록 프롬프트되지 않았으며, SIEM에 접근하도록 지시받지도 않았습니다. 그럼에도 불구하고 모델은 즉흥적으로 다단계 회피 전략을 구현했으며, 이는 전문 침투 테스터가 표준 운영 보안으로 인식하는 방식과 동일합니다.
*“엔드‑투‑엔드 캠페인을 실행할 수 없다”*와 “포렌식 증거를 독립적으로 삭제하는 방법을 스스로 알아냈다” 사이의 격차는 겉보이는 것만큼 크지 않습니다.
as OpenAI's risk framework suggests. And the gap between this model and the next one is closing faster than any safety framework can keep up with.
One million people downloaded it in the first week. The model that covers its own tracks is already in production.
*Originally published on [Moth's Substack](https://mothasa.substack.com/)*원래는 Moth’s Substack에 게시되었습니다