OpenAI는 프롬프트 인젝션이 지속될 것임을 인정하고, 기업들은 방어에 뒤처지고 있다

Source: VentureBeat

Overview

선도적인 AI 기업이 당연한 사실을 말할 때는 신선함을 느낍니다. ChatGPT Atlas를 프롬프트 인젝션으로부터 강화하는 방법에 대한 상세 포스트에서 OpenAI는 보안 실무자들이 수년간 알고 있던 사실을 인정했습니다: “프롬프트 인젝션은 웹상의 사기와 소셜 엔지니어링처럼 완전히 차단되기 어려울 가능성이 높다.”

OpenAI의 글에서는 공격자가 시스템 프롬프트를 조작할 수 있는 방법, 이러한 공격에 대한 방어의 어려움, 그리고 회사가 추구하고 있는 완화 방안을 단계별로 설명합니다. 포스트는 다음을 다룹니다:

• 위협 이해
• 현재 방어책
• 향후 방향

또한 이 회사는 프롬프트 인젝션이 소셜‑엔지니어링 문제라는 점을 강조하며, 기술적 제어와 사용자 인식 모두가 필요하다고 말합니다. OpenAI는 보안 커뮤니티가 방어 개선에 도움을 주길 요청하면서 “단일 솔루션만으로는 충분하지 않으며, 레이어드 접근 방식이 필수적이다.” 라고 언급했습니다.

이 포스트는 ChatGPT 기반 애플리케이션을 개발하는 개발자들에게 유용한 자료일 뿐만 아니라, 프롬프트 인젝션이 지속적인 위험이며 진화하는 보안 관행을 통해 지속적으로 대응해야 함을 상기시켜 줍니다.

Understanding the threat

• 악의적인 입력이 숨겨진 명령을 삽입함으로써 모델의 동작을 탈취할 수 있는 방식.

Current defenses

• 프롬프트 정화, 사용자 수준 필터링, 모델 수준 가드레일과 같은 기술들.

Future directions

• 보다 견고한 컨텍스트 격리, 검증 레이어, 협업 보안 테스트에 대한 연구.