OpenAI, 프롬프트 주입 공격 방지용 락다운 모드 출시

출처: Engadget

OpenAI

OpenAI는 프롬프트 인젝션 공격으로부터 사용자를 고급 보호하기 위해 설계된 선택적 보안 설정인 락다운 모드를 점진적으로 출시하기 시작했습니다. 프롬프트 인젝션에 익숙하지 않은 사람들을 위해 설명하자면, 이는 대화형 챗봇에 특화된 사회공학 기법의 일종입니다. AI 시스템이 인터넷에서 정보를 끌어오는 능력이 향상됨에 따라, 사람들은 악의적인 명령을 웹페이지 등 다양한 곳에 숨겨 시스템을 속이려 시도하고 있습니다.

OpenAI는 락다운 모드를 프롬프트 인젝션에 대한 최후의 방어선이라고 내세우며, ChatGPT와 그 모델·백엔드 시스템을 통해 이미 제공하고 있다고 주장하는 강력한 보호 기능 위에 추가한다고 설명합니다. “락다운 모드는 모든 사람을 위한 것이 아닙니다,” 라고 OpenAI는 말합니다. “이는 민감한 데이터를 다루고 프롬프트 인젝션과 관련된 데이터 유출 위험으로부터 보다 엄격한 보호를 원하는 개인 및 조직을 위해 설계되었습니다.”

이를 위해 락다운 모드를 활성화하면 OpenAI가 ChatGPT 및 기타 제품을 통해 제공하는 일부 기능이 제한됩니다. 예를 들어, 여전히 이미지 생성과 사진 업로드는 가능하지만, 인터넷에서 이미지를 가져오거나 응답 안에 이미지를 표시하지 않을 수 있습니다. 챗봇은 파일을 다운로드해 분석할 수도 없지만, 원한다면 문서를 직접 업로드해 인사이트를 얻을 수 있습니다. Deep Research(링크)와 Agent Mode와 같은 기능은 완전히 비활성화됩니다. “락다운 모드는 메모리, 파일 업로드, 대화 공유 기능, 혹은 대화가 모델 개선에 사용되는지 여부를 변경하지 않습니다,” 라고 OpenAI는 덧붙입니다. “이러한 설정 중 다수는 워크스페이스 관리자에 의해 별도로 구성할 수 있습니다.”

또한 OpenAI는 락다운 모드가 ChatGPT가 처리하는 콘텐츠에 프롬프트 인젝션이 나타나는 것을 막지는 못한다고 밝혔습니다. 대신, 누군가가 악용할 수 있는 네트워크 요청을 제한함으로써 공격자가 계정에서 민감한 데이터를 추출하는 것을 방지하도록 설계되었습니다. 락다운 모드는 무료 티어를 포함한 모든 개인 계정에서 사용할 수 있습니다. 활성화하려면 ChatGPT 설정 메뉴를 열고 Safety and security를 선택합니다. Advanced security 아래에서 Lockdown mode를 탭하고 토글을 켭니다. 채팅 창 위에 표시되는 상태 메시지에서 Manage를 선택하고 Turn off for this chat를 클릭하면 일시적으로 보호를 해제할 수 있습니다.

한편 OpenAI는 사용자가 계정에 접근한 장치나 브라우저를 확인할 수 있는 액티브 세션 관리자를 출시하고 있습니다. 여기서 사용자는 개별 세션 또는 모든 세션을 한 번에 로그아웃할 수 있는 옵션을 선택할 수 있습니다. 다만 전체 로그아웃은 완료되는 데 최대 30분이 소요될 수 있습니다. “무단 계정 활동이 의심될 경우, 비밀번호를 변경하고(사용 중이라면), 로그인 방법을 검토한 뒤 OpenAI 지원팀에 연락하십시오,” 라고 회사는 덧붙였습니다.