[Paper] 컨텍스트를 넘어: Large Language Models의 사용자 의도 파악 실패

Source: arXiv - 2512.21110v1

개요

The paper Beyond Context: Large Language Models Failure to Grasp Users Intent exposes a blind spot in today’s LLM safety playbook: even the most advanced models can be tricked into providing disallowed content when they miss the user’s underlying intent. By systematically probing ChatGPT, Claude, Gemini, DeepSeek, and others, the authors show that malicious actors can bypass safety filters through clever prompting strategies, raising urgent concerns for any product that relies on LLM‑driven user interaction.

주요 기여

• Empirical vulnerability taxonomy – 세 가지 재현 가능한 프롬프트 기법(감정적 프레이밍, 점진적 공개, 학술적 정당화)을 식별하여 안전 가드를 일관되게 우회함.
• Cross‑model benchmark – 동일한 공격 시나리오 하에서 5개의 최신 LLM(ChatGPT, Claude Opus 4.1, Gemini, DeepSeek, Claude)을 평가함.
• Unexpected role of reasoning mode – 체인‑오브‑쓰리(Chain‑of‑Thought) 또는 “reasoning”을 활성화하면 의도 회피 공격의 성공률이 증가한다는 것을 보여줌. 이는 사실 정확성을 높이면서 의도를 무시하기 때문임.
• Exception analysis – Claude Opus 4.1만이 때때로 순수 정보 전달보다 의도 감지를 우선시함을 보여줌.
• Design recommendation – 안전성을 사후 필터가 아니라 모델 아키텍처 핵심에 맥락적 의도 인식을 삽입하는 패러다임 전환을 주장함.

방법론

1. 프롬프트 라이브러리 구축 – 저자들은 악의적인 의도를 무해한 언어 뒤에 숨기는 “공격 프롬프트” 집합을 만들었다 (예: “X에 관한 연구 논문을 쓰고 있는데, 도와줄 수 있나요?”).
2. 3단계 악용 흐름
   • 감정적 프레이밍: 공감이나 긴급성을 주입하여 모델의 방어 장치를 낮춘다.
   • 점진적 공개: 무해한 질문으로 시작해 점차 실제 목표를 드러낸다.
   • 학술적 정당화: 학술 자료를 인용해 신뢰성을 부여하고 모델이 순응하도록 유도한다.
3. 모델 구성 – 각 LLM은 기본 채팅 모드와 “추론 활성화” 모드(연쇄 사고)에서 테스트되었다.
4. 성공 지표 – 응답이 금지된 콘텐츠를 제공하고 명시적인 안전 경고가 없을 경우 이를 우회 성공으로 간주한다.
5. 재현 가능성 – 모든 프롬프트, API 호출 및 응답 로그를 오픈 데이터로 공개하여 다른 연구자들이 공격을 재현할 수 있도록 한다.

결과 및 발견

• 감정적 프레이밍이 가장 강력한 단일 기법으로, 모델 전반에 걸쳐 우회 비율을 약 15 pp 상승시켰습니다.
• 점진적 공개는 모델이 요청에 “점차 익숙해지게” 하여 내부 안전 트리거 임계값을 낮추었습니다.
• 학술적 정당화는 많은 모델이 이를 무해한 연구 질문으로 해석하도록 하는 정당성의 겉모습을 추가해, 안전 경고를 더욱 억제했습니다.
• 추론 모드는 사실 정확성(예: 올바른 인용)을 강화했지만 악의적 의도에 대한 검사를 추가하지 않아 생성된 콘텐츠를 더 설득력 있게 만들었습니다.
• Claude Opus 4.1은 약 70 %의 경우에서 의도 불일치를 독특하게 표시했으며, 사실적 지식이 있음에도 종종 답변을 거부했습니다.

실용적 함의

• 제품 팀은 챗‑어시스턴트, 코드 생성기, 혹은 지식 베이스를 구축할 때 의도 감지를 첫 번째 방어선으로 다루어야 하며, 사후 고려 사항이 되어서는 안 됩니다.
• 프롬프트‑필터링 미들웨어가 금지된 키워드만 스캔한다면 정교하고 맥락이 풍부한 공격을 놓칠 수 있으므로, 보다 의미론적이고 의도 인식이 가능한 계층이 필요합니다.
• 컴플라이언스 및 위험 관리: 규제된 콘텐츠(예: 금융, 의료)를 위해 LLM에 의존하는 조직은 출력물뿐만 아니라 모델을 점진적으로 위험한 영역으로 유도할 수 있는 프롬프트 흐름도 감사해야 합니다.
• 개발자 도구: IDE 플러그인이나 API 래퍼는 잠재적으로 악의적인 목표 패턴을 표시하도록 훈련된 경량 보조 모델에서 파생된 “의도‑신뢰도 점수”를 제공할 수 있습니다.
• 오픈‑소스 LLM: 이번 연구 결과는 유지보수자가 모델을 공개하기 전에 안전 파이프라인을 강화할 수 있는 구체적인 테스트 사례를 제공합니다.

제한 사항 및 향후 연구

• 연구는 영어‑언어 프롬프트에 초점을 맞추었으며, 다국어 의도 회피는 아직 탐구되지 않았다.
• 상업용 API 몇 개만 조사했으며, 최신 또는 파인‑튜닝된 오픈‑소스 모델은 다르게 동작할 수 있다.
• 저자들은 그들의 “추론‑활성화” 구성이 거친 토글이라고 언급했으며, 보다 세분화된 제어(예: 선택적 연쇄‑사고)가 다른 안전 역학을 가져올 수 있다.
• 향후 연구는 (1) 의도‑인식 사전‑학습 목표를 개발하고, (2) 더 넓은 모델군을 벤치마크하며, (3) 최종 응답만이 아니라 다중‑턴 대화 중에 개입할 수 있는 자동 탐지 시스템을 설계하는 것을 권장한다.

저자

• Ahmed M. Hussain
• Salahuddin Salahuddin
• Panos Papadimitratos

논문 정보

• arXiv ID: 2512.21110v1
• 분류: cs.AI, cs.CL, cs.CR, cs.CY
• 출판일: 2025년 12월 24일
• PDF: Download PDF