[논문] 대형 언어 모델이 의료 분야에서 실패할 때: 프롬프트 변형에 대한 민감도 평가
개요
대형 언어 모델(LLM)은 임상 질문 응답, 진단 지원, 보고서 요약 등 의료 분야에서 점점 더 많이 활용되고 있습니다. 그러나 이러한 모델은 미묘한 프롬프트 변형—어휘적이든 구문적이든—에 매우 민감하여 안전이 중요한 임상 환경에서 심각한 위험을 초래할 수 있습니다. 본 연구에서는 MedMCQA 벤치마크를 이용해 일반 목적 모델(GPT‑3.5, Llama3 등)과 의료 특화 모델(ClinicalBERT, BioLlama3, BioBERT 등)의 견고성을 체계적으로 분석했습니다. 변형을 자연스러운 유형과 적대적인 유형으로 구분하고, 모델 일관성, 정확도, 임상 추론 작업에서의 신뢰성에 미치는 영향을 조사했습니다. 연구 결과, 의료용 LLM이 본질적으로 안전하지 않다는 점이 드러났습니다. 사소한 문구 변화만으로도 임상 조언이 달라질 수 있으며, 목표가 된 적대적 프롬프트는 해로운 출력을 유발할 수 있습니다. 의료와 같이 위험도가 높은 상황에서는 이러한 예측 불가능성이 용납될 수 없습니다—입력이 약간 바뀌어 진단이 달라지거나, 약물이 잘못 환각되는 경우 임상의가 신뢰하기 어렵습니다. 모델은 간단한 어휘 교체나 패러프레이징에는 어느 정도 회복력을 보이지만, 구문 재배열이나 오해를 일으키는 맥락 단서에 직면하면 쉽게 붕괴됩니다. 이러한 취약성은 일반 목적 모델과 도메인 특화 모델 모두에서 관찰됩니다. 특히 적대적 조작은 잘못된 용량을 권장하거나 중요한 발견을 누락하는 등 임상적으로 위험한 출력을 초래할 수 있습니다.
주요 기여
이 논문은 다음 분야의 연구를 제시합니다:
- cs.CL
- cs.AI
- cs.LG
방법론
자세한 방법론은 전체 논문을 참고하십시오.
실용적 함의
본 연구는 cs.CL 분야의 발전에 기여합니다.
저자
- Mahdi Alkaeed
논문 정보
- arXiv ID: 2606.07237v1
- 분류: cs.CL, cs.AI, cs.LG
- 발표일: 2026년 6월 5일
- PDF: PDF 다운로드