왜 당신의 AI 어시스턴트가 거짓말을 하는가 (그리고 이를 고치는 방법)
Source: Dev.to
당신이 AI 어시스턴트에게 미국의 184번째 대통령에 대한 간단한 역사 질문을 하면, 모델은 역대 대통령이 47명뿐이라는 사실을 고려하지도 않고 주저하지도 않습니다. 대신 신뢰할 만한 이름과 가짜 취임식을 만들어 냅니다. 이 현상을 **환각(hallucination)**이라고 부르며, 의료 및 법률과 같은 매우 높은 위험도가 있는 분야에서 인공지능이 진정으로 신뢰할 수 있게 만드는 가장 큰 장애물입니다. 왜 이런 환각이 발생하는지 배우게 되겠지만, 더 중요한 것은 이를 방지하기 위해 우리가 사용하는 새로운 방법들을 살펴보는 것입니다.
이는 기업에 거대한 숨은 비용을 초래합니다. 2024년 조사에 따르면 **기업 사용자 47 %**가 환각된 AI‑생성 콘텐츠를 기반으로 비즈니스 결정을 내렸다고 합니다. 직원들은 이제 매주 4.3시간 정도를 AI 출력물을 사실 확인하는 데 소비하고 있으며, 이는 자동화될 것으로 기대했던 소프트웨어를 돌보는 보모 역할을 하고 있습니다.
왜 기계가 거짓말을 하는가
Illustration source:
질문을 하면 모델은 당신의 단어들을 분석하고 다음 단어가 나올 확률을 추정합니다. 이를 반복하면서, 마치 휴대폰 자동 완성 기능의 고도화된 버전처럼 작동합니다.
184번째 대통령에 대해 물으면, 모델은 역사책을 확인하지 않습니다. 대신 대통령 전기라는 패턴을 인식하고, 전기처럼 들리는 단어들을 예측하며, 사실 정확성보다 언어 흐름을 우선시합니다.
이는 “긴 꼬리 지식 결핍(long‑tail knowledge deficits)” 때문에 발생합니다. 훈련 데이터에 특정 사실이 거의 등장하지 않으면, 모델은 이를 정확히 기억하기 어렵습니다. 연구에 따르면, 사실이 훈련 데이터에 한 번만 등장했을 경우 모델이 최소 **20 %**의 확률로 환각을 일으킨다고 합니다. 모델은 도움이 되도록 훈련되었기 때문에, 공백을 그럴듯한 잡음으로 메우게 됩니다.
새로운 접근법
해결책 1: 오픈 북 테스트 (RAG)
Illustration source:
Retrieval‑Augmented Generation (RAG)은 폐쇄형 시험이 아닌 오픈‑북 시험을 AI에게 제공합니다. 추측하는 대신, AI는 잠시 멈추고 신뢰할 수 있는 문서 집합(예: 회사 파일이나 검증된 데이터베이스)에서 답을 찾아낸 뒤, 그 증거에만 근거해 응답을 작성합니다. 이렇게 하면 AI가 사실을 만들지 못하게 되며, 읽은 내용에만 의존하게 됩니다.
제한점
- 검색된 문서가 오래된 경우, AI는 자신 있게 오래된 정보를 반복합니다(garbage in = garbage out).
- 이 기술은 접근하도록 허용한 데이터만큼만 똑똑합니다.
해결책 2: 다중 에이전트 검증
Scale AI와 같은 기업은 240,000명 이상의 인간 주석자를 활용해 모델 출력을 검토합니다. 그들은 모델이 답변을 거부해야 할 경우를 명시적으로 라벨링하여, 모델 내부의 신뢰도와 실제 정확도가 일치하도록 보정합니다.
지금 바로 할 수 있는 일
- 고위험 질의에 RAG 파이프라인을 구현하고, 소스 문서를 정기적으로 업데이트합니다.
- 핵심 출력물에 인간‑인‑루프 검증을 도입하여, 특히 법률, 의료, 금융 분야에서의 오류를 방지합니다.
- 모델 신뢰도 점수를 모니터링하고, 신뢰도가 낮을 때 수동 검토로 전환되는 임계값을 설정합니다.
- 직원들에게 AI 환각 위험을 교육하고, 빠른 사실 확인을 위한 도구를 제공합니다.
- AI‑생성 콘텐츠의 정확성과 편향을 지속적으로 감사하고, 발견된 내용을 모델 파인‑튜닝에 반영합니다.