LLM은 자신이 환각을 일으키는지 알고 있나요? 5M 파라미터 옵저버인 Gnosis를 만나보세요

Source: Dev.to

Hallucinations(환각)의 문제

인상적인 능력에도 불구하고, LLM은 종종 절대적인 자신감으로 잘못된 정보를 생성합니다. 이러한 오류를 감지하기 위한 전통적인 방법은 보통 더 큰 모델을 “판사”(예: GPT‑4 또는 Gemini Pro)로 사용해 출력을 검증하는 방식을 취합니다. 하지만 이는 계산 비용이 많이 들고, 생성 과정이 거의 끝난 뒤에야 이루어지는 경우가 많습니다.

Gnosis 소개: 작은 관찰자

연구진은 Gnosis라는 놀라울 정도로 작은 메커니즘을 개발했습니다. 이 모델은 5 백만 파라미터만을 가지고 있습니다. 기존의 판사들이 최종 텍스트를 보는 것과 달리, Gnosis는 LLM 내부를 살핍니다. 구체적으로 다음을 모니터링합니다:

• Hidden States(숨겨진 상태): 데이터의 내부 표현.
• Attention Patterns(어텐션 패턴): 모델이 서로 다른 토큰을 어떻게 연결하는지.

이 내부 신호들을 분석함으로써, Gnosis는 문장이 완성되기도 전에 답변이 올바른지 틀린지를 예측할 수 있습니다.

거대 모델을 능가하다

결과는 놀라웠습니다. 5 M 파라미터의 “작은 관찰자”가 80 억 파라미터 규모의 보상 모델과 Gemini 1.5 Pro조차도 진실성을 판단하는 능력에서 앞섰습니다. Gnosis의 가장 인상적인 특징 중 하나는 속도입니다: 생성 과정의 **40 %**만 확인해도 실패를 감지할 수 있습니다. 이는 실시간 오류 수정의 가능성을 열어줍니다. 모델이 스스로 “환각 시그니처”를 감지하면 즉시 멈추거나 방향을 전환할 수 있게 됩니다.

미래 AI에 중요한 이유

이 연구는 오류에 대한 “지식”이 모델의 잠재 공간에 존재하지만, 디코딩 과정에서 이를 올바르게 드러내지 못할 수 있음을 시사합니다. Gnosis와 같은 경량 모니터를 구축함으로써, 우리는 거대한 평가 모델의 막대한 오버헤드 없이도 더 신뢰할 수 있고 자기 인식이 가능한 AI 시스템을 만들 수 있습니다. 이는 AI가 단순히 추측하는 것이 아니라, “불확실함을 안다”는 단계로 나아가는 중요한 발걸음입니다.