모델이 해석 가능한지 묻는 것을 멈추세요
Source: Towards Data Science
AI에서 해석 가능성: 올바른 질문하기
연구자, 실무자, 그리고 규제자까지도 종종 모델이 해석 가능한지 여부를 묻는다. 이러한 표현은 해석 가능성이 모델이 가지고 있거나 없거나 하는 속성이라고 가정하지만, 실제로는 그렇지 않다.
모델은 추상적으로 해석 가능하거나 해석 불가능하지 않다. 여기서는 선형 회귀나 결정 트리처럼 그 추론 과정을 직접 검사할 수 있는 본질적으로 투명한 모델에 대해 이야기하는 것이 아니다. 대신, 복잡한 모델이 의사 결정 과정을 즉시 접근할 수 없는 경우에 관심을 둔다.
따라서 해석 가능성은 체크박스, 시각화, 혹은 특정 알고리즘이 아니다. 이는 인간이 특정 질문에 답하기 위해 모델을 분석할 수 있게 하는 일련의 방법으로 이해하는 것이 더 적절하다. 질문을 바꾸면 설명의 유용성도 함께 변한다. 실제 문제는 모델이 해석 가능한가가 아니라 우리가 어떤 설명을 필요로 하는가이다.
이러한 관점으로 해석 가능성을 바라볼 때, 보다 명확한 구조가 드러난다. 실제로 설명은 일관되게 세 가지 뚜렷한 과학적 기능을 수행한다:
- 실패 진단
- 학습 검증
- 지식 추출
이 역할들은 개념적으로 서로 다르며, 비슷한 기술에 의존하더라도 차이가 있다. 이러한 구분을 이해하면 해석 가능성이 언제 필요한지, 그리고 실제로 어떤 종류의 설명이 필요한지를 명확히 하는 데 도움이 된다.
Source: …
해석 가능성을 진단으로
첫 번째 역할은 모델 개발 단계에서 나타납니다. 이때 모델은 아직 실험적인 객체이며, 불안정하고 불완전하며 종합적인 메트릭으로는 드러나지 않는 방식으로 종종 잘못됩니다. 정확도는 모델이 성공했는지를 알려주지만 왜 실패했는지는 알려주지 못합니다. 두 모델이 동일한 성능을 달성할 수 있지만 전혀 다른 의사결정 규칙에 의존할 수 있습니다—하나는 실제 구조를 학습하고, 다른 하나는 우연한 상관관계를 이용하고 있을 수 있습니다.
해석 가능성 방법은 모델의 의사결정 과정을 들여다보고 숨겨진 실패 모드를 식별하게 해줍니다. 이 의미에서 소프트웨어 엔지니어링의 디버깅 도구와 비슷한 역할을 합니다. 이러한 도구가 없으면 모델을 개선하는 것이 대부분 추측에 의존하게 되지만, 도구가 있으면 모델이 실제로 무엇을 하고 있는지에 대한 검증 가능한 가설을 세울 수 있습니다.
예시: 손글씨 숫자 분류
MNIST 데이터셋은 의도적으로 단순하게 설계되어, 모델의 추론이 우리의 기대와 일치하는지를 확인하기에 이상적입니다.
Source: Towards Interaction Detection Using Topological Analysis on Neural Networks
예측에 영향을 준 픽셀을 시각화하면, 네트워크가 숫자 획에 집중하고 있는지 아니면 무관한 배경 영역에 집중하고 있는지를 즉시 확인할 수 있습니다. 이 차이는 모델이 의미 있는 신호를 학습했는지, 혹은 지름길을 이용했는지를 알려줍니다. 이러한 진단 역할에서 설명은 최종 사용자나 이해관계자를 위한 것이 아니라, 모델 동작을 이해하려는 개발자를 위한 도구입니다.
해석 가능성을 검증으로
모델이 좋은 성능을 보이면 질문이 바뀝니다. 이제 우리는 왜 실패하는지보다 올바른 이유로 성공했는지를 알고 싶어합니다.
이 차이는 미묘하지만 매우 중요합니다. 시스템이 높은 정확도를 달성했더라도, 만약 잡음 같은 상관관계에 의존한다면 과학적으로는 오해를 불러일으킬 수 있습니다. 예를 들어, 동물을 감지하도록 훈련된 분류기가 실제로는 동물 자체가 아니라 배경 단서에 의존한다면 겉보기에 완벽하게 작동하는 것처럼 보이지만, 예측 관점에서는 성공했으나 과학적 관점에서는 잘못된 개념을 학습한 것입니다.
해석 가능성은 내부 표현을 검사하고 그것이 도메인 기대와 일치하는지 확인할 수 있게 해줍니다. 깊은 신경망에서는 중간 층이 학습된 특징을 인코딩하고, 이러한 표현을 분석함으로써 시스템이 의미 있는 구조를 발견했는지, 아니면 피상적인 패턴을 단순히 암기했는지를 알 수 있습니다.
예시: ImageNet 분류
ImageNet 이미지에는 복잡한 장면, 다양한 컨텍스트, 높은 클래스 내 변동성이 포함되어 있기 때문에, 성공적인 모델은 얕은 시각적 단서에 의존하기보다 계층적인 표현을 학습해야 합니다.
Source: Grad‑CAM for image classification (PyTorch)
내부 필터나 활성화 맵을 시각화하면 초기 층이 에지를 감지하고, 중간 층이 텍스처를 포착하며, 더 깊은 층이 형태에 반응하는지를 확인할 수 있습니다. 이러한 구조가 존재한다면 네트워크가 데이터에 대해 의미 있는 것을 학습했음을 시사하고, 구조가 없으면 성능 지표가 개념적 실패를 숨기고 있을 가능성이 있습니다.
두 번째 역할에서 해석 가능성은 깨진 모델을 디버깅하는 것이 아니라 성공적인 모델을 검증하는 것입니다.
Source: …
해석 가능성을 지식으로
세 번째 역할은 예측만으로는 충분하지 않은 분야에 모델을 적용할 때 나타납니다. 이 경우, 머신러닝 시스템은 단순히 출력을 생성하는 것이 아니라 통찰을 제공하기 위해 사용됩니다. 해석 가능성은 발견을 위한 도구가 됩니다.
현대 모델은 인간이 수동으로 분석할 수 있는 범위를 훨씬 초과하는 방대한 데이터셋에서 통계적 규칙성을 감지할 수 있습니다. 우리가 그들의 추론 과정을 검사할 수 있을 때, 새로운 가설을 제시하거나 이전에 눈에 띄지 않았던 관계를 암시하는 패턴을 드러낼 수 있습니다. 과학적 응용에서 이 능력은 해석 가능성 연구의 가장 가치 있는 결과가 되는 경우가 많습니다.
예측 정확도 자체보다 더 가치가 있습니다.
의료 영상 예시
CT 스캔으로 폐암을 탐지하도록 훈련된 신경망을 생각해 보십시오.
Source: “Secure and interpretable lung‑cancer prediction model using MapReduce, private blockchain, federated learning and XAI” – Nature article
이러한 모델이 악성을 예측한다면, 임상의는 어떤 영역이 그 결정에 영향을 미쳤는지 이해해야 합니다.
- 강조된 영역이 종양 경계와 일치한다면, 설명은 의료적 추론과 일치합니다.
- 일치하지 않는다면, 정확도와 무관하게 예측을 신뢰할 수 없습니다.
- 세 번째 가능성: 설명이 임상의가 이전에 진단적으로 관련이 있다고 생각하지 않았던 미묘한 구조를 드러낼 수 있습니다. 이런 경우, 해석 가능성은 단순히 예측을 정당화하는 것을 넘어 지식에 기여합니다.
여기서 설명은 모델을 이해하기 위한 도구일 뿐만 아니라 인간의 이해를 확장하는 도구입니다.
Source: …
하나의 개념, 세 가지 기능
이 예시들이 보여주는 바는 해석 가능성이 단일 목표가 아니라 다기능 프레임워크라는 점이다. 동일한 기법이 다음을 도울 수 있다:
- 모델 디버깅
- 추론 검증
- 통찰 추출
묻는 질문에 따라 달라진다. 해석 가능성에 대한 혼란은 종종 이러한 목표들을 구분하지 못하는 논의에서 비롯된다.
보다 유용한 질문은 모델이 해석 가능한가가 아니라 우리가 관심 있는 작업에 충분히 해석 가능한가이다. 이 요구는 언제나 상황에 따라 달라진다: 개발, 연구, 혹은 배포 단계에서 말이다.
이렇게 보면 해석 가능성은 머신러닝에 대한 제약이라기보다 인간과 모델 사이의 인터페이스로 이해하는 것이 가장 좋다. 이를 통해 우리는 진단하고, 검증하고, 배울 수 있다. 해석 가능성이 없으면 예측은 불투명한 출력에 머물고, 해석 가능성이 있으면 과학적 분석 대상이 된다.
설명이 정확히 무엇을 설명해 주길 원하는가?
이 질문이 명확해지면, 해석 가능성은 모호한 요구사항이 아니라 과학적 도구가 된다.
질문이 있거나 피드백을 공유하고 싶거나, 자신의 프로젝트를 소개하고 싶다면 연락 주세요.