기계에게 시각을 가르치기 (Part 1): 왜 Vision은 어려운가
Source: Dev.to
인간 시각 처리 vs. 머신 비전
인간은 이미지에서 고양이, 개, 그리고 여성 등을 즉시 인식할 수 있습니다. 우리의 뇌는 주의(attention), 기억(memory), 그리고 **맥락(context)**을 결합해 장면을 효율적으로 해석합니다.
반면에 컴퓨터는 이미지를 숫자들의 격자(행렬) 로 봅니다. 각 값은 픽셀의 밝기를 나타내며, 일반적으로 0 (검정)부터 255 (흰색)까지의 범위를 가집니다. OpenCV와 같은 라이브러리를 사용하면 이 숫자 행렬을 시각화할 수 있어, 컴퓨터가 실제로 사진을 어떻게 해석하는지 확인할 수 있습니다.
카메라가 이미지를 포착하는 방식
현실 세계의 빛은 물체에 반사되어 모든 방향으로 퍼집니다. 광선은 카메라 쪽으로 이동해 렌즈를 통과하고 굴절되어, 3‑D의 한 점에서 온 빛이 센서의 특정 지점에 모이게 됩니다.
이미지 센서는 수백만 개의 작은 픽셀로 이루어진 2‑D 격자입니다. 각 픽셀은 고정된 (x, y) 좌표(가로·세로)를 가지고 들어오는 빛의 **강도(intensity)**와 **색상(color)**을 측정합니다. 컬러 이미지에서는 픽셀이 일반적으로 파랑, 초록, 빨강 (BGR) 세 가지 강도 값을 저장하며, 이 값들이 합쳐져 우리가 인식하는 색을 만듭니다.
# Example: reading a pixel value with OpenCV (Python)
import cv2
img = cv2.imread('image.jpg') # BGR image
b, g, r = img[y, x] # pixel at (x, y)
print(f'Pixel BGR values: ({b}, {g}, {r})')흑백 이미지의 경우 픽셀은 하나의 밝기 값만을 가집니다.
깊이 모호성
2‑D 이미지에는 각 점이 카메라로부터 얼마나 떨어져 있는지를 나타내는 z‑축 정보가 없습니다. 따라서:
- 실제 크기가 다른 물체가 동일한 크기의 이미지를 만들 수 있습니다.
- 실제 크기가 같은 물체도 거리에 따라 전혀 다르게 보일 수 있습니다.
깊이 모호성을 완화하는 방법
- 맥락 정보 – 원근, 그림자, 물체 겹침 등 시각적 단서를 이용해 단일 이미지에서 깊이를 추정합니다.
- 깊이 센서 – 빛(주로 적외선)을 방출하고 반사된 빛의 비행 시간(time‑of‑flight)이나 패턴 왜곡을 측정해 거리를 직접 계산합니다.
가림(오클루전) 모호성
한 물체가 다른 물체를 가리면, 가려진 부분은 센서에 포착되지 않아 이미지가 불완전해집니다.
가림을 처리하는 전략
- 맥락 단서 활용(예: 표면 연속성).
- 여러 시점이나 비디오 프레임(시간 정보) 결합.
- 깊이 센서를 사용해 가려진 물체 뒤를 확인.
- 누락된 영역을 예측하는 학습 기반 모델 적용.
노이즈 모호성
카메라는 다양한 환경에서 빛을 포착합니다. 조명이 좋은 경우 센서는 많은 광자를 받아 안정적인 픽셀 값을 생성합니다. 반면에 저조도나 악천후에서는 광자 수가 적어 무작위 변동, 즉 노이즈가 발생해 실제 디테일을 가릴 수 있습니다.
노이즈 감소 기법
- 필터링(예: 가우시안 블러).
- 여러 프레임 평균.
- 향상된 하드웨어(더 큰 센서, 더 좋은 광학계).
- 학습 기반 디노이징 방법.
이러한 접근법은 일부 세밀한 디테일을 포기하고 부드러운 결과를 얻는 트레이드오프를 가집니다.
정리
머신 비전은 단순히 “픽셀을 보는” 것이 아니라 불완전하고 모호한 데이터를 해석하는 과정입니다. 깊이, 가림, 노이즈는 인간은 쉽게 해결하지만 기계는 정교한 알고리즘과 추가 센서를 필요로 하는 근본적인 도전 과제입니다.
현재 저는 이미지 형성 및 표현에 대한 탄탄한 이해를 구축하는 데 집중하고 있습니다. 다음 단계에서는 이러한 모호성을 해결하는 실용적인 방법을 구현하고 테스트할 예정입니다. 컴퓨터 비전 시스템에 대한 더 깊고 실전적인 탐구를 기대해 주세요.