얼굴 인식의 역사와 페이스페이의 미래

출처: Toss Tech

프롤로그: 얼굴이라는 열쇠

새벽 6시, 출근길 편의점. 양손에는 우산과 서류 가방이 들려 있고, 코트 주머니 어딘가에 있을 지갑을 찾기엔 시간이 없습니다. 그때, 계산대 옆 작은 화면이 당신의 얼굴을 인식합니다. 2초. 결제 완료. 커피를 들고 나서는 당신의 손은 여전히 자유롭습니다.

불과 몇 년 전만 해도 SF 영화에서나 볼 법한 장면이었습니다. 하지만 이제 이것은 우리의 일상입니다. 편의점에서, 카페에서 — 우리는 얼굴만으로 결제를 완료합니다.

그런데 문득 궁금해집니다. 기계는 어떻게 사람의 얼굴을 ‘인식’하게 된 걸까요? 수많은 사람 중에서 단 한 사람을 어떻게 찾아낼 수 있는 걸까요? 그리고 이 기술은 어떻게 ‘안전하게’ 결제 수단이 될 수 있었을까요?

이 질문들에 답하기 위해, 우리는 60년 전으로 거슬러 올라가야 합니다. 냉전의 한복판, 한 수학자의 비밀 연구실에서 시작된 여정으로.

제1장: 수학자의 비밀 연구

1960년대, 얼굴인식의 탄생

1960년 초반, 미국의 Woodrow Wilson Bledsoe라는 수학자가 정부의 비밀 프로젝트를 수행하고 있었습니다. 프로젝트의 목표는 단순하면서도 야심찼습니다. 사진만으로 사람을 식별할 수 있는 시스템을 만들어라. [1]

Bledsoe의 접근법은 오늘날의 관점에서 보면 원시적이었습니다. 그는 연구원들과 함께 수천 장의 얼굴 사진을 테이블 위에 펼쳐놓고, 하나하나 특징점의 좌표를 손으로 기록했습니다. 눈과 눈 사이의 거리, 코끝에서 입술까지의 길이, 귀의 위치 등 여러 가지 특징이 되는 숫자를 기록하고, 이 특징이 비슷하면 같은 사람을 의미했습니다.

컴퓨터는 계산만 도왔을 뿐, 사진에서 특징점을 찾는 일은 전적으로 사람의 몫이었습니다. 기계가 보는 것이 아니라 사람이 보고, 기계가 계산하는 시스템이었죠.

이 연구는 기밀로 분류되어 Bledsoe는 자신의 가장 중요한 연구를 학계에 발표할 수 없었습니다. 그의 이름이 얼굴인식의 선구자로 재조명된 것은 수십 년이 지난 후의 일입니다.

제2장: 기계의 눈이 열리다

1970년대, 자동화의 시작

1973년, 일본의 Takeo Kanade는 **“A Real-Time Algorithm for Detecting and Tracking Faces”**라는 제목의 박사 논문을 발표했습니다. [2] 당시 일본에서는 Expo가 열렸고, 전 세계 관광객을 자동으로 인식할 방법이 없을지 고민하던 중 이 기술 연구가 시작되었다고 합니다.

여기서 주목할 점은 더 이상 사람이 좌표를 입력할 필요가 없었다는 것입니다. 기계가 스스로 얼굴을 찾아보기 시작한 것이죠.

Kanade의 시스템은 눈, 코, 입의 위치를 자동으로 감지하고, 이들 사이의 기하학적 관계를 여러 개의 파라미터로 추출했습니다. 이 논문을 통해 컴퓨터는 인간의 도움 없이 이미지에서 의미를 추출할 수 있다는 가능성이 열렸습니다.

Takeo Kanade 박사 논문의 일부를 발표한 저널 [3]

제3장: 유령의 얼굴들

1990년대, Eigenface 혁명

1991년, MIT 미디어랩에서 Matthew Turk와 Alex Pentland가 **“Eigenfaces for Recognition”**이라는 논문을 발표했습니다. [4] 이 논문은 주성분 분석(Principal Components Analysis, PCA) 방법을 사용해 얼굴 이미지의 통계적 분석을 통해 얼굴 간 차이를 나타낼 수 있다는 아이디어를 제시했습니다.

방법은 다음과 같습니다. 수백 장의 얼굴 사진을 모아 평균 얼굴을 만든 뒤, 각 얼굴이 이 평균에서 얼마나 벗어나는지를 분석합니다. 이 벗어남의 패턴을 수학적으로 추출하면, 유령처럼 희미하고 기이한 이미지들이 나타납니다. 이것이 바로 Eigenfaces(고유 얼굴) 입니다.

이 유령 같은 이미지들은 마치 얼굴의 알파벳과 같습니다. 모든 얼굴은 이 알파벳들의 조합으로 표현될 수 있습니다. 예를 들어 “이 사람의 얼굴은 Eigenface 1을 30 %, Eigenface 2를 15 %, Eigenface 7을 22 % 포함한다”는 식이죠.

두 얼굴이 같은 사람인지 알고 싶다면 각 얼굴의 조합 비율을 비교하면 됩니다. 비율이 비슷하면 같은 사람, 다르면 다른 사람이라고 판단할 수 있습니다. 이 논문은 얼굴 이미지를 저차원 공간으로 표현하고, 그 정보를 이용해 사람을 구분할 수 있음을 보여줍니다.

Eigenface의 샘플 이미지 [5]

제4장: 빛과 그림자의 싸움

2000년대, 현실 세계의 도전

연구실을 벗어난 얼굴인식 기술은 예상치 못한 적과 마주했습니다. 바로 조명(Lighting) 이었습니다.

같은 사람이라도 형광등 아래에서 촬영한 얼굴과 햇빛 아래에서 촬영한 얼굴은 전혀 다르게 보입니다. 창가에 서면 얼굴 한쪽은 밝고 다른 한쪽은 그림자에 가려집니다. 실내에서 촬영한 증명사진과 야외에서 찍은 셀카는 마치 다른 사람처럼 보일 정도였습니다. 당시의 얼굴인식 기술은 이러한 조명 변화에 매우 취약했습니다.

연구자들은 새로운 접근법을 고민하기 시작했습니다. 얼굴 전체를 하나의 이미지로 보는 대신, 얼굴을 구성하는 작은 영역들의 특징을 분석하자는 아이디어였습니다. 이렇게 국소 특징(Local Feature) 기반 얼굴인식의 시대가 열렸습니다.

이 시기를 대표하는 기술이 LBP(Local Binary Pattern) 입니다. [6] [7] [8] LBP는 각 픽셀을 주변 픽셀과 비교해 이진 코드로 표현합니다. “이 픽셀이 주변보다 밝은가, 어두운가?”라는 단순한 비교를 반복함으로써, 절대적인 밝기보다 얼굴의 질감과 패턴에 집중할 수 있게 되었습니다. 그 결과 조명 변화에 상대적으로 강인한 얼굴 표현 방법이 탄생했습니다.

이렇게 사람이 직접 설계한 특징(Hand‑crafted Feature) 위에 다양한 머신러닝 분류기가 결합되었습니다. SVM(Support Vector Machine) 은 고차원 특징 공간에서 서로 다른 사람의 얼굴을 구분하는 최적의 경계면을 찾았고, [9] AdaBoost 는 여러 개의 약한 분류기를 조합해 보다 강력한 인식기를 만들어냈습니다. [10]

이 시기의 얼굴인식 시스템은 오늘날의 딥러닝 모델처럼 스스로 특징을 학습하지는 못했지만, 조명 변화와 촬영 환경의 다양성이라는 현실 세계의 문제를 해결하기 위한 중요한 진전을 이루었습니다. 이후 등장하는 딥러닝 기반 얼굴인식 기술 역시 이러한 연구를 토대로 발전하게 됩니다.

제5장: 딥러닝, 게임의 규칙을 바꾸다

2014년, DeepFace의 충격

2014년 6월, Facebook(현 Meta)의 AI 연구팀이 논문을 발표했습니다. [11]

LFW(Labeled Faces in the Wild)라는 얼굴인식 벤치마크 데이터셋에서 DeepFace는 97.35 %의 정확도를 기록했습니다. 인간의 평균 정확도는 97.53 %에 불과했습니다. 기계가 인간을 따라잡기 직전이었죠.

DeepFace는 이름 그대로 심층 신경망(Deep Neural Network) 을 사용했습니다. 이전 방법들에서는 ‘어떤 특징을 볼 것인가’를