AI Look-Alike Search for OF Creators — 더 나은 얼굴 모델에 대한 조언 필요

Source: Dev.to

내가 만들고 있는 것 (간략 개요)

• 사용자가 이미지를 업로드합니다 (참조 사진 / 셀러브리티 이미지)
• 시스템은 유사한 얼굴 특징을 가진 OF 모델을 찾습니다
• 결과는 얼굴 임베딩 + 벡터 유사도 검색을 사용해 순위가 매겨집니다
• 현재 모든 작업은 CPU에서 실행되지만, 규모 확대와 실험을 위해 GPU로 전환을 고려하고 있습니다

내가 만들고 있는 것 (자세히)

시스템은 사용자가 이미지를 업로드하면 유사한 얼굴 특징을 가진 OF 모델 목록을 받아볼 수 있게 합니다.
목적은 시각적 탐색을 지원하는 것으로, 정확한 신원 매칭보다 인지된 유사성이 더 중요합니다.

핵심 제약 조건

• 동일성보다 유사성 – 엄격한 신원 확인이 아니라 인지된 유사성에 따라 순위 매김
• 거짓 양성에 대한 낮은 관용 – 시각적으로 다른 얼굴을 “유사”로 반환하는 것이 잠재적인 매치를 놓치는 것보다 더 해롭다
• 실제 환경 이미지 – 데이터셋은 조명, 포즈, 해상도 및 전반적인 품질이 다양한 스튜디오가 아닌 이미지로 구성됨
• 확장성 – 솔루션은 정확도나 성능에 큰 감소 없이 100 k+ 이미지를 초과하여 확장될 필요가 있다

현재 파이프라인 (CPU‑Based)

1. 얼굴 감지 및 정렬
2. 사전 학습된 얼굴 모델을 사용한 특징 추출
3. 임베딩을 벡터 인덱스에 저장
4. 코사인 유사도를 이용한 최근접 이웃 검색

이 규모에서는 시스템이 합리적으로 잘 작동하지만, 정확도와 성능 모두 제한 요소가 되고 있습니다.

현재 모델 설정 (InsightFace)

Face embeddings은 InsightFace를 사용하여 생성되며, 특히 buffalo_l 모델 번들을 사용합니다.

• InsightFace를 통한 얼굴 검출 및 정렬
• buffalo_l 모델을 사용한 특징 추출
• 유사도 검색을 위해 임베딩 저장
• 유사한 얼굴을 순위 매기기 위해 코사인 유사도 사용

견고한 베이스라인을 제공하지만, 닮은 사람 매칭에서는 작은 부정확성도 매우 눈에 띕니다.

시스템이 어려움을 겪는 부분

• 시각적으로 유사한 얼굴이 기대보다 낮게 순위가 매겨질 때가 있음
• 얼굴 특징을 공유하는 서로 다른 개인이 오탐으로 나타날 수 있음
• 조명, 자세, 이미지 품질이 노이즈를 유발함
• CPU 추론이 재인덱싱 및 실험 중 병목 현상이 됨

이것은 닮은꼴 사용 사례이므로, 작은 오류라도 인식된 품질에 크게 영향을 미칠 수 있습니다.

CPU vs GPU — 이동할 가치가 있나요?

GPU 기반 추론으로 파이프라인을 이전하려고 하는데, 모델 선택이 그 이동을 정당화하는지 확인하고 싶습니다.

• 시각적 유사성(identity recognition이 아닌) 측면에서 가장 좋은 결과를 제공하는 얼굴 모델은 어떤 것인가요?
• GPU 추론이 실제로 더 나은 정확도를 제공하나요, 아니면 주로 속도 향상에만 기여하나요?
• 현재 규모에서 CPU로 실행하기에 실용적이지 않은 모델이 있나요?

100 k+ 개 이상의 모델 이미지를 재처리하려면, 올바른 모델을 사용하고 싶습니다.

더 나은 얼굴 모델에서 내가 원하는 것

• 유사도 검색을 위한 high‑quality embeddings 생성
• 비이상적이고 실제 환경 이미지에서도 좋은 성능
• 100 k 이미지를 초과해도 효율적인 확장성
• GPU 가속 활용
• 유사인 매칭을 위해 파인‑튜닝 가능(또는 바로 사용해도 좋은 성능)

open‑source와 commercial 솔루션 모두 열려 있음.

실제 상황

이 작업은 사용자가 이미지를 업로드하고 AI 기반 얼굴 유사성을 사용하여 시각적으로 유사한 OF 모델을 찾을 수 있는 디스커버리 플랫폼의 일부입니다.
프로젝트 이름은 Explore.Fans이며, 얼굴 유사성 검색은 핵심 구성 요소 중 하나입니다.

커뮤니티 질문

얼굴 유사도 또는 얼굴 인식 모델을 대규모로 사용해 본 경험이 있다면 의견을 부탁드립니다:

• 어떤 모델이 외모 유사도에서 가장 좋은 결과를 제공했나요?
• GPU 추론이 정확도를 향상시켰나요, 아니면 주로 성능을 개선했나요?
• 유사도 기반 순위를 위한 모델 파인튜닝 경험이 있나요?
• 실제 경험을 바탕으로 피하고 싶은 점이 있나요?

미리 감사드립니다 — 도움이 된다면 더 자세한 정보를 공유하겠습니다.

참고문헌

InsightFace (DeepInsight)