[Paper] Retrieval-Augmented Gaussian Avatars: 표현 일반화 개선

Source: arXiv - 2603.08645v1

Overview

이 논문은 Retrieval‑Augmented Faces (RAF) 를 소개합니다. 이는 템플릿이 없는 신경 헤드 아바타가 다양한 얼굴 표정을 재현하는 능력을 크게 향상시키는 학습 시 데이터 증강 기법입니다. 방대한 라벨이 없는 표정 은행에서 “가장 가까운 이웃” 표정을 가져옴으로써, RAF는 모델이 정체성과 표정을 분리하도록 학습시켜, 보지 못한 혹은 분포 외 움직임에 의해 구동될 때 아바타가 훨씬 더 견고해지게 합니다.

주요 기여

• Retrieval‑augmented training pipeline 은 피사체의 표현 특징 중 일부를 대규모 라벨이 없는 은행에서 시각적으로 유사한 표현 특징으로 교체합니다.
• Expression‑diversity boost 는 추가 주석, 교차 정체성 쌍 데이터, 혹은 아바타 기본 구조의 변경 없이도 구현됩니다.
• Quantitative and user‑study validation 은 검색된 이웃이 포즈와 표현 면에서 인지적으로 더 가깝고, RAF가 NeRSemble 벤치마크(자체 구동 및 교차 구동 모두)에서 일관된 향상을 제공한다는 것을 보여줍니다.
• Analysis of identity‑expression decoupling 은 이 증강이 변형 필드가 표준 학습 중에 본 제한된 표현 집합을 넘어 일반화하도록 강제한다는 것을 입증합니다.

Methodology

1. 표정 은행 수집 – 많은 피험자들로부터 캡처한 얼굴 프레임을 라벨 없이(예: “웃음”, “찡그림” 등) 대규모 저장소에 모은다.
2. 특징 추출 – 각 프레임을 아바타 모델이 이미 사용하는 동일한 인코더를 이용해 압축된 표정 디스크립터로 인코딩한다.
3. 최근접 이웃 검색 – 대상 피험자의 학습 프레임마다, 그 표정 디스크립터 중 작은 무작위 부분을 은행에서 가장 가까운 매치(특징 공간에서 유클리드 거리 기준)의 디스크립터로 교체한다.
4. 재구성 손실 – 입력의 일부가 다른 정체성에서 온 것이지만, 모델은 여전히 원본 대상 프레임을 재구성하려고 시도한다. 이는 변형 네트워크가 보다 넓은 표정 조건에서도 작동하면서도 피험자의 정체성을 유지하도록 매핑을 학습하게 만든다.
5. 학습은 기존대로 진행 – 구조적 변화 없이, 추가 감독 없이 진행되며 검색 단계는 가볍다(사전 계산하거나 근사 최근접 이웃 인덱스를 사용해 실시간으로 수행 가능).

결과 및 발견

• Expression fidelity는 랜드마크 오류와 지각적 유사성을 측정했을 때 NeRSemble 벤치마크에서 약 10‑15 % 향상됩니다. 이는 자기 주행(self‑driving, 동일 피험자)과 교차 주행(cross‑driving, 다른 피험자) 모두에 해당합니다.
• Robustness to distribution shift – RAF로 학습된 아바타는 원본 피험자의 캡처 세트에 없던 극단적이거나 드문 표정으로 구동될 때도 시각적 품질을 유지합니다.
• User study (N = 30)에서는 참가자들이 검색된 표정을 무작위 기준(random baselines)보다 목표 표정에 더 가깝게 인식한다는 결과가 나와, 검색 품질이 검증되었습니다.
• Identity preservation은 안정적으로 유지됩니다. 재구성 손실(reconstruction loss)이 출력을 원본 정체성에 고정시켜 주기 때문에, 모델이 기증자의 얼굴 특성을 대상 아바타에 “누출”하지 않습니다.

Practical Implications

• Game & VR developers can generate high‑fidelity, animatable head avatars from a modest capture session and still support a rich repertoire of player‑driven expressions without re‑capturing every nuance.
• Live‑streaming & virtual‑influencer pipelines benefit from more reliable facial reenactment when the source performer makes spontaneous, out‑of‑distribution gestures.
• AR/VR telepresence systems can maintain expressive fidelity even when network constraints force the use of low‑bitrate or compressed expression descriptors; RAF‑trained models are more tolerant to such noise.
• Tooling integration – because RAF is a data‑augmentation layer, it can be dropped into existing avatar training scripts (e.g., PyTorch, TensorFlow) with minimal code changes, accelerating adoption.

Limitations & Future Work

• Bank quality dependence – 증강 효과는 표현 뱅크의 다양성과 커버리지에 의존한다; 뱅크가 충분히 채워지지 않으면 제한된 향상만 얻을 수 있다.
• Computational overhead – 최근접 이웃 검색이 훈련 중에 약간의 비용을 추가한다(특히 매우 큰 뱅크의 경우), 그러나 추론 단계는 변하지 않는다.
• No explicit pose handling – 표현 디스크립터가 자세를 암묵적으로 포착하지만, 극단적인 머리 회전은 여전히 모델에 도전이 될 수 있다; 향후 작업에서는 별도의 자세 증강을 도입할 수 있다.
• Cross‑identity generalization – 현재 설정은 모델이 아이덴티티 간에 직접적으로 표현을 전이하도록 훈련하지 않는다; RAF를 완전한 교차 아이덴티티 체제로 확장하는 것은 열린 연구 과제이다.

저자

• Matan Levy
• Gavriel Habib
• Issar Tzachor
• Dvir Samuel
• Rami Ben‑Ari
• Nir Darshan
• Or Litany
• Dani Lischinski

논문 정보

• arXiv ID: 2603.08645v1
• 분류: cs.CV, cs.GR, cs.LG
• 출판일: 2026년 3월 9일
• PDF: PDF 다운로드