[Paper] LumosX: 모든 정체성을 그들의 속성과 연결하여 맞춤형 비디오 생성

Source: arXiv - 2603.20192v1

개요

LumosX는 텍스트‑투‑비디오 생성에서 지속적인 문제인 여러 얼굴과 그 속성(예: 연령, 표정, 헤어스타일)을 생성된 클립 전체에 걸쳐 일관되게 정렬하는 문제를 해결합니다. 새로운 데이터‑수집 파이프라인과 어텐션 기반 모델 조정을 결합함으로써, 저자들은 장면이 변하더라도 각 피사체의 시각적 정체성이 일관성을 유지하는 개인화된 비디오를 신뢰성 있게 생성할 수 있는 시스템을 제공합니다.

Key Contributions

• Dual‑track framework – 데이터 측면(관계 캡셔닝 파이프라인 + MLLM‑기반 속성 추출)과 모델 측면(Relational Self‑Attention & Relational Cross‑Attention)을 도입하여 주제‑속성 일관성을 강제한다.
• Relational priors – “who‑does‑what‑with‑which‑attribute”와 같은 세밀한 삼중항을 생성하여 diffusion 모델에 대한 명시적 제어 신호로 활용한다.
• Benchmark suite – (≈ 5 k 클립, 30 개 이상의 정체성)으로 구성된 새로운 다중 주제 비디오 벤치마크를 구축하고, 실제 속성 주석을 제공하여 평가 자원의 공백을 메운다.
• State‑of‑the‑art results – 기존 개인화 비디오 생성기보다 정체성 보존, 속성 충실도, 의미 정렬 측면에서 우수한 성능을 보이며, 새로운 벤치마크의 일관성 지표에서 최대 +12 % 향상한다.
• Open‑source release – 코드, 사전 학습 체크포인트, 벤치마크가 공개되어 재현성 및 후속 연구를 장려한다.

방법론

1. 데이터 파이프라인

   • 비디오 수집: 다양한 인터넷 비디오를 크롤링하여 여러 인식 가능한 얼굴을 포함합니다.
   • 캡션 생성: 대규모 언어 모델(LLM)을 사용하여 각 클립에 대한 자연어 설명을 생성합니다.
   • 속성 추론: 추출된 프레임에 다중모달 LLM(예: GPT‑4V)을 적용하여 연령, 성별, 감정, 액세서리 등과 같은 속성으로 각 얼굴에 라벨을 붙입니다.
   • 관계 트리플 구성: 캡션과 속성 태그를 결합하여 (Subject‑A, wears, sunglasses) 또는 *(Subject‑B, smiles, while running)*와 같은 명시적 트리플을 만듭니다. 이러한 트리플은 확산 모델의 조건 입력이 됩니다.

2. 모델 향상

   • 관계 자기‑주의 (RSA): 주제‑속성 쌍 인덱스를 인코딩하는 위치 인식 임베딩을 사용해 기본 자기‑주의 블록을 확장하여 모델이 시간 차원 전체에서 각 정체성을 별개의 “엔터티”로 취급하도록 장려합니다.
   • 관계 교차‑주의 (RCA): 텍스트 프롬프트와 시각 잠재 변수를 결합할 때, RCA는 관계 트리플을 추가적인 키/값으로 삽입하여 프레임을 생성하는 동안 확산 과정이 “Subject‑A‑wears‑sunglasses”에 직접 주의를 기울일 수 있게 합니다.
   • 학습 체계: 선별된 데이터셋에 대해 사전 학습된 텍스트‑투‑비디오 확산 백본(예: Stable Diffusion Video)을 미세 조정하고, 연속 프레임 간 속성 변동을 벌점으로 하는 가중 손실을 사용합니다.

3. 추론

   • 사용자는 프롬프트와 선택적인 정체성‑속성 지정(예: “Alice (young, curly hair) and Bob (bearded) dancing at sunset”)을 제공합니다.
   • 시스템은 프롬프트를 관계 트리플로 파싱하고, 이를 RSA/RCA에 전달한 뒤, 확산 샘플러를 실행하여 일관된 다중 주체 비디오를 생성합니다.

Results & Findings

• Qualitative: 샘플 비디오는 “face‑swapping” 아티팩트가 없으며, 각 캐릭터는 머리 스타일, 안경, 표정을 유지합니다. 가려지거나 빠르게 움직일 때도 마찬가지입니다.
• Ablation: RSA를 제거하면 정체성 일관성이 약 9 % 감소하고, RCA를 제거하면 속성 충실도가 약 7 % 감소합니다. 이는 두 구성 요소가 모두 필수임을 확인시켜 줍니다.
• Scalability: 모델은 최대 8 simultaneous identities를 처리하며, 단일 피험자 기준 대비 추론 시간이 거의 증가하지 않습니다 (≈ 1.2× inference time).

실용적 시사점

• 맞춤형 콘텐츠 제작 – 마케팅 팀은 비용이 많이 드는 재촬영 없이도 정확한 외관·감각 사양을 갖춘 브랜드 앰배서더가 등장하는 광고 영상을 생성할 수 있습니다.
• 가상 프로덕션 – 게임 스튜디오와 VFX 파이프라인은 스크립트에서 직접 얼굴 특성을 반복하면서 다중 캐릭터 컷신을 즉시 프로토타이핑할 수 있습니다.
• 접근성 도구 – 보조 애플리케이션은 사용자가 선호하는 아바타와 일치하는 영상을 합성할 수 있습니다(예: 청각 장애 사용자를 위한 일관된 얼굴 신호를 가진 수화 아바타).
• 신속한 프로토타이핑 – 개발자는 LumosX의 API를 비디오 편집기, 소셜 미디어 필터 등 창작 플랫폼에 삽입해 최종 사용자가 자연어 프롬프트만으로 등장 인물과 외모를 지정하도록 할 수 있습니다.

이 프레임워크는 기존 디퓨전 백본 위에 구축되고 표준 PyTorch 구성 요소를 사용하므로 현재 파이프라인에 통합하려면 몇 줄의 코드와 적당한 GPU(256프레임 생성에 ≥ 12 GB VRAM)만 있으면 됩니다.

제한 사항 및 향후 작업

• 데이터셋 편향 – 선별된 비디오 풀은 서구의 얼굴 특징에 치우쳐 있으며, 소수 집단은 충분히 대표되지 않아 해당 인구통계에 대한 속성 정확도에 영향을 줄 수 있습니다.
• 시간 길이 – 256프레임 클립(≈ 10 초, 24 fps)은 안정적이지만, 30 초 이상 길이의 서사는 여전히 미세한 속성(예: 안경에 비치는 조명)에서 가끔씩 변동을 보입니다.
• 실시간 생성 – 추론은 여전히 diffusion에 많이 의존하고 있어, 인터랙티브한 속도를 달성하려면 추가 최적화(예: 증류 또는 잠재 공간 캐싱)가 필요합니다.
• 향후 방향 – 저자들이 제시한 바에 따르면, 관계 스키마를 확대하여 신체 자세와 음성 속성을 포함하고, 별도의 주석 파이프라인 없이 관계적 사전 지식을 엔드‑투‑엔드로 학습할 수 있는 하이브리드 트랜스포머‑디퓨전 아키텍처를 탐구하는 것이 포함됩니다.

저자

• Jiazheng Xing
• Fei Du
• Hangjie Yuan
• Pengwei Liu
• Hongbin Xu
• Hai Ci
• Ruigang Niu
• Weihua Chen
• Fan Wang
• Yong Liu

논문 정보

• arXiv ID: 2603.20192v1
• Categories: cs.CV, cs.AI
• Published: 2026년 3월 20일
• PDF: Download PDF