[Paper] Voxify3D: 픽셀 아트와 볼류메트릭 렌더링

Source: arXiv - 2512.07834v1

Overview

Voxify3D는 게임 개발자와 디지털 아티스트가 오랫동안 겪어온 문제, 즉 고해상도 3D 메쉬를 자동으로 진정한 복셀 스타일 픽셀 아트로 변환하는 문제를 해결합니다. 차별 가능한 3D 메쉬 최적화와 2D 픽셀 아트 감독을 결합함으로써, 저자는 의미론적 형태를 보존하면서 현대 복셀 게임이 요구하는 선명하고 팔레트가 제한된 외관을 제공하는 파이프라인을 제시합니다.

Key Contributions

• Orthographic pixel‑art supervision – 원근 왜곡을 피하기 위해 정면 뷰에서 3D 모델을 렌더링하여 복셀과 픽셀 아트 “픽셀” 사이의 일대일 매핑을 가능하게 합니다.
• Patch‑based CLIP alignment – 로컬 패치에 대한 CLIP의 비전‑언어 임베딩을 활용해 공격적인 복셀 양자화 후에도 고수준 의미를 유지합니다.
• Palette‑constrained Gumbel‑Softmax quantization – 고정 팔레트(2–8색)에서 색을 선택하도록 네트워크가 학습할 수 있게 하는 차별 가능한 트릭이며, 엔드‑투‑엔드 학습이 가능합니다.
• Two‑stage differentiable framework – 첫 단계에서 메쉬 기하학을 정제하고, 두 번째 단계에서 복셀 색을 최적화하여 연속적인 3D 기하와 이산 복셀 아트 사이의 격차를 메웁니다.
• Extensive user study & quantitative metrics – 다양한 캐릭터 모델에 대해 기존 방법 대비 37.12 CLIP‑IQA 점수와 77.90 % 사용자 선호 승률을 달성했습니다.

Methodology

Stage 1 – Geometry Optimization

• 입력 메쉬를 정사영 방식으로 저해상도 복셀 그리드에 렌더링합니다.
• 차별 가능한 부피 렌더러가 픽셀 아트 손실을 역전파하여 실루엣이 목표 픽셀 아트 형태와 일치하도록 정점 위치를 미세 조정합니다.

Stage 2 – Color Optimization

• 각 복셀의 RGB 값을 Gumbel‑Softmax 레이어에 통과시켜 k 팔레트 색 중 하나로 강제합니다(팔레트는 사용자가 정의 가능).
• 패치 수준 CLIP 손실이 렌더링된 복셀 패치와 원본 픽셀 아트 패치를 비교하여 복셀 색이 동일한 의미적 단서(예: “헬멧”, “갑옷”)를 전달하도록 유도합니다.

Training Loop

• 두 단계가 엔드‑투‑엔드 방식으로 공동 학습됩니다. 정사영 뷰는 원근 왜곡을 없애 픽셀 아트 감독을 복셀 출력과 직접 비교할 수 있게 합니다.
• Gumbel‑Softmax 트릭은 이산 색 선택에도 차별 가능성을 유지시켜 표준 경사 하강법 도구를 사용할 수 있게 합니다.

Results & Findings

• Quantitative: Voxify3D는 CLIP‑IQA 지표에서 37.12점을 기록했으며(점수가 높을수록 좋음), 이전 최첨단보다 큰 차이로 앞섰습니다.
• User Preference: 150명의 참가자를 대상으로 한 블라인드 연구에서 **77.90 %**가 경쟁 파이프라인보다 Voxify3D의 출력을 선호했습니다.
• Control Granularity: 시스템은 2색부터 8색까지 사용하도록 지정할 수 있으며, 원본 메쉬보다 20×–50× 낮은 해상도로 렌더링하면서도 인식 가능한 디테일을 유지합니다.
• Semantic Fidelity: 패치 기반 CLIP 정렬이 핵심이며, 이를 제거한 실험에서는 캐릭터 정체성 손실이 눈에 띄게 나타났습니다(예: 헬멧이 일반 블록으로 변함).

Practical Implications

• Game Asset Pipelines – 스튜디오는 이제 고폴리 모델에서 직접 복셀 스타일 캐릭터와 소품을 생성할 수 있어 수작업 리토폴로지 시간을 크게 단축할 수 있습니다.
• Rapid Prototyping – 인디 개발자는 팔레트 제약(레트로 4색, 현대 8색)을 실시간으로 실험하여 빠른 시각적 반복이 가능합니다.
• Cross‑Platform Consistency – 출력이 결정적인 복셀 그리드이므로 동일한 에셋을 저사양 모바일, Web‑GL, 콘솔 등 다양한 환경에 추가 베이킹 단계 없이 배포할 수 있습니다.
• Tool Integration – 차별 가능한 파이프라인을 Unity 또는 Unreal용 플러그인으로 래핑해 “Voxelify” 버튼 하나로 백그라운드에서 두 단계 최적화를 실행할 수 있습니다.
• Content Generation APIs – 클라우드 서비스가 Voxify3D를 엔드포인트로 제공하면 소셜 VR이나 아바타 기반 채팅 앱을 위한 절차적 복셀 아바타 생성이 가능해집니다.

Limitations & Future Work

• Orthographic View Restriction – 현재 감독은 고정된 정면 뷰를 전제로 하므로 회전하는 객체는 여러 번 패스하거나 보다 일반적인 카메라 모델이 필요합니다.
• Palette Size Trade‑off – 2–8색은 스타일화된 캐릭터에 잘 맞지만, 고도로 상세한 장면은 더 큰 팔레트를 요구할 수 있으며 현재 Gumbel‑Softmax 구현은 이를 덜 유연하게 처리합니다.
• Scalability to Large Scenes – 이 방법은 단일 메쉬에 초점을 맞추고 있어 전체 환경(예: 복셀화된 레벨)으로 확장하려면 메모리 효율적인 부피 렌더링이 필요합니다.
• Future Directions – 저자들은 다중 뷰 감독, 적응형 팔레트 학습, 신경 텍스처 합성과의 통합을 탐구하여 캐릭터 모델을 넘어 적용 범위를 넓히는 방안을 제시합니다.

Authors

• Yi‑Chuan Huang
• Jiewen Chan
• Hao‑Jen Chien
• Yu‑Lun Liu

Paper Information

• arXiv ID: 2512.07834v1
• Categories: cs.CV
• Published: December 8, 2025
• PDF: Download PDF