[Paper] ProcFunc: 함수 지향 추상화 for Procedural 3D Generation in Python

Source: arXiv - 2604.26943v1

Overview

이 논문은 Blender 위에 구축된 Python 라이브러리 ProcFunc를 소개합니다. ProcFunc는 개발자들이 절차적 3D 생성 코드를 훨씬 적은 보일러플레이트와 버그로 작성, 결합 및 실행할 수 있게 해줍니다. 고수준의 함수‑지향 추상화를 제공함으로써, ProcFunc는 방대한 규모의 다양한 합성 3D 데이터셋을 생성하는 것을 실용적으로 만들며, 이는 특히 대형 비전‑언어 모델(VLMs)과 같은 컴퓨터‑비전 모델을 훈련시키는 데 점점 더 가치가 높아지고 있습니다.

주요 기여

• Function‑oriented API: 일반적인 Blender 작업(기하학 생성, 재질 정의, 씬 조립)을 캡슐화한 사용하기 쉬운 Python 함수들의 선별된 집합.
• Composable pipelines: 의미론적 “빌딩 블록”(예: 벽, 창문, 텍스처)을 조합하여 최소한의 코드로 장면 변형을 조합적으로 폭발시킬 수 있게 함.
• Error‑resilient editing: VLM이 ProcFunc가 생성한 절차적 스크립트를 안전하게 편집할 수 있음을 보여주어, 순수 Blender Python에 비해 구문 및 런타임 오류를 크게 감소시킴.
• Indoor‑room generator: 현실적인 실내 방을 위한 새로운 절차적 생성기와 새로운 구성 절차적 재질 라이브러리를 소개.
• Open‑source release: 전체 구현, 문서 및 예제가 GitHub에 공개되어 커뮤니티 채택 및 확장을 장려함.

Methodology

1. Abstraction Layer: 저자들은 Blender의 저수준 Python API를 고수준 함수(예: create_wall(width, height), apply_material(obj, material_spec))로 래핑했습니다. 각 함수는 작업에 대한 결정론적이고 직렬화 가능한 설명을 반환합니다.
2. Composable Graphs: 절차적 파이프라인은 노드가 이러한 함수인 방향성 비순환 그래프로 표현됩니다. 사용자는 구성 요소를 “플러그‑앤‑플레이” 할 수 있으며, 라이브러리는 자동으로 의존성 및 순서를 해결합니다.
3. Semantic Parameter Spaces: 각 구성 요소마다 의미 있는 파라미터 집합(크기 범위, 텍스처 패밀리, 조명 조건)이 정의됩니다. 무작위 샘플링이나 VLM‑구동 프롬프트를 통해 이 공간을 채워 다양한 출력을 생성합니다.
4. VLM Integration: 저자들은 비전‑언어 모델을 미세조정하여 자연어에서 ProcFunc 스크립트를 생성하거나 편집하도록 했습니다. 모델의 출력은 파싱·검증·Blender 내부에서 실행되며, 실패 시 안전한 기본값으로 자동 폴백됩니다.
5. Evaluation Pipeline: 그들은 (a) 코드 정확성(구문/런타임 오류), (b) 시각적 충실도(렌더 품질, 사실성), (c) 실행 성능(장면당 생성 시간), (d) 데이터셋 다양성(기하학 및 재질 속성의 통계적 분포)을 측정하는 벤치마크 스위트를 구축했습니다.

결과 및 발견

• 오류 감소: ProcFunc를 사용한 VLM‑생성 스크립트는 기존 Blender Python 생성에 비해 구문/런타임 오류가 ≈90 % 감소했습니다.
• 속도: 구성 파이프라인은 소비자용 GPU에서 ≈2.3 초 만에 완전 렌더링된 실내 방(기하학 + 재질 + 조명)을 생성했으며, 수작업 스크립트와 비교해도 비슷합니다.
• 다양성: 12가지 벽 스타일, 8가지 바닥 텍스처, 6가지 조명 설정을 조합함으로써 시스템은 수동 조정 없이 >10⁶개의 고유 방 구성을 만들어냈습니다.
• 합성 데이터 품질: 깊이 추정 모델을 위한 5만 개의 렌더링된 방 훈련 세트를 만들 때, 실제 벤치마크에서 모델 성능이 +3.2 % 향상되어 생성된 데이터의 유용성을 확인했습니다.

Practical Implications

• Rapid Dataset Creation: 빠른 데이터셋 생성: 3D‑aware AI(예: 로봇 인식, AR/VR 콘텐츠 생성)를 구축하는 팀은 몇 주가 아니라 몇 시간 안에 크고 다양한 합성 데이터셋을 만들 수 있습니다.
• VLM‑Assisted Asset Design: VLM 지원 자산 디자인: 디자이너는 원하는 장면을 자연어로 설명(예: “재활용 목재 바닥이 있는 햇빛이 비치는 로프트”)하고 VLM이 올바른 ProcFunc 스크립트를 생성하도록 하여 프로토타이핑 주기를 크게 단축할 수 있습니다.
• Modular Asset Libraries: 모듈식 자산 라이브러리: 구성 요소가 함수 수준이며 재사용 가능하기 때문에 스튜디오는 “시맨틱 프리미티브”(문, 창문, 재질 프리셋) 공유 라이브러리를 유지할 수 있으며, 이는 프로젝트 간 자동 호환성을 보장합니다.
• Education & Research: 교육 및 연구: 명확한 API는 학생과 연구자가 깊은 Blender 전문 지식 없이도 절차적 생성 실험을 할 수 있는 장벽을 낮춥니다.

제한 사항 및 향후 작업

• Blender 의존성: ProcFunc는 현재 Blender의 Python API에 의존하고 있어, 헤드리스 또는 클라우드 전용 파이프라인에서는 무거울 수 있습니다; 더 가벼운 렌더링 백엔드가 잠재적인 확장 방향입니다.
• 재질 범위: 제공된 재질 라이브러리는 실내 환경에 초점을 맞추고 있습니다; 야외, 유기적 또는 물리 기반 렌더링(PBR) 파이프라인으로 확장하면 적용 범위가 넓어집니다.
• VLM 일반화: VLM 통합이 오류를 줄여주지만, 여전히 매우 복잡한 제약(예: 정밀한 건축 규정)에는 어려움을 겪습니다. 향후 작업에서는 제약 해결이나 심볼릭 추론을 도입할 수 있습니다.
• 검증 확장성: 현재 검증 단계는 결정적이지만 수백만 개의 씬을 생성할 때 병목이 될 수 있습니다; 점진적이거나 병렬 검증 전략이 연구 과제로 남아 있습니다.

ProcFunc는 절차적 3D 생성 작업을 일급의, 조합 가능한 프로그래밍 과제로 다루는 길을 열어, 합성 3D 데이터 생성을 몇 개의 Python 함수를 호출하는 것만큼 쉽게 만들 수 있습니다.

저자

• Alexander Raistrick
• Karhan Kayan
• Jack Nugent
• David Yan
• Lingjie Mei
• Meenal Parakh
• Hongyu Wen
• Dylan Li
• Yiming Zuo
• Erich Liang
• Jia Deng

논문 정보

• arXiv ID: 2604.26943v1
• 분류: cs.CV
• 발행일: 2026년 4월 29일
• PDF: PDF 다운로드