[Paper] Foundry: 엣지를 위한 3D 파운데이션 모델 증류

Source: arXiv - 2511.20721v1

개요

이 논문은 Foundry를 소개한다. Foundry는 대규모 자체지도 학습(SSL) 3‑D 기반 모델을 “하나의 모델이 모든 작업을 수행한다”는 능력을 잃지 않으면서, 작은 엣지‑친화적인 네트워크로 압축하는 최초의 시스템이다. 교사 모델의 풍부한 토큰 표현을 압축된 SuperToken 집합으로 증류함으로써, Foundry는 로봇, AR/VR 헤드셋 및 기타 연산 제한 장치에서 고품질 3‑D 인식을 가능하게 한다.

주요 기여

• Foundation Model Distillation (FMD) – SSL 기반 모델의 범용성을 유지하면서 단일 다운스트림 작업에 특화된 모델이 아니라 일반 목적 모델을 압축하는 새로운 증류 패러다임.
• 3‑D 포인트 클라우드용 Foundry 구현 – 무거운 모델이 주류를 이루던 볼류메트릭 데이터 분야에서 최초로 실용적인 FMD 시스템을 구현.
• SuperToken 표현 – 교사의 전체 토큰 행렬을 재구성할 수 있는 학습된 고압축 토큰 집합으로, 잠재 공간의 컴팩트한 기저 역할을 수행.
• 광범위한 전이 가능성 – 하나의 증류 모델이 분류, 파트 세그멘테이션, few‑shot 학습에서 별도의 작업‑특정 파인튜닝 없이도 교사 수준에 근접한 성능을 달성.
• 엣지‑친화적 효율성 – FLOPs 70 % 감소와 토큰 수 80 % 감소를 달성해 제한된 GPU/CPU 예산에서도 실시간 추론이 가능.

방법론

1. 교사 사전학습 – 대규모 3‑D SSL 모델(예: Point‑MAE 또는 포인트 클라우드용 Masked Autoencoder)을 방대한 라벨이 없는 포인트 클라우드 데이터셋에 학습시켜 일반적인 기하학 임베딩을 습득.
2. SuperToken 생성 – 교사의 전체 토큰 시퀀스를 그대로 복제하는 대신, Foundry는 소수의 학습 가능한 SuperToken을 학습한다. 이들은 선형 결합을 통해 어떤 교사 토큰도 근사할 수 있는 사전(dictionary) 역할을 함.
3. 증류 목표 – 학생 네트워크는 (a) 원시 포인트 클라우드로부터 SuperToken을 예측하고, (b) 단순 선형 디코더를 이용해 교사의 토큰‑레벨 특징을 재구성하도록 학습된다. 손실은 토큰 임베딩에 대한 L2 재구성 항과 관계 기하학을 보존하는 대비 항을 결합한다.
4. 작업‑무관 파인튜닝 – 증류 후 학생 모델을 고정하고 바로 다운스트림 파이프라인(예: 선형 분류기 또는 세그멘테이션 헤드)에 연결한다. 별도의 작업‑특정 학습이 필요 없으며, 증류된 표현이 여전히 폭넓게 유용함을 입증한다.

전체 파이프라인은 단일 GPU에서 몇 일 만에 완료되며, 일반적인 3‑D 기반 모델 크기에 해당한다. 따라서 연구실 및 산업팀 모두 실용적으로 활용 가능하다.

결과 및 발견

핵심 요약

• 증류 모델은 모든 평가 작업에서 교사 대비 1–2 % 이내의 성능 차이를 보이며, SuperToken 기저가 핵심 기하 정보를 잘 포착함을 확인.
• 계산량 절감 효과가 크다: Jetson Nano‑급 장치에서 추론 속도가 ~3배 빨라지고, 메모리 사용량이 크게 감소해 여러 포인트 클라우드 스트림을 동시에 처리할 수 있다.
• 동일한 증류 체크포인트가 다양한 작업에 그대로 적용 가능해 “다운스트림‑무관” 압축이라는 FMD 주장을 입증한다.

실용적 함의

• 로봇공학 – 자율 드론 및 물류 로봇이 임베디드 CPU/GPU에서 고정밀 3‑D 인식(장애물 탐지, 물체 잡기)을 실행할 수 있어 배터리 수명이 연장되고 하드웨어 비용이 감소.
• AR/VR – 손 트래킹이나 공간 매핑을 위한 실시간 장면 이해가 헤드셋 수준 실리콘에서도 가능해져, 클라우드 오프로드 없이도 더욱 몰입감 있는 경험 제공.
• 엣지 AI 플랫폼 – 클라우드‑투‑엣지 파이프라인이 하나의 증류 모델만 배포하면 분류, 세그멘테이션, 이상 탐지 등 여러 서비스를 동시에 제공할 수 있어 배포 및 버전 관리가 단순화.
• 빠른 프로토타이핑 – 스타트업 및 연구실이 데이터센터 GPU 없이도 기반 모델 수준의 품질을 실험할 수 있어 제품 개발 주기가 가속화.

제한점 및 향후 연구

• 도메인 이동 – 표준 벤치마크에서만 평가했으며, 심한 센서 노이즈나 새로운 객체 카테고리(예: 악천후에서의 LiDAR) 하에서는 성능이 검증되지 않음.
• SuperToken 수량 트레이드‑오프 – 256 토큰이 좋은 성능을 보였지만, 특정 하드웨어 예산에 맞는 최적 토큰 수는 아직 수동 튜닝이 필요.
• 다중모달 3‑D 확장 – 현재는 순수 포인트 클라우드에 초점을 맞추고 있어 RGB나 촉각 데이터와의 통합은 아직 미개발 상태.
• 이론적 보장 – SuperToken 기저가 얼마나 많은 정보를 보존할 수 있는지에 대한 정량적 분석이 부족하므로, 압축 한계에 대한 이론적 연구가 필요.

저자

• Guillaume Letellier
• Siddharth Srivastava
• Frédéric Jurie
• Gaurav Sharma

논문 정보

• arXiv ID: 2511.20721v1
• Categories: cs.CV, cs.AI, cs.LG, cs.NE
• Published: November 25, 2025
• PDF: Download PDF