Generative AI가 장애물을 통과해 볼 수 있는 무선 비전 시스템을 개선한다

Source: MIT News - AI

MIT 연구원들은 장애물을 “통과해 보는” 기술을 이용해 로봇이 숨겨진 물체를 찾고 조작할 수 있도록 하는 방법을 10년 넘게 연구해 왔습니다. 이 방법은 은폐된 물체에 반사되는 표면 관통 무선 신호를 활용합니다.

이제 연구원들은 기존 접근 방식의 정밀도를 제한하던 오래된 병목 현상을 극복하기 위해 generative artificial‑intelligence 모델을 활용하고 있습니다. 그 결과, 보다 정확한 형태 재구성을 가능하게 하는 새로운 방법이 개발되었으며, 이는 시야가 차단된 물체를 로봇이 신뢰성 있게 잡고 조작하는 능력을 향상시킬 수 있습니다.

기술 작동 방식

1. Partial reconstruction – 반사된 무선 신호를 사용하여 숨겨진 물체의 불완전한 3‑D 모델을 구축합니다.
2. Generative AI completion – 특수하게 훈련된 생성 AI 모델이 형태의 누락된 부분을 채워줍니다.

팀은 또한 가구 전체를 포함한 전체 방을 재구성하기 위해 생성 AI를 사용하는 expanded system을 도입했습니다. 이 시스템:

• 단일 고정 레이더에서 무선 신호를 전송합니다.
• 공간 내에서 움직이는 인간으로부터 반사를 포착합니다.

“우리가 지금 한 일은 무선 반사를 이해하는 데 도움이 되는 생성 AI 모델을 개발한 것입니다. 이는 많은 흥미로운 새로운 응용 분야를 열어주지만, 기술적으로도 이전에 볼 수 없었던 빈틈을 메우는 것에서 반사를 해석하고 전체 장면을 재구성할 수 있게 되는 능력의 질적 도약입니다,” 라고 Fadel Adib, 전기공학 및 컴퓨터과학부 부교수이자 MIT Media Lab Signal Kinetics 그룹 책임자이며 이 기술에 관한 두 논문의 선임 저자가 말합니다. “우리는 AI를 사용해 마침내 무선 비전을 열었습니다.”

잠재적 적용 분야

• 창고 로봇 – 배송 전 포장된 물품을 확인하여 제품 반품으로 인한 폐기물을 줄입니다.
• 스마트‑홈 로봇 – 방 안에서 사람의 위치를 파악하여 인간‑로봇 상호작용의 안전성과 효율성을 향상시킵니다.

출판물

• 첫 번째 논문 – Link to arXiv PDF

  • 주 저자: Laura Dodds (research assistant)
  • 공동 저자: Maisy Lam, Waleed Akbar, Yibo Cheng

• 두 번째 논문 – Link to arXiv PDF

  • 주 저자: Kaichen Zhou (former postdoc)
  • 공동 저자: Laura Dodds, Sayed Saad Afzal

두 논문 모두 **IEEE Conference on Computer Vision and Pattern Recognition (CVPR)**에서 발표될 예정입니다.

Source: …

Specularity 극복

Adib Group은 밀리미터파(mmWave) 신호를 사용하여 시야에서 가려진 3‑D 객체(예: 쌓인 먼지 아래에 묻힌 지갑)를 정확히 재구성하는 방법을 이전에 시연했습니다. 이 파장은 Wi‑Fi에 사용되는 것과 동일한 유형으로, 석고보드, 플라스틱, 골판지와 같은 일반적인 장애물을 통과하고 숨겨진 물체에 반사될 수 있습니다.

Specularity 문제

• 정반사(Specular reflection): mmWave는 표면에서 한 방향으로 튕겨 나가는 경향이 있습니다. 따라서 물체 표면의 큰 부분이 센서에서 멀리 신호를 반사시켜 해당 영역이 보이지 않게 됩니다.
• 그 결과, 이전 재구성에서는 물체의 상부 표면만 포착되고 하부와 측면은 놓치게 되었습니다.

“우리가 물체를 재구성하려고 할 때, 상부 표면만 볼 수 있고 하부나 측면은 전혀 볼 수 없습니다,” 라고 Laura Dodds가 설명합니다.

반사된 신호에 대한 물리 기반 해석은 재구성 정확도를 제한했습니다. 새로운 논문들은 생성형 AI 모델을 사용해 누락된 부분을 메우는 방식으로 이 제한을 극복했습니다.

생성 모델 학습

• 데이터 부족 – 고성능 생성 모델을 학습시키기에 충분히 큰 기존 mmWave 데이터셋이 없습니다.
• 합성 적응 – 팀은 대규모 컴퓨터 비전 데이터셋의 이미지를 mmWave 반사 특성(정반사와 노이즈)을 모방하도록 변환했습니다.

“우리는 이러한 반사에서 발생하는 정반사와 노이즈 특성을 시뮬레이션해서 기존 데이터셋을 우리 도메인에 적용할 수 있게 했습니다. 새 데이터를 충분히 모으는 데는 수년이 걸렸을 겁니다,” 라고 Maisy Lam이 말합니다.

mmWave 반사의 물리적 특성을 직접 변환된 데이터에 삽입하여, 생성형 AI가 현실적인 형태 재구성을 학습할 수 있는 합성 데이터셋을 만들었습니다.

Wave‑Former 시스템

1. 제안 단계 – mmWave 반사를 기반으로 가능한 물체 표면 집합을 생성합니다.
2. 완성 단계 – 각 제안을 생성형 AI 모델에 입력하여 형태를 완성합니다.
3. 정제 단계 – 전체 재구성이 완성될 때까지 표면을 반복적으로 정제합니다.

성능

• 골판지, 목재, 석고보드, 플라스틱, 천 등 뒤 또는 아래에 숨겨진 일상적인 물체(~70개, 캔, 상자, 식기, 과일 등)를 재구성했습니다.
• 최신 최첨단 기준 대비 정확도가 거의 20 % 향상되었습니다.

“유령” 보기

같은 접근법을 확장하여 방 안에서 움직이는 인간에 대한 mmWave 반사를 활용해 전체 실내 장면을 재구성했습니다.

• 다중 경로 반사 – 인간의 움직임은 2차 반사를 생성합니다: 파동이 사람에 튕겨진 뒤 벽이나 물체에 반사되고 최종적으로 센서로 돌아옵니다.
• 이러한 2차 반사는 “유령 신호” 라고 불립니다.

보통 잡음으로 버려지지만, 유령 신호는 실제로 방 레이아웃에 대한 유용한 정보를 담고 있습니다. 이러한 반사가 시간에 따라 어떻게 변하는지를 분석함으로써 시스템은 환경에 대한 대략적인 이해를 얻고 이를 상세한 재구성으로 정교화할 수 있습니다.

“시간에 따라 이러한 반사가 어떻게 변하는지를 분석함으로써, 우리는 환경에 대한 대략적인 이해를 시작할 수 있습니다…,” 라고 Dodds가 설명합니다. (원본에서 문장이 잘렸음)

RISE: mmWave 레이더와 생성 AI를 이용한 장면 재구성 정밀화

“mmWave 레이더에서 얻는 신호는 매우 거칠어서 몇 개의 점만으로 주변을 대략적으로 파악할 수 있습니다. 하지만 이 신호를 직접 해석하려고 하면 정확도와 해상도가 제한됩니다.” — Dodds

작동 원리

• 연구진은 생성 AI 모델에 사용되는 학습 방법과 유사한 방식을 적용했습니다.
• AI는 거친 장면 재구성을 해석하고 다중 경로 mmWave 반사의 동작을 이해하도록 학습합니다.
• 모델은 빈틈을 메우며 초기 재구성을 정교화해 장면을 완전하게 완성합니다.

성능

• RISE라는 시스템은 단일 mmWave 레이더로 캡처한 100개 이상의 인간 궤적에 대해 테스트되었습니다.
• 평균적으로 RISE는 기존 기술이 만든 재구성보다 약 두 배 정도 더 정밀한 결과를 제공했습니다.

향후 방향

• 재구성의 세밀함과 디테일을 향상시킵니다.
• 언어와 비전을 위한 GPT, Claude, Gemini와 유사하게 무선 신호용 대형 기반 모델을 구축해 새로운 응용 분야를 열어갑니다.

감사의 글

본 연구는 다음 기관의 지원을 부분적으로 받았습니다:

• National Science Foundation (NSF)
• MIT Media Lab
• Amazon