Google의 Genie 월드 모델이 이제 Street View로 실제 거리를 시뮬레이션할 수 있습니다

Source: TechCrunch

Overview

Google DeepMind는 이제 Project Genie와 Street View를 연결하여, 다양한 인터랙티브 환경을 생성할 수 있는 범용 세계 모델을 제공합니다. 구글 I/O 개발자 컨퍼런스에서 발표된 이 통합 기능을 통해 사용자는 날씨나 계절과 같은 조정 가능한 조건으로 실제 거리들을 시뮬레이션할 수 있게 되었습니다.

Integration with Project Genie

• Project Genie는 텍스트 프롬프트나 이미지로부터 인터랙티브한 환경을 만드는 DeepMind의 세계 모델입니다.
• 새로운 기능은 110개 국가에서 수집된 2,800억 장 이상의 Street View 이미지를 Genie에 추가하여, 실제 위치에 기반한 시뮬레이션을 가능하게 합니다.
• 초기에는 미국 내 Google AI Ultra 구독자에게 제공되며, 향후 몇 주 안에 전 세계로 확대될 예정입니다.

“에이전트[와 로봇] 사용 사례와 인간이 직접 활용하는 경우 모두에 정말 강력한 도구이며, 그것이 바로 Genie의 핵심 논제였습니다,” 라고 DeepMind 개방성 팀의 연구 과학자 잭 파커‑홀더(Jack Parker‑Holder)가 말했습니다.

Example Use Cases

• Robotics: 희귀한 조명 조건(예: 런던의 화창한 날) 시뮬레이션을 통해 로봇이 예상치 못한 눈부심에 충격을 받는 일을 방지합니다.
• Human Exploration: 뉴욕시 블록을 눈이 내리는 상황이나 다른 날씨 시나리오로 관람합니다.
• Training Simulators: Waymo는 이미 Genie 3을 사용해 희귀 사건에 대한 자율주행 차를 훈련시키고 있으며, Street View 데이터를 추가하면 더 많은 도시에서 테스트를 확장할 수 있습니다.

Technical Details

• Street View 데이터는 카메라가 장착된 차량과 “트래커 백팩”을 통해 20년 동안 수집되어 사실상 전 세계를 포괄합니다.
• Genie는 이 실제 세계 이미지를 생성 능력과 결합해, 차량 시점에서 인간, 로봇 또는 기타 에이전트의 시점으로 시점 전환을 가능하게 합니다.
• 현재 시뮬레이션은 사진처럼 사실적인 수준이 아닌 비디오 게임 수준이며, 물리 엔진 인식이 완전하지 않아(예: 캐릭터가 물체를 통과할 수 있음) 제한이 있습니다.

Limitations

• Visual Fidelity: 결과는 인식 가능하지만 사진처럼 사실적이지는 않습니다.
• Physics Awareness: 모델은 아직 원인과 결과를 이해하지 못해 물체가 비현실적으로 교차할 수 있습니다.
• Accuracy Timeline: 파커‑홀더는 모델이 “영상 대비 6~12개월 뒤처진” 수준이라고 추정하며, 곧 개선될 것으로 기대합니다.

Perspectives from Google

• Jonathan Herbert, Google Maps 담당 이사는 Genie가 아직 완벽하게 정확한 거리 재구성을 만들지는 못하지만, 360° 회전 뒤의 환경을 기억하고 시뮬레이션하는 공간 연속성은 큰 돌파구라고 언급했습니다.
• Diego Rivas, DeepMind 제품 매니저는 Street View 통합이 아직 실험 단계이며, 정확성을 높이기 위한 작업이 지속되고 있다고 강조했습니다.

Future Outlook

이 기능을 교육 경험, 게임, 로봇 훈련 등 다양한 분야에 널리 제공하는 것이 목표입니다. 모델이 수동 관찰을 통해 학습함에 따라 물리 이해와 시각적 사실성이 향상되어 진정한 사진 실감 세계 시뮬레이션에 한 걸음 더 다가갈 것으로 기대됩니다.