웨이모 월드 모델: 자율주행 시뮬레이션의 새로운 경계

2 days ago 4

웨이모 월드 모델은 대규모 자율주행 시뮬레이션을 위한 생성형 세계 모델로, 현실과 유사한 환경을 실시간으로 재현함
Genie 3 기반으로 구축되어, 희귀하거나 극단적인 상황(토네이도, 홍수, 동물 출현 등)을 실제처럼 재현 가능
운전 제어, 장면 구성, 언어 제어를 통해 시뮬레이션을 세밀하게 조정할 수 있으며, 카메라와 라이다 데이터를 동시에 생성
일반 영상이나 대시캠 영상을 다중 센서 시뮬레이션으로 변환해 실제 주행 장면을 그대로 재현
이 모델은 안전성 검증과 서비스 확장을 위한 핵심 도구로, 현실에서 거의 불가능한 상황까지 대비할 수 있게 함

웨이모 월드 모델 개요

Waymo Driver는 미국 주요 도시에서 완전 자율주행으로 약 2억 마일을 주행했으며, 그 외에도 가상 환경에서 수십억 마일을 주행
- 실제 도로에서 마주하기 어려운 복잡한 상황을 사전에 학습하도록 설계
웨이모 월드 모델(Waymo World Model) 은 이러한 가상 주행을 위한 초현실적 시뮬레이션 생성 시스템
- Waymo의 AI 생태계 핵심 3축 중 하나로, 안전성을 입증하는 기반 역할

Genie 3 기반의 구조와 기능

Google DeepMind의 Genie 3를 기반으로 하며, 운전 환경에 특화된 형태로 조정됨
- Genie 3는 사실적이고 상호작용 가능한 3D 환경을 생성하는 범용 세계 모델
Genie의 광범위한 세계 지식을 활용해, 토네이도나 코끼리와의 조우 같은 현실에서 거의 불가능한 사건까지 시뮬레이션 가능
언어 프롬프트, 운전 입력, 장면 배치를 통해 시뮬레이션을 세밀하게 제어
카메라와 라이다 데이터를 모두 생성하는 다중 센서 출력을 지원

다중모달 세계 지식

기존 자율주행 시뮬레이터는 자체 수집 데이터만으로 학습하지만, 웨이모 모델은 Genie 3의 사전 학습된 광범위한 비디오 데이터를 활용
2D 영상 지식을 웨이모의 라이다 시스템용 3D 출력으로 전이
- 카메라는 시각적 세부 묘사에, 라이다는 정확한 깊이 정보에 강점
일상적인 주행부터 희귀한 롱테일 상황까지 다양한 장면을 생성 가능

극한 기상 및 자연재해 시뮬레이션

눈 덮인 금문교 주행, 토네이도 조우, 홍수로 잠긴 교외 지역, 열대 도시의 눈 덮인 거리, 화재 속 탈출 등의 장면 생성

희귀·안전 중요 사건

난폭 운전자, 나뭇가지에 부딪히는 차량, 짐이 불안정한 차량, 역주행 트럭 등 안전 관련 시나리오 재현

롱테일 객체 및 특이 상황

코끼리, 텍사스 롱혼, 사자, 공룡 복장의 보행자, 거대한 바람개비 등 비일상적 객체와의 조우 시뮬레이션 제공

시뮬레이션 제어 기능

운전 동작 제어, 장면 구성 제어, 언어 제어의 세 가지 방식으로 조정 가능

운전 동작 제어

특정 운전 입력에 따라 반응하는 대화형 시뮬레이터 구현
- 예: 특정 상황에서 더 적극적으로 주행했을 경우의 결과를 실험
기존 3DGS(3D Gaussian Splats) 방식보다 시각적 일관성과 사실성 유지

장면 구성 제어

도로 구조, 신호 상태, 주변 차량 행동 등을 자유롭게 수정 가능
- 사용자 지정 시나리오 생성 및 도로 환경 변형 지원

언어 제어

시간대, 날씨, 전체 장면을 텍스트 명령으로 변경 가능
- 예: 새벽, 아침, 정오, 저녁, 밤 등 시간대 전환
- 흐림, 안개, 비, 눈, 맑음 등 기상 조건 변경

영상 기반 시뮬레이션 변환

일반 카메라나 대시캠 영상을 입력으로 받아, 웨이모 드라이버 시점의 다중 센서 시뮬레이션으로 변환
- 실제 영상 기반이므로 사실성과 정확성이 높음
예시: 노르웨이, 유타주 Arches 국립공원, 캘리포니아 Death Valley 등 실제 장소 영상 변환

확장 가능한 추론(Scalable Inference)

긴 장면 시뮬레이션은 계산량이 많지만, 효율화된 모델 변형으로 고품질을 유지하며 연산량을 대폭 절감
- 좁은 차선 통과, 복잡한 교차로, 오르막길 등 장시간 주행 시나리오 지원
4배속 재생 예시: 고속도로 병목 회피, 복잡한 주택가 주행, 오르막길 오토바이 회피, SUV 유턴 등

안전성과 확장성

현실에서 거의 불가능한 상황을 가상으로 재현해 사전 대비
웨이모 드라이버의 안전 기준을 강화하고, 새로운 지역과 환경으로의 서비스 확장 기반 마련

감사 명단

프로젝트에는 Waymo와 Google DeepMind 연구진 다수가 참여
연구, 엔지니어링, 평가, 비전 수립, 리더십, 협력 등 다양한 기여자 명시

Read Entire Article