구글 딥마인드, 소리까지 만드는 실시간 월드 모델 ‘지니 4’ 공개

월드 모델은 현실의 환경과 물리적 변화를 학습해, 이용자의 행동에 따라 다음에 벌어질 상황을 예측하며 가상 환경을 만들어 내는 AI다. 미리 제작된 공간을 보여주는 방식이 아니라, 이용자가 움직이거나 주변을 바꿀 때마다 새로운 장면을 계속 생성한다.

가장 큰 특징은 탐색 도중 자연어 명령으로 환경을 고칠 수 있다는 점이다. 키보드로 이동하고 시점을 조작하면서 날씨를 바꾸거나 새 사물과 인물을 불러낼 수 있고, 제미나이가 명령을 기존 장면의 맥락에 맞게 해석해 세계가 자연스럽게 이어지도록 관리한다. 소리도 새로 추가됐다. 지니 4는 구글의 실시간 월드 모델 가운데 처음으로 영상과 함께 소리를 직접 만든다. 숲에서는 바람 소리, 해변에서는 파도 소리가 나고 등장인물은 상황에 맞춰 말을 한다. 배경음악과 환경음, 대화를 별도의 후처리 없이 생성한다.

기술적으로 중요한 것은 제미나이와의 결합이다. ‘제미나이 옴니’가 사실적인 외형과 행동을 구현하고, ‘제미나이 3.8 플래시’는 가상 세계의 사건을 지켜보며 진행을 관리한다. 목표 달성에 필요한 행동을 단계별로 계획하고, 각 단계가 제대로 수행됐는지 확인하며, 이용자의 개입이나 환경 변화가 생기면 계획을 다시 조정한다. 구글은 ‘제미나이 4 아르곤’과 결합한 로봇 시뮬레이션도 공개했다. 휴머노이드 로봇의 작업을 제미나이가 여러 단계로 나누면 지니 4가 각 동작을 가상 환경에서 구현하는 방식이며, 시연에서는 앱트로닉의 ‘아폴로’가 체커 게임을 하는 장면을 재현했다.

지니 4는 지난해 공개된 지니 3의 후속이다. 지니 3는 텍스트 명령만으로 초당 24프레임, 720p 해상도의 가상 세계를 만들어 실시간으로 탐색하게 했다. 테크크런치에 따르면 지니 4는 최대 2분 동안 일관된 환경을 유지한다. 다만 구글은 구체적인 해상도와 프레임 속도, 다른 모델과의 정량 비교는 공개하지 않았다. 런웨이도 지난 9월 영상과 음성을 실시간으로 만들고 명령에 따라 장면을 바꾸는 ‘GWM 월즈 2’를 내놓았기 때문에, 음성이나 실시간 조작 자체가 지니 4만의 기능은 아니다. 구글의 차별점은 제미나이의 추론과 월드 모델을 실시간으로 연결했다는 데 있다.

게임 산업에 미칠 영향도 관심사다. 구글이 지난 1월 지니 3 기반의 ‘프로젝트 지니’를 내놓자 유니티 주가는 20% 안팎, 로블록스는 10% 넘게 떨어졌다. 하지만 현재 기술로 기존 게임 엔진을 대체하기는 어렵다. 시뮬레이션이 길어지거나 명령이 여러 번 바뀌면 사물의 모양과 위치가 달라질 수 있고, 복잡한 물리 상호작용과 공간 정확도, 음성의 정확성, 화면 속 글자 생성도 개선 과제로 남아 있다.

구글은 지니 4를 지금은 제한된 외부 시험 이용자에게 연구용으로 제공한다. 앞으로 ‘프로젝트 지니’를 통해 구글 AI 울트라 구독자에게, 제미나이 API와 구글 AI 스튜디오의 일부 개발 파트너에게도 공개할 계획이다. 구글은 언어 모델의 논리적 추론과 월드 모델의 시각적 시뮬레이션을 합친 ‘하이브리드 월드 모델’을 차세대 방향으로 제시했다.