GWM Worlds 2 소개
Runway가 2026년 9월 3일 공개한 GWM Worlds 2 는 사용자의 입력에 반응해 720p 영상과 48,000Hz 음향을 실시간으로 계속 만들어내는 인터랙티브 월드 모델(Interactive World Model)입니다. 월드 모델은 환경의 내부 표현을 만들어 두고 그 환경에서 벌어질 다음 사건을 시뮬레이션하는 모델을 뜻합니다. 게임 엔진처럼 미리 제작한 3D 자산을 렌더링하는 것이 아니라 화면 자체를 프레임 단위로 생성하기 때문에 만들 수 있는 장면에 제한이 없지만, 대신 조작에 즉시 반응할 만큼 빨라야 하고 오래 이어져도 화면이 무너지지 않아야 한다는 두 가지 요구를 동시에 만족시켜야 합니다.
Runway는 2023년 12월 General World Models라는 연구 방향을 제시한 뒤, 2025년 12월 GWM-1이라는 첫 월드 모델 계열을 발표했습니다. 모델명 앞에 붙은 GWM 은 그 연구 방향의 이름인 범용 월드 모델(General World Model)의 약자입니다. GWM-1은 영상 생성 모델 Gen-4.5 위에 올린 자기회귀(Autoregressive) 모델로, 탐험 가능한 환경을 담당하는 GWM Worlds, 대화하는 캐릭터를 담당하는 GWM Avatars(현재는 Runway Characters로 불립니다), 로봇 조작을 담당하는 GWM Robotics 세 변형으로 나뉘어 있었습니다. GWM-1 계열은 이때부터 카메라 포즈, 발화, 로봇 명령을 액션으로 받았고, 이 중 GWM Worlds는 정적인 장면 하나를 주면 그 안을 무한히 탐험할 수 있는 공간으로 넓히면서 긴 이동 구간에서도 공간 일관성을 잘 유지하는 것이 강점이었습니다. 세계의 물리도 입력 프롬프트로 정의할 수 있어서, 자전거를 타라고 지시하면 땅에 붙어 달리고 비행을 지시하면 하늘을 날았습니다. 다만 그 프롬프트는 세계 전체를 한 번 규정하는 성격이었고, 장면 안의 특정 대상에게 시점을 지정해 사건을 지시하는 수단은 없었습니다.
이번 GWM Worlds 2가 그 지점에서 달라진 부분은 두 가지입니다. 하나는 음향 생성 입니다. 기반 모델을 영상 전용이 아닌 영상과 음향을 함께 생성하는 모델로 바꿨기 때문에, 발소리와 바람 소리 같은 환경음은 물론 등장인물의 대사까지 화면과 같은 스트림에서 나옵니다. 영상과 음향을 한 모델에서 동시에 만드는 접근은 LTX-2나 Ovi 같은 오프라인 생성 모델에서 이미 자리를 잡았는데, 그것을 실시간 인터랙티브 루프 안으로 끌고 들어온 것이 이번 발표의 첫 축입니다. 이 음향이 어디서 왔는지는 GWM-1 발표문에 단서가 있습니다. 같은 문서가 Gen-4.5의 네이티브 음향 생성과 음향 편집 기능 추가를 함께 알리고 있어서, GWM Worlds 2가 말하는 기반 모델은 그 계열이 음향을 얻은 뒤의 버전으로 보입니다. GWM Worlds 2 발표문 자체는 기반 모델의 이름을 밝히지 않습니다.
다른 하나는 조작 대상의 분리 입니다. 원문은 사용자가 하는 일을 두 국면으로 나눠 적습니다. 세계에 들어가기 전에는 환경, 등장 대상, 시각 스타일, 물리 규칙, 분위기 다섯 가지를 정의하고, 들어간 뒤에는 카메라를 계속 움직이면서 텍스트 액션으로 세계를 조종합니다. 그 액션은 특정 등장 대상에게 보낼 수도 있고 장면 자체에게 보낼 수도 있습니다. 검을 휘두르는 동작, 대사 한 줄, 방을 물로 채우는 사건, 밀려오는 모래폭풍처럼 말로 적을 수 있는 것이면 모두 액션이 됩니다. 키보드와 게임패드의 조작 체계가 미리 정해 둔 이산적 행동 집합에 묶여 있는 것과 달리, 여기서는 행동 집합의 크기가 문장으로 쓸 수 있는 것 전체입니다.
그리고 세션에 정해진 길이가 없습니다. 모델은 고정된 클립이나 미리 정해 둔 스크립트를 따라가는 대신 새 입력이 들어온 지점에서 계속 이어 생성합니다. Runway는 이 성질이 인터랙티브 엔터테인먼트, 가상 캐릭터, 로보틱스와 체화 에이전트(Embodied Agent) 시뮬레이션, 생성형 디자인과 인터페이스의 토대가 된다고 봅니다. 다만 현재 상태는 리서치 프리뷰(Research Preview) 이고, 가중치나 논문은 공개되지 않았으며 접근은 문의 양식을 통한 신청으로만 열려 있습니다.
9개월 사이에 무엇이 바뀌었는지를 Runway의 두 발표를 나란히 놓고 정리하면 다음과 같습니다.
| 항목 | GWM Worlds (2025년 12월) | GWM Worlds 2 (2026년 9월) |
|---|---|---|
| 주 제어 수단 | 카메라 포즈와 발화, 세계를 한 번 규정하는 입력 프롬프트 | 카메라 + 등장 대상 및 장면에 수신자를 지정한 텍스트 액션 |
| 음향 | 없음 | 48,000Hz 음향 동시 생성 |
| 출력 | 실시간 영상 | 720p 24fps 영상과 음향 |
| 세션 길이 | 실시간 탐험 | 제한 없음, 입력마다 이어서 생성 |
| 입력 형식 | 정적 장면과 프롬프트 | WorldPrompt (지속 맥락 + 이벤트 스트림) |
| 다중 사용자 | 해당 없음 | 역할(Role) 단위 멀티플레이 |
위 표에서 가장 성격이 다른 칸은 주 제어 수단입니다. 카메라만 쥐고 있던 손에 대사와 연출까지 얹힌 것이고, 나머지 칸의 변화는 대부분 그 결과입니다.
아래는 같은 사막 세계를 세 가지 방식으로 다룬 데모입니다. 먼저 1인칭으로 생존자를 직접 조작하는 쪽입니다. 왼손에 수통, 오른손에 창을 든 시점이고, 좌상단에는 체력, 스태미나, 수분, 허기를 뜻하는 아이콘이 붙은 상태 바 네 개가, 우하단에는 시각과 경과 일수가 적힌 게임 UI가 화면 안에 함께 그려져 있습니다. 수분과 허기 바가 비어 가는 상태로 그려져 있어서, 수통으로 물을 마시는 동작이 그 화면과 맞물립니다. 생존자는 이동하면서 창을 내지르고 수통으로 물을 마시다가 달리기 시작합니다.
다음은 같은 세계를 연출자 자리에서 다룬 쪽입니다. 인물을 조작하는 것이 아니라 모닥불과 날씨에게 액션을 보내서, 불꽃이 크게 일렁이고 노을이 별이 뜬 밤으로 넘어갑니다.
마지막은 둘을 동시에 돌린 쪽입니다. 한 사람이 생존자를 조작해 사막을 건너는 동안 다른 한 사람이 그 주변의 장면을 바꿉니다.
세계를 지속되는 것과 변하는 것으로 갈라 적는 WorldPrompt
세계를 풍부하게 조작하려면 그 조작을 담을 입력 표현이 먼저 필요합니다. Runway는 여기서 "하나의 세계는 두 종류의 상태로 쪼갤 수 있다" 는 관찰에서 출발합니다. 계속 유지되는 것과 시간이 지나며 바뀌는 것입니다. 이 구분을 형식화한 것이 WorldPrompt 이고, 서로를 보완하는 두 개의 층으로 이뤄져 있습니다.
첫 번째 층은 지속되는 세계 맥락(Persistent World Context) 입니다. 여기에는 제네시스 프롬프트(Genesis Prompt)와 첫 프레임이 들어갑니다. 제네시스 프롬프트는 다시 세 조각으로 나뉩니다.
-
장면(Scene): 환경과 그 배치, 재질, 조명, 그리고 배경에 깔리는 소리까지 서술합니다. 소리가 장면 서술의 일부라는 점이 영상 전용 월드 모델과 다른 부분입니다.
-
등장 대상(Subjects): 사건에 참여할 수 있는 대상과 그 속성을 적습니다. 사람뿐 아니라 날씨나 배경 음악처럼 사람이 아닌 것도 등장 대상이 될 수 있고, 사람인 경우 목소리의 성별 같은 속성까지 적습니다.
-
법칙(Laws): 행동을 지배하는 재사용 가능한 규약입니다. 중력과 충돌 같은 물리에서 캐릭터의 능력, 그리고 카메라 시점까지 여기에 들어갑니다.
첫 프레임은 이 서술을 시각적으로 고정하는 역할을 합니다. 텍스트만으로는 같은 문장에서 무한히 많은 그림이 나오므로, 이미지 한 장을 기준점으로 박아 두는 것입니다.
두 번째 층은 타임스탬프 이벤트 스트림(Timestamped Event Stream) 입니다. 이동, 몸짓, 물체와의 상호작용, 발화, 소리를 서술하는 액션들이 여기 놓입니다. 각 액션은 시작과 끝 타임스탬프를 가진 자유 형식 텍스트 프롬프트이고, 특정 등장 대상 또는 장면 자체를 수신자로 지정합니다. 여러 액션이 시간축에서 겹칠 수 있습니다. 여기에 프레임마다의 시점 이동과 회전을 나타내는 카메라 입력이 함께 들어갑니다.
아래는 Runway가 자기 데이터셋에서 가져와 공개한 실제 예시로, 두 인물이 길모퉁이에서 짧게 대화하는 장면을 WorldPrompt로 적은 것입니다. 왼쪽이 첫 프레임, 오른쪽이 제네시스 프롬프트의 세 조각입니다.
법칙 항목을 보면 "중력은 지구처럼 작동하여 낙엽이 젖은 인도에 평평하게 놓인다. 카메라는 초록 트렌치코트를 입은 여성을 3인칭 시점으로 따라간다" 처럼, 물리 규칙과 카메라 규약이 같은 문단에 나란히 적혀 있습니다. 물리와 연출을 별도의 파라미터로 두지 않고 둘 다 자연어 규약으로 취급하는 것이 이 형식의 특징입니다. 자연어를 행동 인터페이스로 쓰는 시도 자체는 Qwen-RobotWorld 같은 체화 월드 모델에서도 보이는 흐름인데, WorldPrompt는 그 자연어를 "누구에게" 와 "언제부터 언제까지" 라는 두 개의 축에 붙여 놓았다는 점이 다릅니다.
같은 예시의 이벤트 스트림은 이렇게 생겼습니다. 등장 대상마다 발화(speech)와 동작(action) 두 개의 레인을 갖고, 그 위에 액션 막대가 시간순으로 놓입니다.
여기서 눈여겨볼 것은 발화가 다른 액션과 동등하게 취급된다 는 점입니다. 대화를 따로 다루는 모듈이 있는 것이 아니라, 말할 대사를 실은 액션이 낙엽을 쓰는 액션과 같은 레인 체계에 올라갑니다. 그래서 청소원이 "저쪽으로 곧장 가시면" 이라고 말하면서 동시에 앞을 가리킬 수 있고, 여성의 "실례합니다" 와 청소원의 낙엽 쓸기가 시간축에서 겹칠 수 있습니다.
양방향 모델을 실시간 자기회귀 모델로 바꾸는 두 단계
WorldPrompt라는 형식이 정해졌으면 모델이 그 형식을 읽을 수 있어야 합니다. Runway는 자체 기반 영상 음향 생성 모델을 가져와 WorldPrompt 형식으로 미세조정(Fine-tuning) 합니다. 이 단계의 결과물은 형식을 제대로 따릅니다. 지정한 등장 대상이 지정한 시점에 지정한 동작과 대사를 수행하는 것을 확인할 수 있습니다.
그러나 이 미세조정 모델은 실시간으로 쓸 수 없습니다. 이유가 두 가지입니다. 첫째, 여전히 너무 느립니다. 둘째, 아직 양방향(Bidirectional) 모델이라 자기회귀적으로 생성할 수 없습니다. 양방향 모델은 시퀀스 전체를 한꺼번에 보면서 각 프레임이 뒤쪽 프레임까지 참조하도록 학습된 모델이므로, 정의상 "다음 프레임을 지금 당장 하나 더" 라는 요청에 답할 수 없고 생성 길이도 학습 시 정해진 구간에 묶입니다.
그래서 Runway는 이 양방향 모델을 사후 학습(Post-training) 으로 실시간 자기회귀 모델로 바꿉니다. 이렇게 만들어진 것이 GWM Worlds 2입니다. 양방향 모델과 달리 고정 길이에 갇히지 않고 무한히 이어 생성할 수 있습니다. 양방향 디퓨전 모델을 인과적 자기회귀 생성기로 옮기는 이 흐름은 최근 실시간 영상 생성 연구가 공통으로 밟는 경로이고, 프레임 단위 예측과 전체 시퀀스 디퓨전을 잇는 Diffusion Forcing이 이 방향에서 널리 인용되는 연구입니다. 다만 GWM Worlds 2 발표문은 사후 학습을 어떤 기법으로 했는지 밝히지 않으므로, 두 연구가 이어져 있다고 볼 근거는 이 글에 없습니다. 오픈소스 쪽에서 같은 구조를 최소 구성으로 확인해 보려면 Nano World Model이 참고할 만한 출발점입니다.
WorldPrompt 구조는 사후 학습 이후에도 그대로 적용되지만, 이제 세계가 노는 동안 반응합니다. 아래 데모들은 모두 24fps로 실시간 생성된 것으로, 사용자가 등장 대상과 장면에게 텍스트 액션을 보내고 카메라를 계속 움직이면서 만든 결과입니다. 반복해 쓰는 액션은 키에 바인딩해 빠르게 쓸 수 있습니다.
한 가지 단서를 붙여 두어야 합니다. Runway는 뒤쪽 데모 절에서, 이 실시간 생성 절의 영상 중 일부는 액션을 미리 작성해 두는 사전 작성 방식으로 만들었다 고 밝힙니다. 즉석에서 문장을 떠올리지 않고 풍부한 액션을 미리 써 두기 위해서였고, 나머지 대부분은 실시간 방식을 구현한 자사 데모로 만들었다고 합니다. 프레임이 실시간으로 생성됐다는 것과 액션 문장까지 즉석에서 만들어졌다는 것은 다른 얘기이므로, 아래 영상들을 볼 때는 이 구분을 염두에 둘 필요가 있습니다.
모델은 1인칭과 3인칭 이동을 모두 지원하고, 걷기, 운전, 탑승 같은 이동 방식이 모두 가능합니다. 그리고 카메라와 등장 대상을 독립적으로 조작할 수 있습니다. 아래는 숲길을 달리는 지프를 3인칭으로 따라가는 세션입니다.
이쪽은 눈 덮인 설원을 달리는 오프로드 바이크입니다.
같은 형식이 사람의 이동과 관계없는 장면에도 적용됩니다. 아래는 극장 객석에서 무대를 바라보는 세션으로, 카메라는 거의 고정된 채 무대 위 사건이 중심입니다. 재생하는 동안 무대 조명이 흰색에서 붉은색으로 넘어가고 연기가 터지는데, 사람이 아닌 대상에게 보내는 액션이 화면에서 어떻게 보이는지를 잘 보여주는 장면입니다.
매 스텝이 보는 세 종류의 맥락: 모델 구조
GWM Worlds 2는 720p 24fps 영상과 48,000Hz 음향을 생성하는 자기회귀 디퓨전(Autoregressive Diffusion) 영상 음향 모델입니다. 자기회귀 스텝마다 다음 세 종류의 맥락에 조건을 걸어 다음 프레임을 만듭니다.
-
전역 맥락(Global Context): 제네시스 프롬프트와 첫 프레임입니다. 세션이 끝날 때까지 바뀌지 않으며, 모든 스텝이 이것을 봅니다.
-
현재 프레임의 입력: 그 프레임의 카메라 입력과, 그 프레임을 걸치고 있는 텍스트 액션들입니다. 액션은 구간을 가지므로 한 액션이 여러 프레임에 걸쳐 조건으로 들어갑니다.
-
과거 생성 프레임: 이미 만들어 낸 프레임들이며, 슬라이딩 윈도우(Sliding Window) 방식의 KV 캐시(KV Cache)에 담깁니다. 윈도우를 벗어난 오래된 프레임은 캐시에서 밀려납니다.
영상 디코더와 음향 디코더는 모두 인과적(Causal) 이고 자체 캐시를 사용해 디코딩 속도를 높입니다. 인과적이라는 것은 디코더가 미래 프레임을 참조하지 않는다는 뜻이고, 그래야 아직 만들지 않은 뒤쪽 없이도 지금 프레임을 내보낼 수 있습니다.
발표문에 적힌 숫자는 공개된 데모 파일에서 직접 확인할 수 있습니다. 원문에 걸린 영상 24개를 훑어보면 18개가 1216x704 해상도이고, Runway가 첫 프레임으로 올려 둔 이미지 자산도 같은 1216x704입니다. 1216과 704는 모두 64의 배수인데(각각 19배와 11배), 생성 모델은 해상도를 이런 배수로 맞추는 것이 보통이고 720은 64로 나누어지지 않습니다. 원문의 720p는 704를 익숙한 이름으로 부른 표현으로 보입니다. 나머지 6개는 데모 화면을 캡쳐한 것이거나 다른 크기로 다시 인코딩된 파일입니다. 음향은 24개 중 23개가 48,000Hz 트랙을 싣고 있어서 발표문의 수치와 맞습니다.
이 조건화를 어텐션 수준에서 보면 아래와 같은 패턴이 됩니다. 모든 토큰이 전역 토큰(첫 프레임과 제네시스 프롬프트)에 어텐션하고, 각 프레임의 영상, 텍스트, 음향 토큰은 자기 자신과 슬라이딩 KV 캐시 윈도우 안의 과거 프레임에 인과적으로 어텐션합니다. 오래된 프레임은 밀려나고, 전역 토큰은 자기끼리만 어텐션합니다. 프레임 하나는 v(영상), a(음향), t(텍스트), c(카메라) 네 종류의 토큰으로 이뤄집니다.
행렬을 세로로 훑으면 왼쪽 두 열(전역 토큰)만 위에서 아래까지 끝까지 밝게 살아 있고, 나머지는 대각선 아래로만 채워집니다. 그리고 맨 아래 현재 프레임 행에서 f1 열이 어둡게 비어 있는 것이 슬라이딩 윈도우 어텐션이 실제로 작동하는 흔적입니다. 첫 프레임과 제네시스 프롬프트를 전역 토큰으로 따로 떼어 놓은 이유가 여기서 드러납니다. 과거 프레임은 윈도우 밖으로 밀려나 잊히지만, 세계의 정체성을 담은 부분은 밀려나지 않아야 하기 때문입니다.
이 설계는 아래 한계 절에서 Runway가 인정하는 "불완전한 장기 기억" 과 정확히 맞물립니다. 무한히 이어 생성하려면 어텐션 비용을 상수로 눌러야 하고, 그러려면 과거를 버려야 합니다. 이렇게 보면 WorldPrompt의 지속 맥락 층은, 그렇게 버려질 수밖에 없는 과거 중에서 "버려서는 안 되는 것" 을 사람이 미리 적어 두는 자리이기도 합니다. Runway가 그 목적으로 이 층을 뒀다고 적은 것은 아니고, 발표문은 지속 상태와 변하는 상태를 나눈다는 관찰에서 이 형식을 끌어냅니다.
같은 모델을 쓰는 세 가지 방식
모델 자체는 WorldPrompt를 받아 영상과 음향을 내놓는 함수이므로, 이벤트 스트림을 언제 채우느냐에 따라 사용 방식이 갈립니다. Runway는 세 가지를 제시합니다.
| 방식 | 액션을 적는 시점 | 생성의 흐름 | 적용 사례 |
|---|---|---|---|
| 사전 작성(Ahead of time) | 시작 시 타임스탬프 이벤트 스트림을 한 번에 작성 | 전체 영상과 음향을 한 번에 생성 | 영화 제작, 광고 |
| 턴 기반(Turn-based) | 결정 지점마다 사용자가 액션 선택 | 결정 지점까지 생성한 뒤 대기, 선택 후 재개 | 비주얼 노벨, 인터랙티브 필름 |
| 실시간(Real-time) | 생성이 흐르는 동안 아무 때나 | 멈추지 않고 계속 생성, 액션이 즉시 반영 | 게임, 인터랙티브 경험 |
사전 작성과 턴 기반에서는 사용자가 직접 문장을 쓰는 대신 LLM이 액션을 대신 써 주는 구성도 가능합니다. 반면 실시간 방식이 가장 어렵습니다. 텍스트가 낮은 지연 시간(Latency)으로 준비돼 있어야 하는데, 사용자에게 액션을 타이핑하게 하면 너무 느리고, 비전 언어 모델(Vision Language Model, VLM) 조차 수십 밀리초 안에 반응하지는 못하기 때문입니다.
데모가 실제로 하는 일: 키에 프롬프트를 미리 묶는 우회
Runway의 데모는 이 지연 문제를 우회하는 방식으로 실시간 방식을 구현합니다. 문장을 즉석에서 만들어 내는 대신 키와 마우스 입력을 미리 만들어 둔 프롬프트에 묶습니다. W 키가 "캐릭터가 앞으로 이동한다", 좌클릭이 "캐릭터가 공을 던진다" 가 되는 식입니다.
Runway는 이 방식의 한계도 함께 적어 두었습니다. 현재로서는 사전 작성 방식이 더 좋은 품질을 낸다고 밝히면서, 그 이유를 텍스트 프롬프트가 장면을 훨씬 더 많이 서술할 수 있기 때문이라고 설명합니다. 예를 들어 뒤를 돌아보는 상황에서 사전 작성이라면 새로 보이게 될 장면 전체를 미리 서술해 줄 수 있지만, 실시간 데모에서는 모델이 지속 맥락과 이전 프레임 외에는 기준점 없이 모든 세부를 스스로 채워 넣어야 합니다. 조작의 즉시성과 화면의 충실도가 맞바꿔지는 관계라는 것을 스스로 인정한 셈입니다.
즉, 실시간 방식에서 병목은 생성 모델이 아니라 액션 텍스트를 만들어 내는 쪽 입니다. 이 문제를 다른 입력 양식으로 우회하려는 시도도 있습니다. 예를 들어 Vidu S1은 음성과 텍스트, 참조 이미지를 함께 조건으로 받되 실시간 개입 수단으로는 음성을 쓰고, JoyAI-Video-Edit은 흐르는 스트림에 자연어 편집 지시를 얹는 방식을 택합니다. 조작 신호를 무엇으로 받을 것인가는 실시간 영상 생성에서 아직 정해지지 않은 설계 선택지입니다.
아래는 그 실시간 데모 세션입니다. 눈 내린 협곡의 마법사를 직접 플레이한 것으로, 키와 마우스 바인딩이 미리 만들어 둔 액션 프롬프트를 발사하고 마우스 움직임이 카메라를 조종합니다. 화면 아래쪽에 데모 자체의 액션 타임라인이 함께 흐릅니다.
이미 있는 영상에서 이어 놀기
세션을 이미지 한 장에서 시작하는 대신, 기존 영상으로 생성을 프리필(Prefill) 해 그 지점부터 이어 놀 수도 있습니다. 아래 예시는 8초 길이의 생성 영상을 프리필한 뒤 그 다음부터 실시간으로 조작한 세션입니다. 모델이 입력 영상의 환경과 음향을 일관되게 유지하는 것을 확인할 수 있습니다. 앞 8초가 프리필 구간이고, 그 뒤로는 플레이어가 보낸 액션이 타임라인에 이어 붙습니다.
프리필이 붙으면서 이 모델은 "처음부터 만드는 세계" 뿐 아니라 "이미 촬영되거나 생성된 영상의 뒤를 잇는 세계" 도 다룰 수 있게 됩니다. 첫 프레임 하나를 기준점으로 삼는 것보다 8초 구간을 기준점으로 삼는 편이 환경과 소리의 성격을 훨씬 촘촘히 지정하므로, 앞서 언급한 "텍스트가 서술할 수 있는 양" 의 한계를 다른 방향에서 보완하는 수단이기도 합니다.
에이전트에게 컨트롤러를 넘기면
액션이 자연어 텍스트라는 사실은 사람 대신 에이전트가 액션을 쓰도록 하는 길을 자연스럽게 열어 줍니다. Runway는 서로 다른 등장 대상의 액션을 각각 에이전트가 맡도록 하는 구성을 보여줍니다. 아래 예시에서는 한 에이전트가 캐릭터를 조작해 이동과 공격을 수행하고, 다른 에이전트가 환경을 조작해 조명을 연출합니다. 선화 스타일로 그려진 성 내부라는 점도 눈여겨볼 만한데, 시각 스타일 역시 사용자가 정의하는 항목이기 때문입니다.
Runway가 여기서 도출하는 함의는 이렇습니다. 이 구성이 성립하면 GWM Worlds 2는 콘텐츠 생성 도구가 아니라 에이전트를 평가하고 학습시키는 시뮬레이션 환경 이 됩니다. 다양한 환경을 텍스트로 즉석에서 만들어 낼 수 있으므로, 환경을 손으로 제작해야 하는 기존 시뮬레이터의 병목을 우회할 수 있다는 주장입니다. 이 주장이 얼마나 무게가 있는지는 같은 회사가 인접 도메인에서 내놓은 숫자로 가늠할 수 있습니다. Runway Robotics 팀은 2026년 2월 로봇 정책 평가를 월드 모델로 가속하는 연구에서 로봇 조작 정책 8개를 GWM-Robotics 안에서 시뮬레이션하고 실제 하드웨어 결과와 비교했는데, 시뮬레이션 점수와 실제 점수의 상관계수가 0.95로 나왔다고 보고했습니다. 3D 가우시안 스플래팅으로 실제 장면을 재구성하는 real-to-sim 프레임워크 PolaRiS보다 좋았고, 최대 30초 롤아웃을 실시간으로 생성했다고 합니다. 스캔과 수동 물체 배치가 필요한 쪽과 달리 시작 이미지만 넣으면 된다는 점도 차이로 들었습니다. GWM-1 계열에서도 OpenVLA나 openpi 같은 시각 언어 행동(Vision Language Action, VLA) 모델을 실제 로봇에 배포하지 않고 월드 모델 안에서 테스트하는 사용례를 제시한 바 있습니다.
물론 이 0.95는 로봇 조작 정책을 GWM-Robotics로 평가한 숫자이고, GWM Worlds 2로 게임 속 에이전트를 평가한 숫자가 아닙니다. 그래도 "월드 모델을 하드웨어 대신 쓴다" 는 주장이 같은 회사 안에서 한 번은 정량적으로 검증된 적이 있다는 사실은, 이번 발표의 시뮬레이션 환경 이야기를 읽는 기준선이 됩니다.
영상 백본으로 로봇 정책을 학습하는 흐름 전반에 대해서는 다음 글(World Action Model의 부상)을 참고해주세요:
에이전트에게 목표를 주는 실험도 있습니다. Runway는 휴머노이드 로봇 하나와 왼쪽의 붉은 깃발, 오른쪽의 파란 깃발이 있는 세계를 생성한 뒤, 로봇이 앞뒤좌우로만 움직일 수 있도록 제한했습니다. 그리고 에이전트에게 붉은 깃발 또는 파란 깃발로 이동하라고 지시했을 때 두 경우 모두 첫 시도에서 성공했고, 붉은 깃발에 먼저 간 다음 파란 깃발로 가라는 지시도 성공했다고 밝혔습니다.
이 실험은 규모가 작고 성공 사례만 제시돼 있어서, 여기서 에이전트의 능력을 읽어 내기는 어렵습니다. 오히려 읽어야 할 것은 평가 루프가 닫힌다 는 사실입니다. 목표를 지시하면 에이전트가 액션을 고르고, 그 액션이 생성 스트림을 바꾸고, 바뀐 화면이 다시 에이전트의 관측이 됩니다. 이 루프가 자연어 액션 하나로 이어진다는 것이 요점입니다. 월드 모델을 에이전트의 상태 추적 장치로 쓰려는 시도는 Code World Model처럼 다른 양식에서도 나오고 있어서, 무엇을 세계의 상태로 삼을 것인가가 각 접근을 가르는 축이 되고 있습니다.
여러 사람이 각자 다른 대상을 맡는 멀티플레이
액션에 수신자를 지정한다는 설계는 사용자를 여러 명으로 늘리는 것도 자연스럽게 만듭니다. 사용자마다 다른 등장 대상을 조작하게 하면 멀티플레이가 되고, 한 사용자에게 세계 전체를 맡기면 연출자 역할이 됩니다.
데모는 이것을 역할(Role) 이라는 개념으로 구현합니다. 플레이어 1, 플레이어 2, 연출자 같은 각 역할이 자기 등장 대상에게 보낼 자기만의 액션 집합을 갖습니다. 영상과 음향을 접속한 모든 사람에게 브로드캐스트하는 데에는 LiveKit을 사용하고, 각 클라이언트가 서로 다른 역할을 선택해 참여합니다. 실시간 오디오 비디오 스트림을 다루는 기존 오픈소스 인프라를 그대로 가져다 붙인 구성입니다. 생성 모델 쪽에 새 전송 계층을 만드는 대신 이미 검증된 스택에 실어 보낸 셈입니다.
LiveKit으로 실시간 음성 및 영상 에이전트를 구축하는 방법에 대해서는 다음 글을 참고해주세요:
한 줄 프롬프트에서 프리셋까지: 세계 저작
WorldPrompt는 표현력이 넓은 대신 손으로 쓰기에는 양이 많습니다. 제네시스 프롬프트 세 조각과 등장 대상별 액션 목록, 그리고 그 액션들의 키 바인딩까지 직접 타이핑해야 세션 하나가 시작됩니다. 그래서 데모는 이 작성 과정 자체를 LLM에게 맡깁니다.
사용자는 "눈 덮인 풍경에서 3인칭 시점 오프로드 바이크" 처럼 간단한 프롬프트 한 줄만 적습니다. 그러면 첫 프레임 이미지가 생성되고, 모델이 제네시스 프롬프트와 역할, 액션을 채워 넣습니다. 아이디어에서 세계까지 수 초 안에 도달한다는 것이 Runway의 설명입니다.
화면에 드러난 세부 하나를 짚어 두면, 첫 프레임 생성 모델을 고르는 드롭다운에 Gemini 3.1 Flash Image (fast)가 선택돼 있습니다. 세계의 시각적 기준점을 잡는 자리에는 자사 모델 대신 빠른 외부 이미지 모델을 붙여 둔 구성입니다. 참조 이미지를 추가하는 선택지도 함께 제공됩니다.
생성 결과는 아래처럼 편집 가능한 필드로 떨어집니다. 장면 서술, 번호가 붙은 등장 대상 목록, 그리고 세계 규칙이 각각 별도 입력란으로 나뉘고, 규칙 문장 안에서 등장 대상을 [0] The runner 같은 참조로 지목합니다. 여기서 등장 대상이 사람 하나(달리는 사람), 날씨, 배경 음악 세 항목으로 잡혀 있다는 점이 앞서 본 등장 대상 개념의 폭을 잘 보여줍니다.
역할과 키 바인딩도 함께 생성됩니다. 아래 화면에서 player 역할은 마우스로 카메라를 조작하고 director 역할은 AI에게 맡겨져 있으며, 그 아래로 키마다 액션 문장이 지정돼 있습니다. W가 "해안선을 따라 앞으로 이동한다", space가 "밀려오는 파도를 물을 튀기며 뛰어넘는다" 같은 식이고, 각 액션은 수신 대상과 발동 방식(누르는 동안 유지되는 hold, 한 번 눌러 일정 시간 지속되는 latch)을 갖습니다.
이 화면이 실시간 방식의 실제 조작 감각을 가장 잘 보여줍니다. 사용자가 실시간으로 만들어 내는 것은 문장이 아니라 키 입력이고, 문장은 전부 미리 준비된 것입니다. director 역할에 붙은 액션들("별이 반짝이기 시작하며 짙은 보라색 황혼으로 어두워진다", "먼 언덕을 가리는 두꺼운 해안 안개가 몰려온다")이 사람이 아닌 등장 대상에게 보내는 액션의 실제 모양입니다.
한계와 남은 문제
Runway는 GWM Worlds 2가 리서치 프리뷰이며 실시간 생성이 여전히 충실도를 속도와 맞바꾸고 있다고 밝힙니다. 구체적으로 나열된 한계는 다음과 같습니다.
-
급격한 카메라 입력에서의 열화: 매우 빠른 회전 같은 까다로운 카메라 입력이 들어오면 디테일, 텍스처, 지오메트리가 무너질 수 있습니다.
-
불완전한 장기 기억: 오래된 프레임이 슬라이딩 윈도우 밖으로 밀려나는 구조상, 오래 전에 본 것을 정확히 기억하지 못합니다.
-
이미지 참조의 부재: 첫 프레임이나 프리필한 영상과 음향 외에는 이미지 참조를 지원하지 않습니다. 특정 캐릭터나 물건의 외형을 이미지로 지정해 넣을 수 없습니다.
-
외부 하네스가 필요한 제어 표면: 자유 형식 텍스트가 제어 표면을 범용으로 만들어 주지만, 그것을 온전히 활용하려면 세계의 상태를 추적하고 액션을 즉석에서 만들어 내는 외부 실시간 하네스가 필요합니다. Runway가 든 예는 NPC(Non-Player Character)와 플레이어가 상호작용할 때의 NPC 대사입니다.
마지막 항목이 이 모델의 위치를 정확히 말해 줍니다. GWM Worlds 2는 "액션 텍스트를 주면 영상과 음향을 이어 준다" 까지를 담당하고, "지금 어떤 액션 텍스트를 줘야 하는가" 는 담당하지 않습니다. 게임이나 인터랙티브 경험을 실제로 만들려면 그 판단을 하는 층을 따로 세워야 하고, 그 층은 수십 밀리초 안에 답해야 하므로 현재의 LLM이나 VLM으로는 채우기 어려운 자리입니다.
Runway는 실시간 영상 생성이 아직 가장 이른 단계에 있으며 이 글에 적은 제약들이 연구가 이어지면서 해결될 것으로 예상한다고 적었습니다. 오프라인 영상 생성이 짧고 거친 클립에서 고충실도 제작 영상까지 올라온 곡선이 여기서도 반복될 것으로 보며, GWM Worlds 1과 2는 그 곡선 위의 이른 두 점이라고 스스로를 위치시킵니다. 같은 관점을 더 길게 풀어 둔 실시간 영상 생성이 온라인 상호작용을 바꾸는 방식이라는 별도의 글도 함께 읽어볼 만합니다.
GWM Worlds 2가 놓인 자리
실시간 인터랙티브 월드 모델은 2026년에 들어 여러 곳에서 동시에 나오고 있습니다. 각자 다른 축에서 앞서 있어서, GWM Worlds 2가 무엇을 새로 들고 왔는지는 그 축들을 나란히 놓아야 보입니다.
| 항목 | GWM Worlds 2 | LingBot-World 2.0 | Genie 3 |
|---|---|---|---|
| 개발 | Runway | Robbyant | Google DeepMind |
| 해상도와 프레임률 | 720p, 24fps | 720p, 60fps | 720p, 24fps |
| 음향 생성 | 48,000Hz 동시 생성 | 발표에 언급 없음 | 발표에 언급 없음 |
| 조작 수단 | 카메라 + 등장 대상 및 장면 지정 텍스트 액션 | 카메라 + 행동군 + 텍스트 사건 | 카메라 + 텍스트 사건 |
| 가중치 공개 | 미공개 | 14B 모델 공개 | 미공개 |
| 접근 방식 | 문의 양식 신청 | 오픈소스 저장소 | 제한적 프리뷰 |
이 표에서 GWM Worlds 2의 차별점은 두 칸에 몰려 있습니다. 음향을 영상과 같은 스트림에서 함께 생성한다는 것, 그리고 액션에 수신자 개념이 있다는 것입니다. 다른 모델들도 텍스트로 사건을 일으킬 수 있지만, 그 텍스트는 대체로 세계 전체에 던지는 지시입니다. Google DeepMind가 Genie 3의 한계로 직접 적어 둔 문장이 이 차이를 정확히 짚습니다. "프롬프트로 지시하는 세계 사건이 폭넓은 환경 개입을 가능하게 하지만, 그것이 반드시 에이전트 자신이 수행하는 행동은 아니다" 라는 것이고, 에이전트가 직접 할 수 있는 행동의 범위는 아직 제한적이라고 덧붙였습니다. Genie 3는 연속 상호작용 시간도 몇 시간이 아닌 몇 분 수준이라고 밝혀 두었는데, 세션 길이에 제한이 없다는 GWM Worlds 2의 주장과 대비되는 부분입니다. 반면 WorldPrompt는 같은 시각에 청소원에게 보내는 액션과 여성에게 보내는 액션과 날씨에게 보내는 액션을 각각 다른 레인에 올려놓습니다. 이 구분이 연출자 역할, 멀티플레이, 그리고 등장 대상별로 다른 에이전트를 붙이는 구성을 한 번에 가능하게 만든 설계 요소입니다.
반대로 표에서 불리한 칸도 분명합니다. 프레임률은 LingBot-World 2.0의 절반이고, 가중치와 논문이 공개되지 않았으며 접근은 기업 문의 양식으로 막혀 있습니다. 파라미터 규모, 학습 데이터, 기반 모델의 정체, 지연 시간 수치 같은 것은 이 발표에 들어 있지 않습니다. 따라서 이 발표에서 지금 가져갈 수 있는 것은 입력 형식 설계 쪽입니다. 세계를 지속 상태와 이벤트 스트림으로 나누고, 액션마다 수신자와 시간 구간을 붙이는 방식은 가중치 없이도 다른 월드 모델 작업에 옮겨 적을 수 있는 아이디어입니다.
Introducing GWM Worlds 2 소개 블로그
Introducing Runway GWM-1 소개 블로그
Introducing General World Models 소개 블로그
Runway Research 홈페이지
더 읽어보기
-
How real-time video generation is changing online interaction (영문)
-
LingBot-World 2.0: 720p 60fps 실시간으로 끝없이 조작 가능한 세계를 생성하는 14B 월드 모델
-
Vidu S1: Shengshu가 공개한 음성으로 실시간 제어하는 무한 길이 대화형 영상 생성 모델 (및 이에 대한 연구)
-
Nano World Model: Diffusion Forcing 기반의 미니멀한 비디오 월드 모델 학습 저장소
-
Qwen-RobotWorld: 자연어를 행동 인터페이스로 삼은 임바디드 월드 모델 (feat. Qwen Team)
-
Physical AI 연구 한 번에 살펴보기 1편: LLM 월드 지식에서 VLA와 월드 모델, 체화 에이전트까지
-
Google DeepMind, LWM(Large World Model)으로 진화하는 가장 지능적인 Gemini 3 출시
이 글은 GPT 모델로 정리한 초안을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 댓글로 알려주시기를 부탁드립니다. 
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! 텔레그램(Telegram)이나 Slack/Discord/Teams/Dooray/GoogleChat 등으로도 새 글 알림을 받으실 수 있습니다. 
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 