텐센트(TencentARC)가 오픈웨이트 비디오 월드 모델 WorldCrafter의 코드와 가중치를 공개했습니다. 카메라가 다른 곳을 봤다가 돌아와도 앞서 본 공간과 물체가 이어지도록, 카메라 시점에 맞춰 메모리에서 필요한 정보를 꺼내 영상을 만듭니다. 이미지 한 장이나 텍스트에서 출발해 카메라를 움직이며 수 분간 탐색하는 세계를 생성하는 모델입니다.
Hugging Face의 가중치 공개 시각은 2026년 9월 21일 23시 30분(KST), 논문 arXiv:2609.24984의 제출 시각은 9월 22일 02시 57분(KST)입니다.
3D 장면을 따로 만들지 않고 카메라 시점으로 기억을 찾는다
일반적인 영상 생성처럼 직전 프레임만 이어 붙이면 카메라가 돌아왔을 때 이미 본 장소의 모양이나 물체가 달라질 수 있습니다. WorldCrafter는 과거 프레임과 카메라 정보를 압축한 implicit 3D-aware memory를 유지합니다. 별도의 완성된 3D 메시를 만들고 매번 렌더링하는 대신, 현재 카메라의 위치와 방향을 조건으로 메모리에서 그 시점에 필요한 정보를 읽어 다음 영상 생성에 전달합니다.
이를 장면을 통째로 다시 그리는 대신, “지금 카메라가 보는 곳에서 전에 기억해 둔 것은 무엇인가?”를 찾아보는 방식으로 생각할 수 있습니다. 그래서 시점을 옮기거나 이전 위치로 되돌아오는 카메라 움직임에서도 공간과 물체의 연속성을 유지하도록 설계됐습니다.
이미지나 텍스트로 시작하는 16fps 탐색형 영상
WorldCrafter는 이미지 한 장에서 시작하는 이미지-비디오(I2V)와 텍스트에서 시작하는 텍스트-비디오(T2V)를 지원합니다. 공식 설정은 384×640 해상도와 초당 16프레임입니다. 생성 결과는 33프레임 단위 청크로 이어지며, 한 청크는 약 2초입니다. 카메라 동작을 이어 입력하면 여러 청크를 연결해 수 분 길이로 공간을 탐색할 수 있습니다.
공개 가중치는 두 종류입니다. WorldCrafter-Base는 기본 모델이고, WorldCrafter-Fast는 빠른 생성을 위한 distilled 모델입니다. 기본 추론 단계는 Base 50스텝, Fast 6스텝이며 Fast의 첫 T2V 청크는 12스텝을 사용합니다. 단계 수가 줄어든 비율이 실제 생성 시간의 동일한 배수를 뜻하지는 않습니다.
설치하고 WorldCrafter-Fast 실행하기
공식 저장소는 Linux와 Python 3.11 환경을 안내하며, 검증 구성으로 NVIDIA H200 한 장 또는 두 장을 제시합니다. 공개 안내에는 최소 VRAM 수치가 따로 없습니다. 아래는 README의 uv 설치와 가중치 다운로드 명령입니다.
sudo apt-get update
sudo apt-get install -y ffmpeg
uv sync --project uvenv --frozen --extra demo
source uvenv/.venv/bin/activate
hf download TencentARC/WorldCrafter-Fast --local-dir weights/WorldCrafter-Fast
hf download TencentARC/WorldCrafter-Base --local-dir weights/WorldCrafter-BaseBase 실행에도 Fast 폴더의 공유 구성요소가 필요하므로 두 가중치 폴더를 함께 내려받습니다. Fast로 이미지에서 영상을 만드는 공식 추론 예시는 다음과 같습니다.
python inference.py --model-type fast --mode i2v --image-path test/I2V/06_waterfall/image.png --prompt test/I2V/06_waterfall/prompt.txt --camera-path test/I2V/06_waterfall/camera.npypython inference.py --model-type fast --mode t2v \
+ --prompt test/T2V/02_tokyo_street/prompt.txt \
+ --camera-path test/T2V/02_tokyo_street/camera.npy텍스트에서 시작할 때는 --mode t2v와 프롬프트를 지정합니다. 카메라 궤적은 .npy 파일 대신 액션으로 전달할 수도 있습니다. 예를 들어 --actions "forward1 yaw_left30"은 앞으로 이동한 다음 왼쪽으로 회전하는 경로를 지정합니다. 로컬에서 모델을 실행하는 흐름이 처음이라면 Unsloth로 모델을 구동하는 안내도 참고할 수 있습니다.
코드와 가중치 라이선스는 학술 목적으로 제한
WorldCrafter 저장소의 LICENSE.txt는 프로젝트 코드와 공개 파라미터·가중치를 학술 목적으로만 사용하도록 허용하며, 상업적 또는 프로덕션 목적의 사용을 금지합니다. 따라서 가중치와 코드가 공개됐더라도 상업 서비스에 사용할 수 있는 라이선스는 아닙니다. 일부 제3자 구성요소에는 각 구성요소의 원래 라이선스가 적용됩니다. 오픈웨이트 모델과 라이선스의 의미를 함께 살펴보세요.
