本工作与 Stability AI 合作完成。

电影导演布置一个镜头时,决定的是相机往哪儿走、每位演员往哪儿走,至于演员怎么走、光线怎么落,则交给演员与剧组。视频生成模型在后一半上已经做得越来越好:给定文本提示和一张图像,它们能生成运动、光影与细节都令人信服的影像。它们仍然缺少的是前一半。如果你想让骆驼原地转身 180°、同时相机向左弧线运动,目前并没有可靠的方式把这个要求说清楚。

我们很高兴与大家分享 4Director,这是我们课题组与 Stability AI 的合作成果。4Director 是一个视频世界模型,接收的正是导演的输入:一张图像、一条相机的 3D 轨迹,以及每个物体的刚性 3D 轨迹,然后生成遵循这些输入的视频。其核心思想是把控制信号做成一个显式的 4D 场景:每个物体只被重建一次,得到一个完整的规范网格,之后由每帧一个刚性变换驱动,并与相机和背景点云共享同一坐标系。我们将该场景渲染为深度视频,并训练一个 Motion Adapter,把这个几何骨架变成视频,补上骨架所不包含的外观、光照与非刚性动态。由于网格的每一面都有表面,转身或相机移动所揭示的几何是被渲染出来的,而不是每一帧重新凭空想象的。

岩石山径上一名徒步者的输入图像
输入图像
渲染为深度的刚性 3D 场景(即控制信号)
4Director 输出

为什么现有的控制方式不够用

视频生成中的物体运动控制可分为两大类,而每一类都缺少导演所需要的东西。

图像平面线索,如拖拽路径、包围框、掩码和点轨迹,规定了物体在每一帧应该出现在哪里。但同一个投影与许多种 3D 运动相容:一个框无法确定物体的朝向,一个缩小的框无法区分物体远去和物体变小,一条 2D 路径则把相机视差与物体运动混为一谈。3D 感知的控制用刚性轨迹、6-DoF 位姿或 3D 框来固定位置,或者从输入图像中提升出物体的某种代理:跟踪部位上的球体(Perception-as-Control)、点云上的 3D 点轨迹(SymphoMotion),或每个物体一个 3D 高斯斑块(VerseCrafter)。这些方法消除了深度歧义,但它们的几何是不完整的。轨迹或框根本不携带任何表面,而提升出的代理只捕捉到可见的外壳,因此当转身把物体的背面带入视野时,没有任何东西可以渲染。基于点的代理还需要逐点轨迹来驱动,编写起来十分繁琐。

要求一头骆驼原地转身 180°。在 2D 框控制下它几乎不转;在 3D 点轨迹和 3D 高斯斑块控制下它只转了一部分或发生形变;在刚性 3D 几何控制下,深度视频在每一步都显示完整轮廓,生成的骆驼完成了转身。
同一个要求——原地转身 180°——在四种控制信号下的结果。2D 包围框、3D 点轨迹和 3D 高斯斑块都导致生成器大致保持原朝向,或者让骆驼发生扭曲。我们的刚性 3D 几何在每个朝向上都渲染出完整网格,生成的骆驼完成了整个转身。

下表总结了各种表示能够表达的内容。只有刚性 3D 几何能同时固定相机轨迹、3D 位置、朝向和完整几何,并且它是唯一能向场景中插入全新物体的表示。

方法 相机轨迹 3D 物体位置 物体朝向 完整几何 新物体插入
MotionCtrl ✓ 部分 ✗ ✗ –
Perception-as-Control ✓ ✓ ✗ ✗ –
SymphoMotion ✓ ✓ 部分 ✗ –
VerseCrafter ✓ ✓ 部分 ✗ –
4Director(本文) ✓ ✓ ✓ ✓ ✓

以刚性 3D 几何作为控制信号

4Director 总览。左:输入图像被提升为每个物体的完整规范网格和背景点云;用户定义的物体与相机轨迹驱动它们运动;场景被渲染为深度视频。右:深度视频、输入图像和提示被编码后,由 Motion Adapter 的上下文块注入冻结的 Wan-DiT,生成视频。
方法总览。左:每个物体只被重建一次,得到完整的规范网格,并由每帧一个刚性变换驱动;网格、背景点云和相机共享同一坐标系,场景被渲染为深度视频。右:Motion Adapter 是一条由上下文块组成的可训练分支,把该渲染注入冻结的预训练视频生成器,由后者补上外观、光照与非刚性动态。

提升图像。 给定一张图像,MoGe-2 估计深度和相机内参,SAM 2 把对每个物体的几次点击变成掩码。输入图像的相机定义参考坐标系。背景——掩码之外的一切——被反投影为一个静态点云。每个被标记的物体被抠出,由 Pixal3D 重建为一个完整的、带纹理的规范网格(包括照片没有拍到的那些面),并与其掩码和深度对齐。至此,背景、相机和物体共享同一坐标系。

导演场景。 在一个 3D 查看器中,用户为相机轨迹和每个物体的刚性轨迹(每帧一个旋转和平移)设置关键帧。因为转身就是字面意义上的旋转、沿深度方向的运动就是字面意义上的位移,生成器不需要再去消解任何歧义。新物体可以通过从另一张参考图像重建网格来插入:把它放入场景、赋予它自己的轨迹,其带纹理的网格被渲染进输入图像,成为第一帧。整个刚性 3D 场景由背景点云、网格集合、各自的逐帧变换、内参和相机轨迹组成,其中只有后两者随时间变化。

渲染控制信号。 对于每一帧,背景和放置好的网格被投影成一张深度图,每个像素取最近表面的深度,因此遮挡顺序在生成之前就已确定。得到的深度视频就是全部控制信号。它携带视点、每个物体的刚性运动以及它们之间的相互遮挡,并且刻意不携带其他任何东西:没有外观,没有光照,没有肢体运动,没有图像之外的背景。补上这一切是 Motion Adapter 的工作。

Motion Adapter

我们以 Wan2.1-VACE-14B 为基座,保持其 VAE、umT5 文本编码器和 DiT 冻结,作为通用的视频先验。Motion Adapter 沿用 VACE 的上下文分支设计:VAE 把深度视频和输入图像编码为一个上下文流,八个上下文块(每五个 DiT 块对应一个)通过与提示的交叉注意力传播该流,并以线性投影提示的形式注入 DiT。该适配器有 3.0B 参数,从公开发布的 VACE 分支初始化。

关键在于适配器被训练去做什么。每个训练样本对都来自一段真实视频:控制信号是从该视频恢复出的刚性 3D 场景渲染的深度视频,目标是视频本身,其第一帧作为输入图像、其字幕作为提示。控制信号只包含每个物体运动中的刚性部分。若物体表面一点的观测为 \(X_i^t = R_o^t Y_i + t_o^t + r_i^t\),则前两项——网格的刚性运动——在控制信号中,而残差 \(r_i^t\)——摆动的肢体或转动的头——不在其中。为了重现这段视频,适配器必须严格遵循刚性几何,并让生成器补上其余部分。它用标准的流匹配目标训练,在 24 块 GPU 上以 832×480 分辨率、81 帧训练三个 epoch。由于适配器始终只以深度视频的形式看到场景,手工编写的场景与恢复出的场景被一视同仁,因此新轨迹和插入的物体都无需额外训练。

RealCOD-Rigid:20,774 段带刚性 3D 场景的视频

没有任何数据集把视频与完整的物体网格和逐帧刚性变换配对,也没有人能够大规模手工标注这些内容。于是我们构建了一条自动流水线,并在 RealCOD-25K 上运行——这是一个由 81 帧素材与网络视频组成的集合,自带文本提示以及对一到两个物体的 SAM3 掩码。四个阶段恢复每段视频的刚性 3D 场景:MegaSaM(以 MoGe-2 为深度先验、UniDepthV2 为度量分支)估计逐帧深度、内参和相机轨迹;Pixal3D 从第一帧重建每个物体的规范网格,再由鲁棒的相似变换拟合将其放入场景;TAPIP3D 跟踪物体上的 3D 点贯穿整段视频,一个鲁棒的交替拟合找出物体的稳定核心——那些共同做刚性运动的轨迹——使得摆动的手臂不会把整个身体的位姿带偏;最后,放置好的网格和背景被渲染为深度视频。任何物体未通过几何或轮廓一致性检验的视频都被剔除,最终留下 20,774 段训练视频。真实的遮挡被保留,因此物体允许在某些帧中消失。

衡量物体控制:Identity-Gated IoU

相机控制有标准指标:所要求的轨迹与从生成视频重新估计的轨迹之间的旋转误差和平移误差。物体控制则没有。相对源视频掩码计算的 Mask IoU 只能告诉你有个东西在轨迹所指的位置,却会愉快地奖励一个位置正确但已经变成别的东西的物体。我们提出 Identity-Gated IoU(IG-IoU):在均匀分布于整段视频的 16 帧上,一个视觉–语言评判器(Qwen3-VL)将生成的物体裁剪与参考裁剪进行比较,判断它是否仍然完好并且还是同一个物体。通过的帧贡献其掩码 IoU;未通过的帧贡献零,但仍计入分母。通过帧的比例作为识别率单独报告。由于参考掩码是物体在真实位姿下的轮廓,改变轮廓的朝向误差同样会受到惩罚。

实验结果

我们在 RealCOD-25K 的 100 段留出视频上,与四个公开的相机–物体联合控制方法比较:MotionCtrl、Perception-as-Control(PaC)、SymphoMotion 和 VerseCrafter。为公平起见,每个方法都被给予相同的运动目标:从每段视频恢复出的相机与物体轨迹被转换成各基线所期望的控制形式,从 2D 轨迹到 3D 高斯不等。

方法 FID ↓ FVD ↓ CLIP-SIM ↑ RotErr (°) ↓ TransErr ↓ 识别率 ↑ IG-IoU ↑
MotionCtrl 115.6 1653.3 27.5 4.74 0.231 32.6 18.8
Perception-as-Control 55.7 1454.6 30.2 7.00 0.228 80.5 40.8
VerseCrafter 55.0 484.7 31.7 6.16 0.174 94.8 54.8
SymphoMotion 45.8 405.4 30.9 3.89 0.132 90.2 52.9
4Director 44.1 370.4 31.8 3.65 0.122 94.9 60.4

在 100 段 RealCOD-25K 留出视频上的相机–物体联合控制结果。相机误差遵循 CameraCtrl 协议;识别率和 IG-IoU 以百分比表示。关于 VBench-I2V 八个维度的结果见论文,4Director 在这些维度上同样领先。

4Director 在每项指标上都是最好的,而差距最大的地方正是它应该大的地方:IG-IoU 从 VerseCrafter 的 54.8 升至 60.4,而识别率几乎相同(94.9 对 94.8)。换言之,4Director 并不是比 VerseCrafter 更经常地保住物体的可识别性,而是把它放得更准——这正是带固定朝向的完整网格相对于高斯斑块的优势所在。由 2D 轨迹驱动的 MotionCtrl 只能在三分之一的帧中保持物体可识别。

自动指标压缩掉了很多信息。在一项用户研究中,20 名参与者就视觉质量、控制精度和一致性三个维度,对五种方法在九个案例上按 1–5 分打分。4Director 分别得到 4.62、4.82 和 4.69;各项指标上的次优方法分别得到 3.69、2.39 和 3.88。控制精度上 4.82 对 2.39 的差距,用一个数字讲完了整篇论文的故事。

物体旋转。 对基线方法而言最难的情形是转身。下面,一只黑天鹅和一辆汽车分别被要求在相机静止的情况下原地旋转 180°。基线方法要么保持原朝向、要么只转一部分、要么把主体弄丢;4Director 完成了整个转身,并呈现出转入视野的那一面。

池塘上一只黑天鹅的输入图像
输入
MotionCtrl
Perception-as-Control
SymphoMotion
VerseCrafter
4Director(本文)
环岛处一辆汽车的输入图像
输入
MotionCtrl
Perception-as-Control
SymphoMotion
VerseCrafter
4Director(本文)

离开再回到画面。 一个在每一帧都定义了轨迹的表示,能够处理那些让从像素提升的代理栽跟头的情形。这里,骆驼被导演走出画面再走回来,相机保持固定。在 4Director 中,网格在视野之外时干脆不被渲染,回到视野后再从同一个网格渲染,于是模型会呈现一个空荡的院子、补全骆驼原本站立的地面,并把同一头骆驼带回来。MotionCtrl、SymphoMotion 和 VerseCrafter 始终把骆驼留在画面里;Perception-as-Control 允许它离开,却无法在它回来时保住它的形状。

围栏中一头骆驼的输入图像
输入
MotionCtrl
Perception-as-Control
SymphoMotion
VerseCrafter
4Director(本文)

控制信号需要编码什么? 一项消融实验用三种更简单的控制替换刚性 3D 几何,并以相同的配方训练。2D 框既不编码深度也不编码朝向,得分最低(IG-IoU 48.5)。3D 框保留了深度和朝向,但没有表面(50.3)。只平移不旋转的 3D 网格保留了完整表面,却失去了朝向(53.0);在该设定下,测试视频中的摩托车最终正对相机,而不是转向侧面。只有完整的刚性 3D 几何——同时具备深度、旋转和完整表面——达到 60.4,并且四种控制在 FID 和 FVD 上的排序与此相同。值得注意的是,四种控制的识别率都保持在 91.9 到 95.0 之间,因此更简单的控制损失的是位置精度,而不是物体身份。

组合镜头

由于每个物体都是共享 3D 空间中的一个网格,导演工作变得可以组合。下面的徒步者序列从一张照片开始。我们先让徒步者沿一条路径移动;然后插入一头从另一张参考图像重建的骆驼,并赋予它自己的轨迹;最后再叠加一个相机运动。每一行展示适配器接收的深度控制和它生成的视频。适配器在训练中从未见过任何插入样本对;它只看到深度,因此组合出的场景在它眼里与其他场景没有任何区别。

徒步者的输入图像
输入图像
用于物体插入的骆驼参考图像
插入骆驼所用的参考图像
徒步者 + 插入的骆驼:深度控制
徒步者 + 插入的骆驼:输出
+ 相机轨迹 A:深度控制
+ 相机轨迹 A:输出
+ 相机轨迹 B:深度控制
+ 相机轨迹 B:输出

同样的配方对不那么友善的联合主演也适用。下面,一头熊先被原地转身,随后加入一只从参考图像插入的 T-Rex,最后用运动的相机拍摄。

岩石间一头棕熊的输入图像
输入图像
用于物体插入的 T-Rex 模型参考图像
插入 T-Rex 所用的参考图像
熊的旋转:深度控制
熊的旋转:输出
+ 插入的 T-Rex:深度控制
+ 插入的 T-Rex:输出
+ 相机轨迹:深度控制
+ 相机轨迹:输出

在受控比较之外,模型还能推广到远离训练分布的主体,包括游戏角色和高速交通工具,由生成器补上刚性控制未指定的奔跑、滑雪和跳跃动作。

滑雪者
跑车
屋顶跳跃(游戏角色)

局限性

该表示在刚体层面控制运动,这既是它的优势,也是它的边界。铰接或可形变的物体作为一个整体运动,因此更细粒度的运动——如奔跑、跳跃或肢体的摆动——无法被指定,只能留给生成器。生成器通常会做对,但在论文的一个失败案例中,一名倒立的霹雳舞者被作为刚体横向平移,生成的舞者便全程保持倒立,忠实地遵循刚性轮廓而不是跳舞。把刚性 3D 场景扩展为带铰接部件的表示,使这类运动也能被指定,是自然的下一步。此外,一个更轻量的适配器变体(用 rank-16 LoRA 训练,15.3M 参数)在 FID、FVD 和 IG-IoU 上仍然胜过全部四个基线,不过完整的 3.0B 适配器在每项指标上都领先于它。

延伸阅读

论文已发布在 arXiv(2610.02160)。项目主页提供每个案例的可旋转交互式点云、与全部四个基线的定性比较轮播,以及完整的手工编写轨迹和插入案例。代码在 GitHub 上。4Director 与我们早先的 FreeOrbit4D 建立在同一个直觉之上:把视频生成器看不到的部分以完整几何的形式交给它,它就不会再凭空捏造。

@article{cao20264director,
  title   = {{4Director}: Controlling Video World Models with Rigid {3D} Geometry},
  author  = {Wei Cao and Hao Zhang and Vikram Voleti and Yuqun Wu and Mallikarjun B R and Shimon Vainer and Mark Boss and Yaoyao Liu},
  journal = {arXiv preprint arXiv:2610.02160},
  year    = {2026}
}