当 OpenAI 的奥特曼还在到处买显卡、买算力，来撑执他的 Sora 2 视频生成模子。

李飞飞的实验室 The World Labs，用一张显卡就能运行一个寰球。他们今天发布了一项名为 RTFM (Real-Time Frame Model) 的新技能，一个全新的及时寰球生成模子。

和九月中旬发布的图生寰球 Marble 不同，RTFM 不仅是用一张相片，生成一个咱们不错解放散步、探索的 3D 寰球。最进攻的是，它被策画为不错在单块 H100 GPU 上高效运行，何况及时生成。

目前，RTFM 照旧看成探究预览版进展发布，并提供了 Demo 不错切身去试试。

▲ RTFM Demo 聚拢：https://rtfm.worldlabs.ai/

偶然地发现，这个 Demo 的名字叫作念 FRAMEBOY，劝诱这个网页布局，我很快思到了年代久远的 Game Boy 游戏机。

这么一个领有传神的光影、反射和暗影的寰球，何况这一切还在咱们目下及时发生，在某种进程上，何尝不是另一种玩游戏。

不啻于生成，更在于及时互动

RTFM 的中枢才调，等于能及时生成可供用户交互的视频。它不错从一张静态图片运转，渲染出一个不错解放探索的 3D 场景。

与很多寰球模子不同，RTFM 能够学习并渲染出，极其复杂和果然的视觉遵守。不管是光滑大理石大地的倒影、物体在阳光下的暗影，照旧透过玻璃看到的款式，RTFM 齐能准确地模拟。

RTFM 依靠的不是传统的图形学编程，而是让模子通过对海量视频数据的端到端学习，持续进化出来的。

撑执这项才调的，是策画 RTFM 背后围绕的三项中枢原则。

遵守 (Efficiency)，要思把改日拉到目下，寰球模子的计较需求是最大的不容。

不管是像 Sora 这么的 AI 生成视频，照旧 Google 尚未进展公开上线的 Genie 3， 齐意味着庞大的计较挑战。有关系的探究提到，要及时生成 4K 60fps 的交互视频流，AI 模子每秒需要处理的 tokens 数目约等于一册《哈利·波特》的翰墨量。

而若是要在跳跃一小时的交互中，保执这些生成实质的执续性，需要处理的波折文，将跳跃 100M 个 token。这关于当下的计较基础门径而言，既不本质，也难以职守。

李飞飞团队的指标是「在今天硬件上，运行的翌日模子，并提供最高保真度的预览。」

他们通过对架构、模子蒸馏和推理经过的极致优化，以及通盘系统的重新策画。RTFM 收效地已毕了，仅使用单个 H100 GPU，就不错交互式帧率进行推理，及时生成。

可推广性 (Scalability)，从视频模子，能平直到寰球模子。

传统的 3D 引擎，用的是三角网格、高斯点云、体素渲染等显式结构，完满依赖于一些复杂的计较机图形学学问。每个物体齐要建模、上材质、打光、烘焙暗影。这和咱们之前先容的混元 3D 寰球，所选定的门径近似，它们主打的是已毕 3D 全管说念的生成。

传统 3D 神色（左）和 RTFM 神色（右）

World Lab 弃取的路和混元不同， RTFM 不会构建任何显式的 3D 模子。它使用了近似 Sora 的「自回来扩散 Transformer」，平直从视频帧序列中学习寰球法例。

举个例子，模子不再需要知说念「这是一堵墙」或「那是一盏灯」，它只通过千千万万段视频的学习，学会了什么是「空间感」，学会从输入的 2D 图像序列中，瞻望出下一个新的视角画面。

和生成 3D 钞票的途径不同，RTFM 能够更好地期骗持续增长的数据和算力，从汉典毕无穷推广。

执久性 (Persistence)，让寰球模子像 nano banana 相似保执一致。

大部分的视频生成模子有一个天生残障，等于它们莫得回顾。即便目前 Sora 一次性，能生成 25 秒的颠簸画面，但视频生成欺压后，寰球就欺压了，并不行提供执续的交互。

而若是要记着通盘场景，计较职守例必又会跟着探索的长远而无穷积蓄。

RTFM 试图搞定的，等于让生成的寰球具备执续存在的才调。它引入了一个叫「spatial memory（空间回顾）」的机制。它为生成的每一帧画面，齐赋予了在 3D 空间中的精准「姿态」（位置和所在）。

在生成新画面时，模子会选定一种「波折文杂耍」 (context juggling) 的技能，只调用新画面隔邻位置的帧看成参考，而不是全局实质。

这使得 RTFM 能够作念到，让咱们反复参加这个寰球，离开再回来，而不会加多计较职守。

目前，RTFM 的 Demo 体验时分唯有 3 分钟，3 分钟后，它照旧会不铭刻这个寰球。我在阿谁 Demo 内部拖动控制两个摇杆，玩了很久，思到了李飞飞之前说，空间智能才应该是 AGI 的下一个所在。

改日是否真的有契机，像头号玩家相似，让本质寰球和造谣寰球之间，产生明确的臆度，光看目前的寰球模子，要加载的实质还有太多。

毕竟，即便单个 H100 GPU，售价也梗概在 25000 好意思元以上。关联词当算力的价钱下跌，当算法再快少量；咱们不详能看到，信得过真义上的寰球模子「大更新」，是本质，被完满生成的那一天。