每日快报!当世界记住你做过的每一件事,AI生成的虚拟世界会变成什么样

来源:科技行者 | 2026-11-17 21:25:15 |

你有没有玩过这样的游戏:离开一个场景去做别的事情,回来之后发现一切都恢复了原样,仿佛你从来没来过。你点燃的篝火还在燃烧,你撞倒的花瓶已经自动归位,你和NPC聊过的话题他完全不记得了。

这其实是目前几乎所有AI视频生成类"世界模型"的通病。它们能生成非常逼真的画面,但没有记忆,没有持续演化的状态。你一转身,世界就忘了你。

XGEN团队这次发布的技术报告,试图解决的正是这个问题。他们提出了一个叫做"生成式世界模拟"的框架,核心是两个系统的配合:一个叫DAO,负责记住并推演这个世界到底发生了什么;另一个叫JING,负责把这些发生的事情,变成你能看到、听到的第一人称画面。


(资料图片)

这篇文章就带你拆开看看,这套系统到底是怎么做到"让AI生成的世界真正记住你"的。

问题到底难在哪

先说说这件事为什么棘手。

视频生成模型这几年进步神速。Wan、HunyuanVideo这些模型已经能生成画质精美、动作连贯的视频片段,最近甚至开始支持同步音频生成,比如Sora 2和LTX-2。在这个基础上,又出现了一批"交互式世界模型",比如Matrix-Game、Genie 3,它们能根据你的操作生成接下来的画面,你往前走,画面就往前推进,你转头,视角就跟着转。

**但这些系统普遍有一个共同的缺陷:它们只管"生成下一帧",不管"记住发生过什么"。**

这就好比你雇了一个画家,每次你描述一个场景他都能当场画出来,画得又快又好。但你让他画你昨天去过的咖啡馆,他完全记不起昨天画过什么,只能凭你现在的描述重新想象一个咖啡馆出来。如果昨天你在那家咖啡馆点燃了一支蜡烛,今天再去,画家不会知道蜡烛是不是还在燃烧,因为他压根没有"昨天"这个概念。

这个问题在单人单次体验里还不太明显,但只要涉及**多个角色共存、世界长期演化、或者观察者离开又返回**,问题就彻底暴露了。想象一个多人共享的虚拟世界,角色A在你看不见的地方做了一件事,这件事应该影响后续的场景。如果系统没有一个独立于任何单次生成之外的"世界状态",这种跨越时间和视角的因果关系就根本无法维持。

游戏驯世界模拟

:指能够根据玩家操作持续生成后续游戏画面的AI系统,比如MineWorld、Matrix-Game等,它们专注于把动作转化为视觉反馈,但大多不维护独立于生成过程之外的"世界事实"。

论文里提到,此前的研究大致分成几条路线:有的专注于相机控制(比如WorldPlay、AlayaWorld),让你能自由探索生成的场景;有的专注于文本控制(比如LingBot-World 2.0、Genie 3),让你能用自然语言影响角色行为和世界事件。这些方向都在不断拓宽"你能怎么和这个世界互动"的边界,但始终缺了一块:**谁来维护这个世界的"事实数据库",并保证它按规则持续演化。**

XGEN团队的做法是把这个问题拆成两半来解决。一半交给DAO,专门负责维护和计算世界的状态;另一半交给JING,专门负责把状态转化成你能感知的画面和声音。

DAO:给虚拟世界装一个账本

先说DAO。

你可以把DAO理解成一个"世界的账本管理员"。它不生成任何画面,它只做一件事:记录这个世界里都有什么、它们之间什么关系、现在是什么时间、发生了什么事。

论文用一个数学表达式描述了这个世界状态,写作Wt = (Gt, Bt, Et, ωt)。听起来挺吓人,拆开看其实很直白。

实体图谱

:记录这个世界里所有的地点、角色、物体,以及它们的位置、外观、相互关系,比如"小车目前被角色Rowan占用着"这种信息。

角色与交互状态

:记录每个角色此刻的意图、动作、情绪、需求,比如某个角色正在"生气"或者"打算去买面包"。

活跃事件集与世界时钟

:前者记录正在发生的事(比如一场争吵还没结束),后者提供统一的时间参照,保证所有角色共享同一套时间线。

这个设计的关键在于,**状态更新和画面生成是两件完全分开的事情**。DAO先根据用户或AI角色的动作,按照预设的规则更新世界状态,比如你推了一下购物车,车子位置变了,这个变化先被记录进账本,然后DAO再从账本里摘出"你当前能看到的那部分",转化成JING可以理解的条件,让JING去生成画面。

这就好比一家餐厅的后厨和前台是分开的。后厨(DAO)负责管理食材库存、订单进度、谁点了什么菜,这些信息是整个餐厅共享的真实状态。前台服务员(JING)只负责把后厨准备好的菜端到对应的桌子上,不同桌子的客人看到的是不同的菜,但所有菜都来自同一个后厨的真实库存。如果没有这个分离,每个服务员自己记自己的订单,厨房和服务员各算各的账,很快整个餐厅的运转就会乱套,因为没有一个统一的"真相"可以依据。

有了这套机制之后,论文里展示了一个特别生动的实验。两个AI角色Rowan和Eli之间发生了一场误会:Rowan挪动了手推车只是为了清理堵塞的巷道,但Eli看到散落的包裹误以为是故意捣乱,于是争吵起来。这个过程中,另一个角色Nori只目击了部分过程,Clara出面帮Eli说话,最后靠着现场痕迹和目击证据,大家才弄清楚Rowan其实没有恶意,达成和解。

**这整个过程没有任何用户输入去触发,完全是AI角色根据自己的记忆、局部观察和世界规则自主演化出来的。**

这意味着DAO里的角色不是被动等待指令的NPC,而是有自己的行动逻辑、会基于局部信息做出误判、并且能通过后续证据修正判断的"活"的存在。这其实触及了一个更深的问题:一个值得长期停留的虚拟世界,它的居民不应该只是你的指令执行器,它们得有自己的生活。

还有一个实验更能说明DAO的价值。研究者设计了一个"离开再返回"的场景:角色点燃了一张餐巾纸然后离开面包店。如果没有DAO,等角色回来,画面显示餐巾纸还在燃烧,完全没有任何人介入处理过。但接入DAO之后,服务员在角色不在场的时候自主把火扑灭了,角色回来看到的是已经被处理过的场景。

**这个对比揭示的其实是"世界是否真的在独立演化"这件事。**没有DAO,所谓的"世界"只是你凝视它的那一刻才存在,你一转身它就冻结了。有了DAO,世界在你看不见的地方依然按照自己的逻辑往前走。这其实有点像薛定谔的猫,只不过DAO的目标恰恰是打破那种"不观测就不存在"的假设,它让世界在无人观测的角落里依然保持真实。

JING:把世界状态变成你能看见的画面

说完DAO,再来看JING。

JING全称是"第一人称交互体验模型",是基于一个叫MiniMax-H3的底层模型改造训练出来的。它的任务是接收DAO给出的状态信息,结合你提供的参考图像、文字指令、相机轨迹,以及之前生成过的历史画面,持续不断地往下生成新的音视频内容。

论文里给出的公式是这样的:在第k步生成时,模型根据参考图像R、文本指令pk、相机轨迹Ck、以及之前的历史H

自回归生成

:指模型每次生成一小段内容后,把这段内容加入历史,再基于更新后的历史生成下一段,像接龙一样持续推进,而不是一次性生成整段视频。

这里有个很实际的工程问题值得说一说。要支持持续不断的流式生成,模型不能等你把所有输入都给齐了才开始算,得边走边生成,边生成边把新内容塞回历史里继续往下推。论文提到他们把原本的时间分块方式从(5,5,...,2)重新排成了(2,5,5,...),让生成的边界和视频解码器的重叠解码窗口对齐,这样新生成的内容片段可以增量式地解码出来,不用等整段生成完才显示。

这就好比直播和录播的区别。录播可以提前把整段内容准备好再一次性上传播放,但直播必须做到"边录边播",每一小段内容产生出来就要立刻能被观众看到,不能等到节目结束才打包发送。如果JING不做这种分块对齐的设计,用户每次操作后都要等很久才能看到反馈,交互感会完全崩塌。

JING还有一个很巧妙的设计叫相机条件编码。你操作鼠标键盘改变视角的时候,相邻两帧之间的相对位移和旋转会被编码成一个六维的运动表示,然后通过一种叫FiLM的调制方式,把这个运动信息"注入"到视频生成的隐藏状态里。

FiLM(特征线性调制)

:一种让额外信息(这里是相机运动)影响神经网络内部计算的技术手段,通过对隐藏特征做缩放和平移,把控制信号融入生成过程,而不需要重新设计整个网络结构。

这套机制只作用于视频相关的token,文本和音频token不受直接调制,但它们会通过共享的注意力机制间接交换信息。这个设计的好处是,相机控制可以作为一个轻量级的"插件"加到预训练好的模型上,而不用把整个模型推倒重来。

说到长期记忆,JING还设计了一套"音视频记忆库"机制,专门用来解决一个很现实的问题:**历史内容会越积越多,不可能把每一帧都塞进注意力计算里,但又不能完全丢掉早期信息。**

论文的做法是,每生成完一个片段,就从中提取出一些紧凑的"查询"和"键"描述符存进档案库。等到生成下一段内容时,模型拿着最近一段的查询描述符,去和档案库里的历史片段打分匹配,挑出最相关的那些"记忆"重新拿出来参与当前的生成计算。

这有点像你整理相册的方式。你不会把手机里存的一万张照片在每次翻相册的时候全部重新看一遍,你会凭着某种印象(比如"去年夏天那次旅行"),直接调出对应的几张照片。如果没有这种检索机制,模型要么只能记住最近几秒钟的内容(很快就会忘记更早的场景细节,导致场景不一致),要么就得把所有历史都塞进计算,代价大到根本没法实时运行。记忆检索机制相当于在"全记住"和"全忘记"之间找到了一个可控的折中点。

为了让这套系统能实时跑起来,JING还经过了一套相当精细的五阶段训练流程。先训练一个双向的"教师模型"学会相机控制,再训练一个因果自回归的"学生模型"适应边生成边依赖自己生成历史的模式,接着引入长期记忆机制,最后用两种蒸馏技术(VMM和DMD)把原本需要很多步去噪的扩散过程压缩到只需要4步,从而大幅提升生成速度。

扩散蒸馏

:一种让生成模型用更少的计算步骤产出接近原模型质量结果的训练技巧,通常通过让一个"学生"模型学习模仿"教师"模型多步生成的最终效果来实现。

压缩到4步之后效果损失了多少?论文给出了实际的评测数据,我们接下来就看看。

数据说话:压缩4倍速度,质量掉了多少

XGEN团队在一个叫WBench的评测基准上测试了JING,这个基准专门用来评估交互式视频世界模型,涵盖视频质量、设定还原度、交互指令遵循度、画面一致性、物理合理性这几个维度。

| 排名 | 模型 | 平均分 | 视频质量 | 设定遵循 | 交互遵循 | 一致性 | 物理合理性 |

| 1 | JING(双向版) | **81.0** | 80.9 | 88.5 | 76.7 | 85.7 | 73.3 |

| 2 | JING(4步自回归版) | 79.9 | 79.8 | 88.9 | **79.5** | 81.4 | 69.9 |

| 3 | Kling 3.0 | 79.4 | 80.0 | **91.0** | 73.1 | 83.9 | 69.2 |

| 4 | Wan 2.7 | 78.4 | **81.0** | **91.4** | 72.1 | 75.8 | 71.6 |

| 5 | Seedance 1.5 | 76.2 | 81.9 | 82.9 | 68.3 | 79.9 | 68.2 |

在包含289个测试案例的完整评测集上,JING的双向版本拿到了15个参赛模型中的第一名。更值得关注的是经过4步蒸馏压缩的快速版本,只掉了1.1分,依然稳居第二。

这个数字意味着什么?意味着原本需要几十步扩散计算才能生成一帧画面的系统,现在压缩到只需要4步,计算量减少了几倍,而生成质量几乎没有明显下降。这对于"交互式"体验来说至关重要,因为如果每次你按下一个键都要等上好几秒才能看到反应,这种"交互"其实是假的交互,根本谈不上沉浸感。

在导航类评测的39个参赛模型中,JING双向版排到第二,仅次于一个叫Alaya-EVOKE-Turbo的模型,但明显领先于Kling 3.0、Wan 2.7、Genie 3这些知名的同类系统。

论文还展示了一系列定性案例,涵盖沙漠古城探索、龙焰点燃柴堆、和角色用中文日语英语对话、家用机器人取球喂狗等场景。其中有一组实验特别有意思,叫"分支体验":从同一个喷泉场景出发,给出不同的指令,一个让你低头看水里的硬币,一个让你把硬币扔进水里,一个让你请求见一个精灵,三条路径从同一个起点分叉出完全不同的发展。这说明JING不只是机械地延续画面,而是真正根据你的意图在塑造接下来发生的事。

写在后面

读完这篇报告,最让我觉得有意思的不是JING生成画面有多逼真,而是DAO和JING之间那种"状态与渲染分离"的设计思路,这其实和传统游戏引擎的架构思路惊人地相似。传统3D游戏早就是这么干的:逻辑引擎算物理和碰撞,渲染引擎出画面,两者各司其职。只不过以前渲染引擎画的是预先建好模的3D场景,而现在渲染这部分被整个替换成了一个生成式AI模型,用自然语言和参考图像就能定义任意风格的世界。

这其实暗示了一件事:未来的"游戏开发"可能真的不再需要建模师一笔一笔搭场景,而是变成"定义规则 + 描述世界 + 让AI去渲染"。DAO那套实体图谱加交互规则的设计,本质上就是一个极简版的游戏规则引擎。

论文里那个"角色自主产生误会又自主和解"的实验,我反复看了好几遍。**这不是预先写好的剧情脚本,而是角色基于局部信息做判断、犯错、再修正的过程。**这种"允许AI角色犯错,然后靠后续证据自我纠正"的设计思路,其实比单纯让AI角色"永远正确"要难得多,但也真实得多。一个永远不会误解你的NPC是无趣的,一个会因为信息不全而误判、又能在看到证据后改变态度的NPC,才像是活在那个世界里的"人"。

这篇报告没有解决的问题也很明显:延迟还是个瓶颈,长期记忆的容量和检索精度还有提升空间,而且DAO目前展示的场景规模都还比较小,几个角色几个物体的互动。如果把这套系统放到一个有成百上千个角色、持续运行数月的世界里,状态管理的复杂度会不会指数级爆炸,这是个没有答案的问题,但确实值得继续追问下去。

Q&A

Q1:XGEN的DAO和JING分别是做什么的?

A:DAO是一个计算式世界引擎,负责维护角色、物体、场景之间的状态关系并按规则推演世界演化;JING是第一人称交互体验模型,负责把DAO给出的世界状态转化成用户能看到听到的第一人称音视频画面。

Q2:JING生成速度慢吗,实时交互能跟上吗?

A:原版JING经过蒸馏压缩后只需4步去噪就能生成画面,在WBench评测中相比未压缩的双向版本仅掉1.1分,依然排名第二,适合实时交互场景使用。

Q3:XGEN的世界会不会在用户离开后自动演化?

A:会。论文中的实验显示,DAO支持AI角色在用户视野之外自主行动,比如用户离开时点燃的火焰,服务员会在用户不在场时自主扑灭,用户返回后看到的是已处理过的状态。

关键词: 全模态 虚拟世界