最近AI圈有件反主流的事。

图灵奖得主Yann LeCun和谢赛宁合伙创立 AMI Labs，融资10亿美元，不做更大的 LLM，要做"世界模型"。几乎同时，李飞飞的World Labs拿到数亿美金，主打"空间智能"：让AI看懂三维世界，而不只是会聊天画图。再加上一直押注 Genie 的 DeepMind Demis Hassabis，AI圈最响亮的一批名字，不约而同押向了同一条赛道。

这条赛道，叫世界模型（World Model）。

它和LLM解决的问题完全不同：LLM 告诉你"世界是什么样"，世界模型告诉你"我这样做之后，世界会变成什么样"，一个是旁观者，一个是参与者。

最近我们 Datawhale做了个开源项目learn-world-model，想第一次带大家把世界模型从0学一遍、做一遍。这篇就是开篇导读（教程还是内测版，后续持续更新）。

不堆术语，不丢公式炸弹。先讲清楚它到底是什么，再走一遍80年发展史，最后把最火的五大技术路线一次拆开。

而这条线索的起点比 LLM 早得多——1943年，英国心理学家 Kenneth Craik 就预言：大脑里维护着一个"现实的小尺度模型"，行动前先在脑子里跑一遍。80年后，它正被这些大佬用各自的方式变成现实。

神经科学在 1990 年代发现了一件有意思的事：大脑并不是在"看"世界，而是在预测世界，然后只处理"预测错了的部分"。

这叫预测编码（Predictive Coding）。

视觉皮层不会把眼睛接收到的每个像素老实传上去，太耗能了。大脑高层持续向低层"下发预测"，低层只需要把预测与真实感官的误差往上汇报。

当你走进熟悉的办公室，大脑几乎不需要处理任何信息，因为一切都在预期之内。但如果同事的椅子换了位置，那个"错位"信号会立刻引起注意。预测准确的部分被压缩掉了，只有误差才值得消耗资源。

控制工程领域在1960年代也独立发现了类似的原理，叫内模原理（Internal Model Principle）：

想控制某件事，先得理解它。这条原理贯穿机器人、航天器、自动驾驶，也成为后来"基于模型的强化学习"的理论根基。

这个词被用得很乱，先把边界划清楚。

广义上：任何能预测"接下来会发生什么"的模型都可以叫世界模型。视频生成模型预测下一帧，语言模型预测下一个词，天气预报预测明天气温，全都算。

狭义上，在强化学习和机器人领域，世界模型有更严格的含义：它必须以动作为条件。不只是"下一帧长什么样"，而是：

用一句话描述：给定当前观测和动作，预测下一时刻观测的概率分布：

其中 $o_t$ 是当前观测，$a_t$ 是执行的动作，$o_{t+1}$ 是下一时刻的观测。

加了这一个条件，世界模型从"旁观者"变成了"参与者"：不只告诉你世界会怎样，还告诉你你的选择会带来什么后果。机器人需要的正是后者。

本文聚焦的，是这个更严格的定义。

三个价值。第一个最直觉，后两个才是工业界真正在乎的，也最常被忽视。

价值一：样本效率——在脑子里练一万遍

无模型强化学习（Model-Free RL）需要数百万次真实交互才能学会一个简单任务，每一次交互都是真实时间和真实资源。

世界模型让Agent 可以在内部模拟中"虚拟经历"海量轨迹：

Dreamer V3（arXiv:2301.04104）在 Atari 100k 基准（只允许 100,000 步真实环境交互）上超过人类水平，背后依赖的正是这个机制。

价值二：规划能力——动手之前先算好

有了世界模型，Agent 可以在行动之前先在脑子里把几条路都走一遍，选预期回报最高的那条。

MuZero（DeepMind，2020，arXiv:1911.08265）正是靠这个机制，在不被告知游戏规则（状态转移方程、终局条件）的情况下，自己学出了一套内部动态模型，并凭此掌握了国际象棋、围棋、Atari 游戏的通用策略。

价值三：安全性——工业界最看重的杀手锏

在机器人、自动驾驶、工业控制这些场景，试错的代价可能是灾难性的。

世界模型的解决方案：

Wayve 的 GAIA-1（arXiv:2309.17080）已经在工业级验证了这个思路：给定真实路测片段，模型可以自动生成"同一路口、不同天气/行人行为"的变体，把安全关键场景的训练覆盖率提高到纯真实数据采集无法企及的规模，成本只是真实路测的极小比例。

阶段一：理论奠基（1950s–2017）

循环神经网络（RNN）、卡尔曼滤波器、隐马尔可夫模型……七十年里，研究者在控制论、语音识别、机器人学的不同角落，各自构建"预测未来状态"的工具，从未被统一冠以"世界模型"的名字。

最具代表性的例子：卡尔曼滤波器在 1960 年代帮助阿波罗导航系统实时预测飞船位置。它不等传感器读数，而是先用内部模型"猜"飞船下一秒在哪，再用真实测量值校正误差。同一套思路，后来出现在语音识别、天气预报、工业机器人里，只是换了一套数学外衣。

直到2018年，一篇论文把这些散落的工具第一次组合成一个可端到端训练的框架。

阶段二："在梦里学开车"（2018）

2018 年，David Ha 与 Jürgen Schmidhuber 发表《World Models》（arXiv:1803.10122），用三个模块构建了这个框架：

V 模块是卷积神经网络，把每一帧游戏画面压缩成一个低维向量z。M模块是混合密度网络 + 循环神经网络（MDN-RNN），以z和上一步动作为输入，预测下一帧的z的概率分布。C 模块只是一个极简的线性层，把当前z和隐藏状态映射成动作。

最令人着迷的是他们的实验：把控制器放进记忆模块幻想出的虚拟环境里训练，然后把策略迁移到真实游戏。在梦里学会开车，醒来就能上路。这个比喻让世界模型第一次走进大众视野。

但这个实验也暴露了世界模型的核心难题：控制器学会了利用世界模型的错误来制造虚假高分，在梦境里作弊而非学到真实技能，这在 RL 里有个专门术语叫reward hacking。模型还没学会开车，倒是先学会了应付 KPI。这个问题，后来成为整个领域持续攻克的核心挑战。

阶段三：潜在空间革命（2019–2022）

2019 年，Danijar Hafner 等人发布 Dreamer V1（arXiv:1912.01603），引入了RSSM（循环状态空间模型），把世界模型的架构推上了新台阶。

Dreamer 的核心改变只有一个：不再在像素空间里做任何事，直接在低维的潜在空间（latent space）里完成预测、规划、奖励学习的全流程。

潜在空间是什么？把一帧 64×64 的游戏画面（12,288 个像素值）压缩成一个只有几十维的向量，丢掉光照、纹理、背景噪点这些无关细节，只保留"这里有个平台、那里有个敌人"这类结构性信息。这个压缩后的低维空间，就是潜在空间。完成压缩的网络叫VAE（变分自编码器），训练目标是：压缩后再还原，重建出的画面要尽量接近原图。

为什么这个改变如此关键？在像素空间里预测，模型需要对 12,288 个数字的精确数值负责，包括背景每一粒噪点、光影每一次细微变化，算力消耗极大。

RSSM 把这个问题拆成两条并行路径。确定性路径用GRU（一种循环神经网络单元，擅长记住"到目前为止发生了什么"）捕捉平滑、连续的动态；随机路径从一个学习到的概率分布中采样一个随机向量，捕捉环境中真实存在的不确定性，比如抛出的球是否会弹进洞里。两路信息拼接后，才做下一步预测：

有了这个结构，Dreamer 的规划方式是：把当前状态送入RSSM，不与真实环境交互，只在内部反复滚动预测未来若干步，同时用一个学到的奖励模型打分，选出预期累积奖励最高的动作序列，再执行第一步。整个"想象-评分-行动"的循环全在潜在空间里完成，速度远快于跑真实环境。

Dreamer 系列从V1迭代到 V4，成为世界模型领域的旗舰工作。Dreamer V3（arXiv:2301.04104）用单套超参数横跨Atari、Minecraft、机器人控制等8个领域超过150个任务，每个领域都取得了有竞争力的结果，这在之前从未实现过。

时代二留下的"作弊问题"，在 RSSM 架构里得到了结构性的缓解：策略学习全程在潜在空间里进行，模型可利用的"漏洞"大幅减少；而后来的 V-JEPA 2 则用 EMA 从训练机制上切断了捷径（详见下文）。

阶段四：视频即世界（2023+）

2023年前后，两条平行路线汇聚：能不能用视频本身来学习世界的物理规律？

路线A：JEPA（联合嵌入预测架构）

Yann LeCun 团队走了一条与扩散模型截然不同的路：抛弃像素重建，只在语义嵌入空间里做预测。

"我不需要画出你的脸，我只需要知道你是谁。"

Meta 在2025年发布的 V-JEPA 2 被明确定位为"迈向 AGI 的世界模型组件"：给定动作序列，在语义空间预测未来的视觉表示，不是生成逼真视频，而是理解"如果我这样移动手臂，物体会在哪里"。

路线 B：大规模视频生成

Google 的 Genie、Veo 在2024 年发布，NVIDIA 的 Cosmos 在2025年初跟进。研究者开始追问：这些模型在生成逼真视频的过程中，是不是顺带学到了空间结构感、物体持久性和粗粒度物理规律？如果是，它们能不能作为机器人的底层世界模型？

这个问题至今没有确定答案，但已经足够严肃，让两个原本平行的领域坐到了同一张讨论桌前。

时代三的 Dreamer V1是2019年的，时代四的视频生成 2023 年就起步了。为什么偏偏 2024–2025 才成了每个AI会议的主角？

不是某个单点突破，而是三条线刚好同时成熟，撞到了一起。

第一条：视频生成突然变强。Genie、Veo、Cosmos 的出现（上文时代四）让视频生成质量在短时间内大幅提升。但质量提升带出了一个更深的追问：生成质量高不等于物理理解深，这批模型能不能作为机器人的底层世界模型？这个问题催生了大量跨领域研究投入，也是为什么2024年后世界模型的讨论同时出现在视频生成和机器人两个会议上。

第二条：具身智能遇到数据瓶颈。通用机器人训练需要大量遥操作数据，成本极高，世界模型提供了"从无标注视频间接学习"的绕路方案。

第三条：自动驾驶验证了"反事实仿真"的商业价值。Wayve 的 GAIA-1 已经在工业级证明：用世界模型生成罕见危险场景的合成数据，比单纯累积路测里程效率更高，这条路径的商业逻辑已经跑通。

上一次世界模型热（2018–2020）是学术界主导的，在游戏里证明可行性，落地很遥远。这一次（2024+）工业界和学术界同时入场，因为它已经触碰到了真实的成本瓶颈和安全需求。

2023 年以后，世界模型分化出五条路线，每条面对的核心权衡都不一样：RNN/RSSM 追求样本效率、Transformer 追求长程建模、Diffusion 追求生成质量、JEPA 追求语义理解、Embodied WM 追求数据效率。选哪条，取决于你的任务对哪个瓶颈更敏感：

📊 架构对比速览

STORM：把游戏帧变成"句子"

STORM（NeurIPS 2023，arXiv:2310.09615）的思路，是把GPT处理文字的方式搬到视频帧上。

GPT 能预测"下一个词"，因为词是离散的、可以用概率分布精确建模。STORM 用分类VAE把每一帧压缩成一个离散潜变量，就像把一首歌的某个小节描述成"这是A段高潮"，而不是保留"这4秒钟的完整波形数据"。再把这个离散编码和当前动作合并成单个token，送给Transformer处理。

单 token 设计让序列长度大幅缩短（同期的 IRIS 方法每帧产生16个 token，STORM 只用 1 个），训练速度大幅提升。在 Atari 100k 基准上，STORM 以126.7% 平均人类标准化分数（HNS，Human Normalized Score，以人类玩家水平为 100% 的归一化得分）创造了当时不依赖额外规划算法的方法中最高记录，训练只需要单块 RTX 3090 约4个小时。

Diamond：用扩散模型"画出"下一帧

Diamond（NeurIPS 2024，arXiv:2405.12399）走了另一条路：不做离散压缩，直接用扩散模型逐步"去噪"出下一帧。

扩散模型（Diffusion Model）的核心逻辑是：先把真实图像加噪声破坏掉，再训练模型把噪声一步步还原。在世界模型场景里，以历史帧和当前动作为条件，扩散模型"去噪"的结果就是下一帧的预测。

Diamond 选择了其中最右边的方案：通过交叉注意力把动作信息注入 U-Net，让去噪过程以动作为条件：

Diamond 在 Atari 100k 上以平均 HNS 146%超越了此前所有世界模型方法，生成的视频帧视觉质量也是五种架构中最高的。

代价是：每生成一帧需要多次神经网络前向传播，计算开销远高于STORM 这类单次前向传播的方法（实测帧生成吞吐量相差约一个数量级）；而且生成过程不可微，难以直接与策略优化对接。

V-JEPA 2：不画画，只理解

V-JEPA 2（Meta，2025，arXiv:2506.09985）是最"另类"的一个：它根本不生成图像。

它的训练目标是：给定一段视频中可见的时空块，预测被遮挡的时空块的语义表示，而不是预测像素值。V-JEPA 2 在此基础上进一步加入动作条件，使模型能够回答"执行这个动作序列之后，视频的语义表示会怎么变"。

这里有一个陷阱：如果两个编码器完全同步更新，模型会很快找到一个捷径，"把所有输入映射到同一个向量"就能让预测误差接近零，这叫表示坍缩（Representation Collapse）。而EMA（指数滑动平均，Exponential Moving Average）是堵住这个捷径的关键：目标编码器的参数不直接跟着梯度走，而是每步只向另一个编码器"靠近一小步"（比如 99% 保留旧值，1% 吸收新值），像一个永远慢半拍的影子。两者永远不同步，模型就无法通过输出固定向量来"蒙混过关"。

V-JEPA 2 被 Meta 明确定位为世界模型的基础组件，而不是视频生成器。它的优势在于对物理世界的结构性理解：不需要关心光照、纹理等像素级细节，直接在语义层面建模"这个物体在哪里、手是否握住了它"。

DreamDojo：从人类视频里"偷学"机器人技能

DreamDojo（NVIDIA，2026，预印本，arXiv:2602.06949）面对的是机器人领域最现实的问题：机器人的操作数据，贵到离谱。

采集高质量机器人遥操作数据，需要专业硬件、熟练操作员、真实物理场景，成本极高。但互联网上有数以万小时计的人类日常操作视频（Ego4D 等公开数据集已超过 44,000 小时），远超机器人遥操作数据集的规模。

DreamDojo 的思路：先在这批人类视频上做大规模预训练，学到物理交互的基本规律（重力、物体碰撞、手的运动方式），再在少量机器人数据上微调。人类和机器人的形态不同，但物理规律一样，这是迁移的前提。

动作标注的问题怎么解决？用连续潜在动作（continuous latent actions）作为代理：从相邻两帧之间的差异里自动提取一个几十维的向量，表示"帧与帧之间发生了什么类型的变化"。它不是关节角度，也不是力矩，而是模型从视频里自动发现的抽象运动模式，绕过了逐帧手工标注的需要。

最终，DreamDojo 在 640×480 分辨率下达到10.81 FPS 的推理速度，满足实时机器人控制的基本要求，并展现出跨环境零样本泛化能力。

五个架构，五条路线，每条都有人在押注、在融资、在发论文。但有一个问题，这些论文都没有回答：世界模型，真的是正确的方向吗？AI 领域围绕这个问题有三种截然不同的声音，值得分开来听。

第一种声音：世界模型是唯一正确的路

这是 Yann LeCun 和谢赛宁的立场。AMI Labs 于 2025 年 12 月成立，LeCun 担任执行董事长，谢赛宁担任首席科学官，截至2026年3月完成超过 10亿美元融资，明确对标"以 LLM 为中心"的硅谷主流。别人融十亿是为了买卡训 LLM，他们融十亿是为了证明大家训 LLM 训错了方向。

谢赛宁的比喻流传很广（访谈原文）：

LeCun 的表述更详细（见 2022 年技术报告 A Path Towards Autonomous Machine Intelligence）：LLM 处理的是人类发明的符号系统，是对世界的二次抽象；真正的智能需要直接从连续的感官信号中建模物理世界。他的核心论断是：表征是世界模型最重要的部分，语言和像素都只是表征的输出接口，而不是基础。

AMI Labs 的技术选择是非生成式的 JEPA 路线，不生成像素，直接在语义空间里预测状态变迁。他们的赌注是：五年后，今天 LLM 主导的格局会被证明是一段弯路。

第二种声音：LLM 加多模态，融合就够了

这是 Google DeepMind 的路线。Demis Hassabis 在 2025 年的访谈中明确表示，Gemini 的演进方向就是"成为世界模型"，但实现方式是在大型多模态 LLM 上叠加具身推理能力，而不是推翻生成式范式另起炉灶。

逻辑是：LLM 已经积累了人类几千年书写知识的压缩表示，在这个基础上叠加视觉、空间感知、强化学习，比从头建一套新架构更务实。Gemini Robotics 和 GPT-4o 的多模态能力，都是这个方向的体现。

这条路线有一个实用主义的支撑论据：LLM 在常识推理、语言指令理解、跨任务泛化上已经足够强，而这些恰恰是纯 RSSM/JEPA 架构最弱的地方。Gemini Robotics 的思路是：不需要从零建立物理直觉，直接借用 LLM 里已经压缩好的"世界常识"，再让模型学会把这些常识映射到连续的物理动作上。

但这条路线的批评者也有具体的论据：LLM 学到的是统计关联，不是因果结构。它能告诉你"玻璃杯掉下来会碎"，但不知道为什么碎、碎成几片、碎片会弹到哪里。这种"知道结果但不懂机制"的理解方式，在语言任务里够用，在机器人操作里可能恰好踩中最难的那块：你需要的不是常识，是精确的物理预测。

第三种声音：方向也许对，但时机还没到

这是目前最少被公开讨论、在业界却私下流传最广的一种判断。

核心是一个数据密度问题：语言的每个token 携带极高的语义密度，一句话就能传达完整的命题。视觉信号截然不同：一帧 1080p 视频包含约 600 万像素，但其中承载的命题性信息（谁、在哪、做什么）压缩成文字不过几十个词。用同等数据量训练，视觉信号能传达的语义量远小于文字：语义密度低，意味着相同的命题需要更多帧才能学到。世界模型恰恰需要大量视觉输入，这意味着要训练出能力对标当前 LLM 的世界模型，所需数据量和算力可能比 LLM 高出好几个数量级，产出的能力却可能还不如一个早期的BERT。

历史教训不止一次：NLP 领域几十年的语法树、依存句法、词性标注研究，LLM 出来之后几乎整个作废，当年写这些工具的人不是方向错了，是被规模定律碾过去了（The Bitter Lesson，Sutton，2019）。脉冲神经网络（SNN）最接近生物神经元的工作方式，研究了将近半个世纪，Transformer 出来之后在几乎所有基准上被直接越过，连追赶的机会都没有。

持这种观点的人不反对世界模型的方向，他们反对的是现在就大规模押注：在视觉数据密度问题没有根本突破之前，所需的目标函数、计算规模、数据量都还远远不够，这个问号值得每一个认真考虑"要不要押注世界模型"的人先想清楚。

三种声音不是非此即彼。LeCun和谢赛宁在用融资和职业生涯押注方向；DeepMind 在用工程路径逼近同一个目标；怀疑者在追问"就算方向对，现在的条件够吗"。这三个都是真问题：方向已经进入主流，但胜负还没分。

从 Craik 在1943 年写下"颅骨里的小模型"，到2026 年 DreamDojo 从人类视频里教会机器人拧螺丝，这条线索走了80年，始终指向同一个问题：智能体怎么在行动之前先想清楚？

LLM 回答的是"世界是什么样的"，世界模型回答的是"如果我这样做，世界会发生什么"。这是两个不同的问题，目前没有任何一种架构同时把两者都解决好了。

随着机器人和具身智能从实验室走向现实，第二个问题会越来越重要。

如果你对这条技术路线感兴趣，想从零开始动手实现，从 VAE 编码器到完整的 Dreamer 流水线，Datawhale 正在开源一套配套课程和代码👇：

github.com/datawhalechina/learn-world-model

欢迎 star、fork、一起共建。