Oneira：从开放式生成走向视频世界模型的开放世界交互
Oneira提出一种通过显式世界状态连接生成与交互的视频世界模型，使新生成或发现的对象能够被纳入可操作环境。编码智能体根据观察和动作读取、更新世界状态，并将交互结果持续带入后续视频片段；实验显示，模型可与新生成对象直接且一致地交互，并在较长时间范围内保留此前交互的影响。
推荐理由：论文将视频世界模型的交互能力拆分为开放世界交互与持久状态，为评估生成环境能否支持长期可控探索提供了具体框架。
世界模型
全部主题时空一致性、交互、预测与可控模拟；研究价值独立于是否已有商业应用。
41条精选
最新精选
第 1–20 条 · 共 41 条arXiv · 多模态、视频与世界模型精选AI 评分8484 arXiv · 多模态、视频与世界模型精选AI 评分8585 4Director：用刚性 3D 几何控制视频世界模型
论文提出4Director，一种以显式4D场景表示控制相机和物体运动的视频世界模型。它为每个物体重建规范网格，并为每帧指定刚性变换，再通过Motion Adapter生成视角一致的外观、光照和非刚性动态。
推荐理由：论文将刚性3D几何、视频生成和身份保持评测结合，为可控视频世界模型的设计与比较提供了具体参考。
arXiv · 多模态、视频与世界模型精选AI 评分8383 World Observer 通过联合演员与观察者生成实现持久世界建模
论文提出 World Observer，通过联合生成面向智能体视角的演员和观察选定区域的全景观察者，让离开演员视野的物体继续演化并在重新进入时恢复更新后的状态。该方法基于共享全景源进行几何对应，并引入高分辨率透视参考的 Observer Sink，同时提出用于评估视野外演化的世界空间指标和覆盖真实、合成场景的基准。
推荐理由：论文将视角外物体的持续演化转化为可观测、可评测的问题，为世界模型的空间覆盖与状态保持提供了具体设计和基准。
arXiv · 多模态、视频与世界模型精选AI 评分8585 Memorizon：训练超越上下文窗口的世界模型
论文《Memorizon》提出一种超越上下文窗口训练世界模型的方法，将长跨度重访监督与完整序列注意力解耦。训练样本可覆盖任意长度，但只对最后 k 个 chunks 评分，各 chunk 按相机共视关系检索自身的 top-K latents，共享 bank 上限为 kK；跨度从 100 s 增至 400 s 时，单步耗时增加 12%。
推荐理由：论文将长跨度重访监督与完整序列注意力解耦，为训练世界模型的时序一致性提供了可复用的检索式方案和成本参考。
arXiv · 多模态、视频与世界模型精选AI 评分7676 SemanTok：面向高效自回归视频生成的可预测语义 token
论文提出 SemanTok，一种将冻结的 DINO 特征输入编码器并由各保留 token 前缀独立重建的可变长度视频 tokenizer，用于自回归视频生成。201M SemanTok AR 模型的表现可匹配或超过参数规模为其 3.4 倍的 VideoFlexTok AR 模型。SemanTok 的短 token 前缀预测成本更低且生成保真度更高，像素细节则延后到后续 token。
推荐理由：论文通过让每个保留 token 前缀独立重建冻结的 DINO 特征，提升自回归视频生成的语义对齐，并降低短前缀预测成本。
arXiv · 多模态、视频与世界模型精选AI 评分7979 Kepler：面向 ARC-AGI-3 的可审计世界模型
论文提出开源评测框架 Kepler，用可执行世界模型、回溯转移检查和条件预测检查审计 ARC-AGI-3 智能体行为。在固定 Claude Opus 5 配置下，Kepler 在 25 个公开游戏上取得服务器验证的 100.00 RHAE，并记录了 3 类评测失败，包括源代码泄漏、控制条件下重建被移除的 harness，以及自主修复掩盖规划器故障。
推荐理由：论文把 ARC-AGI-3 的高分拆解为可审计的验证、成本与失败记录，为交互式世界模型评测提供了可复用的报告框架。
arXiv · 多模态、视频与世界模型精选AI 评分7777 FutureWorlds 提出从替代未来学习机器人世界模型的方法
FutureWorlds 提出一种从替代未来学习机器人世界模型的框架，结合多样化束搜索、候选专属记忆和 MemSPO 优化预测。在 RT-1、BridgeV2 和 RoboCasa 上，32 帧预测的 LPIPS 相比各自最强基线分别降低 14.78%、20.84% 和 9.12%。
推荐理由：论文将候选未来的多样性、历史维护与相对质量学习放进同一训练框架，为机器人视频预测中的时序一致性和动作结果建模提供了可复用思路。
arXiv · 多模态、视频与世界模型精选AI 评分8282 Ego2Act 提出面向目标驱动操作的第一视角视频生成评测基准
论文作者提出 Ego2Act，用包含2,640段视频和110项日常任务的基准，评估模型根据初始场景图像和高层目标生成第一视角操作视频的能力。论文同时提出无参考评测流程 Ego2ActJudge，并发现模型常跳过或部分执行中间步骤，在复杂物体操作和持续世界建模中的细粒度物理动态表现不足。
推荐理由：Ego2Act将多步物理操作和目标完成纳入视频生成评测，并提供无参考评测流程，便于比较模型的目标驱动模拟能力。
arXiv · 多模态、视频与世界模型精选AI 评分7777 PhysicsLENS 发布视频生成模型物理属性盲点评测基准
PhysicsLENS 提出面向机器人物理属性合理性的评测数据集与基准，使用相同条件帧和任务、不同场景物理描述的配对场景，覆盖碰撞、重力、动量、摩擦、形变、流体和因果七个领域。对四个视频生成模型的评测包含 400 多个人工标注，结果显示 47 个外观合理的视频中有 34 个忽略了指定物理属性；明确写出该属性只使合理性略有下降，且未达到显著水平。
推荐理由：该基准把视觉上难以辨认的物理属性纳入视频模型评测，为判断生成视频能否支持机器人学习与规划提供了更具体的测试维度。
arXiv · 多模态、视频与世界模型精选AI 评分8181 AutoGUIWorld：用图像生成器构建 GUI 智能体视觉世界模型
AutoGUIWorld 提出一种无需部署或运行对应软件环境的 GUI 交互轨迹生成框架，将规划器与图像生成器结合，迭代生成界面状态和动作后果。
推荐理由：论文展示了用图像生成器合成 GUI 交互轨迹的路径，并用 OSWorld 与 ScienceBoard 结果说明其对智能体训练的潜在价值。
arXiv · 多模态、视频与世界模型精选AI 评分7676 《The Planning Limits of Latent World Models》揭示潜在世界模型的规划局限
论文评估了基于 V-JEPA 2、V-JEPA 2.1、VideoMAEv2、VideoPrism 和 DINOv2 的世界模型在 Meta-World 与 BridgeData V2 机器人任务中的规划能力。
推荐理由：论文将世界模型的可规划范围量化到控制步数，并比较了延长想象轨迹、MPC和专家子目标对远距离任务成功率的影响。
arXiv · 多模态、视频与世界模型精选AI 评分8080 为何传统世界模型难以学习元胞自动机？
Shaoyang Guo 的研究发现，基于 Transformer 或卷积网络的自回归、扩散世界模型往往能预测多数像素，却难以完整复现元胞自动机的世界动力学。CNN 预测96.3%的细胞但仅完成18.9%的 rollout，联合扩散模型则未完成任何 rollout。
推荐理由：论文用元胞自动机把世界模型的像素准确率与完整 rollout 区分开，并给出三类信息流修正，为时空一致性设计提供可复用的诊断框架。
arXiv · 多模态、视频与世界模型精选AI 评分7979 LOCI：面向流式世界模型的空间线性记忆
Ji Xia 等人提出 LOCI，一种结合 key-value cache 与循环线性注意力记忆的空间记忆架构，用于让视频世界模型更准确地复现摄像机重访区域。
推荐理由：LOCI 将可保留视觉细节的 key-value cache 与线性循环记忆结合，为长视频中的场景重访和显存控制提供了具体架构参考。
arXiv · 多模态、视频与世界模型精选AI 评分8585 Physis-Lang：用自演化语言作为视频世界模型的物理表示
Physis-Lang提出一种自演化框架，将物理语言作为视频世界模型在数据整理、模型训练和视频生成中的共享表示。在四个物理视频基准上，使用 Wan 和 Cosmos 主干的实验显示物理可信度持续提升；基于开源 Cosmos3-Nano 的增强模型超过 Veo 3.1。
推荐理由：论文将物理过程拆成可优化的语言断言，并通过 PhysCapBench 与语言引导检索改善视频世界模型的物理可信度。
arXiv · 多模态、视频与世界模型精选AI 评分7878 Audible World Models 提出面向 3D 世界的空间感知声音生成框架
论文提出 Audible World Models，一种 training-free 框架，可从文本提示构建全景 3D proxy，将声音源锚定到重建几何，并根据听者视点和运动渲染空间音频。对 80 个生成场景的实验显示，该方法在空间一致性上优于文本、视频和全景图条件基线，同时保持有竞争力的语义对齐；论文已被 NeurIPS 2026 接收。
推荐理由：论文将声音源位置、3D 几何与几何声学传播纳入世界状态，为构建随观察者移动而变化且保持空间一致性的多模态世界模型提供了可复用路线。
arXiv · 多模态、视频与世界模型精选AI 评分8080 LongTake：学习在长时域视频生成中维持动态
LongTake提出由 Long-Horizon Teacher Forcing 和 DMD 构成的两阶段训练流程，让自回归视频扩散模型基于长真实视频前缀预测后续帧，以维持长时域生成中的场景动态和视觉质量。在相同的五秒 DMD 训练设置下，该初始化在30秒生成中以相近美学质量获得更高动态程度；Hybrid DMD 在30秒和60秒自回滚评测中取得被评估方法中的最高动态程度。
推荐理由：Long-Horizon Teacher Forcing 将长视频真实前缀引入训练，结合 Hybrid DMD，为提升长时域生成的动态持续性和画质提供了可复用的训练思路。
arXiv · 多模态、视频与世界模型精选AI 评分7676 FrameMorrow：用前瞻 tokens 指导长时视频生成中的帧选择
论文提出 FrameMorrow，通过预测代表未来信息需求的少量 prospective tokens，从历史中选择相关帧，以支持长时视频生成。该方法选择显式历史帧而非模型内部状态，可接入包括闭源模型在内的不同生成器，并在 5 个基准、11 个生成模型上评估了长视频生成、交互生成和动作条件世界模型任务，报告了长程一致性、视觉质量与动作对齐的持续提升。
推荐理由：论文把历史选择从当前相关性转向未来信息需求，并以显式历史帧接入不同生成器，为长视频和交互生成的记忆设计提供了可复用思路。
arXiv · 多模态、视频与世界模型精选AI 评分8686 Asking the World 提出智能体世界建模与探测方法，提升视频物理推理
Shenxiang Zeng 的论文提出 Asking the World（ATW），通过世界建模与世界探测两个自适应阶段，从视频构建并干预可执行的物理世界。基于 Gemini-3-Flash，ATW 在 CLEVRER 上达到 80.82% 问题级准确率，在 ContPhy 上达到 70.56%，并在三个真实场景中达到 71.67%。
推荐理由：论文将视频中的物理推理转化为可执行世界的建模与探测，并用多组基准展示了这种验证式流程相对直接 VLM 推理的提升。
arXiv · 多模态、视频与世界模型精选AI 评分7979 MEND：无标签检测、定位与校正世界模型中的潜在幻觉
论文提出 MEND，用一个基于真实状态转移训练的条件 score network，在没有错误标签的情况下检测、定位并尝试校正冻结世界模型中的潜在幻觉。在两个导航环境中，MEND 的幻觉检测 AUROC 最高达 0.80，逐 token 定位 AUPRC 最高达 0.87，且不使用动作信息。推理时校正可降低单步潜在误差并改善预测，但部分误差位于数据流形切向方向，论文因此重点讨论检测与定位。
推荐理由：论文把世界模型的潜在幻觉拆成检测、定位和推理时校正三个可评估环节，并给出无需错误标签的指标结果，适合参考相关鲁棒性研究设计。
Runway · 研究与模型精选AI 评分8181 Runway 宣布开放权重世界动作模型 Praxis-1
Runway宣布Praxis-1，这是其首个开放权重世界动作模型，目前正与早期伙伴在不同机器人具身和环境中测试，并计划未来几个月公开发布。Praxis-1基于大规模视频预训练，Runway称其在世界模型中模拟机器人策略与现实结果的相关性达到0.95。早期测试伙伴包括Noble Machines、Standard Bots和Ultra，模型将在各自硬件上运行。
推荐理由：Praxis-1将视频预训练用于跨具身机器人策略，并以0.95相关性仿真结果和多种硬件测试说明其开放权重路线。