AI 智能体从照片生成 3D 场景，却无法判断自己是否做对
研究团队提出 Image-to-Code 方法，让编码智能体从单张照片编写可执行的 Blender 程序，通过写代码、运行、查看结果并迭代修改来重建 3D 场景。
#世界模型
#世界模型
今日 1 条The DecoderAI 评分6262
arXiv · 多模态、视频与世界模型精选AI 评分8484 Oneira：从开放式生成走向视频世界模型的开放世界交互
Oneira提出一种通过显式世界状态连接生成与交互的视频世界模型，使新生成或发现的对象能够被纳入可操作环境。编码智能体根据观察和动作读取、更新世界状态，并将交互结果持续带入后续视频片段；实验显示，模型可与新生成对象直接且一致地交互，并在较长时间范围内保留此前交互的影响。
推荐理由：论文将视频世界模型的交互能力拆分为开放世界交互与持久状态，为评估生成环境能否支持长期可控探索提供了具体框架。
arXiv · 多模态、视频与世界模型AI 评分6161 时间序列世界模型中预测精度与机制一致性的分歧
该论文形式化并基准测试时间序列世界模型，发现预测误差与模型对改变后行动的机制一致性可能明显分离。基准涵盖八个公开数据集、七种骨干网络和五个随机种子；冻结潜在预测空间使平均 MAE 降低 9.9%，门控输出融合较输入拼接降低 12.7%。方向监督可在不改变 MAE 的情况下提升受惩罚机制上的一致性。
arXiv · 多模态、视频与世界模型AI 评分7272 Latent-Foresight：端到端学习可预测表示的潜在世界模型
Latent-Foresight 提出端到端框架，联合学习潜在 tokenizer 与 flow-based 生成动力学模型，以获得更适合时间预测的表示。实验显示，该方法在多个未来场景理解任务和预测时间跨度上优于两阶段基线，并提供实现代码和模型权重。
arXiv · 多模态、视频与世界模型精选AI 评分8585 4Director：用刚性 3D 几何控制视频世界模型
论文提出4Director，一种以显式4D场景表示控制相机和物体运动的视频世界模型。它为每个物体重建规范网格，并为每帧指定刚性变换，再通过Motion Adapter生成视角一致的外观、光照和非刚性动态。
推荐理由：论文将刚性3D几何、视频生成和身份保持评测结合，为可控视频世界模型的设计与比较提供了具体参考。
arXiv · 多模态、视频与世界模型精选AI 评分8383 World Observer 通过联合演员与观察者生成实现持久世界建模
论文提出 World Observer，通过联合生成面向智能体视角的演员和观察选定区域的全景观察者，让离开演员视野的物体继续演化并在重新进入时恢复更新后的状态。该方法基于共享全景源进行几何对应，并引入高分辨率透视参考的 Observer Sink，同时提出用于评估视野外演化的世界空间指标和覆盖真实、合成场景的基准。
推荐理由：论文将视角外物体的持续演化转化为可观测、可评测的问题，为世界模型的空间覆盖与状态保持提供了具体设计和基准。
arXiv · 多模态、视频与世界模型精选AI 评分8585 Memorizon：训练超越上下文窗口的世界模型
论文《Memorizon》提出一种超越上下文窗口训练世界模型的方法，将长跨度重访监督与完整序列注意力解耦。训练样本可覆盖任意长度，但只对最后 k 个 chunks 评分，各 chunk 按相机共视关系检索自身的 top-K latents，共享 bank 上限为 kK；跨度从 100 s 增至 400 s 时，单步耗时增加 12%。
推荐理由：论文将长跨度重访监督与完整序列注意力解耦，为训练世界模型的时序一致性提供了可复用的检索式方案和成本参考。
arXiv · 多模态、视频与世界模型AI 评分6767 Token-World 提出面向机器人操作的 VLM Token 空间世界建模方法
Token-World 面向视觉语言动作（VLA）系统，将 VLM 视觉特征压缩为紧凑 token 状态，在该空间建模动作条件下的未来动态，并映射回策略使用的表示。
arXiv · 多模态、视频与世界模型精选AI 评分7676 SemanTok：面向高效自回归视频生成的可预测语义 token
论文提出 SemanTok，一种将冻结的 DINO 特征输入编码器并由各保留 token 前缀独立重建的可变长度视频 tokenizer，用于自回归视频生成。201M SemanTok AR 模型的表现可匹配或超过参数规模为其 3.4 倍的 VideoFlexTok AR 模型。SemanTok 的短 token 前缀预测成本更低且生成保真度更高，像素细节则延后到后续 token。
推荐理由：论文通过让每个保留 token 前缀独立重建冻结的 DINO 特征，提升自回归视频生成的语义对齐，并降低短前缀预测成本。
arXiv · 多模态、视频与世界模型AI 评分7575 JEPA-TTT：持续测试时训练让潜在世界模型适应动力学变化
JEPA-TTT在测试时持续更新预训练、动作条件化JEPA世界模型的潜在动力学预测器，同时固定视觉编码器和奖励头，以适应训练与测试环境之间的动力学变化。该方法通过dense replay积累跨回合的预测窗口，规划不需要目标图像或在线环境奖励。在四个连续控制环境的八种动力学变化中，经过500个测试回合后，潜在自回归预测误差平均降低83%，规划性能较冻结的JEPA世界模型提升153%。
arXiv · 多模态、视频与世界模型AI 评分6666 CF-JEPA 通过可控性分解提升 JEPA 世界模型鲁棒性
论文提出 CF-JEPA，将 JEPA 世界模型的潜空间拆分为可控与不可控子空间，以隔离视觉背景干扰。该方法在 2D 和 3D 控制任务的正常条件下表现相当，并在受干扰条件下提升性能，且论文称其是唯一未出现潜表示坍塌的模型；作者还在模拟机器人任务中进行了验证。
arXiv · 多模态、视频与世界模型精选AI 评分7979 Kepler：面向 ARC-AGI-3 的可审计世界模型
论文提出开源评测框架 Kepler，用可执行世界模型、回溯转移检查和条件预测检查审计 ARC-AGI-3 智能体行为。在固定 Claude Opus 5 配置下，Kepler 在 25 个公开游戏上取得服务器验证的 100.00 RHAE，并记录了 3 类评测失败，包括源代码泄漏、控制条件下重建被移除的 harness，以及自主修复掩盖规划器故障。
推荐理由：论文把 ARC-AGI-3 的高分拆解为可审计的验证、成本与失败记录，为交互式世界模型评测提供了可复用的报告框架。
arXiv · 多模态、视频与世界模型AI 评分5656 CEM 中的世界模型也承担候选提议机制
论文研究了世界模型在 CEM 中同时承担候选动作评分和下一轮采样分布提议机制的作用。在 Walker 和 Cheetah 的 12 个独立训练任务单元中，候选提议分布逐轮收缩，成对排序一致性在 Walker 接近随机水平、在 Cheetah 下降。
arXiv · 多模态、视频与世界模型AI 评分5454 MC-WM：基于校准风险的受控世界模型适配路由
Yifan Zhang 提出 Model-Corrected World Model（MC-WM），通过校准风险在修正模拟器与直接拟合目标之间进行路由，以应对目标数据有限时的模型选择问题。
arXiv · 多模态、视频与世界模型精选AI 评分7777 FutureWorlds 提出从替代未来学习机器人世界模型的方法
FutureWorlds 提出一种从替代未来学习机器人世界模型的框架，结合多样化束搜索、候选专属记忆和 MemSPO 优化预测。在 RT-1、BridgeV2 和 RoboCasa 上，32 帧预测的 LPIPS 相比各自最强基线分别降低 14.78%、20.84% 和 9.12%。
推荐理由：论文将候选未来的多样性、历史维护与相对质量学习放进同一训练框架，为机器人视频预测中的时序一致性和动作结果建模提供了可复用思路。
arXiv · 多模态、视频与世界模型AI 评分4040 网络世界模型：复杂系统算法设计的环境
研究提出一种动作条件网络世界模型，用于在复杂系统中评估干预行动并辅助算法设计。在 8 个网络任务和 5 个扩散模型的 141 个设置中，设计出的算法在 138 个设置达到或超过最强基线，rollout 速度最高为 Monte Carlo simulation 的 14.5 倍；代码将在接收后发布。
arXiv · 多模态、视频与世界模型精选AI 评分8282 Ego2Act 提出面向目标驱动操作的第一视角视频生成评测基准
论文作者提出 Ego2Act，用包含2,640段视频和110项日常任务的基准，评估模型根据初始场景图像和高层目标生成第一视角操作视频的能力。论文同时提出无参考评测流程 Ego2ActJudge，并发现模型常跳过或部分执行中间步骤，在复杂物体操作和持续世界建模中的细粒度物理动态表现不足。
推荐理由：Ego2Act将多步物理操作和目标完成纳入视频生成评测，并提供无参考评测流程，便于比较模型的目标驱动模拟能力。
arXiv · 多模态、视频与世界模型精选AI 评分7777 PhysicsLENS 发布视频生成模型物理属性盲点评测基准
PhysicsLENS 提出面向机器人物理属性合理性的评测数据集与基准，使用相同条件帧和任务、不同场景物理描述的配对场景，覆盖碰撞、重力、动量、摩擦、形变、流体和因果七个领域。对四个视频生成模型的评测包含 400 多个人工标注，结果显示 47 个外观合理的视频中有 34 个忽略了指定物理属性；明确写出该属性只使合理性略有下降，且未达到显著水平。
推荐理由：该基准把视觉上难以辨认的物理属性纳入视频模型评测，为判断生成视频能否支持机器人学习与规划提供了更具体的测试维度。
arXiv · 多模态、视频与世界模型精选AI 评分8181 AutoGUIWorld：用图像生成器构建 GUI 智能体视觉世界模型
AutoGUIWorld 提出一种无需部署或运行对应软件环境的 GUI 交互轨迹生成框架，将规划器与图像生成器结合，迭代生成界面状态和动作后果。
推荐理由：论文展示了用图像生成器合成 GUI 交互轨迹的路径，并用 OSWorld 与 ScienceBoard 结果说明其对智能体训练的潜在价值。
arXiv · 多模态、视频与世界模型AI 评分6464 论文提出面向成功标准的辅助损失以改进潜在世界模型规划
该论文提出一种以成功标准物理量为训练目标的辅助损失，用于提升潜在世界模型对任务成败的区分能力。作者在四个潜在世界模型中发现，末端执行器位置的潜在编码误差超过成功标准允许范围；该方法仅在训练阶段增加回归头，在 PushT 和 cube 上分别带来 3.5% 和 3.4% 的绝对成功率提升，训练后会丢弃回归头。论文链接为 https://arxiv.org/abs/2610.01224v1
arXiv · 多模态、视频与世界模型AI 评分6666 CTWMs 学习保持通勤时间的世界模型以支持规划
论文提出 Commute-Time-Preserving World Models（CTWMs），通过潜在位移预测器和 log-determinant 正则化，学习保持环境通勤时间的表示，用于潜在空间规划。在可逆确定性动力学和预测器固定点下，该方法可恢复正确缩放的 Laplacian 表示。数值模拟显示，CTWM 在多个复杂连续目标到达基准上匹配或超过 LeWM，同时参数量仅为其一半。
arXiv · 多模态、视频与世界模型精选AI 评分7676 《The Planning Limits of Latent World Models》揭示潜在世界模型的规划局限
论文评估了基于 V-JEPA 2、V-JEPA 2.1、VideoMAEv2、VideoPrism 和 DINOv2 的世界模型在 Meta-World 与 BridgeData V2 机器人任务中的规划能力。
推荐理由：论文将世界模型的可规划范围量化到控制步数，并比较了延长想象轨迹、MPC和专家子目标对远距离任务成功率的影响。
arXiv · 多模态、视频与世界模型精选AI 评分8080 为何传统世界模型难以学习元胞自动机？
Shaoyang Guo 的研究发现，基于 Transformer 或卷积网络的自回归、扩散世界模型往往能预测多数像素，却难以完整复现元胞自动机的世界动力学。CNN 预测96.3%的细胞但仅完成18.9%的 rollout，联合扩散模型则未完成任何 rollout。
推荐理由：论文用元胞自动机把世界模型的像素准确率与完整 rollout 区分开，并给出三类信息流修正，为时空一致性设计提供可复用的诊断框架。
arXiv · 多模态、视频与世界模型AI 评分6363 RoboCoach：用世界模型主动指导组合机器人技能改进
RoboCoach提出由世界模型驱动的主动教练框架，通过想象失败定位未完成的首个子任务，再选择示范采集对象和专家适配器进行更新。在22组任务策略组合中，想象成功与实际部署成功的相关系数为0.840；额外采集150条子任务示范后，Franka成功率从13.3%升至75.0%，AgileX从40.0%升至83.8%。
arXiv · 多模态、视频与世界模型AI 评分3434 超越策略对齐：PL-MPC 闭合学习世界模型机器人控制的规划—学习循环
研究者提出 PL-MPC（Planning-Learning MPC），通过改进 critic 监督与规划器终端价值估计，闭合学习世界模型机器人控制的规划—学习循环。HumanoidBench 上，balance-hard 的 TAR 从 $98±18 升至 $387±255，hurdle 从 $199±13 升至 $466±200，表现仍具任务依赖性。
arXiv · 多模态、视频与世界模型AI 评分7474 DashVMC：在 Geometry Dash 中实现实时离散世界模型控制
DashVMC 从约两小时的 Geometry Dash 游戏录像中学习紧凑的动作条件世界模型，并在冻结模型 rollout 中用行为克隆和 PPO 优化控制器。优化后的策略在三个官方关卡和一个留出的社区关卡中都比行为克隆初始策略存活更久；部署时，基线跳过视觉生成，在消费级 GPU 上维持 60-Hz 的捕获到动作循环。
arXiv · 多模态、视频与世界模型AI 评分4646 Social-WM：面向机器人社交导航的安全感知潜在世界模型
Social-WM 提出一种基于第一视角 RGB 视频训练的高效潜在世界模型规划框架，通过预测动作实际执行后的未来并建模可实现性，在执行前评估社交导航安全风险。在 Social-HM3D 上成功率达 63.77%，人类碰撞率降至 21.67%，无需显式行人跟踪、特权人类状态或在线强化学习，并能零样本迁移至 Social-MP3D。
arXiv · 多模态、视频与世界模型精选AI 评分7979 LOCI：面向流式世界模型的空间线性记忆
Ji Xia 等人提出 LOCI，一种结合 key-value cache 与循环线性注意力记忆的空间记忆架构，用于让视频世界模型更准确地复现摄像机重访区域。
推荐理由：LOCI 将可保留视觉细节的 key-value cache 与线性循环记忆结合，为长视频中的场景重访和显存控制提供了具体架构参考。
arXiv · 多模态、视频与世界模型精选AI 评分8585 Physis-Lang：用自演化语言作为视频世界模型的物理表示
Physis-Lang提出一种自演化框架，将物理语言作为视频世界模型在数据整理、模型训练和视频生成中的共享表示。在四个物理视频基准上，使用 Wan 和 Cosmos 主干的实验显示物理可信度持续提升；基于开源 Cosmos3-Nano 的增强模型超过 Veo 3.1。
推荐理由：论文将物理过程拆成可优化的语言断言，并通过 PhysCapBench 与语言引导检索改善视频世界模型的物理可信度。
arXiv · 多模态、视频与世界模型精选AI 评分7878 Audible World Models 提出面向 3D 世界的空间感知声音生成框架
论文提出 Audible World Models，一种 training-free 框架，可从文本提示构建全景 3D proxy，将声音源锚定到重建几何，并根据听者视点和运动渲染空间音频。对 80 个生成场景的实验显示，该方法在空间一致性上优于文本、视频和全景图条件基线，同时保持有竞争力的语义对齐；论文已被 NeurIPS 2026 接收。
推荐理由：论文将声音源位置、3D 几何与几何声学传播纳入世界状态，为构建随观察者移动而变化且保持空间一致性的多模态世界模型提供了可复用路线。
arXiv · 多模态、视频与世界模型精选AI 评分8080 LongTake：学习在长时域视频生成中维持动态
LongTake提出由 Long-Horizon Teacher Forcing 和 DMD 构成的两阶段训练流程，让自回归视频扩散模型基于长真实视频前缀预测后续帧，以维持长时域生成中的场景动态和视觉质量。在相同的五秒 DMD 训练设置下，该初始化在30秒生成中以相近美学质量获得更高动态程度；Hybrid DMD 在30秒和60秒自回滚评测中取得被评估方法中的最高动态程度。
推荐理由：Long-Horizon Teacher Forcing 将长视频真实前缀引入训练，结合 Hybrid DMD，为提升长时域生成的动态持续性和画质提供了可复用的训练思路。
arXiv · 多模态、视频与世界模型精选AI 评分7676 FrameMorrow：用前瞻 tokens 指导长时视频生成中的帧选择
论文提出 FrameMorrow，通过预测代表未来信息需求的少量 prospective tokens，从历史中选择相关帧，以支持长时视频生成。该方法选择显式历史帧而非模型内部状态，可接入包括闭源模型在内的不同生成器，并在 5 个基准、11 个生成模型上评估了长视频生成、交互生成和动作条件世界模型任务，报告了长程一致性、视觉质量与动作对齐的持续提升。
推荐理由：论文把历史选择从当前相关性转向未来信息需求，并以显式历史帧接入不同生成器，为长视频和交互生成的记忆设计提供了可复用思路。
arXiv · 多模态、视频与世界模型AI 评分6868 World-As-Graph：通过潜空间图进行关系世界建模
论文提出 World-As-Graph（WAG），一种基于图的对象中心世界模型，将关系归纳偏置引入 JEPA 风格的预测表示学习。WAG通过关系感知结构诱导构建随时间变化的潜空间图，并结合邻近对象关系与历史记忆更新对象级动态状态，用于自回归未来预测；论文在视觉推理和机器人操作任务上进行了实验。
arXiv · 多模态、视频与世界模型AI 评分7171 超越预测：用回顾性世界建模引导 VLM 智能体
这篇论文提出回顾性世界建模，让 VLM 智能体根据状态转移反向估计最可能导致该转移的动作。作者进一步设计自洽奖励，将策略动作与回顾性解释之间的一致性转化为强化学习中的逐转移反馈；实验显示，该方法相比仅使用前向世界建模的基线提升了策略的鲁棒性和泛化能力。
arXiv · 多模态、视频与世界模型精选AI 评分8686 Asking the World 提出智能体世界建模与探测方法，提升视频物理推理
Shenxiang Zeng 的论文提出 Asking the World（ATW），通过世界建模与世界探测两个自适应阶段，从视频构建并干预可执行的物理世界。基于 Gemini-3-Flash，ATW 在 CLEVRER 上达到 80.82% 问题级准确率，在 ContPhy 上达到 70.56%，并在三个真实场景中达到 71.67%。
推荐理由：论文将视频中的物理推理转化为可执行世界的建模与探测，并用多组基准展示了这种验证式流程相对直接 VLM 推理的提升。
arXiv · 多模态、视频与世界模型AI 评分3838 线性循环记忆足以蒸馏用于机器人空气曲棍球的世界模型策略
一项机器人空气曲棍球防守研究表明，采用64维状态的纯线性循环模型（k=0）蒸馏DreamerV3教师策略后，在暂时失去冰球追踪时的表现可匹配GRU基线和教师策略。五个匹配随机种子的实验显示，增加非线性创新秩未带来测得收益；该模型循环参数更少、计算量更低。结论仅限于文中设定的模拟任务、教师、状态维度和 blackout horizon。
arXiv · 多模态、视频与世界模型AI 评分3131 LocoWM：世界模型引导的残差适应实现高精度运动控制
LocoWM提出世界模型引导的预主动残差适应框架，提升机器人高精度运动控制能力。基础策略负责跟随运动指令，动作条件世界模型根据本体感知历史预测未来物理状态，残差适配器据此生成动作修正。地形调平、加速度补偿和推搡恢复实验显示，LocoWM相比端到端和反应式残差基线具有更高控制精度与抗扰性。
arXiv · 多模态、视频与世界模型精选AI 评分7979 MEND：无标签检测、定位与校正世界模型中的潜在幻觉
论文提出 MEND，用一个基于真实状态转移训练的条件 score network，在没有错误标签的情况下检测、定位并尝试校正冻结世界模型中的潜在幻觉。在两个导航环境中，MEND 的幻觉检测 AUROC 最高达 0.80，逐 token 定位 AUPRC 最高达 0.87，且不使用动作信息。推理时校正可降低单步潜在误差并改善预测，但部分误差位于数据流形切向方向，论文因此重点讨论检测与定位。
推荐理由：论文把世界模型的潜在幻觉拆成检测、定位和推理时校正三个可评估环节，并给出无需错误标签的指标结果，适合参考相关鲁棒性研究设计。
Runway · 研究与模型精选AI 评分8181 Runway 宣布开放权重世界动作模型 Praxis-1
Runway宣布Praxis-1，这是其首个开放权重世界动作模型，目前正与早期伙伴在不同机器人具身和环境中测试，并计划未来几个月公开发布。Praxis-1基于大规模视频预训练，Runway称其在世界模型中模拟机器人策略与现实结果的相关性达到0.95。早期测试伙伴包括Noble Machines、Standard Bots和Ultra，模型将在各自硬件上运行。
推荐理由：Praxis-1将视频预训练用于跨具身机器人策略，并以0.95相关性仿真结果和多种硬件测试说明其开放权重路线。
arXiv · 多模态、视频与世界模型精选AI 评分8282 LongLive-Plug 提出一次性蒸馏框架，支持视频生成模型即插即用复用
论文提出 LongLive-Plug，一种将蒸馏能力学习为基础模型 LoRA 的一次性框架，可免训练即插即用于兼容的下游视频模型。它覆盖单次 CFG、少步采样和长上下文错误校正，并在三类骨干网络、54 个下游模型和八类任务上进行了验证。
推荐理由：论文给出把单次 CFG、少步采样和长上下文纠错封装为可复用 LoRA 的方案，并以 54 个下游模型展示跨任务免训练部署路径。