4Director：用刚性 3D 几何控制视频世界模型
论文提出4Director，一种以显式4D场景表示控制相机和物体运动的视频世界模型。它为每个物体重建规范网格，并为每帧指定刚性变换，再通过Motion Adapter生成视角一致的外观、光照和非刚性动态。
推荐理由：论文将刚性3D几何、视频生成和身份保持评测结合，为可控视频世界模型的设计与比较提供了具体参考。
3D 与空间智能
全部主题3D 资产、场景重建、空间理解与交互内容创作。
21条精选
最新精选
第 1–20 条 · 共 21 条arXiv · 多模态、视频与世界模型精选AI 评分8585 arXiv · 多模态、视频与世界模型精选AI 评分8383 World Observer 通过联合演员与观察者生成实现持久世界建模
论文提出 World Observer，通过联合生成面向智能体视角的演员和观察选定区域的全景观察者，让离开演员视野的物体继续演化并在重新进入时恢复更新后的状态。该方法基于共享全景源进行几何对应，并引入高分辨率透视参考的 Observer Sink，同时提出用于评估视野外演化的世界空间指标和覆盖真实、合成场景的基准。
推荐理由：论文将视角外物体的持续演化转化为可观测、可评测的问题，为世界模型的空间覆盖与状态保持提供了具体设计和基准。
arXiv · 多模态、视频与世界模型精选AI 评分7777 WorldAuditBench：用多模态智能体审计交互式3D世界
WorldAuditBench提出一个交互式3D世界审计基准，包含基于Unreal Engine 5构建的13个环境和213项异常任务，覆盖五类异常。论文在固定探索预算下评估五个前沿模型，采用VLA探索后由VLM识别异常，以及端到端VLM智能体两种范式，成功率为6.6%至42.3%，低于人类的83.4%。
推荐理由：WorldAuditBench将3D世界审计拆为探索行动与视觉推理，并用统一预算比较两种范式，可用于评估多模态智能体的证据搜集能力。
arXiv · 多模态、视频与世界模型精选AI 评分7878 Audible World Models 提出面向 3D 世界的空间感知声音生成框架
论文提出 Audible World Models，一种 training-free 框架，可从文本提示构建全景 3D proxy，将声音源锚定到重建几何，并根据听者视点和运动渲染空间音频。对 80 个生成场景的实验显示，该方法在空间一致性上优于文本、视频和全景图条件基线，同时保持有竞争力的语义对齐；论文已被 NeurIPS 2026 接收。
推荐理由：论文将声音源位置、3D 几何与几何声学传播纳入世界状态，为构建随观察者移动而变化且保持空间一致性的多模态世界模型提供了可复用路线。
arXiv · 多模态、视频与世界模型精选AI 评分7676 EPIC：基于极线一致性的360°沉浸式立体视频生成
EPIC提出一种零样本生成流程，将现有视频扩散模型扩展到4K立体360°视频生成。论文设计了感知极线几何的360°图像匹配指标，用于捕捉跨视角的时序与立体不一致，并在有限训练数据下进行直接偏好优化。
推荐理由：论文将极线感知的360°图像匹配指标作为偏好信号，用于有限训练数据下的直接偏好优化，为沉浸式视频的一致性优化提供了可复用思路。
arXiv · 多模态、视频与世界模型精选AI 评分7676 PRISM通过反事实视频生成扩展人形机器人移动操作训练
PRISM提出一个真实到仿真再到真实框架，用少量真实视频生成大规模多样的人体与物体交互训练数据。研究通过视频到视频生成数百条反事实视频，再重建并调整人和物体的运动轨迹，训练出无需真实世界微调的策略。搭载该策略的人形机器人仅使用机载深度观测，就能在不同物体实例、尺寸和初始配置下完成箱子、桶、箱体和球的拾取、搬运与放下。
推荐理由：PRISM展示了如何用少量真实交互视频生成反事实数据，并通过真实到仿真再到真实流程训练人形机器人的移动操作策略。
World Labs · 空间智能与世界模型精选AI 评分8585 World Labs 发布世界模型 Atlas，原生支持文本、图像、视频与 3D
World Labs 发布下一代世界模型 Atlas，这是一个从零预训练的多模态自回归扩散 Transformer，原生处理文本、图像、视频和 3D，所有输入被组合进共享的空间上下文。
推荐理由：Atlas 把相机位姿与 3D 深度作为原生输入，读者可据此判断世界模型在可控生成与稀疏重建上的路线差异。
Hugging Face Blog精选AI 评分6565 Grabette 发布开源低成本机器人操作数据采集系统
Pollen Robotics 发布 Grabette，一套用手持夹爪记录机器人操作数据的开源系统，可将演示自动处理为 LeRobot 数据集并上传到 Hugging Face Hub。
推荐理由：文章给出了从手持采集到 LeRobot 数据集的完整流程，以及硬件成本和示例训练链路，便于评估机器人数据采集的落地门槛。
ComfyUI · Releases精选AI 评分7979 ComfyUI v0.28.0 更新，新增 ByteDance 模型与 3D 节点并修复四个漏洞
ComfyUI 发布 v0.28.0，新增 Seed Audio 1.0、Seedream 5 Pro、SeedVR2 支持以及 Save 3D (Advanced) 节点族。版本还修复了四个安全漏洞，改进 Qwen3-VL、自定义嵌入、视频音频流和 int4 模型等问题。
推荐理由：该版本把模型接入、3D 工作流与安全修复集中在一次更新中，可用于评估 ComfyUI 对视频、图像和 3D 创作链路的覆盖变化。
World Labs · 空间智能与世界模型精选AI 评分6262 World Labs 提出世界模型功能分类：渲染器、模拟器与规划器
World Labs 发布文章，把当前被称为世界模型的能力拆成三类功能：渲染器输出像素、追求视觉保真；模拟器输出状态，要求几何、物理与动力学忠实；规划器输出动作，回答智能体下一步该做什么。
推荐理由：World Labs 把世界模型拆成渲染、模拟、规划三类，并说明模拟为何是连接视觉与行动的关键环节。
ByteDance Seed · 视觉生成与编辑精选AI 评分7171 字节 Seed 发布 3D 生成大模型 Seed3D 2.0，几何与纹理均称达 SOTA
字节 Seed 正式发布新一代 3D 生成大模型 Seed3D 2.0，围绕几何精度和材质质量做架构升级，官方称在几何生成、纹理材质生成两项核心指标上均取得 SOTA。
推荐理由：官方披露了两阶段 DiT 几何生成与统一 PBR 材质方案，可据此判断 3D 生成在仿真与部件级建模上的可用边界。
Google DeepMind精选AI 评分6969 Google DeepMind 发布 Gemini Robotics-ER 1.6，增强机器人具身推理能力
Google DeepMind 发布 Gemini Robotics-ER 1.6，增强机器人所需的空间推理、多视角理解、任务规划和成功检测能力。模型新增仪表读数能力，可通过 Gemini API 和 Google AI Studio 提供给开发者，并支持调用 Google Search、VLA 或用户自定义函数。
推荐理由：文章给出 Gemini Robotics-ER 1.6 在空间推理、多视角成功检测和仪表读数上的能力变化，并说明其通过 Gemini API 与 Google AI Studio 接入机器人工作流的方式。
World Labs · 空间智能与世界模型精选AI 评分6262 World Labs 长文：3D 是人与机器交互的代码，世界模型将走向可编程空间系统
World Labs 发布长文《3D as code》，提出 3D 是描述和交互物理与虚拟世界的通用接口，类比关系为 3D 相当于代码、神经图形相当于编程语言、仿真引擎相当于芯片。
推荐理由：World Labs 把 3D 类比为代码、仿真引擎类比为芯片，为判断世界模型该走端到端还是混合架构提供了一条清晰的分析框架。
World Labs · 空间智能与世界模型精选AI 评分7373 World Labs 宣布获得 $1 billion 新融资
World Labs 宣布获得 $1 billion 新融资，投资方包括 AMD、Autodesk、NVIDIA 和 Sea 等。公司表示将加速空间智能与世界模型研发，其首款产品 Marble 可根据图像、视频或文本创建具有空间连贯性、高保真度和持久性的 3D 世界。
推荐理由：融资规模与投资方名单呈现了 World Labs 推进空间智能和世界模型产品化的资源基础，Marble 的输入形式也提供了创作工具选型参考。
World Labs · 空间智能与世界模型精选AI 评分8686 World Labs 发布 World API，将文本和视频生成可探索 3D 世界
World Labs 发布 World API，调用 Marble 多模态世界模型，可从文本、图像、全景、多视图输入和视频生成可导航的 3D 世界。生成结果支持浏览器渲染、导出到下游工具，或集成进互动系统与模拟流程。World API 已通过 World Labs Platform 提供，平台支持管理 API keys、查看用量与计费、购买 credits 及访问文档。
推荐理由：World API 将多种视觉与文本输入转为可探索 3D 世界，并提供渲染、导出和应用集成入口，可用于评估空间内容生成工作流。
ByteDance Seed · 视觉生成与编辑精选AI 评分7777 字节跳动 Seed 发布 Depth Anything 3，单一 Transformer 实现任意视角空间重建
字节跳动 Seed 团队发布视觉空间重建模型 Depth Anything 3（DA3），作为 Depth Anything 系列最新开源续作，将单目深度估计能力扩展至任意视角。
推荐理由：官方给出单一 Transformer 架构与深度-射线统一表征的设计取舍，以及相对 VGGT 的精度提升，可供空间重建选型参考。
World Labs · 空间智能与世界模型精选AI 评分9292 World Labs 开放 Marble 多模态世界模型，支持多输入生成与 3D 编辑
World Labs 宣布 Marble 多模态世界模型面向所有用户开放，可从文本、图像、视频或粗略 3D 布局生成 3D 世界。Marble 支持交互式编辑、扩展和组合世界，并可导出为 Gaussian splats、网格或视频；同时推出创作中心 Marble Labs。
推荐理由：Marble 将文本、图像、视频和粗略 3D 布局纳入同一创作流程，并提供编辑、扩展与导出能力，可用于判断其对世界构建工作流的适配度。
ByteDance Seed · 视觉生成与编辑精选AI 评分7474 字节 Seed 发布 Seed3D 1.0，单图生成高精度 3D 模型
字节跳动 Seed 团队发布 3D 生成大模型 Seed3D 1.0，可从单张图像端到端生成含精细几何、真实纹理和 PBR 材质的完整 3D 模型。模型基于 Diffusion Transformer 架构，1.5B 参数版本在几何生成上超过 3B 参数的 Hunyuan3D-2.1，纹理与材质生成性能超过此前开源及闭源模型。
推荐理由：官方给出架构、参数规模与对比基线，可据此判断单图生成仿真级 3D 资产在机器人训练中的可用边界。
World Labs · 空间智能与世界模型精选AI 评分7878 World Labs 发布实时世界模型 RTFM
World Labs 发布实时生成世界模型 RTFM（Real-Time Frame Model），可随交互实时生成视频，用于探索生成的 3D 世界和真实场景，今日以 research preview 形式开放，并可在浏览器中体验。
推荐理由：RTFM 把世界模型做成单卡实时渲染器，读者可据此判断实时 3D 生成在算力与持久性上的可行边界。
World Labs · 空间智能与世界模型精选AI 评分7878 World Labs 推出 Marble 有限测试版，图像或文本可生成可导航 3D 世界
World Labs 发布 Marble 有限访问测试版，用户可在 marble.worldlabs.ai 用图像或文本提示生成可自由探索的 3D 世界，官方称无时间限制、无变形、无一致性问题。
推荐理由：World Labs 首次开放 Marble 有限测试，可据此判断图像或文本生成可持久导航 3D 世界在创作流程中的可用边界。