AI 智能体从照片生成 3D 场景，却无法判断自己是否做对
研究团队提出 Image-to-Code 方法，让编码智能体从单张照片编写可执行的 Blender 程序，通过写代码、运行、查看结果并迭代修改来重建 3D 场景。
#3D/空间
#3D/空间
今日 1 条The DecoderAI 评分6262
arXiv · 多模态、视频与世界模型AI 评分5959 TouchTherm 构建支持触觉与热渲染的多模态物体数字孪生
论文提出 TouchTherm，用真实物体构建可用于视觉、触觉与热渲染的多模态数字孪生资产。系统结合结构光扫描、多视角法线图和同步红外视频，分别重建微观表面高度场与受物理约束的动态热场。在 20 个物体上，30 s 和 45 s 的留出表面温度 MAE 分别为 0.465 °C 和 0.592 °C，生成的资产还支持触觉观测下的合成到真实物体识别与手套式 VR 热反馈。
arXiv · 多模态、视频与世界模型精选AI 评分8585 4Director：用刚性 3D 几何控制视频世界模型
论文提出4Director，一种以显式4D场景表示控制相机和物体运动的视频世界模型。它为每个物体重建规范网格，并为每帧指定刚性变换，再通过Motion Adapter生成视角一致的外观、光照和非刚性动态。
推荐理由：论文将刚性3D几何、视频生成和身份保持评测结合，为可控视频世界模型的设计与比较提供了具体参考。
arXiv · 多模态、视频与世界模型精选AI 评分8383 World Observer 通过联合演员与观察者生成实现持久世界建模
论文提出 World Observer，通过联合生成面向智能体视角的演员和观察选定区域的全景观察者，让离开演员视野的物体继续演化并在重新进入时恢复更新后的状态。该方法基于共享全景源进行几何对应，并引入高分辨率透视参考的 Observer Sink，同时提出用于评估视野外演化的世界空间指标和覆盖真实、合成场景的基准。
推荐理由：论文将视角外物体的持续演化转化为可观测、可评测的问题，为世界模型的空间覆盖与状态保持提供了具体设计和基准。
arXiv · 多模态、视频与世界模型AI 评分5454 ScaffoldM3C：用于生成式稳定建造规划的多模态 Sequential Monte Carlo 框架
论文提出 ScaffoldM3C，一种用于稳定积木式建造的轻量级多模态自回归模型，结合候选区块生成与 Sequential Monte Carlo，同时规划多条装配序列。该模型规模仅为竞品的 1/4，推理速度提升 5x 至 20x，在建造质量相当的情况下实现更高的整体稳定性，并通过仿真和真实机器人装配进行展示。
arXiv · 多模态、视频与世界模型AI 评分6666 CF-JEPA 通过可控性分解提升 JEPA 世界模型鲁棒性
论文提出 CF-JEPA，将 JEPA 世界模型的潜空间拆分为可控与不可控子空间，以隔离视觉背景干扰。该方法在 2D 和 3D 控制任务的正常条件下表现相当，并在受干扰条件下提升性能，且论文称其是唯一未出现潜表示坍塌的模型；作者还在模拟机器人任务中进行了验证。
arXiv · 多模态、视频与世界模型精选AI 评分7777 WorldAuditBench：用多模态智能体审计交互式3D世界
WorldAuditBench提出一个交互式3D世界审计基准，包含基于Unreal Engine 5构建的13个环境和213项异常任务，覆盖五类异常。论文在固定探索预算下评估五个前沿模型，采用VLA探索后由VLM识别异常，以及端到端VLM智能体两种范式，成功率为6.6%至42.3%，低于人类的83.4%。
推荐理由：WorldAuditBench将3D世界审计拆为探索行动与视觉推理，并用统一预算比较两种范式，可用于评估多模态智能体的证据搜集能力。
arXiv · 多模态、视频与世界模型精选AI 评分7878 Audible World Models 提出面向 3D 世界的空间感知声音生成框架
论文提出 Audible World Models，一种 training-free 框架，可从文本提示构建全景 3D proxy，将声音源锚定到重建几何，并根据听者视点和运动渲染空间音频。对 80 个生成场景的实验显示，该方法在空间一致性上优于文本、视频和全景图条件基线，同时保持有竞争力的语义对齐；论文已被 NeurIPS 2026 接收。
推荐理由：论文将声音源位置、3D 几何与几何声学传播纳入世界状态，为构建随观察者移动而变化且保持空间一致性的多模态世界模型提供了可复用路线。
arXiv · 多模态、视频与世界模型AI 评分7171 Exo2EgoHOI：面向手物交互保持的第三人称到第一人称视频生成
Exo2EgoHOI提出一种手物交互感知的视频生成框架，将第三人称操作视频转换为第一人称观察，以保持手物交互和对象一致性。该方法结合4D HOI先验、双分支残差适配器和分解式门控交叉注意力，在ARCTIC-HOI和Ego-Exo4D上进行实验；在ARCTIC-HOI上，相比对应最佳基线，object mIoU提升32.3%，MPJPE和PA-MPJPE分别降低34.7%和50.0%。
arXiv · 多模态、视频与世界模型精选AI 评分7676 EPIC：基于极线一致性的360°沉浸式立体视频生成
EPIC提出一种零样本生成流程，将现有视频扩散模型扩展到4K立体360°视频生成。论文设计了感知极线几何的360°图像匹配指标，用于捕捉跨视角的时序与立体不一致，并在有限训练数据下进行直接偏好优化。
推荐理由：论文将极线感知的360°图像匹配指标作为偏好信号，用于有限训练数据下的直接偏好优化，为沉浸式视频的一致性优化提供了可复用思路。
arXiv · 多模态、视频与世界模型AI 评分3131 LocoWM：世界模型引导的残差适应实现高精度运动控制
LocoWM提出世界模型引导的预主动残差适应框架，提升机器人高精度运动控制能力。基础策略负责跟随运动指令，动作条件世界模型根据本体感知历史预测未来物理状态，残差适配器据此生成动作修正。地形调平、加速度补偿和推搡恢复实验显示，LocoWM相比端到端和反应式残差基线具有更高控制精度与抗扰性。
arXiv · 多模态、视频与世界模型精选AI 评分7676 PRISM通过反事实视频生成扩展人形机器人移动操作训练
PRISM提出一个真实到仿真再到真实框架，用少量真实视频生成大规模多样的人体与物体交互训练数据。研究通过视频到视频生成数百条反事实视频，再重建并调整人和物体的运动轨迹，训练出无需真实世界微调的策略。搭载该策略的人形机器人仅使用机载深度观测，就能在不同物体实例、尺寸和初始配置下完成箱子、桶、箱体和球的拾取、搬运与放下。
推荐理由：PRISM展示了如何用少量真实交互视频生成反事实数据，并通过真实到仿真再到真实流程训练人形机器人的移动操作策略。
World Labs · 空间智能与世界模型精选AI 评分8585 World Labs 发布世界模型 Atlas，原生支持文本、图像、视频与 3D
World Labs 发布下一代世界模型 Atlas，这是一个从零预训练的多模态自回归扩散 Transformer，原生处理文本、图像、视频和 3D，所有输入被组合进共享的空间上下文。
推荐理由：Atlas 把相机位姿与 3D 深度作为原生输入，读者可据此判断世界模型在可控生成与稀疏重建上的路线差异。
World Labs · 空间智能与世界模型AI 评分4646 World Labs 用 R2S2R 引擎构建训练机器人的世界
World Labs 公布其 R2S2R（real-to-sim-to-real）引擎的早期结果：模型可将一个真实机器人任务重建为可交互仿真，并系统性变化外观、物体配置、杂乱度、物理、机器人状态与相机视角，生成数千种变体。
World Labs · 空间智能与世界模型精选AI 评分6262 World Labs 提出世界模型功能分类：渲染器、模拟器与规划器
World Labs 发布文章，把当前被称为世界模型的能力拆成三类功能：渲染器输出像素、追求视觉保真；模拟器输出状态，要求几何、物理与动力学忠实；规划器输出动作，回答智能体下一步该做什么。
推荐理由：World Labs 把世界模型拆成渲染、模拟、规划三类，并说明模拟为何是连接视觉与行动的关键环节。
ByteDance Seed · 视觉生成与编辑精选AI 评分7171 字节 Seed 发布 3D 生成大模型 Seed3D 2.0，几何与纹理均称达 SOTA
字节 Seed 正式发布新一代 3D 生成大模型 Seed3D 2.0，围绕几何精度和材质质量做架构升级，官方称在几何生成、纹理材质生成两项核心指标上均取得 SOTA。
推荐理由：官方披露了两阶段 DiT 几何生成与统一 PBR 材质方案，可据此判断 3D 生成在仿真与部件级建模上的可用边界。
World Labs · 空间智能与世界模型精选AI 评分7676 World Labs 发布 Spark 2.0，为网页端 3DGS 加入 LoD 流式渲染
World Labs 发布 Spark 2.0，为基于 THREE.js 和 WebGL2 的开源 3DGS 渲染器加入 Level-of-Detail 系统，可按视角连续调整细节并通过网络流式加载数据。
推荐理由：World Labs 公开了 Spark 2.0 的 LoD、渐进流式与虚拟显存三项技术细节，可据此判断大场景 3DGS 在浏览器端的落地条件。
Google DeepMind精选AI 评分6969 Google DeepMind 发布 Gemini Robotics-ER 1.6，增强机器人具身推理能力
Google DeepMind 发布 Gemini Robotics-ER 1.6，增强机器人所需的空间推理、多视角理解、任务规划和成功检测能力。模型新增仪表读数能力，可通过 Gemini API 和 Google AI Studio 提供给开发者，并支持调用 Google Search、VLA 或用户自定义函数。
推荐理由：文章给出 Gemini Robotics-ER 1.6 在空间推理、多视角成功检测和仪表读数上的能力变化，并说明其通过 Gemini API 与 Google AI Studio 接入机器人工作流的方式。
World Labs · 空间智能与世界模型精选AI 评分6262 World Labs 长文：3D 是人与机器交互的代码，世界模型将走向可编程空间系统
World Labs 发布长文《3D as code》，提出 3D 是描述和交互物理与虚拟世界的通用接口，类比关系为 3D 相当于代码、神经图形相当于编程语言、仿真引擎相当于芯片。
推荐理由：World Labs 把 3D 类比为代码、仿真引擎类比为芯片，为判断世界模型该走端到端还是混合架构提供了一条清晰的分析框架。
ByteDance Seed · 视觉生成与编辑精选AI 评分7777 字节跳动 Seed 发布 Depth Anything 3，单一 Transformer 实现任意视角空间重建
字节跳动 Seed 团队发布视觉空间重建模型 Depth Anything 3（DA3），作为 Depth Anything 系列最新开源续作，将单目深度估计能力扩展至任意视角。
推荐理由：官方给出单一 Transformer 架构与深度-射线统一表征的设计取舍，以及相对 VGGT 的精度提升，可供空间重建选型参考。
World Labs · 空间智能与世界模型精选AI 评分9292 World Labs 开放 Marble 多模态世界模型，支持多输入生成与 3D 编辑
World Labs 宣布 Marble 多模态世界模型面向所有用户开放，可从文本、图像、视频或粗略 3D 布局生成 3D 世界。Marble 支持交互式编辑、扩展和组合世界，并可导出为 Gaussian splats、网格或视频；同时推出创作中心 Marble Labs。
推荐理由：Marble 将文本、图像、视频和粗略 3D 布局纳入同一创作流程，并提供编辑、扩展与导出能力，可用于判断其对世界构建工作流的适配度。
ByteDance Seed · 视觉生成与编辑精选AI 评分7474 字节 Seed 发布 Seed3D 1.0，单图生成高精度 3D 模型
字节跳动 Seed 团队发布 3D 生成大模型 Seed3D 1.0，可从单张图像端到端生成含精细几何、真实纹理和 PBR 材质的完整 3D 模型。模型基于 Diffusion Transformer 架构，1.5B 参数版本在几何生成上超过 3B 参数的 Hunyuan3D-2.1，纹理与材质生成性能超过此前开源及闭源模型。
推荐理由：官方给出架构、参数规模与对比基线，可据此判断单图生成仿真级 3D 资产在机器人训练中的可用边界。
World Labs · 空间智能与世界模型精选AI 评分7878 World Labs 发布实时世界模型 RTFM
World Labs 发布实时生成世界模型 RTFM（Real-Time Frame Model），可随交互实时生成视频，用于探索生成的 3D 世界和真实场景，今日以 research preview 形式开放，并可在浏览器中体验。
推荐理由：RTFM 把世界模型做成单卡实时渲染器，读者可据此判断实时 3D 生成在算力与持久性上的可行边界。
World Labs · 空间智能与世界模型精选AI 评分7878 World Labs 推出 Marble 有限测试版，图像或文本可生成可导航 3D 世界
World Labs 发布 Marble 有限访问测试版，用户可在 marble.worldlabs.ai 用图像或文本提示生成可自由探索的 3D 世界，官方称无时间限制、无变形、无一致性问题。
推荐理由：World Labs 首次开放 Marble 有限测试，可据此判断图像或文本生成可持久导航 3D 世界在创作流程中的可用边界。