HelixWorld：实时交互式音视频世界模型
论文提出HelixWorld，使视觉场景与基于相机的空间立体声音在用户交互下共同演化。研究通过6-DoF相机轨迹和用户动作进行训练，并将模型蒸馏为低延迟流式模型，在单GPU上以24 FPS生成无漂移的音视频轨迹。论文还提出空间声学一致性与HelixBench，用于评估声音场是否跟随动态视点变化。
推荐理由：论文将空间立体声纳入实时世界模型，并以24 FPS单GPU交互和HelixBench展示音画协同建模与评测路径。
#世界模型
#世界模型
今日 1 条arXiv · 多模态、视频与世界模型精选AI 评分8888
World Labs · 空间智能与世界模型精选AI 评分6868 World Labs 签署协议加入 AMD，李飞飞将出任 AMD 执行副总裁兼首席科学家
World Labs 已签署最终协议加入 AMD，交易预计在 2026 年底前完成，尚待监管批准及其他惯例交割条件。李飞飞将出任 AMD 执行副总裁兼首席科学家，直接与 CEO 苏姿丰共事；Justin Johnson 和 Ben Mildenhall 将与李飞飞继续领导 World Labs 团队，并入 AMD 后组建前沿研究组织。
推荐理由：World Labs 被 AMD 收购并给出团队去向与开放生态目标，可据此判断空间智能赛道的硬件整合走向。
Black Forest Labs · 图像与视频精选AI 评分8484 Black Forest Labs 发布 FLUX 3 Action，开放 7B 机器人动作策略权重
Black Forest Labs 发布 FLUX 3 Action（F3A）机器人动作策略模型及其开放权重，采用 WAM 联合预测未来视频与动作。报告称，其单步 7B checkpoint 在 RoboLab 达到 38.3%，高于 Cosmos 3 Nano 的 36.8%；guidance-distilled checkpoint 达到 42.2%。
推荐理由：报告同时给出 RoboLab、真实机器人和推理效率数据，可用于比较 WAM 与 VLA 在成功率、速度和部署成本上的取舍。
NVIDIA BlogAI 评分2828 5 家使用 NVIDIA AI 推进清洁能源的公司
NVIDIA 展示 ThinkLabs AI、Atomic Canyon、Redwood Materials、TerraPower 和 CFS 将 AI 用于清洁能源项目，推进低碳电网建设。
Runway · 研究与模型精选AI 评分8888 Runway 发布 GWM Worlds 2 实时交互世界模型研究预览
Runway 发布 GWM Worlds 2 研究预览，这是 GWM Worlds 的下一代实时交互世界模型，可实时生成 720p、24 fps 视频与 48,000 Hz 音频，并响应用户输入。
推荐理由：Runway 公开了实时交互世界模型的架构与限制，可据此判断实时生成在游戏和智能体仿真中的可用边界。
World Labs · 空间智能与世界模型精选AI 评分8585 World Labs 发布世界模型 Atlas，原生支持文本、图像、视频与 3D
World Labs 发布下一代世界模型 Atlas，这是一个从零预训练的多模态自回归扩散 Transformer，原生处理文本、图像、视频和 3D，所有输入被组合进共享的空间上下文。
推荐理由：Atlas 把相机位姿与 3D 深度作为原生输入，读者可据此判断世界模型在可控生成与稀疏重建上的路线差异。
Google DeepMind精选AI 评分6262 Google DeepMind 与 Fenris Creations 合作，用 EVE 宇宙推进通用游戏智能体研究
Google DeepMind 宣布与 EVE 宇宙开发商 Fenris Creations 建立研究合作，把 EVE Online、EVE Vanguard 和 EVE Frontier 作为研究持续学习、记忆、长时程规划和复杂多智能体动态的环境。
推荐理由：DeepMind 公开了游戏智能体从离线沙盒到持久世界的推进路径，可据此判断通用游戏 Agent 的落地节奏与安全边界。
World Labs · 空间智能与世界模型AI 评分4646 World Labs 用 R2S2R 引擎构建训练机器人的世界
World Labs 公布其 R2S2R（real-to-sim-to-real）引擎的早期结果：模型可将一个真实机器人任务重建为可交互仿真，并系统性变化外观、物体配置、杂乱度、物理、机器人状态与相机视角，生成数千种变体。
Hugging Face Blog精选AI 评分8686 NVIDIA 发布 Cosmos-H-Dreams 实时手术机器人生成式模拟器
NVIDIA 发布 Cosmos-H-Dreams，将 Cosmos-H-Surgical-Simulator 的手术世界模型能力蒸馏为可由机器人动作控制的实时生成式模拟器。
推荐理由：文章展示了如何通过蒸馏和流式推理把手术世界模型用于实时闭环模拟，便于理解其在策略评估与合成数据生成中的工作流。
Black Forest Labs · 图像与视频精选AI 评分7474 Black Forest Labs 发布 FLUX-mimic：基于 FLUX 3 的视频-动作模型
Black Forest Labs 宣布 FLUX 3 早期版本已在机器人上运行，并与 mimic 合作推出视频-动作模型 FLUX-mimic，该模型基于 FLUX 3 骨干，从视频预测路径的中间特征解码动作。
推荐理由：官方披露 FLUX 3 早期版本与 mimic 合作落地机器人，可据此判断多模态基座向物理 AI 延伸的路线与部署约束。
World Labs · 空间智能与世界模型精选AI 评分6464 World Labs 收购机器人公司 SceniX
World Labs 宣布收购机器人公司 SceniX，SceniX 将加入 World Labs。World Labs 表示，双方将结合空间智能、世界模型、学习型仿真与真实世界学习闭环推进机器人相关技术，后续将分享 SceniX 已构建的早期技术及发展方向。
推荐理由：这项收购展示了 World Labs 将空间智能和世界模型能力延伸至机器人及真实世界学习闭环的技术路线。
Hugging Face BlogAI 评分3636 LeRobot v0.6.0 发布：世界模型策略、奖励模型与六大仿真基准
Hugging Face 发布 LeRobot v0.6.0，引入 VLA-JEPA、FastWAM、LingBot-VA 三个世界模型策略，让机器人策略在训练中预测未来、推理时零额外成本。
World Labs · 空间智能与世界模型精选AI 评分6262 World Labs 提出世界模型功能分类：渲染器、模拟器与规划器
World Labs 发布文章，把当前被称为世界模型的能力拆成三类功能：渲染器输出像素、追求视觉保真；模拟器输出状态，要求几何、物理与动力学忠实；规划器输出动作，回答智能体下一步该做什么。
推荐理由：World Labs 把世界模型拆成渲染、模拟、规划三类，并说明模拟为何是连接视觉与行动的关键环节。
Google DeepMind精选AI 评分8383 Google DeepMind 将 Street View 接入 Project Genie，推出真实地点世界模拟能力
Google DeepMind 为实验性原型 Project Genie 推出 Street View grounding capability，让生成的互动环境以真实地点的 Street View 影像为起点。
推荐理由：文章展示了世界模型接入真实地点影像后的交互方式，并交代了实验性原型、地区范围与订阅门槛。
Runway · 研究与模型精选AI 评分7171 Runway 发布实时视频生成模型 Runway Characters
Runway 推出基于 GWM-1 的实时视频生成模型 Runway Characters，由单张参考图生成可对话角色，处理眼神、口型同步、表情与说话和倾听时的手势，并能在长对话中维持质量。
推荐理由：Runway 把实时逐帧生成与交互控制讲成产品路线，可据此判断世界模型在角色对话与仿真训练中的落地边界。
World Labs · 空间智能与世界模型精选AI 评分7676 World Labs 发布 Spark 2.0，为网页端 3DGS 加入 LoD 流式渲染
World Labs 发布 Spark 2.0，为基于 THREE.js 和 WebGL2 的开源 3DGS 渲染器加入 Level-of-Detail 系统，可按视角连续调整细节并通过网络流式加载数据。
推荐理由：World Labs 公开了 Spark 2.0 的 LoD、渐进流式与虚拟显存三项技术细节，可据此判断大场景 3DGS 在浏览器端的落地条件。
World Labs · 空间智能与世界模型精选AI 评分6262 World Labs 长文：3D 是人与机器交互的代码，世界模型将走向可编程空间系统
World Labs 发布长文《3D as code》，提出 3D 是描述和交互物理与虚拟世界的通用接口，类比关系为 3D 相当于代码、神经图形相当于编程语言、仿真引擎相当于芯片。
推荐理由：World Labs 把 3D 类比为代码、仿真引擎类比为芯片，为判断世界模型该走端到端还是混合架构提供了一条清晰的分析框架。
World Labs · 空间智能与世界模型精选AI 评分7373 World Labs 宣布获得 $1 billion 新融资
World Labs 宣布获得 $1 billion 新融资，投资方包括 AMD、Autodesk、NVIDIA 和 Sea 等。公司表示将加速空间智能与世界模型研发，其首款产品 Marble 可根据图像、视频或文本创建具有空间连贯性、高保真度和持久性的 3D 世界。
推荐理由：融资规模与投资方名单呈现了 World Labs 推进空间智能和世界模型产品化的资源基础，Marble 的输入形式也提供了创作工具选型参考。
World Labs · 空间智能与世界模型精选AI 评分8686 World Labs 发布 World API，将文本和视频生成可探索 3D 世界
World Labs 发布 World API，调用 Marble 多模态世界模型，可从文本、图像、全景、多视图输入和视频生成可导航的 3D 世界。生成结果支持浏览器渲染、导出到下游工具，或集成进互动系统与模拟流程。World API 已通过 World Labs Platform 提供，平台支持管理 API keys、查看用量与计费、购买 credits 及访问文档。
推荐理由：World API 将多种视觉与文本输入转为可探索 3D 世界，并提供渲染、导出和应用集成入口，可用于评估空间内容生成工作流。
World Labs · 空间智能与世界模型精选AI 评分9292 World Labs 开放 Marble 多模态世界模型，支持多输入生成与 3D 编辑
World Labs 宣布 Marble 多模态世界模型面向所有用户开放，可从文本、图像、视频或粗略 3D 布局生成 3D 世界。Marble 支持交互式编辑、扩展和组合世界，并可导出为 Gaussian splats、网格或视频；同时推出创作中心 Marble Labs。
推荐理由：Marble 将文本、图像、视频和粗略 3D 布局纳入同一创作流程，并提供编辑、扩展与导出能力，可用于判断其对世界构建工作流的适配度。
ByteDance Seed · 视觉生成与编辑精选AI 评分7474 字节 Seed 发布 Seed3D 1.0，单图生成高精度 3D 模型
字节跳动 Seed 团队发布 3D 生成大模型 Seed3D 1.0，可从单张图像端到端生成含精细几何、真实纹理和 PBR 材质的完整 3D 模型。模型基于 Diffusion Transformer 架构，1.5B 参数版本在几何生成上超过 3B 参数的 Hunyuan3D-2.1，纹理与材质生成性能超过此前开源及闭源模型。
推荐理由：官方给出架构、参数规模与对比基线，可据此判断单图生成仿真级 3D 资产在机器人训练中的可用边界。
World Labs · 空间智能与世界模型精选AI 评分7878 World Labs 发布实时世界模型 RTFM
World Labs 发布实时生成世界模型 RTFM（Real-Time Frame Model），可随交互实时生成视频，用于探索生成的 3D 世界和真实场景，今日以 research preview 形式开放，并可在浏览器中体验。
推荐理由：RTFM 把世界模型做成单卡实时渲染器，读者可据此判断实时 3D 生成在算力与持久性上的可行边界。
World Labs · 空间智能与世界模型精选AI 评分7878 World Labs 推出 Marble 有限测试版，图像或文本可生成可导航 3D 世界
World Labs 发布 Marble 有限访问测试版，用户可在 marble.worldlabs.ai 用图像或文本提示生成可自由探索的 3D 世界，官方称无时间限制、无变形、无一致性问题。
推荐理由：World Labs 首次开放 Marble 有限测试，可据此判断图像或文本生成可持久导航 3D 世界在创作流程中的可用边界。