跳到正文

世界模型

时空一致性、交互、预测与可控模拟;研究价值独立于是否已有商业应用。

41条精选

最新精选

第 21–40 条 · 共 41 条
9月30日周三
  1. arXiv · 多模态、视频与世界模型82

    LongLive-Plug 提出一次性蒸馏框架,支持视频生成模型即插即用复用

    论文提出 LongLive-Plug,一种将蒸馏能力学习为基础模型 LoRA 的一次性框架,可免训练即插即用于兼容的下游视频模型。它覆盖单次 CFG、少步采样和长上下文错误校正,并在三类骨干网络、54 个下游模型和八类任务上进行了验证。

    推荐理由:论文给出把单次 CFG、少步采样和长上下文纠错封装为可复用 LoRA 的方案,并以 54 个下游模型展示跨任务免训练部署路径。

  2. arXiv · 多模态、视频与世界模型88

    HelixWorld:实时交互式音视频世界模型

    论文提出HelixWorld,使视觉场景与基于相机的空间立体声音在用户交互下共同演化。研究通过6-DoF相机轨迹和用户动作进行训练,并将模型蒸馏为低延迟流式模型,在单GPU上以24 FPS生成无漂移的音视频轨迹。论文还提出空间声学一致性与HelixBench,用于评估声音场是否跟随动态视点变化。

    推荐理由:论文将空间立体声纳入实时世界模型,并以24 FPS单GPU交互和HelixBench展示音画协同建模与评测路径。

9月28日周一
  1. World Labs · 空间智能与世界模型68

    World Labs 签署协议加入 AMD,李飞飞将出任 AMD 执行副总裁兼首席科学家

    World Labs 已签署最终协议加入 AMD,交易预计在 2026 年底前完成,尚待监管批准及其他惯例交割条件。李飞飞将出任 AMD 执行副总裁兼首席科学家,直接与 CEO 苏姿丰共事;Justin Johnson 和 Ben Mildenhall 将与李飞飞继续领导 World Labs 团队,并入 AMD 后组建前沿研究组织。

    推荐理由:World Labs 被 AMD 收购并给出团队去向与开放生态目标,可据此判断空间智能赛道的硬件整合走向。

9月24日周四
  1. Black Forest Labs · 图像与视频84

    Black Forest Labs 发布 FLUX 3 Action,开放 7B 机器人动作策略权重

    Black Forest Labs 发布 FLUX 3 Action(F3A)机器人动作策略模型及其开放权重,采用 WAM 联合预测未来视频与动作。报告称,其单步 7B checkpoint 在 RoboLab 达到 38.3%,高于 Cosmos 3 Nano 的 36.8%;guidance-distilled checkpoint 达到 42.2%。

    推荐理由:报告同时给出 RoboLab、真实机器人和推理效率数据,可用于比较 WAM 与 VLA 在成功率、速度和部署成本上的取舍。

9月3日周四
9月1日周二
  1. World Labs · 空间智能与世界模型85

    World Labs 发布世界模型 Atlas,原生支持文本、图像、视频与 3D

    World Labs 发布下一代世界模型 Atlas,这是一个从零预训练的多模态自回归扩散 Transformer,原生处理文本、图像、视频和 3D,所有输入被组合进共享的空间上下文。

    推荐理由:Atlas 把相机位姿与 3D 深度作为原生输入,读者可据此判断世界模型在可控生成与稀疏重建上的路线差异。

8月21日周五
  1. Google DeepMind62

    Google DeepMind 与 Fenris Creations 合作,用 EVE 宇宙推进通用游戏智能体研究

    Google DeepMind 宣布与 EVE 宇宙开发商 Fenris Creations 建立研究合作,把 EVE Online、EVE Vanguard 和 EVE Frontier 作为研究持续学习、记忆、长时程规划和复杂多智能体动态的环境。

    推荐理由:DeepMind 公开了游戏智能体从离线沙盒到持久世界的推进路径,可据此判断通用游戏 Agent 的落地节奏与安全边界。

7月27日周一
7月23日周四
  1. Black Forest Labs · 图像与视频74

    Black Forest Labs 发布 FLUX-mimic:基于 FLUX 3 的视频-动作模型

    Black Forest Labs 宣布 FLUX 3 早期版本已在机器人上运行,并与 mimic 合作推出视频-动作模型 FLUX-mimic,该模型基于 FLUX 3 骨干,从视频预测路径的中间特征解码动作。

    推荐理由:官方披露 FLUX 3 早期版本与 mimic 合作落地机器人,可据此判断多模态基座向物理 AI 延伸的路线与部署约束。

7月21日周二
  1. World Labs · 空间智能与世界模型64

    World Labs 收购机器人公司 SceniX

    World Labs 宣布收购机器人公司 SceniX,SceniX 将加入 World Labs。World Labs 表示,双方将结合空间智能、世界模型、学习型仿真与真实世界学习闭环推进机器人相关技术,后续将分享 SceniX 已构建的早期技术及发展方向。

    推荐理由:这项收购展示了 World Labs 将空间智能和世界模型能力延伸至机器人及真实世界学习闭环的技术路线。

6月3日周三
  1. World Labs · 空间智能与世界模型62

    World Labs 提出世界模型功能分类:渲染器、模拟器与规划器

    World Labs 发布文章,把当前被称为世界模型的能力拆成三类功能:渲染器输出像素、追求视觉保真;模拟器输出状态,要求几何、物理与动力学忠实;规划器输出动作,回答智能体下一步该做什么。

    推荐理由:World Labs 把世界模型拆成渲染、模拟、规划三类,并说明模拟为何是连接视觉与行动的关键环节。

5月18日周一
5月11日周一
  1. Runway · 研究与模型71

    Runway 发布实时视频生成模型 Runway Characters

    Runway 推出基于 GWM-1 的实时视频生成模型 Runway Characters,由单张参考图生成可对话角色,处理眼神、口型同步、表情与说话和倾听时的手势,并能在长对话中维持质量。

    推荐理由:Runway 把实时逐帧生成与交互控制讲成产品路线,可据此判断世界模型在角色对话与仿真训练中的落地边界。

4月14日周二
  1. World Labs · 空间智能与世界模型76

    World Labs 发布 Spark 2.0,为网页端 3DGS 加入 LoD 流式渲染

    World Labs 发布 Spark 2.0,为基于 THREE.js 和 WebGL2 的开源 3DGS 渲染器加入 Level-of-Detail 系统,可按视角连续调整细节并通过网络流式加载数据。

    推荐理由:World Labs 公开了 Spark 2.0 的 LoD、渐进流式与虚拟显存三项技术细节,可据此判断大场景 3DGS 在浏览器端的落地条件。

3月3日周二
  1. World Labs · 空间智能与世界模型62

    World Labs 长文:3D 是人与机器交互的代码,世界模型将走向可编程空间系统

    World Labs 发布长文《3D as code》,提出 3D 是描述和交互物理与虚拟世界的通用接口,类比关系为 3D 相当于代码、神经图形相当于编程语言、仿真引擎相当于芯片。

    推荐理由:World Labs 把 3D 类比为代码、仿真引擎类比为芯片,为判断世界模型该走端到端还是混合架构提供了一条清晰的分析框架。

2月18日周三
  1. World Labs · 空间智能与世界模型73

    World Labs 宣布获得 $1 billion 新融资

    World Labs 宣布获得 $1 billion 新融资,投资方包括 AMD、Autodesk、NVIDIA 和 Sea 等。公司表示将加速空间智能与世界模型研发,其首款产品 Marble 可根据图像、视频或文本创建具有空间连贯性、高保真度和持久性的 3D 世界。

    推荐理由:融资规模与投资方名单呈现了 World Labs 推进空间智能和世界模型产品化的资源基础,Marble 的输入形式也提供了创作工具选型参考。

1月21日周三
  1. World Labs · 空间智能与世界模型86

    World Labs 发布 World API,将文本和视频生成可探索 3D 世界

    World Labs 发布 World API,调用 Marble 多模态世界模型,可从文本、图像、全景、多视图输入和视频生成可导航的 3D 世界。生成结果支持浏览器渲染、导出到下游工具,或集成进互动系统与模拟流程。World API 已通过 World Labs Platform 提供,平台支持管理 API keys、查看用量与计费、购买 credits 及访问文档。

    推荐理由:World API 将多种视觉与文本输入转为可探索 3D 世界,并提供渲染、导出和应用集成入口,可用于评估空间内容生成工作流。

11月12日周三
  1. World Labs · 空间智能与世界模型92

    World Labs 开放 Marble 多模态世界模型,支持多输入生成与 3D 编辑

    World Labs 宣布 Marble 多模态世界模型面向所有用户开放,可从文本、图像、视频或粗略 3D 布局生成 3D 世界。Marble 支持交互式编辑、扩展和组合世界,并可导出为 Gaussian splats、网格或视频;同时推出创作中心 Marble Labs。

    推荐理由:Marble 将文本、图像、视频和粗略 3D 布局纳入同一创作流程,并提供编辑、扩展与导出能力,可用于判断其对世界构建工作流的适配度。

10月23日周四
  1. ByteDance Seed · 视觉生成与编辑74

    字节 Seed 发布 Seed3D 1.0,单图生成高精度 3D 模型

    字节跳动 Seed 团队发布 3D 生成大模型 Seed3D 1.0,可从单张图像端到端生成含精细几何、真实纹理和 PBR 材质的完整 3D 模型。模型基于 Diffusion Transformer 架构,1.5B 参数版本在几何生成上超过 3B 参数的 Hunyuan3D-2.1,纹理与材质生成性能超过此前开源及闭源模型。

    推荐理由:官方给出架构、参数规模与对比基线,可据此判断单图生成仿真级 3D 资产在机器人训练中的可用边界。

10月16日周四
  1. World Labs · 空间智能与世界模型78

    World Labs 发布实时世界模型 RTFM

    World Labs 发布实时生成世界模型 RTFM(Real-Time Frame Model),可随交互实时生成视频,用于探索生成的 3D 世界和真实场景,今日以 research preview 形式开放,并可在浏览器中体验。

    推荐理由:RTFM 把世界模型做成单卡实时渲染器,读者可据此判断实时 3D 生成在算力与持久性上的可行边界。