arXiv · 多模态、视频与世界模型· Lei Ke·· 4 天前精选AI 评分88
HelixWorld：实时交互式音视频世界模型
HelixWorld: A Real-time Interactive Audio-Visual World Model
AI 导读
论文提出HelixWorld，使视觉场景与基于相机的空间立体声音在用户交互下共同演化。研究通过6-DoF相机轨迹和用户动作进行训练，并将模型蒸馏为低延迟流式模型，在单GPU上以24 FPS生成无漂移的音视频轨迹。论文还提出空间声学一致性与HelixBench，用于评估声音场是否跟随动态视点变化。
推荐理由
论文将空间立体声纳入实时世界模型，并以24 FPS单GPU交互和HelixBench展示音画协同建模与评测路径。
来源：arXiv · 多模态、视频与世界模型 · arxiv.org