热点事件历史事件
HelixWorld实时音视世界模型
1 篇报道1 个报道来源4 天前更新
先了解这件事
报道摘要
论文提出HelixWorld，使视觉场景与基于相机的空间立体声音在用户交互下共同演化。研究通过6-DoF相机轨迹和用户动作进行训练，并将模型蒸馏为低延迟流式模型，在单GPU上以24 FPS生成无漂移的音视频轨迹。论文还提出空间声学一致性与HelixBench，用于评估声音场是否跟随动态视点变化。
摘自 arXiv · 多模态、视频与世界模型
报道时间线
沿着报道，了解事件的不同侧面。
9月30日
- arXiv · 多模态、视频与世界模型精选HelixWorld：实时交互式音视频世界模型
论文提出HelixWorld，使视觉场景与基于相机的空间立体声音在用户交互下共同演化。研究通过6-DoF相机轨迹和用户动作进行训练，并将模型蒸馏为低延迟流式模型，在单GPU上以24 FPS生成无漂移的音视频轨迹。论文还提出空间声学一致性与HelixBench，用于评估声音场是否跟随动态视点变化。