arXiv · 多模态、视频与世界模型· Bo Yin·· 3 天前精选AI 评分76
FrameMorrow:用前瞻 tokens 指导长时视频生成中的帧选择
FrameMorrow: Future-guided Frame Selection with Prospective Tokens for Long-Horizon Video Generation
AI 导读
论文提出 FrameMorrow,通过预测代表未来信息需求的少量 prospective tokens,从历史中选择相关帧,以支持长时视频生成。该方法选择显式历史帧而非模型内部状态,可接入包括闭源模型在内的不同生成器,并在 5 个基准、11 个生成模型上评估了长视频生成、交互生成和动作条件世界模型任务,报告了长程一致性、视觉质量与动作对齐的持续提升。
推荐理由
论文把历史选择从当前相关性转向未来信息需求,并以显式历史帧接入不同生成器,为长视频和交互生成的记忆设计提供了可复用思路。
来源:arXiv · 多模态、视频与世界模型 · arxiv.org