arXiv · 多模态、视频与世界模型· Yongjiang Liu·· 3 天前AI 评分71
超越预测:用回顾性世界建模引导 VLM 智能体
Beyond Prediction: Steering VLM Agents with Retrospective World Modeling
AI 导读
这篇论文提出回顾性世界建模,让 VLM 智能体根据状态转移反向估计最可能导致该转移的动作。作者进一步设计自洽奖励,将策略动作与回顾性解释之间的一致性转化为强化学习中的逐转移反馈;实验显示,该方法相比仅使用前向世界建模的基线提升了策略的鲁棒性和泛化能力。
来源:arXiv · 多模态、视频与世界模型 · arxiv.org