arXiv · 多模态、视频与世界模型· Zheyuan Zhang·· 3 天前AI 评分75
JEPA-TTT:持续测试时训练让潜在世界模型适应动力学变化
JEPA-TTT: Persistent Test-Time Training of Latent World Models for Planning under Dynamics Shifts
AI 导读
JEPA-TTT在测试时持续更新预训练、动作条件化JEPA世界模型的潜在动力学预测器,同时固定视觉编码器和奖励头,以适应训练与测试环境之间的动力学变化。该方法通过dense replay积累跨回合的预测窗口,规划不需要目标图像或在线环境奖励。在四个连续控制环境的八种动力学变化中,经过500个测试回合后,潜在自回归预测误差平均降低83%,规划性能较冻结的JEPA世界模型提升153%。
来源:arXiv · 多模态、视频与世界模型 · arxiv.org