arXiv · 多模态、视频与世界模型· Hongjia Zhai·· 4 天前AI 评分71
Exo2EgoHOI:面向手物交互保持的第三人称到第一人称视频生成
Exo2EgoHOI: Hand-Object-Interaction Aware Exocentric-to-Egocentric Video Generation
AI 导读
Exo2EgoHOI提出一种手物交互感知的视频生成框架,将第三人称操作视频转换为第一人称观察,以保持手物交互和对象一致性。该方法结合4D HOI先验、双分支残差适配器和分解式门控交叉注意力,在ARCTIC-HOI和Ego-Exo4D上进行实验;在ARCTIC-HOI上,相比对应最佳基线,object mIoU提升32.3%,MPJPE和PA-MPJPE分别降低34.7%和50.0%。
来源:arXiv · 多模态、视频与世界模型 · arxiv.org