arXiv · 多模态、视频与世界模型· Honglei Brinkmann·· 3 天前AI 评分56
超越单模态基础:面向多模态数据的拉回几何
Beyond Unimodal Bases: Pullback Geometry for Multimodal Data
AI 导读
Honglei Brinkmann 提出一种面向流形混合数据的拉回几何,以潜在高斯混合分布构造黎曼度量,减少将分离模态映射到单一高斯区域造成的传输变形。该方法通过支持自适应混合学习的 normalizing flow,实现分量级重建和局部有效维度估计。在合成几何数据、多视图图像和 MNIST 实验中,方法展现出较低的传输失真、接近参考轨迹的恢复结果和更真实的插值效果。
来源:arXiv · 多模态、视频与世界模型 · arxiv.org