arXiv · 多模态、视频与世界模型· Shuyang Jiang·· 4 天前精选AI 评分79
统一多模态模型中的位置级梯度冲突与位置感知调制
Beyond Layers: Position-Resolved Gradient Conflict and Position-Aware Modulation for Unified Multimodal Models
AI 导读
该研究提出位置级干扰图，用于定位统一多模态模型中图像理解与自回归图像生成之间的梯度冲突。在 Show-o 和 Janus-Pro 上，视觉 token 位置可解释较大比例的冲突差异，序列前四分之一的平均梯度余弦为 -0.18，末四分之一为 -0.02。
推荐理由
该研究为统一多模态模型理解与生成目标的梯度冲突提供了位置级诊断，并给出无需改架构的调制方法。
来源：arXiv · 多模态、视频与世界模型 · arxiv.org