热点事件历史事件
统一多模态模型的位置感知调制
1 篇报道1 个报道来源4 天前更新
先了解这件事
报道摘要
该研究提出位置级干扰图，用于定位统一多模态模型中图像理解与自回归图像生成之间的梯度冲突。在 Show-o 和 Janus-Pro 上，视觉 token 位置可解释较大比例的冲突差异，序列前四分之一的平均梯度余弦为 -0.18，末四分之一为 -0.02。
摘自 arXiv · 多模态、视频与世界模型
报道时间线
沿着报道，了解事件的不同侧面。
9月30日
- arXiv · 多模态、视频与世界模型精选统一多模态模型中的位置级梯度冲突与位置感知调制
该研究提出位置级干扰图，用于定位统一多模态模型中图像理解与自回归图像生成之间的梯度冲突。在 Show-o 和 Janus-Pro 上，视觉 token 位置可解释较大比例的冲突差异，序列前四分之一的平均梯度余弦为 -0.18，末四分之一为 -0.02。