跳到正文

#评测/质量

今日 0 条
10月1日周四
  1. arXiv · 多模态、视频与世界模型76

    Radian:用表征空间对抗蒸馏增强自回归视频生成

    论文提出 Radian,通过冻结视觉基础模型提取多层视觉表征,并对自回归生成结果施加真实视频帧对抗监督,以改善细节退化、结构漂移和运动不稳定。基于 Wan2.1-1.3B 的实验显示,四步生成达到 VBench Total 0.8444 和 VideoAlign Total 0.8033,VBench-Long 从 0.7805 提升至 0.8041,且使用更少去噪步数。

    推荐理由:论文将视觉基础模型表征空间的对抗监督引入蒸馏,可为降低自回归视频生成中的时序误差传播提供一种训练思路。

  2. arXiv · 多模态、视频与世界模型46

    Social-WM:面向机器人社交导航的安全感知潜在世界模型

    Social-WM 提出一种基于第一视角 RGB 视频训练的高效潜在世界模型规划框架,通过预测动作实际执行后的未来并建模可实现性,在执行前评估社交导航安全风险。在 Social-HM3D 上成功率达 63.77%,人类碰撞率降至 21.67%,无需显式行人跟踪、特权人类状态或在线强化学习,并能零样本迁移至 Social-MP3D。

  3. arXiv · 多模态、视频与世界模型79

    LOCI:面向流式世界模型的空间线性记忆

    Ji Xia 等人提出 LOCI,一种结合 key-value cache 与循环线性注意力记忆的空间记忆架构,用于让视频世界模型更准确地复现摄像机重访区域。

    推荐理由:LOCI 将可保留视觉细节的 key-value cache 与线性循环记忆结合,为长视频中的场景重访和显存控制提供了具体架构参考。

  4. arXiv · 多模态、视频与世界模型77

    WorldAuditBench:用多模态智能体审计交互式3D世界

    WorldAuditBench提出一个交互式3D世界审计基准,包含基于Unreal Engine 5构建的13个环境和213项异常任务,覆盖五类异常。论文在固定探索预算下评估五个前沿模型,采用VLA探索后由VLM识别异常,以及端到端VLM智能体两种范式,成功率为6.6%至42.3%,低于人类的83.4%。

    推荐理由:WorldAuditBench将3D世界审计拆为探索行动与视觉推理,并用统一预算比较两种范式,可用于评估多模态智能体的证据搜集能力。

  5. arXiv · 多模态、视频与世界模型85

    Physis-Lang:用自演化语言作为视频世界模型的物理表示

    Physis-Lang提出一种自演化框架,将物理语言作为视频世界模型在数据整理、模型训练和视频生成中的共享表示。在四个物理视频基准上,使用 Wan 和 Cosmos 主干的实验显示物理可信度持续提升;基于开源 Cosmos3-Nano 的增强模型超过 Veo 3.1。

    推荐理由:论文将物理过程拆成可优化的语言断言,并通过 PhysCapBench 与语言引导检索改善视频世界模型的物理可信度。

  6. arXiv · 多模态、视频与世界模型74

    梯度冲突能预测理解与生成的权衡吗?对统一多模态模型冲突指标有效性的受控审计

    这项研究在受控测试床 GRIDUMM 中审计梯度冲突指标能否预测统一多模态模型的理解与生成权衡。在 63 个配置和 372 个测量检查点中,没有方向性冲突指标达到绝对 Spearman 相关系数 0.3 且置信区间排除零;单调压低冲突也未改变权衡结果。研究发现,功能干扰指标优于方向性冲突指标,训练损失则能较强地追踪该权衡,作者计划在论文接收后公开审计代码。

  7. arXiv · 多模态、视频与世界模型54

    MM-FinEval:面向真实世界金融预测的多任务多模态基准

    MM-FinEval 是一个用于评估多模态大语言模型金融预测能力的基准,涵盖 2019 至 2022 年的 2,045 个 S&P 500 财报电话会,并设置 12 个金融任务标签。每条输入包含逐字稿、电话会演示文稿和完整音频,论文进一步比较了 19 个基线模型。结果显示,处理三种模态的小型 Any-to-Any 模型表现较强,部分情况下优于仅处理两种模态的大型专有模型。

  8. arXiv · 多模态、视频与世界模型80

    LongTake:学习在长时域视频生成中维持动态

    LongTake提出由 Long-Horizon Teacher Forcing 和 DMD 构成的两阶段训练流程,让自回归视频扩散模型基于长真实视频前缀预测后续帧,以维持长时域生成中的场景动态和视觉质量。在相同的五秒 DMD 训练设置下,该初始化在30秒生成中以相近美学质量获得更高动态程度;Hybrid DMD 在30秒和60秒自回滚评测中取得被评估方法中的最高动态程度。

    推荐理由:Long-Horizon Teacher Forcing 将长视频真实前缀引入训练,结合 Hybrid DMD,为提升长时域生成的动态持续性和画质提供了可复用的训练思路。

  9. arXiv · 多模态、视频与世界模型71

    Exo2EgoHOI:面向手物交互保持的第三人称到第一人称视频生成

    Exo2EgoHOI提出一种手物交互感知的视频生成框架,将第三人称操作视频转换为第一人称观察,以保持手物交互和对象一致性。该方法结合4D HOI先验、双分支残差适配器和分解式门控交叉注意力,在ARCTIC-HOI和Ego-Exo4D上进行实验;在ARCTIC-HOI上,相比对应最佳基线,object mIoU提升32.3%,MPJPE和PA-MPJPE分别降低34.7%和50.0%。

  10. arXiv · 多模态、视频与世界模型77

    研究提出 SEGUE,提升视频生成中途提示词切换的状态过渡

    该研究提出 SEGUE 框架,让视频生成器在中途切换提示词时先完成必要的状态过渡,再交还控制权给用户提示词。在包含 1,800 次切换的 OpenTrans-360 上,SEGUE 将整体得分从 0.866 提升至 0.887,并在八项过渡指标中均排名第一;其规划器也能迁移到无需重新训练的冻结自回归生成器。

    推荐理由:论文将中途提示词切换拆解为带状态和时长的过渡,并用两个基准展示了对生成连贯性与指令响应的改善。

  11. arXiv · 多模态、视频与世界模型76

    UniEvo-VL 提出多模态模型自我改进的在策略自蒸馏训练方法

    UniEvo-VL 提出一种让单个多模态模型分别充当教师和学生、利用自我批评反馈进行在策略自蒸馏的方法,以改进图像生成能力。在开源 Qwen-image-2512 上,GenEval 从 0.747 提升至 0.808,GenEval2 Soft-TIFA 从 32.97 提升至 35.53。

    推荐理由:论文给出不依赖独立教师的多模态自蒸馏路径,并用 GenEval 与 GenEval2 Soft-TIFA 的分数变化展示其对图像生成改进的测量方式。

  12. arXiv · 多模态、视频与世界模型76

    FrameMorrow:用前瞻 tokens 指导长时视频生成中的帧选择

    论文提出 FrameMorrow,通过预测代表未来信息需求的少量 prospective tokens,从历史中选择相关帧,以支持长时视频生成。该方法选择显式历史帧而非模型内部状态,可接入包括闭源模型在内的不同生成器,并在 5 个基准、11 个生成模型上评估了长视频生成、交互生成和动作条件世界模型任务,报告了长程一致性、视觉质量与动作对齐的持续提升。

    推荐理由:论文把历史选择从当前相关性转向未来信息需求,并以显式历史帧接入不同生成器,为长视频和交互生成的记忆设计提供了可复用思路。

  13. arXiv · 多模态、视频与世界模型79

    SceneJail 利用视频场景上下文攻击多模态大语言模型

    SceneJail 提出一种自适应黑盒越狱框架,通过构造兼容场景并搜索场景相关提示词,攻击视频多模态大语言模型。该方法在包含八个 Video-MLLMs 的评测中,SceneJail-F 的平均攻击成功率最高达 91.5%,较最强基线高 29.1 个百分点。将有害查询分布到连续帧的 SceneJail-S 在严格图像过滤下仍达到 72.3% 的攻击成功率。

    推荐理由:论文将视频场景从有害查询的载体提升为攻击面,为 Video-MLLM 安全评测和防御设计提供了可复用的测试思路。

  14. arXiv · 多模态、视频与世界模型71

    S-OPD:仅增强教师监督足以解锁多模态 On-Policy Distillation 的学生侧学习吗?

    S-OPD 提出一种多模态 On-Policy Distillation 框架,通过 Teacher-calibrated Policy Contrast 和 Policy Agreement 强化学生对视觉证据的依赖及抗噪感知。该方法无需额外数据标注、模型参数或推理操作,覆盖八个基准测试,LogicVista 最高提升 4.25 分,并可与教师侧监督方法结合获得进一步提升。

  15. arXiv · 多模态、视频与世界模型75

    UACD:面向少步视频生成的不确定性感知一致性蒸馏

    Lingyu Liu 提出不确定性感知一致性蒸馏方法 UACD,通过局部不确定性估计降低高难度时空区域的一致性监督权重。结合特征空间对抗训练、语义对齐和 LoRA 适配后,50步 Wan 模型实现了4步视频生成,在 VBench 2.0 上取得 0.556 mean score,并在用户研究中获得更高偏好。

  16. arXiv · 多模态、视频与世界模型86

    Asking the World 提出智能体世界建模与探测方法,提升视频物理推理

    Shenxiang Zeng 的论文提出 Asking the World(ATW),通过世界建模与世界探测两个自适应阶段,从视频构建并干预可执行的物理世界。基于 Gemini-3-Flash,ATW 在 CLEVRER 上达到 80.82% 问题级准确率,在 ContPhy 上达到 70.56%,并在三个真实场景中达到 71.67%。

    推荐理由:论文将视频中的物理推理转化为可执行世界的建模与探测,并用多组基准展示了这种验证式流程相对直接 VLM 推理的提升。

  17. arXiv · 多模态、视频与世界模型80

    MindWorldBench:评估图生视频中的心理状态到行为推理

    Ruiqi Li 等人提出 MindWorldBench,评估图生视频模型根据心理状态生成行为的能力。该基准使用 Zero-Action Prompting 和包含 744 个提示的反事实设计,并对 11 个模型进行评测。结果显示,模型虽然具备视觉保真度和物理推理能力,但难以让行为与潜在心理状态一致,常出现偏向客观世界状态而非人的主观信念的 Omniscient Bias。

    推荐理由:论文用 744 个反事实提示评估图生视频的心理状态到行为推理,并揭示模型偏向客观世界状态的失败模式。

  18. arXiv · 多模态、视频与世界模型38

    线性循环记忆足以蒸馏用于机器人空气曲棍球的世界模型策略

    一项机器人空气曲棍球防守研究表明,采用64维状态的纯线性循环模型(k=0)蒸馏DreamerV3教师策略后,在暂时失去冰球追踪时的表现可匹配GRU基线和教师策略。五个匹配随机种子的实验显示,增加非线性创新秩未带来测得收益;该模型循环参数更少、计算量更低。结论仅限于文中设定的模拟任务、教师、状态维度和 blackout horizon。

  19. arXiv · 多模态、视频与世界模型66

    TPAE:通过 Token 级视觉落地优势估计强化多模态推理

    论文提出 Token 级感知落地优势估计(TPAE),利用 token 的视觉依赖与预测熵,为多模态推理生成细粒度强化学习监督信号。分析显示,正确推理链在视觉落地增强时熵下降更明显,关键 token 也是正确推理链联合分布中的统计异常点。TPAE 在七个基准上持续优于强基线,并带来更稳定、高效的优化。

  20. arXiv · 多模态、视频与世界模型79

    MEND:无标签检测、定位与校正世界模型中的潜在幻觉

    论文提出 MEND,用一个基于真实状态转移训练的条件 score network,在没有错误标签的情况下检测、定位并尝试校正冻结世界模型中的潜在幻觉。在两个导航环境中,MEND 的幻觉检测 AUROC 最高达 0.80,逐 token 定位 AUPRC 最高达 0.87,且不使用动作信息。推理时校正可降低单步潜在误差并改善预测,但部分误差位于数据流形切向方向,论文因此重点讨论检测与定位。

    推荐理由:论文把世界模型的潜在幻觉拆成检测、定位和推理时校正三个可评估环节,并给出无需错误标签的指标结果,适合参考相关鲁棒性研究设计。

  21. TechCrunch · AI53

    Google 发布 Gemini 4 Argon,主打防御性网络安全与复杂任务处理

    Google 发布 Gemini 4 Argon,称其面向编码、研究和写作等任务,尤其擅长防御性网络安全,并可自主发现、验证和修复关键软件漏洞。Argon 目前仅通过 Fairwind Program 向一组选定的网络安全合作伙伴开放。Google 还称其在多项基准测试中高于 OpenAI 的 GPT-6 Astra 及 Anthropic 的 Fable、Opus。

  22. The Decoder84

    Google 发布 Gemini 4 Argon,性能追近 OpenAI 和 Anthropic 但未形成明确领先

    Google 发布前沿模型 Gemini 4 Argon,支持文本、图像、视频和音频输入,输出文本,初期仅向 Fairwind 计划中的“trusted cyber defenders”和内部团队开放。

    推荐理由:文章同时给出独立评测、价格与 token 消耗,能帮助读者区分 Gemini 4 Argon 的性能追赶、成本优势和效率代价。

9月30日周三
  1. Hugging Face Blog77

    Hugging Face 发布 Open TTS Leaderboard,支持多语言与语音克隆评测

    Hugging Face 发布 Open TTS Leaderboard,用客观指标评估开放源码 TTS 模型的可懂度、速度和说话人相似度,并覆盖多语言与语音克隆场景。排行榜使用 WER/CER、RTFx、TTFA 和 SIM,支持在 H200 GPU 与 CPU 上比较流式性能,并提供 Listen 标签页供用户试听和投票。

    推荐理由:该排行榜把 WER/CER、推理速度和说话人相似度纳入统一评测,并保留试听投票,便于比较开放源码 TTS 在多语言和流式场景中的取舍。

  2. arXiv · 多模态、视频与世界模型88

    HelixWorld:实时交互式音视频世界模型

    论文提出HelixWorld,使视觉场景与基于相机的空间立体声音在用户交互下共同演化。研究通过6-DoF相机轨迹和用户动作进行训练,并将模型蒸馏为低延迟流式模型,在单GPU上以24 FPS生成无漂移的音视频轨迹。论文还提出空间声学一致性与HelixBench,用于评估声音场是否跟随动态视点变化。

    推荐理由:论文将空间立体声纳入实时世界模型,并以24 FPS单GPU交互和HelixBench展示音画协同建模与评测路径。

9月24日周四
  1. Black Forest Labs · 图像与视频84

    Black Forest Labs 发布 FLUX 3 Action,开放 7B 机器人动作策略权重

    Black Forest Labs 发布 FLUX 3 Action(F3A)机器人动作策略模型及其开放权重,采用 WAM 联合预测未来视频与动作。报告称,其单步 7B checkpoint 在 RoboLab 达到 38.3%,高于 Cosmos 3 Nano 的 36.8%;guidance-distilled checkpoint 达到 42.2%。

    推荐理由:报告同时给出 RoboLab、真实机器人和推理效率数据,可用于比较 WAM 与 VLA 在成功率、速度和部署成本上的取舍。

9月22日周二
9月15日周二
9月7日周一
9月3日周四
8月21日周五
7月15日周三
  1. Hugging Face Blog79

    Hugging Face 发布 Real World VoiceEQ 语音 AI 人类质量基准

    Real World VoiceEQ 评估语音 AI 的人类交互质量,覆盖 40 多个专有和开源语音模型、15 多个维度及 60 多项指标。该基准基于超过 1 million 个人类评分,涵盖 ASR、TTS、S2S 和语音理解,结果显示不同模型在技术准确性、情绪理解、表达力与鲁棒性之间存在明显专长差异。

    推荐理由:该基准将语音模型评测从 WER 和延迟扩展到情绪、身份与背景声等人类感知维度,可帮助定位真实对话中的听辨与回应短板。

4月30日周四
  1. Google DeepMind66

    Google DeepMind 宣布 AI co-clinician 研究计划,探索临床监督下的医疗协作

    Google DeepMind 宣布 AI co-clinician 研究计划,探索在医生临床监督下由 AI 智能体协助患者护理,并评估其面向医生和患者的能力。在98个真实感初级保健问题中,系统有97个案例未出现关键错误,并在开放式药物问答中超过其他前沿 AI 系统。实时音视频远程医疗模拟显示,AI co-clinician 在140项会诊能力中的68项达到或超过初级保健医生,但医生整体表现更好。

    推荐理由:文章同时给出证据检索、药物问答和实时多模态会诊的评测设计,可用于理解医疗智能体的能力边界与临床安全架构。

1月9日周五
  1. ElevenLabs · 音频创作78

    ElevenLabs 发布语音转录模型 Scribe v2

    ElevenLabs 发布 Scribe v2,面向批量转录、字幕和听写场景,强化了长音频、停顿、语气变化、长静音及多说话人和口音的处理。Scribe v2 支持最多 100 个关键词或短语提示、最多 56 类实体检测及精确时间戳,并能自动转录单个音频文件中的多种语言。

    推荐理由:Scribe v2针对长音频、多语言和复杂说话场景优化,并结合关键词提示与实体时间戳,适合评估批量转录和审片工作流。

10月21日周二
  1. Replicate · 模型与制作实践65

    Replicate上线Datalab Marker与OCR文档解析模型

    Replicate上线Datalab的Marker与OCR模型,可将PDF、DOCX、PPTX和图像解析为Markdown或JSON。Marker支持表格、数学公式、代码、图像提取及按JSON Schema提取字段;OCR支持90种语言,并返回阅读顺序和表格网格。

    推荐理由:这次接入同时给出结构化抽取、处理速度、基准对比与计价,便于评估文档解析和 OCR 工作流的落地成本。