Physis-Lang：用自演化语言作为视频世界模型的物理表示
Physis-Lang提出一种自演化框架，将物理语言作为视频世界模型在数据整理、模型训练和视频生成中的共享表示。在四个物理视频基准上，使用 Wan 和 Cosmos 主干的实验显示物理可信度持续提升；基于开源 Cosmos3-Nano 的增强模型超过 Veo 3.1。
推荐理由：论文将物理过程拆成可优化的语言断言，并通过 PhysCapBench 与语言引导检索改善视频世界模型的物理可信度。
理解与质量评测
全部主题素材理解、时序定位、质量判断、独立实测与失败分析。
40条精选
最新精选
第 21–40 条 · 共 40 条arXiv · 多模态、视频与世界模型精选AI 评分8585 arXiv · 多模态、视频与世界模型精选AI 评分8080 LongTake：学习在长时域视频生成中维持动态
LongTake提出由 Long-Horizon Teacher Forcing 和 DMD 构成的两阶段训练流程，让自回归视频扩散模型基于长真实视频前缀预测后续帧，以维持长时域生成中的场景动态和视觉质量。在相同的五秒 DMD 训练设置下，该初始化在30秒生成中以相近美学质量获得更高动态程度；Hybrid DMD 在30秒和60秒自回滚评测中取得被评估方法中的最高动态程度。
推荐理由：Long-Horizon Teacher Forcing 将长视频真实前缀引入训练，结合 Hybrid DMD，为提升长时域生成的动态持续性和画质提供了可复用的训练思路。
arXiv · 多模态、视频与世界模型精选AI 评分7777 研究提出 SEGUE，提升视频生成中途提示词切换的状态过渡
该研究提出 SEGUE 框架，让视频生成器在中途切换提示词时先完成必要的状态过渡，再交还控制权给用户提示词。在包含 1,800 次切换的 OpenTrans-360 上，SEGUE 将整体得分从 0.866 提升至 0.887，并在八项过渡指标中均排名第一；其规划器也能迁移到无需重新训练的冻结自回归生成器。
推荐理由：论文将中途提示词切换拆解为带状态和时长的过渡，并用两个基准展示了对生成连贯性与指令响应的改善。
arXiv · 多模态、视频与世界模型精选AI 评分7676 UniEvo-VL 提出多模态模型自我改进的在策略自蒸馏训练方法
UniEvo-VL 提出一种让单个多模态模型分别充当教师和学生、利用自我批评反馈进行在策略自蒸馏的方法，以改进图像生成能力。在开源 Qwen-image-2512 上，GenEval 从 0.747 提升至 0.808，GenEval2 Soft-TIFA 从 32.97 提升至 35.53。
推荐理由：论文给出不依赖独立教师的多模态自蒸馏路径，并用 GenEval 与 GenEval2 Soft-TIFA 的分数变化展示其对图像生成改进的测量方式。
arXiv · 多模态、视频与世界模型精选AI 评分7676 FrameMorrow：用前瞻 tokens 指导长时视频生成中的帧选择
论文提出 FrameMorrow，通过预测代表未来信息需求的少量 prospective tokens，从历史中选择相关帧，以支持长时视频生成。该方法选择显式历史帧而非模型内部状态，可接入包括闭源模型在内的不同生成器，并在 5 个基准、11 个生成模型上评估了长视频生成、交互生成和动作条件世界模型任务，报告了长程一致性、视觉质量与动作对齐的持续提升。
推荐理由：论文把历史选择从当前相关性转向未来信息需求，并以显式历史帧接入不同生成器，为长视频和交互生成的记忆设计提供了可复用思路。
arXiv · 多模态、视频与世界模型精选AI 评分7979 SceneJail 利用视频场景上下文攻击多模态大语言模型
SceneJail 提出一种自适应黑盒越狱框架，通过构造兼容场景并搜索场景相关提示词，攻击视频多模态大语言模型。该方法在包含八个 Video-MLLMs 的评测中，SceneJail-F 的平均攻击成功率最高达 91.5%，较最强基线高 29.1 个百分点。将有害查询分布到连续帧的 SceneJail-S 在严格图像过滤下仍达到 72.3% 的攻击成功率。
推荐理由：论文将视频场景从有害查询的载体提升为攻击面，为 Video-MLLM 安全评测和防御设计提供了可复用的测试思路。
arXiv · 多模态、视频与世界模型精选AI 评分8686 Asking the World 提出智能体世界建模与探测方法，提升视频物理推理
Shenxiang Zeng 的论文提出 Asking the World（ATW），通过世界建模与世界探测两个自适应阶段，从视频构建并干预可执行的物理世界。基于 Gemini-3-Flash，ATW 在 CLEVRER 上达到 80.82% 问题级准确率，在 ContPhy 上达到 70.56%，并在三个真实场景中达到 71.67%。
推荐理由：论文将视频中的物理推理转化为可执行世界的建模与探测，并用多组基准展示了这种验证式流程相对直接 VLM 推理的提升。
arXiv · 多模态、视频与世界模型精选AI 评分8080 MindWorldBench：评估图生视频中的心理状态到行为推理
Ruiqi Li 等人提出 MindWorldBench，评估图生视频模型根据心理状态生成行为的能力。该基准使用 Zero-Action Prompting 和包含 744 个提示的反事实设计，并对 11 个模型进行评测。结果显示，模型虽然具备视觉保真度和物理推理能力，但难以让行为与潜在心理状态一致，常出现偏向客观世界状态而非人的主观信念的 Omniscient Bias。
推荐理由：论文用 744 个反事实提示评估图生视频的心理状态到行为推理，并揭示模型偏向客观世界状态的失败模式。
arXiv · 多模态、视频与世界模型精选AI 评分7979 MEND：无标签检测、定位与校正世界模型中的潜在幻觉
论文提出 MEND，用一个基于真实状态转移训练的条件 score network，在没有错误标签的情况下检测、定位并尝试校正冻结世界模型中的潜在幻觉。在两个导航环境中，MEND 的幻觉检测 AUROC 最高达 0.80，逐 token 定位 AUPRC 最高达 0.87，且不使用动作信息。推理时校正可降低单步潜在误差并改善预测，但部分误差位于数据流形切向方向，论文因此重点讨论检测与定位。
推荐理由：论文把世界模型的潜在幻觉拆成检测、定位和推理时校正三个可评估环节，并给出无需错误标签的指标结果，适合参考相关鲁棒性研究设计。
The Decoder精选AI 评分8484 Google 发布 Gemini 4 Argon，性能追近 OpenAI 和 Anthropic 但未形成明确领先
Google 发布前沿模型 Gemini 4 Argon，支持文本、图像、视频和音频输入，输出文本，初期仅向 Fairwind 计划中的“trusted cyber defenders”和内部团队开放。
推荐理由：文章同时给出独立评测、价格与 token 消耗，能帮助读者区分 Gemini 4 Argon 的性能追赶、成本优势和效率代价。
Google DeepMind精选AI 评分7676 Google DeepMind 发布 Gemini 4 Argon，面向复杂长程工作流
Google DeepMind 发布 Gemini 4 Argon，面向复杂软件工程、企业知识工作和网络安全防御，现通过 Fairwind Program 向一批可信网络防御者分阶段开放。
推荐理由：原文同时给出 1M tokens 输出上限、企业工作流评测与分阶段开放安排，可用于比较长程任务能力和接入门槛。
Hugging Face Blog精选AI 评分7777 Hugging Face 发布 Open TTS Leaderboard，支持多语言与语音克隆评测
Hugging Face 发布 Open TTS Leaderboard，用客观指标评估开放源码 TTS 模型的可懂度、速度和说话人相似度，并覆盖多语言与语音克隆场景。排行榜使用 WER/CER、RTFx、TTFA 和 SIM，支持在 H200 GPU 与 CPU 上比较流式性能，并提供 Listen 标签页供用户试听和投票。
推荐理由：该排行榜把 WER/CER、推理速度和说话人相似度纳入统一评测，并保留试听投票，便于比较开放源码 TTS 在多语言和流式场景中的取舍。
arXiv · 多模态、视频与世界模型精选AI 评分8888 HelixWorld：实时交互式音视频世界模型
论文提出HelixWorld，使视觉场景与基于相机的空间立体声音在用户交互下共同演化。研究通过6-DoF相机轨迹和用户动作进行训练，并将模型蒸馏为低延迟流式模型，在单GPU上以24 FPS生成无漂移的音视频轨迹。论文还提出空间声学一致性与HelixBench，用于评估声音场是否跟随动态视点变化。
推荐理由：论文将空间立体声纳入实时世界模型，并以24 FPS单GPU交互和HelixBench展示音画协同建模与评测路径。
Black Forest Labs · 图像与视频精选AI 评分8484 Black Forest Labs 发布 FLUX 3 Action，开放 7B 机器人动作策略权重
Black Forest Labs 发布 FLUX 3 Action（F3A）机器人动作策略模型及其开放权重，采用 WAM 联合预测未来视频与动作。报告称，其单步 7B checkpoint 在 RoboLab 达到 38.3%，高于 Cosmos 3 Nano 的 36.8%；guidance-distilled checkpoint 达到 42.2%。
推荐理由：报告同时给出 RoboLab、真实机器人和推理效率数据，可用于比较 WAM 与 VLA 在成功率、速度和部署成本上的取舍。
Hugging Face Blog精选AI 评分8585 H Company 发布 NeoMME 多模态多语言编码器
H Company 发布 NeoMME 多模态多语言编码器，提供 260M 和 800M 两种规模，并以单一双向 Transformer 同时处理文本 token 与原始图像 patch。
推荐理由：NeoMME把多模态编码与视觉文档检索结合，给出模型规模、检索质量、吞吐和索引压缩之间的可复用权衡。
Hugging Face Blog精选AI 评分8080 Hugging Face 研究测量语音识别中的基准优化
Hugging Face 的最新研究提出三项测试，用于量化语音识别模型针对公开基准进行优化的程度，并评估了 11 个常用开源 ASR 模型。
推荐理由：研究把参考文本错误、静音数字和拼写切换转化为三项可量化测试，为语音模型选型和评测集设计提供了具体方法。
Hugging Face Blog精选AI 评分7979 Hugging Face 发布 Real World VoiceEQ 语音 AI 人类质量基准
Real World VoiceEQ 评估语音 AI 的人类交互质量，覆盖 40 多个专有和开源语音模型、15 多个维度及 60 多项指标。该基准基于超过 1 million 个人类评分，涵盖 ASR、TTS、S2S 和语音理解，结果显示不同模型在技术准确性、情绪理解、表达力与鲁棒性之间存在明显专长差异。
推荐理由：该基准将语音模型评测从 WER 和延迟扩展到情绪、身份与背景声等人类感知维度，可帮助定位真实对话中的听辨与回应短板。
Google DeepMind精选AI 评分6666 Google DeepMind 宣布 AI co-clinician 研究计划，探索临床监督下的医疗协作
Google DeepMind 宣布 AI co-clinician 研究计划，探索在医生临床监督下由 AI 智能体协助患者护理，并评估其面向医生和患者的能力。在98个真实感初级保健问题中，系统有97个案例未出现关键错误，并在开放式药物问答中超过其他前沿 AI 系统。实时音视频远程医疗模拟显示，AI co-clinician 在140项会诊能力中的68项达到或超过初级保健医生，但医生整体表现更好。
推荐理由：文章同时给出证据检索、药物问答和实时多模态会诊的评测设计，可用于理解医疗智能体的能力边界与临床安全架构。
ElevenLabs · 音频创作精选AI 评分7878 ElevenLabs 发布语音转录模型 Scribe v2
ElevenLabs 发布 Scribe v2，面向批量转录、字幕和听写场景，强化了长音频、停顿、语气变化、长静音及多说话人和口音的处理。Scribe v2 支持最多 100 个关键词或短语提示、最多 56 类实体检测及精确时间戳，并能自动转录单个音频文件中的多种语言。
推荐理由：Scribe v2针对长音频、多语言和复杂说话场景优化，并结合关键词提示与实体时间戳，适合评估批量转录和审片工作流。
Replicate · 模型与制作实践精选AI 评分6565 Replicate上线Datalab Marker与OCR文档解析模型
Replicate上线Datalab的Marker与OCR模型，可将PDF、DOCX、PPTX和图像解析为Markdown或JSON。Marker支持表格、数学公式、代码、图像提取及按JSON Schema提取字段；OCR支持90种语言，并返回阅读顺序和表格网格。
推荐理由：这次接入同时给出结构化抽取、处理速度、基准对比与计价，便于评估文档解析和 OCR 工作流的落地成本。