跳到正文

音频与数字人

声音、音乐、配音、数字人和多语言制作。

60条精选

最新精选

第 1–20 条 · 共 60 条
10月2日周五
  1. arXiv · 多模态、视频与世界模型81

    Soundwich:用分层可控音频生成与视频同步

    Soundwich 提出一种无需训练的框架,将冻结的联合音视频 flow-matching 模型转化为可生成多条同步、可独立编辑音频轨道的系统。框架通过共享场景表示传递全局视听上下文,并让每条音频轨道与对应视觉来源进行跨模态交互,以保持声音与视频协调。论文称实验和人工评估显示其在时间控制、来源分离和自然度方面有所改善,生成的音频轨道可独立调整时序、静音、替换或重混。

    推荐理由:论文展示了如何在不训练新模型的情况下,把单一混音拆成可独立编辑的同步音频轨道,为音视频生成的后期重混与来源级控制提供参考。

  2. The Decoder76

    Tavus推出 Griffin 人类交互模型,48%受试者将其误认真人

    Tavus推出 Griffin,这是一种面向实时面对面交流的 Human Interaction Model;Tavus称其研究中有48%的参与者在一分钟视频通话后相信 Griffin 是真人。

    推荐理由:材料提供了 Griffin 与真人及上一代 AI 的对照数据,并交代了研究预览的开放范围和安全前提,便于判断其当前成熟度。

10月1日周四
  1. arXiv · 多模态、视频与世界模型78

    Audible World Models 提出面向 3D 世界的空间感知声音生成框架

    论文提出 Audible World Models,一种 training-free 框架,可从文本提示构建全景 3D proxy,将声音源锚定到重建几何,并根据听者视点和运动渲染空间音频。对 80 个生成场景的实验显示,该方法在空间一致性上优于文本、视频和全景图条件基线,同时保持有竞争力的语义对齐;论文已被 NeurIPS 2026 接收。

    推荐理由:论文将声音源位置、3D 几何与几何声学传播纳入世界状态,为构建随观察者移动而变化且保持空间一致性的多模态世界模型提供了可复用路线。

9月30日周三
  1. 可灵 · 模型与创作实践62

    2026 年 5 款 UGC 视频生成 AI 工具对比与 Kling AI 实践指南

    可灵发布一篇 2026 年 UGC 视频生成工具指南,对比 Kling AI、Higgsfield、Dreamina、HeyGen 和 CapCut 在场景生成、数字人呈现与视频组装等工作流中的适用方向,强调这不是基准排名。

    推荐理由:文章按产品场景、脚本呈现与后期组装拆分工具差异,并给出从参考素材到审片修复的 Kling AI UGC 工作流,便于评估商品保真与制作成本。

  2. 可灵 · 模型与创作实践81

    Kling 4.0 与 3.0 有哪些不同

    Kling 4.0将于2026年10月正式发布,原生视频生成时长从3–15秒扩展至3–30秒,并支持最多10个关键帧。新版本还支持最多15个组合参考资产、10-bit HDR、双声道立体声和定向多模态视频编辑。Kling 4.0 Flash已于9月28日向有限用户开放提前体验。

    推荐理由:这篇对比把时长、关键帧、参考资产和视频编辑放在同一框架中,便于按项目复杂度选择 Kling 3.0 或 4.0。

  3. Hugging Face Blog77

    Hugging Face 发布 Open TTS Leaderboard,支持多语言与语音克隆评测

    Hugging Face 发布 Open TTS Leaderboard,用客观指标评估开放源码 TTS 模型的可懂度、速度和说话人相似度,并覆盖多语言与语音克隆场景。排行榜使用 WER/CER、RTFx、TTFA 和 SIM,支持在 H200 GPU 与 CPU 上比较流式性能,并提供 Listen 标签页供用户试听和投票。

    推荐理由:该排行榜把 WER/CER、推理速度和说话人相似度纳入统一评测,并保留试听投票,便于比较开放源码 TTS 在多语言和流式场景中的取舍。

  4. ElevenLabs · 音频创作73

    ElevenLabs完成$300 million员工要约收购,估值升至$22 billion

    ElevenLabs完成$300 million员工要约收购,估值达到$22 billion,是其2026年2月Series D估值的两倍。公司称企业客户已贡献55%的收入,ElevenAgents每周处理超过15 million次对话,较2月增长3x;其语音智能体平均比聊天智能体快31%解决问题。

    推荐理由:企业收入占比、智能体处理量和多渠道部署数据,提供了观察语音智能体商业化进展的具体参照。

  5. arXiv · 多模态、视频与世界模型88

    HelixWorld:实时交互式音视频世界模型

    论文提出HelixWorld,使视觉场景与基于相机的空间立体声音在用户交互下共同演化。研究通过6-DoF相机轨迹和用户动作进行训练,并将模型蒸馏为低延迟流式模型,在单GPU上以24 FPS生成无漂移的音视频轨迹。论文还提出空间声学一致性与HelixBench,用于评估声音场是否跟随动态视点变化。

    推荐理由:论文将空间立体声纳入实时世界模型,并以24 FPS单GPU交互和HelixBench展示音画协同建模与评测路径。

9月28日周一
  1. ElevenLabs · 音频创作75

    ElevenLabs 发布 Eleven v4 与 Eleven v4 Turbo 语音模型

    ElevenLabs 发布情感表现更强的文本转语音模型 Eleven v4 及低延迟版本 Eleven v4 Turbo,两者支持 90 多种语言,已在 ElevenAgents、ElevenCreative 和 ElevenAPI 上线。

    推荐理由:官方给出 Eleven v4 与 Turbo 的延迟、盲测偏好和音频标签控制细节,可用于语音智能体与配音选型参考。

9月16日周三
9月10日周四
  1. ElevenLabs · 音频创作62

    ElevenLabs 与环球音乐达成多年战略协议,将推出授权音乐创作平台

    ElevenLabs 与环球音乐集团(UMG)宣布达成多年授权协议和战略合作,这是 ElevenLabs 首次与主流唱片公司签约,涵盖音乐授权与产品开发。双方将共同为艺人和词曲作者开发 AI 音频产品,并推出一个面向粉丝的 AI 音乐创作平台,支持对参与艺人的曲目进行混音、串烧、新演绎和个性化人声体验。

    推荐理由:ElevenLabs 与 UMG 的授权合作给出了 AI 音乐平台在版权与分成上的落地路径,可供判断音乐生成产品的合规边界。

  2. OpenAI News62

    OpenAI 在 API 中上线 GPT-Live-1 语音模型

    OpenAI 在 API 中推出 GPT-Live-1,为开发者带来自然的全双工语音对话能力。该模型在指令遵循上更强,并支持自定义音色与电话(telephony)接入。

    推荐理由:OpenAI 把全双工语音对话能力开放到 API,读者可据此判断语音类应用的接入门槛与能力边界。

9月8日周二
9月3日周四
8月28日周五
  1. Hugging Face Blog62

    Open ASR Leaderboard 新增首个全球南方语言:印地语与印度英语评测集

    Voice Arena 与 Hugging Face 合作,在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两个评测集,印地语成为该多语言标签页上的首个印度语言。

    推荐理由:公开 ASR 榜单首次纳入印地语与印度英语,并公开说话人元数据与格参考,可用于判断语音模型的地域偏差。

8月27日周四
8月24日周一
8月21日周五
8月20日周四
  1. Diffusers · Releases62

    Diffusers 0.40.0 发布:新增 LTX-2.5、MiniMax-H3 等管线并支持张量并行

    Diffusers 0.40.0 发布,新增 LTX-2.5、MiniMax-H3、MiniMax Music 3、Stable Audio 3、Wan-Animate-2、JoyAI-Image-Edit-Plus 等管线,Modular Diffusers 结束实验阶段转为稳定支持。

    推荐理由:Diffusers 0.40.0 的发布说明列出了新增视频与音频管线、张量并行和量化后端,可据此判断多模态生成与部署选型。

  2. ComfyUI · 工作流与实践77

    ComfyUI 与 MiniMax 发起 H3 音画同步社区挑战赛

    ComfyUI 与 MiniMax 团队发起 H3 音画同步社区挑战赛,要求参赛者用 H3 在同一轮生成视频和同步音频,作品最长 90 秒且每人限投一次。参赛者还需提交实际的 ComfyUI `.json` 工作流,活动支持本地运行或 Comfy Cloud,9/2 公布结果。

    推荐理由:挑战同时要求 H3 在同一轮生成音频与视频,并提交可复现的 ComfyUI 工作流,呈现了音画同步创作的实践约束。