如何用 Seedance 2.0 制作出色视频
Replicate 发布 Seedance 2.0 使用教程,介绍该模型可同时接收最多 9 张图片、3 段视频、3 个音频和文本提示,并用 [Image1]、[Audio1] 等标记在提示词中引用素材。
推荐理由:通过参考素材组合、时间码分镜和音画同源三条实操路径,可迁移到需要角色一致性与多镜头调度的视频创作流程。
Replicate 发布 Seedance 2.0 使用教程,介绍该模型可同时接收最多 9 张图片、3 段视频、3 个音频和文本提示,并用 [Image1]、[Audio1] 等标记在提示词中引用素材。
推荐理由:通过参考素材组合、时间码分镜和音画同源三条实操路径,可迁移到需要角色一致性与多镜头调度的视频创作流程。
World Labs 发布 Spark 2.0,为基于 THREE.js 和 WebGL2 的开源 3DGS 渲染器加入 Level-of-Detail 系统,可按视角连续调整细节并通过网络流式加载数据。
推荐理由:World Labs 公开了 Spark 2.0 的 LoD、渐进流式与虚拟显存三项技术细节,可据此判断大场景 3DGS 在浏览器端的落地条件。
Google DeepMind 发布 Gemini Robotics-ER 1.6,增强机器人所需的空间推理、多视角理解、任务规划和成功检测能力。模型新增仪表读数能力,可通过 Gemini API 和 Google AI Studio 提供给开发者,并支持调用 Google Search、VLA 或用户自定义函数。
推荐理由:文章给出 Gemini Robotics-ER 1.6 在空间推理、多视角成功检测和仪表读数上的能力变化,并说明其通过 Gemini API 与 Google AI Studio 接入机器人工作流的方式。
ElevenLabs宣布支持 On-Premise 和 On-Device 部署,将语音 AI 扩展到云端和 VPC 之外。On-Premise 与 On-Device 目前处于 early access,首批版本预计在 2026 年上半年推出;VPC 部署现已可用,并支持自定义声音和针对语言或方言的微调。
推荐理由:材料清晰区分了 On-Premise、On-Device 与 VPC 的部署边界,便于企业按数据驻留和离线推理需求选择方案。
字节 Seed 正式推出原生全双工语音大模型 Seeduplex,基于边听边说框架,已在豆包 App 全量上线。官方称相比上一代半双工豆包端到端语音模型,其复杂场景误回复率和误打断率减少一半,抢话比例相对下降 40%,判停 MOS 分提高 8%、对话流畅度 MOS 分提升 12%,快问快答场景时延降低约 250ms。
推荐理由:官方给出全双工语音模型的架构思路与多项对比数据,可据此判断实时语音交互的技术路线与落地进度。
ElevenLabs与欧盟理事会秘书处合作,在2025年波兰担任欧盟理事会轮值主席国期间,为外交新闻发布会制作英语、法语和波兰语AI配音。20多场部长级会议相关录音发布在主席国官方YouTube频道,观众可选择音轨,配音保留发言人的语气和节奏。翻译由ElevenProductions人工核验,发言人提供符合GDPR的明确同意,语音模型仅限官方会议翻译使用,所有AI生成录音均明确标注。
推荐理由:案例展示了外交音频在多语种扩展中如何结合AI配音、人工核验与GDPR同意流程,适合参考高敏感内容的上线控制。
Hugging Face 发布 Diffusers 0.37.0,引入 Modular Diffusers,用可复用模块组合自定义扩散管线,与原有 DiffusionPipeline 并存。
推荐理由:Diffusers 0.37.0 的模块化管线与新增图像视频模型清单,可供选型与工作流搭建时对照参考。
World Labs 发布长文《3D as code》,提出 3D 是描述和交互物理与虚拟世界的通用接口,类比关系为 3D 相当于代码、神经图形相当于编程语言、仿真引擎相当于芯片。
推荐理由:World Labs 把 3D 类比为代码、仿真引擎类比为芯片,为判断世界模型该走端到端还是混合架构提供了一条清晰的分析框架。
Replicate 发布 Seedream 5.0 提示词实践指南,基于大量实测总结该模型在摄影语言理解、示例式编辑、风格迁移、多步推理、精确指令跟随、专业领域知识和文字渲染上的表现。示例式编辑可给出一组前后对比图加第三张图,让模型自行推断变化并套用,无需文字描述;提示词建议用自然语言而非关键词堆叠,需要渲染的文字用双引号包裹,复杂编辑可用箭头、方框或彩色区域标注位置。
推荐理由:Replicate 实测 Seedream 5.0 的提示词写法,示例式编辑和视觉标记对复杂改图流程有直接借鉴。
World Labs 宣布获得 $1 billion 新融资,投资方包括 AMD、Autodesk、NVIDIA 和 Sea 等。公司表示将加速空间智能与世界模型研发,其首款产品 Marble 可根据图像、视频或文本创建具有空间连贯性、高保真度和持久性的 3D 世界。
推荐理由:融资规模与投资方名单呈现了 World Labs 推进空间智能和世界模型产品化的资源基础,Marble 的输入形式也提供了创作工具选型参考。
Recraft 发布图像生成模型 Recraft V4,主打所谓“设计品味”,在构图、光线和色彩上做出更接近美术指导的视觉决策。
推荐理由:四个版本在分辨率、速度与价格上的差异,以及原生 SVG 输出,可作为图像生成选型与设计资产工作流的参考。
字节跳动 Seed 团队发布 Seedream 5.0 Lite 智能图像创作模型,相比 4.0 在理解、推理和生成方面全面提升,并首次为 Seedream 系列引入实时检索增强能力,可联网获取最新资讯回应时效性创作需求。
推荐理由:官方披露了多模态统一架构与实时检索增强的落地方式,可据此判断图像模型向推理型创作助手演进的具体路径。
ElevenLabs正式推出面向政府部门的ElevenLabs for Government,提供覆盖语音和数字渠道的多语言语音与聊天智能体服务。正文列出福利、许可、税务办理和危机热线等场景,并称捷克智能体日均处理约5,000通电话、独立解决约85%;德州Midland部署预计每月减少约7,000个漏接电话。
ElevenLabs 宣布完成 $500M Series D 融资,公司估值达到 $11B,2025 年 ARR 超过 $330M。新资金将用于扩大 ElevenAgents 企业语音与对话智能体平台、升级语音智能体,并推进情感对话模型、配音和音频通用智能研究。
推荐理由:材料同时给出融资规模、估值变化与 ElevenAgents 的产品投入方向,可用于判断语音智能体商业化与企业采用的推进路径。
ElevenLabs 宣布 Eleven v3 文本转语音模型结束 Alpha 阶段并正式可用,现已在所有平台开放。在覆盖 8 种语言、27 个类别的内部基准中,错误率从 15.3% 降至 4.9%,错误减少 68%;测试中用户有 72% 的时间更偏好新版本而非此前 Alpha 版本。更新重点包括更准确处理数字、符号和专业记号,例如将电话号码、货币、化学式和体育比分按上下文朗读。
推荐理由:这次更新提供了文本转语音模型在跨语言符号朗读和稳定性上的具体变化,便于评估号码、公式与复杂格式的生成可用性。
ElevenLabs 与 Audi Revolut F1 Team 展开合作,探索将 AI 音频与语音生成技术用于车队运营、沟通及全球车迷连接。双方还将研究如何借助相关技术支持赛道工作,并通过数字平台和新形式改变车迷体验。
World Labs 发布 World API,调用 Marble 多模态世界模型,可从文本、图像、全景、多视图输入和视频生成可导航的 3D 世界。生成结果支持浏览器渲染、导出到下游工具,或集成进互动系统与模拟流程。World API 已通过 World Labs Platform 提供,平台支持管理 API keys、查看用量与计费、购买 credits 及访问文档。
推荐理由:World API 将多种视觉与文本输入转为可探索 3D 世界,并提供渲染、导出和应用集成入口,可用于评估空间内容生成工作流。
ElevenLabs 发布《The Eleven Album》,由 Liza Minnelli、Art Garfunkel 等艺术家与 Eleven Music 共同创作原创音乐,涵盖说唱、流行、R&B、EDM、电影配乐和全球音乐等风格。Eleven Music 可根据简单提示生成完整作品,并支持调整歌词、时序和乐器,以及下载最多六条录音室质量分轨。专辑现已上线。
推荐理由:发布既展示了 Eleven Music 在音乐创作中的具体工作流,也交代了原创、商用授权和分轨下载等面向制作环节的能力。
MasterClass通过 ElevenLabs Text to Speech 为 Gordon Ramsay、Mark Cuban 和 Chris Voss 等 AI 导师提供实时语音对话。上线首年超过75%的 On Call 用户通过语音互动,双方还建立了涵盖红队测试、内容审核和人工复核的安全质量框架,并探索 AI roleplay 与 ElevenLabs Agents Platform。
推荐理由:案例呈现了语音质量、低延迟、联合训练与多层安全审核如何共同支撑品牌化 AI 导师的实时交互。
Deutsche Telekom 与 ElevenLabs 宣布合作,将 ElevenLabs 的 AI voice agents 引入欧洲最大电信运营商的客户服务,覆盖 app 和电话渠道。Deutsche Telekom 客户很快将获得 24/7、无需等待的逼真 AI voice agents,以更个性化、类人的互动增强客户支持。
ElevenLabs 发布 Scribe v2,面向批量转录、字幕和听写场景,强化了长音频、停顿、语气变化、长静音及多说话人和口音的处理。Scribe v2 支持最多 100 个关键词或短语提示、最多 56 类实体检测及精确时间戳,并能自动转录单个音频文件中的多种语言。
推荐理由:Scribe v2针对长音频、多语言和复杂说话场景优化,并结合关键词提示与实体时间戳,适合评估批量转录和审片工作流。
字节 Seed 团队正式发布新一代音视频创作模型 Seedance 1.5 pro,支持文本到音视频合成与图像引导的音视频生成,已上线即梦AI和豆包。模型采用基于 MMDiT 的统一音视频联合生成框架,实现口型、语调与表演节奏的音画同步,原生支持中文、英文、日文、韩语、西班牙语、印尼语及四川话、粤语等方言。
推荐理由:官方披露了音视频联合生成的架构与评测细节,可据此判断音画同步能力在短剧、广告等场景的可用边界。
Hugging Face 的 Diffusers 发布 0.36.0,新增多条图像与视频管线,包括 Black Forest Labs 的 Flux2、6B 参数的 Z-Image、支持多图参考的 QwenImage Edit Plus、Bria FIBO、Kandinsky 5.0 Image Lite 和把图像编辑重构为视频生成任务的 ChronoEdit。
推荐理由:Diffusers 0.36.0 一次性接入 Flux2、Z-Image、HunyuanVideo 1.5 等新管线并新增缓存与注意力后端,可据此判断生成工作流的升级路径。
Toyota 北加州经销商协会与创意机构 H/L 推出由 Brock Purdy AI 数字人主持的语音互动体验,基于 ElevenLabs Agents 平台运行,并通过 webhook 将语音回应与网页动画实时同步。活动上线前几周产生 12k+ 次语音互动,平均参与时长约 2 分钟,超过 25% 的对话促成提交线索表单或探索产品等行动。
推荐理由:这则案例把语音智能体、实时动画同步和线索收集串成一条营销流程,适合参考品牌互动项目的设计与衡量方式。
字节跳动 Seed 团队发布视觉空间重建模型 Depth Anything 3(DA3),作为 Depth Anything 系列最新开源续作,将单目深度估计能力扩展至任意视角。
推荐理由:官方给出单一 Transformer 架构与深度-射线统一表征的设计取舍,以及相对 VGGT 的精度提升,可供空间重建选型参考。
Perceptron AI 发布 Isaac 0.1,一个 2B 参数的开源权重视觉语言模型,面向有依据的感知任务,现可在 Replicate 上运行。该模型能回答图像问题、推理空间关系、在杂乱环境中读取文字,并给出与答案对应的边界框或区域以提供依据。官方称其在 OCR、物体识别和视觉推理上可媲美体量大得多的模型,且仅需少量标注示例即可适配新任务,无需微调。
推荐理由:可了解一个 2B 开源视觉语言模型在 OCR、空间推理与少样本适配上的定位,供选型参考。
ElevenLabs宣布与Liberty Global Ventures达成商业合作,并获得其战略投资,以推进语音AI在欧洲电信和娱乐产品中的应用。双方将探索AI客户服务智能体、联网电视与流媒体语音界面,以及客户沟通和营销等场景;该投资由Liberty Global Ventures Partner Rebecca Hunt领投,支持ElevenLabs扩大全球基础语音模型和多语言语音AI。
推荐理由:这项合作同时覆盖战略投资与电信、娱乐落地场景,可用于观察语音 AI 从模型能力走向客户服务和电视交互的商业化路径。
Replicate 发布 Nano Banana Pro 提示词实践指南,称该模型具备图像内文字的逻辑推理能力,可读取作业题并给出带解题步骤的答案,也能把论文、财报 PDF 转成信息图。
推荐理由:汇总了 Nano Banana Pro 在文字渲染、角色一致性和世界知识上的实测边界,可据此判断它适合哪些创作环节。
Retro Diffusion 的 rd-fast、rd-plus、rd-tile 和 rd-animation 四款像素艺术模型现已可在 Replicate 上运行,面向游戏素材、角色精灵、瓦片和复古图形生成。模型支持多种风格预设,部分模型支持自定义尺寸、输入图像、调色板图像、背景移除和无缝平铺;其中 rd-animation 用于生成具有一致构图的动画精灵或精灵表。
推荐理由:四款模型分别覆盖快速生成、高质量图像、瓦片集和动画精灵,读者可据此按游戏素材类型选择像素艺术生成工作流。
Replicate宣布加入Cloudflare,并将保持独立品牌;其 API 不变,现有模型和已构建的应用将继续运行。双方计划把 Replicate 的模型运行能力与 Cloudflare Developer Platform 整合,用于构建智能体、运行实时模型及在边缘部署模型。
推荐理由:这次整合保留了 Replicate 的 API 和现有模型,同时为智能体、实时模型与边缘运行提供更完整的云平台协同。
ElevenLabs 发布 Image & Video(Beta),将图像、视频和音频创作整合到同一平台工作流中。用户可调用 Veo、Sora、Kling、Wan、Seedance 等模型生成视频,也可使用 Nanobanana、Flux Kontext、GPT Image 和 Seedream 生成图像,并在 Studio 中完成配音、音乐、音效、口型同步、时间线调整和导出。
推荐理由:将图像、视频生成与配音、音乐、音效及时间线编辑放进同一工作流,便于评估一站式多模态创作的实际覆盖范围。
World Labs 宣布 Marble 多模态世界模型面向所有用户开放,可从文本、图像、视频或粗略 3D 布局生成 3D 世界。Marble 支持交互式编辑、扩展和组合世界,并可导出为 Gaussian splats、网格或视频;同时推出创作中心 Marble Labs。
推荐理由:Marble 将文本、图像、视频和粗略 3D 布局纳入同一创作流程,并提供编辑、扩展与导出能力,可用于判断其对世界构建工作流的适配度。
Harvey 与 ElevenLabs 合作,为法律行业打造全球多语言语音能力,使 Harvey 能以数十种语言、方言或口音自然交流。首阶段将支持 Harvey 几乎以任何语言或方言朗读回答,能力由 ElevenLabs 的 Text to Speech 和 Speech to Text 驱动;后续将加入多语言语音翻译、voice mode、口头庭审模拟和语调定制。
ElevenLabs在首次 Summit 上确认,奥斯卡获奖演员Matthew McConaughey多年来一直是公司投资者和早期支持者,如今也成为创作者。其新闻通讯 Lyrics of Livin’ 将推出由ElevenLabs驱动的西班牙语版本,以其本人声音制作西班牙语音频内容。
ElevenLabs 与 Sir Michael Caine 合作,并推出 Iconic Marketplace,为公司申请使用知名人才参与项目和内容提供双边平台。平台目前已有超过 25 种标志性声音,并与包括 CMG Worldwide 在内的机构合作,强调授权、同意和创作真实性。
推荐理由:该平台把名人声音合作放在授权、同意与创作真实性框架下,为品牌和工作室评估 AI 音频商业化与版权流程提供了具体案例。
ElevenLabs 与乌克兰政府签署谅解备忘录,推动 AI 公共服务从概念进入生产,共建“世界首个智能体政府”。乌克兰已以 Diia.AI 迈出第一步,该平台被称为“世界首个公共服务智能体应用与平台”,教育和经济领域也在推进 Mriia、Obriy。ElevenLabs 的工程师团队驻留 Kyiv,与乌克兰团队协作部署,乌克兰计划到 2030 年成为 AI 公共服务应用的领导者。
字节跳动 Seed 团队发布 3D 生成大模型 Seed3D 1.0,可从单张图像端到端生成含精细几何、真实纹理和 PBR 材质的完整 3D 模型。模型基于 Diffusion Transformer 架构,1.5B 参数版本在几何生成上超过 3B 参数的 Hunyuan3D-2.1,纹理与材质生成性能超过此前开源及闭源模型。
推荐理由:官方给出架构、参数规模与对比基线,可据此判断单图生成仿真级 3D 资产在机器人训练中的可用边界。
Replicate上线Datalab的Marker与OCR模型,可将PDF、DOCX、PPTX和图像解析为Markdown或JSON。Marker支持表格、数学公式、代码、图像提取及按JSON Schema提取字段;OCR支持90种语言,并返回阅读顺序和表格网格。
推荐理由:这次接入同时给出结构化抽取、处理速度、基准对比与计价,便于评估文档解析和 OCR 工作流的落地成本。
World Labs 发布实时生成世界模型 RTFM(Real-Time Frame Model),可随交互实时生成视频,用于探索生成的 3D 世界和真实场景,今日以 research preview 形式开放,并可在浏览器中体验。
推荐理由:RTFM 把世界模型做成单卡实时渲染器,读者可据此判断实时 3D 生成在算力与持久性上的可行边界。
Replicate 介绍 Veo 3.1 的提示词编写方法,以及参考生视频、首尾帧生视频和增强图生视频功能。参考生视频最多接收三张图片并结合文本生成连贯场景,其余端点提供耗时低于 60 秒、价格约为标准版本一半的快速生成选项。
推荐理由:文章把镜头构图、焦段、风格和运动等提示词要素,与参考图、首尾帧及快速版本的使用场景对应起来,便于设计可控的视频生成流程。