ElevenLabs 发布 Music v2 音乐生成模型
ElevenLabs 发布 Music v2 音乐生成模型,提升人声、器乐、编曲和多语言支持,并支持更复杂的歌曲结构。模型支持按片段局部重绘、分段构建完整歌曲,以及在同一首歌中处理多种曲风、快速说唱和非音乐音效。
推荐理由:Music v2 将局部重绘、分段作曲和多语言演唱整合到音乐生成流程,便于比较创作者、品牌与开发者的不同接入方式。
ElevenLabs 发布 Music v2 音乐生成模型,提升人声、器乐、编曲和多语言支持,并支持更复杂的歌曲结构。模型支持按片段局部重绘、分段构建完整歌曲,以及在同一首歌中处理多种曲风、快速说唱和非音乐音效。
推荐理由:Music v2 将局部重绘、分段作曲和多语言演唱整合到音乐生成流程,便于比较创作者、品牌与开发者的不同接入方式。
ElevenLabs 发布 AI 音乐发现与创作平台 ElevenMusic,将听歌、重混、原创创作、发布和变现连接在一起。平台上线时已有超过 4,000 名独立及新兴艺术家参与,用户可调整曲风和速度重混曲目,也可从歌词、旋律或情绪创作完整曲目。ElevenMusic 同步推出 Eleven Album Vol. 2,并已开放 App 和网页版使用;创作者收益取决于听众参与度、资格门槛和平台收入。
推荐理由:ElevenMusic把音乐发现、重混、原创创作与发布变现放在同一平台,呈现了面向创作者和听众的参与式音乐工作流。
Replicate 发布 Seedance 2.0 使用教程,介绍该模型可同时接收最多 9 张图片、3 段视频、3 个音频和文本提示,并用 [Image1]、[Audio1] 等标记在提示词中引用素材。
推荐理由:通过参考素材组合、时间码分镜和音画同源三条实操路径,可迁移到需要角色一致性与多镜头调度的视频创作流程。
Replicate 发布 Seedream 5.0 提示词实践指南,基于大量实测总结该模型在摄影语言理解、示例式编辑、风格迁移、多步推理、精确指令跟随、专业领域知识和文字渲染上的表现。示例式编辑可给出一组前后对比图加第三张图,让模型自行推断变化并套用,无需文字描述;提示词建议用自然语言而非关键词堆叠,需要渲染的文字用双引号包裹,复杂编辑可用箭头、方框或彩色区域标注位置。
推荐理由:Replicate 实测 Seedream 5.0 的提示词写法,示例式编辑和视觉标记对复杂改图流程有直接借鉴。
Recraft 发布图像生成模型 Recraft V4,主打所谓“设计品味”,在构图、光线和色彩上做出更接近美术指导的视觉决策。
推荐理由:四个版本在分辨率、速度与价格上的差异,以及原生 SVG 输出,可作为图像生成选型与设计资产工作流的参考。
World Labs 发布 World API,调用 Marble 多模态世界模型,可从文本、图像、全景、多视图输入和视频生成可导航的 3D 世界。生成结果支持浏览器渲染、导出到下游工具,或集成进互动系统与模拟流程。World API 已通过 World Labs Platform 提供,平台支持管理 API keys、查看用量与计费、购买 credits 及访问文档。
推荐理由:World API 将多种视觉与文本输入转为可探索 3D 世界,并提供渲染、导出和应用集成入口,可用于评估空间内容生成工作流。
ElevenLabs 发布《The Eleven Album》,由 Liza Minnelli、Art Garfunkel 等艺术家与 Eleven Music 共同创作原创音乐,涵盖说唱、流行、R&B、EDM、电影配乐和全球音乐等风格。Eleven Music 可根据简单提示生成完整作品,并支持调整歌词、时序和乐器,以及下载最多六条录音室质量分轨。专辑现已上线。
推荐理由:发布既展示了 Eleven Music 在音乐创作中的具体工作流,也交代了原创、商用授权和分轨下载等面向制作环节的能力。
Retro Diffusion 的 rd-fast、rd-plus、rd-tile 和 rd-animation 四款像素艺术模型现已可在 Replicate 上运行,面向游戏素材、角色精灵、瓦片和复古图形生成。模型支持多种风格预设,部分模型支持自定义尺寸、输入图像、调色板图像、背景移除和无缝平铺;其中 rd-animation 用于生成具有一致构图的动画精灵或精灵表。
推荐理由:四款模型分别覆盖快速生成、高质量图像、瓦片集和动画精灵,读者可据此按游戏素材类型选择像素艺术生成工作流。
World Labs 宣布 Marble 多模态世界模型面向所有用户开放,可从文本、图像、视频或粗略 3D 布局生成 3D 世界。Marble 支持交互式编辑、扩展和组合世界,并可导出为 Gaussian splats、网格或视频;同时推出创作中心 Marble Labs。
推荐理由:Marble 将文本、图像、视频和粗略 3D 布局纳入同一创作流程,并提供编辑、扩展与导出能力,可用于判断其对世界构建工作流的适配度。
Replicate 介绍 Veo 3.1 的提示词编写方法,以及参考生视频、首尾帧生视频和增强图生视频功能。参考生视频最多接收三张图片并结合文本生成连贯场景,其余端点提供耗时低于 60 秒、价格约为标准版本一半的快速生成选项。
推荐理由:文章把镜头构图、焦段、风格和运动等提示词要素,与参考图、首尾帧及快速版本的使用场景对应起来,便于设计可控的视频生成流程。
Replicate 发布 Veo 3 图像输入的使用技巧,实测显示模型能在动画中保持输入图的画风、滤镜和调色,并让文字在复杂背景中保持清晰可读。输入图始终作为视频首帧,可用提示词只动画局部元素、其余保持静止,也可先用 Ideogram 3.0 生成特定风格图再交给 Veo 3 做动作与运镜,从而把风格控制交给图像模型。
推荐理由:Replicate 实测了 Veo 3 图像输入在风格保持、文字动画和局部动画上的表现,可据此调整参考图加提示词的创作流程。
Replicate 与 Bria 合作,将 Bria 的视觉 AI 模型套件上线平台,包含基于授权数据训练的 Bria 3.2 文生图模型。套件还提供移除背景、局部重绘、增加分辨率、扩展画布和背景生成等功能;Bria 表示其模型使用来自 Getty Images、Envato、Freepik 等来源的 100% licensed data。
推荐理由:读者可据此了解一组覆盖生成、抠图、局部重绘与扩图的视觉工具,以及其面向企业场景强调的授权数据与合规边界。
Replicate 联合 Black Forest Labs 举办 FLUX.1 Kontext 黑客松,120 多名参与者用这款图像编辑模型和 Resemble AI 的 Chatterbox 语音模型在数小时内完成 30 个参赛项目。
Replicate介绍 Google Veo 3 的视频生成能力,并分享一套涵盖镜头构图、焦段效果、风格和运镜的提示词方法。文章还展示了对话与口型同步、视频游戏世界等案例,并给出冰柱特写示例提示词。
推荐理由:文章整理了 Veo 3 的镜头构图、焦段、风格与运镜提示词,并结合对话、口型同步和游戏世界生成案例,便于复用其视频创作流程。
Black Forest Labs 发布图像编辑模型 FLUX.1 Kontext,提供 [pro]、[max] 和即将推出的 [dev] 三个版本,可进行颜色替换、背景编辑、文字替换和风格迁移,并保持角色一致性。Replicate 还介绍了社区在发型变换、职业头像、老图修复、画幅扩展和移除文字等场景中的使用案例,以及 Kontext Chat 和可直接使用的 Kontext 应用。
推荐理由:文章同时梳理 FLUX.1 Kontext 的版本差异、提示词方法与社区案例,适合参考图像编辑和社交内容改版的工作流。
Ideogram 发布文生图模型 3.0 版本,在真实感、风格控制和版式生成上有较大改进,并分为 Turbo、Balanced、Quality 三个档位,均已上线 Replicate。Turbo 适合快速迭代,Quality 追求最高保真,Balanced 居中。该版本支持用参考图做风格迁移,并宣称在人工评测的 ELO 打分中于真实感、对齐度和多样性上高于其他图像生成模型。
推荐理由:Ideogram 3.0 三个档位在文字渲染、版式与风格参考上的分工,可供设计营销类图像选型参考。
Wan 2.1 支持从文本或图像生成视频,并可通过 LoRA 进行风格迁移。Replicate 提供了 480p 和 720p 的文本生视频模型,以及使用预制权重或自有图片训练风格 LoRA 的流程;自定义训练至少需要 25 张图片和一个 trigger_word。
推荐理由:材料展示了使用预制 LoRA 和自有图片训练风格 LoRA 的 Wan 2.1 视频工作流,包含可复用的输入与训练步骤。
Replicate 发布创作案例汇总,介绍 ShieldGemma 2、Hunyuan3D 2Mini、CSM-1B、Orpheus-3B、Luma 和 Kling v1.6 Pro 等模型与社区实验。
Replicate 已将 Musubi Tuner 适配到平台,支持用户用自有视觉内容微调 HunyuanVideo 视频模型。文章提供从视频切片与字幕生成、LoRA 训练到浏览器或 API 调用的流程,默认训练通常需要约 5-10 分钟。
推荐理由:文章把视频微调拆成数据准备、训练和调用四步,并给出训练时长与参数调节建议,适合评估自定义视觉风格和运动效果的落地路径。
Replicate playground 提供一套生成 AI 短视频的工作流:先用 datacte/flux-aesthetic-anime 等图像模型生成起始图,再用 minimax/video-01-live 以首帧图加提示词生成视频,最后用 zsxkib/mmaudio 模型按提示词配音。
Replicate 介绍了利用合成训练数据改进 Flux 微调模型的方法,涵盖从单张图片生成训练集、筛选模型优质输出再训练,以及组合多个 LoRA 扩展风格。文章还说明了通过 Replicate API 使用 `extra_lora` 和 `extra_lora_scale` 的方式,并建议在 0.9 到 1.1 的范围内调整 LoRA 权重。
推荐理由:文章将单图扩增、筛选微调模型优质输出和组合 LoRA 整理成可复用流程,适合改善 Flux 微调数据的多样性与风格范围。
Replicate 发布教程,展示如何通过其 HTTP API 以编程方式微调 FLUX.1、发布模型并生成图像。教程覆盖训练图片准备、API token、模型创建、数据上传、训练状态检查,以及使用 trigger_word 调用微调模型。使用约20张图片和1000 steps时,训练通常约需20分钟、成本约为$1.85,训练运行在 Nvidia H100 上并按秒计费。
推荐理由:这篇教程把 FLUX.1 微调拆成可执行的 API 流程,涵盖训练数据、成本、版本发布和调用,适合复用到自定义图像模型工作流。
Replicate 发布教程,介绍如何用少量个人照片在 Replicate 上微调 FLUX.1,生成包含本人形象的图像。教程建议至少准备10张不同角度、光线和场景的照片,设置独特触发词,并使用1000步训练。以约20张训练图为例,训练通常需要约20分钟、费用约为$1.85,完成后可通过网页或 API 生成图像。
推荐理由:教程给出个人照片微调、触发词设置和模型调用的完整步骤,并提供1000步训练约20分钟、约$1.85的成本参考,便于复用这套肖像生成流程。
Replicate 支持使用 Ostris’s AI Toolkit 和 LoRA,通过网页或 API 用自有图像微调 FLUX.1 [dev],以定制特定风格、角色或物体。
推荐理由:文章给出从准备 12–20 张图像到调用微调模型的完整路径,并说明训练时长、成本和 FLUX.1 [dev] 的商业使用边界。