跳到正文

#开源生态

今日 0 条
6月19日周五
6月9日周二
  1. Google DeepMind73

    Google DeepMind 发布 Gemma 4 12B：统一无编码器多模态模型

    Google DeepMind 发布 Gemma 4 12B，一款面向笔记本本地运行的多模态模型，采用无编码器架构，视觉和音频输入直接进入 LLM 主干。该模型在标准基准上性能接近 26B MoE 模型，内存占用不到其一半，可在 16GB 显存或统一内存的消费级笔记本上运行，并首次在中型模型中支持原生音频输入。

    推荐理由：Gemma 4 12B 的无编码器架构与 16GB 本地运行门槛，为端侧多模态与智能体选型提供了新的权衡参考。

5月1日周五
4月23日周四
  1. ByteDance Seed · 视觉生成与编辑71

    字节 Seed 发布 3D 生成大模型 Seed3D 2.0，几何与纹理均称达 SOTA

    字节 Seed 正式发布新一代 3D 生成大模型 Seed3D 2.0，围绕几何精度和材质质量做架构升级，官方称在几何生成、纹理材质生成两项核心指标上均取得 SOTA。

    推荐理由：官方披露了两阶段 DiT 几何生成与统一 PBR 材质方案，可据此判断 3D 生成在仿真与部件级建模上的可用边界。

4月14日周二
  1. World Labs · 空间智能与世界模型76

    World Labs 发布 Spark 2.0，为网页端 3DGS 加入 LoD 流式渲染

    World Labs 发布 Spark 2.0，为基于 THREE.js 和 WebGL2 的开源 3DGS 渲染器加入 Level-of-Detail 系统，可按视角连续调整细节并通过网络流式加载数据。

    推荐理由：World Labs 公开了 Spark 2.0 的 LoD、渐进流式与虚拟显存三项技术细节，可据此判断大场景 3DGS 在浏览器端的落地条件。

3月5日周四
10月23日周四
  1. ByteDance Seed · 视觉生成与编辑74

    字节 Seed 发布 Seed3D 1.0，单图生成高精度 3D 模型

    字节跳动 Seed 团队发布 3D 生成大模型 Seed3D 1.0，可从单张图像端到端生成含精细几何、真实纹理和 PBR 材质的完整 3D 模型。模型基于 Diffusion Transformer 架构，1.5B 参数版本在几何生成上超过 3B 参数的 Hunyuan3D-2.1，纹理与材质生成性能超过此前开源及闭源模型。

    推荐理由：官方给出架构、参数规模与对比基线，可据此判断单图生成仿真级 3D 资产在机器人训练中的可用边界。

10月15日周三
9月16日周二
  1. World Labs · 空间智能与世界模型78

    World Labs 推出 Marble 有限测试版，图像或文本可生成可导航 3D 世界

    World Labs 发布 Marble 有限访问测试版，用户可在 marble.worldlabs.ai 用图像或文本提示生成可自由探索的 3D 世界，官方称无时间限制、无变形、无一致性问题。

    推荐理由：World Labs 首次开放 Marble 有限测试，可据此判断图像或文本生成可持久导航 3D 世界在创作流程中的可用边界。

8月20日周三
8月19日周二
  1. Diffusers · Releases90

    Diffusers 0.35.0 发布，新增 Qwen Image、Flux Kontext 和 Wan 2.2 管线

    Hugging Face 发布 Diffusers 0.35.0，新增 Wan 2.2、Flux-Kontext、Qwen-Image 和 Qwen-Image-Edit 等图像与视频管线。版本加入 Regional compilation，称可将编译时间减少 8–10x，并支持加速设备直接加载管线、分片并行加载和 GGUF CUDA kernels，后者预计带来约 10% 的推理速度提升。

    推荐理由：该版本同时覆盖新图像与视频管线、编译和加载优化，可帮助开发者比较模型接入方式与推理部署路径。

7月31日周四
  1. Replicate · 模型与制作实践75

    Replicate 联合 Pruna AI 发布优化版 Wan 2.2 视频模型

    Replicate 与 Pruna AI 合作发布优化版 Wan 2.2，FAST 文生视频和图生视频 480p 每条 0.05 美元、720p 每条 0.10 美元，推理时间约 30 秒。未优化的图生视频 480p 每条 0.40 美元、720p 每条 1.00 美元，可通过 Replicate API 调用。Replicate 称未来几天将发布更多与 Pruna 的优化版本。

    推荐理由：Replicate 与 Pruna AI 优化的 Wan 2.2 给出了按条计费的视频生成价格与推理耗时，可据此评估低成本视频试错方案。

7月16日周三
  1. Replicate · 模型与制作实践62

    Replicate 如何优化 FLUX.1 Kontext [dev]

    Replicate 公开了其 FLUX.1 Kontext [dev] 实现的优化方法 TaylorSeer，用缓存的特征导数配合 Taylor 级数近似被跳过的去噪步，把模型调用从约 30 步降到 10 至 15 步，同时尽量保持质量。

    推荐理由：Replicate 公开了 FLUX.1 Kontext 的 TaylorSeer 缓存加速实现，读者可据此理解扩散模型跳步近似与质量取舍。

6月24日周二
5月15日周四
4月10日周四
4月9日周三
  1. Diffusers · Releases88

    Diffusers 0.33.0 发布，新增 Wan2.1 视频管线与多项显存优化

    Diffusers 发布 0.33.0，新增 Wan2.1、LTX Video 0.9.5、Hunyuan Image to Video 等视频管线，以及 SANA-Sprint、Lumina2 和 OmniGen 等图像生成管线。该版本加入层级权重转换、分组卸载、远程 VAE、缓存推理和 Quanto 量化，并支持 LoRA 热插拔与管线 dtype map。

    推荐理由：Diffusers 0.33.0 将 Wan2.1、LTX Video 0.9.5 等视频管线与层级卸载、缓存推理和量化能力整合到同一版本，便于评估生成工作流的显存与速度取舍。

3月5日周三
  1. Replicate · 模型与制作实践80

    Replicate 接入 Wan2.1，提供 API 生成 480p 和 720p 视频

    Replicate 为 Wan2.1 提供可扩展云端 API，支持 480p/720p 文本生视频与图像生视频。14B 模型在 Replicate 上生成 5s 视频，480p 约需 39s、720p 约需 150s；另有面向消费级 GPU 的 1.3B 模型。文章还介绍了 guide_scale、shift 和 steps 等可调参数。

    推荐理由：文章同时给出 Wan2.1 的文本生视频与图像生视频 API 入口、分辨率和参数设置，便于按实验速度与输出分辨率选择模型版本。

1月24日周五
  1. Replicate · 模型与制作实践87

    Replicate 支持微调开源视频模型 HunyuanVideo

    Replicate 已将 Musubi Tuner 适配到平台，支持用户用自有视觉内容微调 HunyuanVideo 视频模型。文章提供从视频切片与字幕生成、LoRA 训练到浏览器或 API 调用的流程，默认训练通常需要约 5-10 分钟。

    推荐理由：文章把视频微调拆成数据准备、训练和调用四步，并给出训练时长与参数调节建议，适合评估自定义视觉风格和运动效果的落地路径。

1月16日周四
12月16日周一
  1. Replicate · 模型与制作实践66

    AI 视频正迎来自己的 Stable Diffusion 时刻

    Replicate 作者 fofr 认为，Sora 让外界看到视频模型的可能性却无法使用，如今一批质量接近 Sora 的模型已经可用，AI 视频正经历类似 Stable Diffusion 的爆发。

    推荐理由：梳理了 Sora 之后一批视频模型的 ELO、速度、时长与开源情况，便于按质量、成本和可微调性做选型比较。

11月26日周二
  1. Replicate · 模型与制作实践62

    Replicate 让 FLUX 微调推理提速，并支持从 Hugging Face、Civitai 加载 LoRA

    Replicate 宣布 FLUX 微调推理大幅提速，微调模型运行速度已与基础模型相同：FLUX.1 [schnell] 在 512x512、4 步下为 0.6 秒（P50），FLUX.1 [dev] 在 1024x1024、28 步下为 2.8 秒（P50）。

    推荐理由：Replicate 公布了 FLUX 微调推理的加速数据与开源优化路径，可据此判断自建或托管微调服务的成本与质量取舍。

10月22日周二
  1. Replicate · 模型与制作实践62

    Ideogram v2 局部重绘功能上线 Replicate API

    Ideogram 为 Ideogram v2 推出局部重绘功能，Replicate 同步将该模型接入自家 API，提供 ideogram-ai/ideogram-v2 与 ideogram-ai/ideogram-v2-turbo 两个版本，前者图像质量更好、后者速度更快。

    推荐理由：Replicate 接入 Ideogram v2 局部重绘，并给出提示词写法与开源 demo，可作图像编辑工作流的选型参考。

10月10日周四
  1. Replicate · 模型与制作实践81

    Replicate 提升 FLUX 生成速度并开源优化代码

    Replicate 宣布 FLUX 在其平台上的端到端生成速度提升，并将相关优化代码开源。在美国西海岸使用 Python 客户端测试时，FLUX.1 [schnell] 在 512x512、4 steps 下为 0.29 秒，1024x1024、4 steps 下为 0.72 秒；FLUX.1 [dev] 在 1024x1024、28 steps 下为 3.03 秒。

    推荐理由：文中给出的端到端测速和可关闭的优化开关，为比较 FLUX 在不同分辨率与步数下的速度、质量和部署取舍提供了具体依据。

9月20日周五
  1. Replicate · 模型与制作实践78

    Replicate 教你用合成训练数据改进 Flux 微调

    Replicate 介绍了利用合成训练数据改进 Flux 微调模型的方法，涵盖从单张图片生成训练集、筛选模型优质输出再训练，以及组合多个 LoRA 扩展风格。文章还说明了通过 Replicate API 使用 `extra_lora` 和 `extra_lora_scale` 的方式，并建议在 0.9 到 1.1 的范围内调整 LoRA 权重。

    推荐理由：文章将单图扩增、筛选微调模型优质输出和组合 LoRA 整理成可复用流程，适合改善 Flux 微调数据的多样性与风格范围。

8月23日周五
  1. Replicate · 模型与制作实践49

    Replicate Intelligence #12：FLUX.1 工具、Deep-Live-Cam 与睡眠自博弈研究

    Replicate 第 12 期周报聚焦 FLUX.1 图像生成工具、Deep-Live-Cam 换脸项目及睡眠中大脑自博弈研究。ReFlux 支持在无限画布上使用多个微调后的 FLUX.1 模型，Multi-LoRA Explorer 可在单张图像中组合多个 LoRA。Deep-Live-Cam 是开源项目，据称支持实时换脸，但作者在 MacBook Pro 上未达到满意帧率。

8月15日周四
8月9日周五
  1. Replicate · 模型与制作实践70

    Replicate 支持 FLUX.1 [dev] 图像到图像转换

    Replicate 宣布 FLUX.1 [dev] 支持图像到图像转换，用户可上传起始图像、输入提示词，并通过 prompt strength 调整二者的影响比例。该功能适合风格迁移和构图控制，但从彩色图像生成黑白线稿仍较困难；周报还介绍了 Streamlit 与 Replicate 的应用开发教程，以及用于 Minecraft 开放世界探索的 Odyssey 智能体框架。

    推荐理由：文章同时给出 FLUX.1 [dev] 图像到图像的使用方式与局限，并串联 Streamlit 应用开发和开放世界智能体研究，便于了解近期开源实践方向。

8月2日周五
8月1日周四
  1. Replicate · 模型与制作实践87

    FLUX.1 开源图像生成模型上线 Replicate API

    Black Forest Labs 开发的 FLUX.1 开源图像生成模型已在 Replicate 提供，可通过浏览器或一行代码调用。模型分为 FLUX.1 [pro]、[dev] 和 [schnell]，分别面向高性能、非商业应用和本地开发；文中列出的单图价格为 $0.055、$0.030 和 0.003。

    推荐理由：文章并列介绍 FLUX.1 的三种版本、适用场景与单图价格，便于比较云端调用、非商业应用和本地开发的选择。