Hacker News 中文摘要

RSS订阅

FLUX 3 Image Klein

FLUX 3 Image Klein 是一个 5.6B 参数开放权重模型,支持文本生成图像、图像编辑及最多 10 张参考图的多参考生成,并具备完整版 FLUX 3 Image 的原生 4K 生成、像素级精确编辑与边界框控制能力。它基于 FLUX 3 在图像、视频和音频上的共同学习,融合空间细节、运动与物理动态及事件交互信息。此次发布还包含微调基础模型、低延迟的步进蒸馏模型,及英伟达(NVIDIA)合作开发的 FP8、INT8 和 NVFP4 版本,采用 FLUX Kommunity License 授权。

正文

今天,我们发布 FLUX 3 Image Klein。这是一个 56 亿参数(5.6B)的开放权重模型,支持文生图、图像编辑,以及最多 10 张参考图的多参考生成。它与完整版 FLUX 3 Image 模型共享核心能力:原生 4K 生成、像素级精准编辑,以及用边界框控制元素放置位置或把编辑限制在特定区域内。

FLUX 3 Image Klein 建立在 FLUX 3 在图像、视频和音频上的共同学习成果之上。图像提供空间细节,视频加入运动和物理动态,音频提供事件与交互信息。这些信号共同帮助模型生成更符合现实世界的图像。

此次发布包含一个用于微调的基础模型,以及一个用于低延迟生成的逐步蒸馏(step distilled)模型;在 NVIDIA 支持下,还提供 FP8、INT8 和 NVFP4 版本,均遵循 FLUX Kommunity License。

在 BFL API 中试用 · 下载权重

图 1:FLUX 3 Image Klein 的输出拼图:插画、人像、摄影、动漫、邮票设计和字体排印

以更少参数实现领先的开放权重质量

在内部评估中,FLUX 3 Image Klein 在文生图、多参考生成和图像编辑上均排名第一,超过更大的开放权重模型,也高于对比中的闭源模型 Ideogram V4.5 和 FLUX.2 [pro]。它的参数为 5.6B,是对比中最小的开放模型:Qwen-Image 2.1 为 7B,Krea 2 为 12.9B。与 9B 的 FLUX.2 [klein] 相比,它在文生图上提高 91 Elo,在图像编辑上提高 70 Elo,而参数减少 38%。

图 2:文生图与图像编辑的 Elo 评分对比生成器参数量。FLUX 3 Image Klein 以 5.6B 参数领先

FLUX 3 Image Klein 也针对消费级 GPU 做了优化。参数更少,因此本地运行更可行、适配也更便宜;有数据主权或本地部署需求的团队,可以在自己的基础设施上评估和微调模型。这对端侧图像编辑也很关键,用户可以直接在笔记本上编辑图像。生成器权重在 BF16 下需 11.2 GB,在 FP8 下需 5.6 GB。借助 INT8 版本,FLUX 3 Image Klein 可通过 ComfyUI 或 Diffusers 在显存低至 8GB 的 NVIDIA GeForce RTX GPU 上运行,把 FLUX.2 [klein] 开启的路线延伸到更小的硬件上。配合蒸馏模型和 INT8 版本,它通过 ComfyUI 在 NVIDIA GeForce RTX 5090 上生成一张 1MP 图像约需 4 秒,在 RTX 4070 上不到 9 秒。

图 3:逐步蒸馏模型按 GPU 的生成时间,16 步:1024×1024 文生图在 GB300 上为 0.55 秒,在 RTX 4070 上为 8.9 秒

该图表为逐步蒸馏模型、16 步设置的按 GPU 生成时间,单位为每张图像秒数,一次运行一张图像,越低越好。数据由 NVIDIA 测量;RTX 结果来自 ComfyUI;数据中心结果取各配置下表现最好的框架。每个 GPU 显示其最快的构建版本。这里的时间仅指 GPU 本身的生成时间;后文速度—质量前沿部分提到的 API 延迟还包含排队、网络和提示词上采样。

图 4:基础模型按 GPU 的生成时间,50 步:1024×1024 文生图在 GB300 和 DGX Station 上为 1.7 秒,在 DGX Spark 上为 43.8 秒

该图表为基础模型、50 步设置的按 GPU 生成时间,单位为每张图像秒数,一次运行一张图像,越低越好。数据由 NVIDIA 测量;RTX 结果来自 ComfyUI。每个 GPU 显示其最快的构建版本。

基础检查点专为微调而构建:Diffusers 和 Ostris 的 AI Toolkit 从第一天起就支持 LoRA 训练,NVIDIA 的 NeMo AutoModel 也提供了可直接用于已发布检查点的训练方案(recipes)。

如果需要更低延迟、更快生产负载,我们也会与团队合作进行特定定制,以实现这一目标。联系我们。

在速度—质量前沿

FLUX 3 Image Klein 也扩展了速度—质量的帕累托前沿(Pareto frontier)。通过 BFL API,它的延迟低于 Qwen-Image 2.1、FLUX.2 [pro]、Ideogram V4.5 和 Krea 2,并且在同等及更高延迟下获得最高评分。下图中,紫线标出每个延迟下可获得的最高评分,灰线表示此前的前沿。

延迟为端到端测量,从提交请求到生成完 1MP 图像,包含排队时间。FLUX 3 Image Klein 在我们的服务器上计时;其他模型从客户端计时,包含轮询和网络时间。Krea 2 在其 Medium 档计时;其 Large 档文生图耗时 31.1 秒。

图 5:1MP 下 Elo 评分对比 API 延迟中位数。FLUX 3 Image Klein 是高分模型中最快的:文生图 4.54 秒,图像编辑 7.18 秒

开始使用

FLUX 3 Image Klein 现已作为开放权重提供,并通过 BFL API 开放使用。

试用

  • BFL API:蒸馏模型名为 flux-3-image-klein,提供提示词上采样和像素恢复(可精确保留图像中未编辑的区域)。价格低至每 1000 张图像 0.009 美元。
  • Playground 或 Hugging Face。

用它构建

许可

权重遵循 FLUX Kommunity License:允许年收入低于 500 万美元的个人和企业免费商用,也允许研究和非商业用途。更大规模的组织可通过我们的自托管许可选项或 API 进行商业部署。

安全

为了让 AI 技术既开放又安全,我们在模型开发生命周期中实施了多项保障措施来防范滥用:预训练阶段使用数据集过滤,以减少有害内容暴露;后训练阶段进行定向微调,以抑制有害行为,使有害内容越来越难以被诱导生成。发布前,FLUX 3 Image Klein 检查点经过了内部严格的红队测试,并由外部安全合作伙伴 Cinder 评估,结果显示其漏洞明显少于其他流行的开放权重模型。更多关于安全方法论的内容见此处。

FLUX 3 Image Klein 是 FLUX 3 系列中继 FLUX 3 Action 之后的第二个开放权重发布,后续还会有更多模型。

评论

讨论整体偏向失望与质疑:多数人批评新一代小型图像模型 Flux 3 Image Klein 的文生图质量相比前代和竞品明显退步,尤其不擅长生成人物并出现身体恐怖问题。少数人则为编辑能力、小体积压缩效率和极低定价辩护,并引入 MOSS Image、Krea 3 等竞品对比,分歧主轴是「它是否还值得用」。

认为文生图质量退步、人物与身体细节翻车

  • 有用户直接对比前代 Flux 2 Klein,称新模型表现粗劣、令人难以置信会被发布。(少数人)
  • 人物生成弱是集中批评点:Reddit 上有人说它不擅长生成人,原因被认为是训练集剔除接近 NSFW 的内容;社区也流传不少“身体恐怖”输出的报告,只是有人自己没有遇到。(较多人)
  • 有人只留下一句「后室感」的调侃,形容出图像阈限空间一样空旷诡异;这是全场唯一纯玩笑,但折射部分人对画风的直观感受。(少数人) > 我对小型本地图像生成的下一阶段很期待,但这个模型简直糟糕透顶,难以置信他们还好意思发布。(@Thorentis)

肯定编辑能力,但认为文生图不如 MOSS Image

  • 有实测用户强调编辑能力非常扎实、绝对出色,是模型少有的强项;但他失望于它处理更精细文字细节的能力,自认这是小众需求上的短板。(少数人)
  • 同一个人推荐文生图改用 MOSS Image,并转述社区因 MOSS 目前看起来好太多而出现“为什么还要用 Flux”的疑问;他认为 MOSS 的排版与文字复现很强,只是审美品味欠佳。(较多人) > 编辑能力绝对出色,但文生图我会去试 MOSS;社区里已经在问“为什么还要用 Flux”。(@jjcm)

惊叹小模型在极小体积下的压缩效率与世界知识

  • 有人觉得不到 10GB 的权重却蕴含关于世界样貌的“知识”很不可思议。(少数人)
  • 更反直觉的对比是:一个能工具调用、写代码和推理的像样 LLM 起码 30B 参数起,要好得 100B 以上;小型图像扩散模型却“不合理地有效”。有人因此提问:到底是 LLM 装的信息更多,还是扩散模型更擅长压缩?并补充语言扩散模型在推理上通常不如 Transformer 类模型。(少数人) > 小模型相对体积“不合理地有效”,而像样的 LLM 起码要 30B 参数起步,这让人怀疑扩散模型是否更擅长压缩。(@api)

认为 1K 分辨率每张 0.009 美元的定价极具竞争力

  • 有评论引述其定价从每张 1K 分辨率图像 0.009 美元起,认为只要质量能竞争,这个价格对图像模型非常有优势;作为对比,前一天发布的 Krea 3 起价是每张 0.06 美元。(少数人) > 每张 1K 分辨率图像 0.009 美元的起步价,如果质量能打就很有竞争力;Krea 3 可是每张 0.06 美元起。(@drusepth)

有价值的补充

  • 精巧类比:有人把这次权重发布的处境比作「保时捷 Mission S 对特斯拉 Roadster」,意指前代或概念光环仍在,但当下实际表现被更新的竞品压过,于是社区冒出“为什么还要 Flux”的疑问。(@jjcm 类比意译)
  • 技术补充:被拿来对比的 MOSS Image 文字复现强,部分原因在于它采用了新的 VAE;该用户展示了字体梯度示例,称这是他见过最好的文字复现之一,但也再次指出 MOSS 的审美品味有所欠缺。(技术补充)