Hacker News 中文摘要

RSS订阅

ComfyUI中的MiniMax H3 Day-0支持:开放权重、原生音频与2K视频 -- MiniMax H3 Day-0 Support in ComfyUI: Open Weights, Native Audio, and 2K Video

文章摘要

ComfyUI现已支持MiniMax H3模型,该模型为开源权重、支持原生音频和2K视频输出,可在3060显卡上本地运行。

文章总结

MiniMax H3 是一款新一代开源视频模型,已在 ComfyUI 中获得原生支持。该模型支持文本、图像、视频或音频输入,可生成最高 2K 分辨率、最长 15 秒的视频,并自带立体声音频。其核心功能包括:文本转视频、图像转视频、首尾帧控制、参考转视频(可携带主体、动作或声音),以及多模态上下文理解(能同时处理图像、音频和视频,并根据提示协调它们的关系)。音频是模型原生生成的立体声,而非后期添加。此外,模型还支持编辑和动作迁移,可将参考视频的动作应用于其他主体和风格。

在本地推理方面,ComfyUI 对模型进行了优化:通过剪枝约 40% 的调制权重并替换为查找表,结合 int8 量化卷积和自定义内核,将内存占用从 123.6 GB 降至 42.5 GB,降幅达 66%。这使得该模型甚至能在 RTX 3060 等消费级 GPU 上本地运行。用户只需更新 ComfyUI 至 0.30.0 版本,下载相应工作流和模型权重,即可开始使用。

评论总结

根据评论内容,总结如下:

主要观点与论据:

  1. 技术突破与性能提升(评分:None,作者:rvz、Mashimo、embedding-shape)

    • 模型通过权重剪枝和查找表替换,内存占用从123.6GB降至42.5GB(减少66%),支持RTX 3060本地运行2K视频。
    • 关键引用:"The result gives a total memory footprint reduced by 66%... enables a next-generation 2K video model to run locally on a GPU like the RTX 3060."(Mashimo)
    • 关键引用:"We found that the model's modulation weights (~40% of the total parameters) could be pruned and replaced with a functionally equivalent lookup table... no loss in output quality."(embedding-shape)
  2. 生成质量与局限性(评分:None,作者:sheesdev、vblanco、fodkodrasz)

    • 部分片段(如鼠标渲染)表现惊艳,但整体美学风格“平淡且千篇一律”(fodkodrasz)。饮料广告片段仍有“AI平滑”效果。
    • 关键引用:"The mouse render is surprisingly good... Several of those clips stood out to be a pretty big leap."(sheesdev)
    • 关键引用:"aesthetically it all looks painfully bland and generic."(fodkodrasz)
  3. 行业影响与伦理争议(评分:None,作者:SV_BubbleTime、rvz、satvikpendem)

    • 开源模型对社区是重大胜利,但引发好莱坞警惕(rvz)。人类导演仍具价值,AI工具需与人类创意结合(satvikpendem)。
    • 关键引用:"Hollywood and the film industry on red alert... This is AGI."(rvz)
    • 关键引用:"human directors are still valuable... the creativity is in the arrangement."(satvikpendem)
  4. 实际使用体验(评分:None,作者:vblanco、nfnmema)

    • 4070Ti Super上生成10秒480p视频需10分钟,效果“壮观”(vblanco)。用户询问使用教程(nfnmema)。
    • 关键引用:"Im running this on my 4070ti super... takes 10 minutes for a 10-seconds 480p video. but the results are spectacular."(vblanco)

平衡性总结: - 正面:技术突破显著(内存优化、本地运行)、部分生成质量惊艳、开源推动社区发展。 - 负面:美学风格单一、生成速度慢、存在“AI平滑”伪影、引发行业伦理担忧。 - 中立:人类导演仍不可替代,AI工具需与人类创意结合。