文章摘要
文章介绍了一项实验:让Claude Fable 5和GPT-5.6 Sol两个AI模型在25美元和100美元预算下,自主完成从研究、生成片段到剪辑的完整音乐视频制作过程,并记录每一步工具调用。
文章总结
好的,这是根据您的要求,对原文进行中文重述和精简后的版本:
标题:100美元AI音乐视频对决:Claude Fable 5 vs. GPT-5.6 Sol
我们构建了一个自动化工具框架,其任务很简单:给AI模型一首歌、一个固定预算和一套工具,然后让它独立完成一部完整的音乐视频。模型需要自行研究可用的视频生成模型、生成片段、观看自己的素材、使用ffmpeg进行剪辑,并最终合成成片。
为了观察不同模型在工具使用上的差异,我们让两个前沿模型(Claude Fable 5和GPT-5.6 Sol)分别以25美元和100美元的预算执行此任务,共进行了四次实验。所有实验使用同一首歌曲(Bruno Mars的"Uptown Funk")、一段简短描述和带时间戳的歌词。
实验设置
每个模型都拥有一个包含六种工具的自主调用循环:
- plan:用于思考(无成本)。
- web_search:用于研究生成模型及其API。
- get_budget:检查剩余预算。
- generateimage 和 generatevideo:唯一消耗预算的工具,模型可自行选择模型和参数。
- run_command:本地shell,用于音频分析、剪辑和最终合成。
预算耗尽后,付费生成将被拒绝,但模型可继续编辑。所有操作、工具调用和错误均被记录。
实验结果
所有四次实验均成功完成,生成了包含原歌曲的完整视频。
- 预算使用:在25美元预算下,两个模型几乎用尽。在100美元预算下,GPT-5.6 Sol花费36.57美元,Claude Fable 5花费48.60美元,更多预算确实转化为了更多视频素材。
- 工具选择:模型在工具选择上出现分歧。三次实验完全采用“文本到视频”模式。只有GPT-5.6 Sol在25美元预算下使用了“图像到视频”流程(先生成静态图,再将其动画化)。GPT-5.6 Sol在100美元预算下则混合使用了三种不同的视频模型。
- 错误与成本:实验过程中出现了少量生成请求失败(主要是网络问题)。Claude Fable 5的令牌成本(约17-25美元)远高于GPT-5.6 Sol(约3-4美元),导致其总成本更高(最高达73.65美元)。
我们的观察
虽然生成的视频质量称不上优秀,但观察模型的工作过程揭示了当前前沿模型的一些明显不足:
- 角色与故事一致性差:所有视频中的角色在不同镜头间形象不统一,无法维持连贯的故事情节。
- 对歌词的理解过于字面化:例如,歌词“让龙想退休”会直接生成一条龙在画面中,显得生硬。
- 节奏匹配不佳:虽然剪辑点能落在节拍上,但画面内的动作(如舞蹈、镜头移动)很少与歌曲节奏同步,感觉不协调。
- 编辑缺乏迭代:模型在生成片段后,基本只是简单拼接,很少进行重新剪辑或添加特效,也缺乏对自身生成内容质量的自我审查。
- 预算上限过高:100美元的预算对当前模型来说可能太多了,它们并未尝试用尽预算,也未利用富余资源去生成更一致的角色图像。
总的来说,在主观性和风格化任务上,AI模型仍有很大的提升空间。
评论总结
根据评论内容,主要观点和论据总结如下:
负面评价(多数): - 视频质量普遍糟糕,存在明显缺陷。评论3:"Wow. These are horrible.";评论13:"These are all terrible. Music video producers can breathe a sigh of relief." - 歌词过于直译,缺乏艺术性。评论2:"the output is far too much a literal direct copy of the lyrics. The best music videos have a story arc on the theme of but often not literally the lyrics" - 音画不同步,产生恐怖谷效应。评论9:"most of the dancing seems slightly out of sync with the music... the lack of sync to the sound shatters the illusion entirely" - 成本与效果不匹配。评论5:"If you have to spend $25 and wait 45 minutes to get a basically unwatchable video"
正面/中性评价(少数): - 部分视频有潜力,尤其Fable $25版本。评论11:"The fable $25 version was the best.";评论12:"The $25 fable one to me is subjectively better than the others" - 认为AI视频已优于普通音乐视频。评论4:"These are getting really good. Much more interesting than the average music video already." - 建议通过人工介入或特定风格(如动画、怪异风格)改善效果。评论1:"you could ask for an animated or cartoon music video so the real shots don't look weird";评论17:"leaning into the weirdness that often comes out of AI"
改进建议: - 需要人工监督和创意指导。评论23:"possible to create a decent AI music video if you use a human-in-the-loop workflow" - 使用ReMotion等工具可生成更连贯的叙事。评论8:"AI videos as in remotion based videos look much better imo since it can code much better than it can prompt for videos with a coherent narrative"
总体评价:评论普遍认为当前AI音乐视频质量低下,存在直译歌词、音画不同步、成本高等问题,但部分人认为通过人工介入、风格选择或使用更优工具,仍有改进空间。