Hacker News 中文摘要

RSS订阅

衡量人工智能推理的环境影响 -- Measuring the environmental impact of AI inference

文章摘要

谷歌宣布在一年内将人工智能查询的能源成本降低了33倍,显著提升了能效。

文章总结

谷歌称一年内将AI查询的能耗成本降低了33倍

谷歌近日宣布,通过一系列技术优化,其在一年内将AI查询的能耗成本降低了33倍。根据谷歌的分析,现在处理一次文本查询的能耗仅相当于观看9秒钟电视的能耗。这一成果得益于公司在硬件和软件方面的多重优化,尤其是在AI加速器的设计和数据中心的能效管理上。

背景与挑战
近年来,随着AI技术的广泛应用,数据中心的能耗大幅增加。美国今年的电力消耗比去年同期增长了近4%,部分原因是数据中心的快速扩张,尤其是为满足AI需求而新建的数据中心。这种增长甚至导致煤炭发电的比例上升,进一步加剧了环境问题。

谷歌的优化措施
谷歌通过多种方式降低了AI查询的能耗。首先,公司采用了“专家混合”(Mixture-of-Experts)技术,该技术能够根据具体请求仅激活AI模型中的必要部分,从而将计算需求降低10到100倍。其次,谷歌开发了多个紧凑版本的AI模型,进一步减少了计算负载。此外,数据中心的能效管理也发挥了重要作用,谷歌确保所有活跃硬件都得到充分利用,而其他硬件则保持在低功耗状态。

硬件与软件的协同优化
谷歌还设计了定制的AI加速器,并优化了运行在这些硬件上的软件,使得硬件和软件能够高效协同工作。AI加速器的能耗占查询总能耗的一半以上,因此这一优化尤为关键。谷歌在数据中心运营方面的丰富经验也为AI能效的提升提供了支持。

环境效益
谷歌的分析显示,单个文本查询的能耗在过去一年内降低了33倍。这不仅减少了能源消耗,还降低了与硬件制造相关的碳排放,因为硬件在其使用寿命内可以处理更多的查询。此外,随着太阳能等可再生能源的普及,谷歌的碳足迹也进一步减少。

透明度与行业呼吁
谷歌并未将这一成果仅仅用于公关宣传,而是详细公开了其分析方法和考虑因素,类似于学术出版物。公司希望通过这种方式推动整个行业采用类似的能效评估框架,确保随着AI能力的提升,其环境效率也能同步提高。

总结
尽管AI查询的总体能耗仍然较高,但谷歌的技术优化显著降低了单个查询的能耗和环境影响。这一进展为AI技术的可持续发展提供了重要参考。

评论总结

评论主要围绕Google的AI能耗和效率问题展开,观点多样且争议较大。以下是主要观点总结:

  1. 硬件与软件效率的讨论

    • 有评论认为,硬件行业在AI领域仍有提升空间,尤其是针对大规模并行计算的需求。
    • 引用:“Hardware gains were for the longest time doing very little for consumers because the bottlenecks were not in the hardware but instead in extremely poorly written software.”
    • 引用:“I’m sure the relatively clean directed computational graph + massively parallel + massively hungry workload of AI is a breath of fresh air to the industry.”
  2. 训练能耗的忽视

    • 评论指出,Google的研究未包含训练阶段的能耗,这可能低估了AI的总能耗。
    • 引用:“They didn’t account for training. This is disappointing, and no analysis is complete without attempting to account for training.”
    • 引用:“I’m worried these numbers would be significantly worse and that’s why we don’t have them.”
  3. Google的统计方法争议

    • 有评论批评Google使用“中位数”而非“平均数”来展示能耗降低,认为这掩盖了大型模型的高能耗问题。
    • 引用:“Google is basing this all of ‘median’ because there’s orders of magnitudes difference between strong models and tiny models.”
    • 引用:“It’s very concerning that this marketing puff piece is being eaten up by HN of all places.”
  4. 能源与环境的长期影响

    • 部分评论认为,AI的能源需求推动了可再生能源的发展,尽管短期内可能增加了化石能源的使用。
    • 引用:“The more clean and cheap capacity like that is added, the more marginalized traditional more expensive solutions get.”
    • 引用:“AI is so hungry for energy that there is a temporary increase in usage for coal/gas.”
  5. 数据选择的质疑

    • 有评论指出,Google在水耗等数据上可能存在选择性展示,以美化其环保形象。
    • 引用:“Measurements for water consumption seems cherry-picked and incorrect to look better than they actually are.”
    • 引用:“They doubled-down and incorrectly mentioned the study in question was incorrect.”

总结:评论中对Google的AI能耗报告持怀疑态度,主要集中在训练能耗的忽视、统计方法的误导性以及数据选择的争议上。同时,也有观点认为AI的能源需求推动了可再生能源的发展。