文章指出，AI爬虫对git.kernel.org造成了严重的系统负载，持续占用大量CPU资源用于渲染提交记录，其消耗甚至超过了所有合法访问（包括git克隆）的总和。这些爬虫主要为了获取无AI污染的Linux内核开发数据，用于训练大语言模型。

好的，这是根据您的要求，对原文进行中文重述和精简后的版本：

标题：令人毛骨悚然的爬虫

核心内容：

作者长期以来一直抱怨“AI爬虫”带来的问题，现在终于有了具体数据来展示其影响。简而言之，这些爬虫造成的系统负载已成为一种持续的“背景辐射”，永久性地占用了大量服务器资源，而这些资源产出的内容只有一个用途——喂养AI学习模型。

关键数据与事实：

1. 资源消耗惊人：为爬虫渲染代码提交（commit）所消耗的CPU周期，已经超过了所有其他合法访问（包括git克隆）的总和。在5个地理分布的节点上，任何时候都有14个CPU核心在专门为爬虫将git提交渲染成HTML页面。

2. 为何成为目标：Linux内核开发完全公开，其git仓库和讨论存档是AI模型训练数据的“金矿”，因为这些内容纯净、无AI污染，对训练模型至关重要。

3. 最愚蠢的获取方式：尽管我们提供了最有效的方式——直接克隆整个仓库，但爬虫却选择了最愚蠢的方法：将每一个提交都渲染成HTML页面，然后再去解析。仅linux.git一个仓库就有约148万个提交，而我们在git.kernel.org上还有约922个分支副本。爬虫会生成数十亿个有效URL来抓取这些重复内容。

4. 封禁的困境：

   • 最初，通过识别用户代理（User-Agent）和IP地址进行封禁是有效的。
   • 随后，爬虫伪装成普通浏览器，并分散到整个子网。
   • 现在，爬虫来自数百万个随机的家庭或移动IP，每个IP只发4-5个请求就消失，封禁变得毫无意义。这些流量来自“代理SDK变现”业务，甚至你的电视可能都在参与。

5. 反制措施“阿努比斯”：

   • 我们部署了“阿努比斯”验证系统，要求客户端计算一个哈希值，以增加爬虫成本。
   • 起初非常有效，但几个月后爬虫就攻克了难度4。我们提升到难度5，但爬虫很快又跟上了。目前，每天约600万请求中，仍有33%通过了验证，其中大部分很可能是爬虫。据估算，合法请求仅占总流量的2%。

6. 现状与影响：

   • 目前系统尚未被完全压垮，但20%的服务器能力（14-16个核心）被永久用于为爬虫服务。
   • 我们正在关闭一些功能以减少可爬取的URL数量，并对匿名访问设置更多限制。这实属无奈之举。
   • 没有简单的解决方案。AI公司仍在不断涌现，对训练数据的需求有增无减。

结论：

作者表示，虽然会继续提供所有数据供下载，但获取过程可能会变得更加繁琐。对于由此带来的不便，他表达了歉意。

根据评论内容，总结如下：

核心问题：AI爬虫对网站造成巨大负担

评论者普遍反映，AI爬虫（尤其是LLM训练爬虫）正以低效方式大量抓取网站内容，导致服务器负载激增、带宽消耗严重。例如，initramfs观察到来自小国和过时浏览器的异常访问，怀疑是爬虫使用VPN和头部匿名器（如ModHeader、BrowserMask）伪装。Demiurge指出其游戏网站从100-200真实用户变为数千虚假会话，爬虫点击所有按钮，导致网站变慢。

主要观点与论据：

1. 爬虫行为低效且破坏性大（评分：None）

   • 评论者批评爬虫不采用更高效的方式（如git clone），而是逐页渲染HTML再解析。bluedino讽刺道：“But no, let's in fact choose the stupidest possible way of doing it — by rendering everything as HTML commit by commit and then parsing it.”（“但别，我们偏要选择最愚蠢的方式——逐提交渲染成HTML再解析。”）
   • edent指出WordPress网站有JSON API，但爬虫仍直接抓取HTML：“If these crawlers are so smart, why aren't they following the rel='alternate' which is provided explicitly for them?”（“如果这些爬虫这么聪明，为什么不遵循明确提供的rel='alternate'链接？”）

2. 现有防护措施（如Anubis）效果有限（评分：None）

   • tptacek引用Tavis Ormandy的观点，认为工作量证明（PoW）对爬虫无效：“High-powered scrapers are better equipped to handle proof-of-work challenges than end users.”（“高功率爬虫比终端用户更擅长处理工作量证明挑战。”）
   • yellow_lead报告Anubis难度提高后，33%的爬虫仍能解决数学题通过：“33% are now solving the math and getting through to the main site.”（“33%现在能解出数学题并进入主站。”）

3. 未来可能走向收费或身份验证（评分：None）

   • acedTrex预测：“It feels inevitable that many systems will have to go to a login/trusted ip source type system.”（“感觉许多系统将不可避免地转向登录/可信IP源类型系统。”）
   • 0xbadcafebee建议收费：“I think the solution is to charge money for access... For the average user this will cost a few cents. For the bots you'll cover your costs.”（“我认为解决方案是收费访问……普通用户只需几美分，而爬虫将覆盖你的成本。”）

4. 对互联网开放性的担忧（评分：None）

   • Demiurge感叹：“the organized trillionaire labs sucking up the entire internet is going to break something if we don't preempt them better.”（“如果我们不更好地防范，有组织的万亿富翁实验室吸干整个互联网将会破坏某些东西。”）
   • a-dub提出一系列问题：“is this the end of anonymous browsing and the beginning of an era where one has to attach an identity to all requests?”（“这是匿名浏览的终结，还是所有请求都必须附上身份的时代开始？”）

平衡性观点：

• 部分评论者认为问题被夸大。bauerd指出：“They're the exception, not the rule. They get crawled like any other site.”（“他们是例外，不是常态。他们像其他网站一样被爬取。”）
• znnajdla建议简单方案：“Put a CDN in front and let them absorb the load? Seriously, this is static content, which is so cheap to serve it should be free.”（“在前面放个CDN吸收负载？说真的，这是静态内容，服务成本极低，应该是免费的。”）

总结： 评论者普遍认为AI爬虫的低效抓取行为正在破坏互联网的开放性和经济性，现有防护措施（如PoW）效果有限，未来可能需要转向收费、身份验证或更智能的防护机制。同时，也有声音认为问题被过度渲染，简单技术方案（如CDN）即可缓解。