文章摘要
作者因AI爬虫持续大量请求导致自建的Git服务器不堪重负,决定停止维护,将代码仓库迁移至GitLab和GitHub等平台。目前仅保留静态博客等少量自托管服务,标志着一个技术时代的结束。
文章总结
标题:谢谢你,AI¹
来源链接:https://www.kraxel.org/blog/2026/01/thank-you-ai/
发布时间:2026年1月26日
主要内容:
作者Gerd Hoffmann宣布停止自托管git服务,结束了一个持续多年的时代。自2011年起运行的公共git服务器(此前还有CVS服务器)因AI爬虫的疯狂抓取而不堪重负——这些爬虫向cgit前端发送了大量无意义的请求,导致服务器瘫痪。这一情况实际在几个月前就已发生。
作者决定不再重建服务器(无论是否包含cgit网页前端),因为业余时间不愿与爬虫持续对抗。多数代码库已在GitLab和GitHub等大型托管平台留有镜像,这些平台现成为主要代码仓库。作者上周已完成所有旧链接的迁移工作。
目前仅保留一个自托管服务——主要托管本博客的静态网页服务器(2018年从WordPress迁移至Jekyll生成静态页面)。虽然AI爬虫曾因制造数百万404响应导致日志塞满磁盘而引发一次宕机,但作者通过调整配置解决了该问题。
注: 1. 标题灵感源自《安全噩梦2025》会议 2. 爬虫采用最低效的完整仓库获取方式(直接克隆才是正确做法)
作者信息: - Gerd Hoffmann - 专注QEMU开发、固件工作和Linux项目 - 偶尔发布其他随机内容
(编辑说明:删减了重复的导航栏信息、社交媒体链接等非核心内容,保留技术细节和关键事件脉络)
评论总结
以下是评论内容的总结,平衡呈现不同观点并保留关键引用:
技术解决方案建议
- 多位评论者建议使用Cloudflare等工具来解决问题:
- "Cloudflare will even do it for free" (Jaxkr)
- "You could put it behind Cloudflare and block all AI" (october8140)
- 其他技术建议包括:
- "fire up Claude Code and ask it how to set up a LAMP stack" (oceanplexian)
- "spider traps and 42TB zip of death pages work well" (Joel_Mckay)
- 多位评论者建议使用Cloudflare等工具来解决问题:
对AI爬虫的质疑
- 评论者质疑AI爬虫的真实性和行为模式:
- "why they're attributed to AI?" (data-ottawa)
- "I'd expect OpenAI bots to be a little bit easier to deal with" (krick)
- 有用户分享具体案例:
- "YisouSpider absolutely pummeled my open source project's hosting" (JohnTHaller)
- 评论者质疑AI爬虫的真实性和行为模式:
数据收集与分析需求
- 部分评论者呼吁公开更多数据:
- "Is anybody making these available for analysis?" (Lerc)
- "what's up with these bots, why am I hearing about that so often lately?" (krick)
- 部分评论者呼吁公开更多数据:
内容价值质疑
- 有评论质疑文章本身的价值:
- "Struggling to understand why this is front-page worthy" (CuriouslyC)
- 有评论质疑文章本身的价值:
对抗性建议
- 一些激进的反制措施被提出:
- "send different response when AI bots are detected...that poisons their training data" (devsda)
- "Can we not charge for access?" (hattmall)
- 一些激进的反制措施被提出:
性能优化建议
- 实用性能建议:
- "Make sure your caches are warm" (vachina)
- "It's not that hard to serve some static files @ 10k RPS" (oceanplexian)
- 实用性能建议:
替代方案建议
- 如:"Maybe put the git repos on radicle?" (ptman)