文章摘要
文章作者因网站服务器频繁遭受爬虫攻击而深感困扰，这不仅消耗资源、影响访问，还扼杀了个人创作热情。作者反思互联网已不再是安全港湾，人工智能爬虫正破坏环境、打击创造力并削弱批判性思维。
文章总结
标题：互联网不再是安全港湾
几天前，托管本网站的小型服务器再次遭到爬虫机器人的攻击而暂时瘫痪。这已不是第一次发生，也并非我第一次考虑采取更严厉的防御措施，比如使用Anubis这样的工具。但每次类似事件发生时，我内心作为软件爱好者的热情就会被消磨一分。我们应当将AI爬虫的破坏性行为添加到清单中——它们不仅危害环境，还打击了内容创作者的积极性，甚至削弱了我们的批判性思维能力。
当我尝试访问Brain Baking网站时，异常的延迟迫使我登录服务器查看情况。简单的top命令显示Gitea和Fail2ban服务几乎耗尽了所有CPU资源。紧急终止Gitea进程并未缓解问题，因为Nginx访问日志正被大量类似以下的请求淹没：
（此处保留部分典型攻击日志示例）
虽然我已部署了多重防护系统来拦截恶意爬虫，但攻击者使用伪造的"Mozilla/5.0"用户代理头轻松绕过了基础检测——大多数用户代理检测工具都将其误判为合法流量。这警示我们绝不能仅依赖此类信息进行判断。
尽管我通过临时封禁可疑IP（如Nginx的速率限制触发机制）来应对，但这些爬虫往往采用分布式攻击。值得注意的是，本次攻击主要源自47.79.*的IP段，经查属于阿里巴巴(美国)技术公司的新加坡托管服务。虽然AbuseIPDB未显示近期投诉记录，我还是果断封锁了整个IP段。
Fail2ban在应对海量日志时显得力不从心。通过管道命令实时封禁访问Git提交记录的IP效果有限，最终只有sudo iptables -I INPUT -s 47.79.0.0/16 -j DROP这条命令产生了立竿见影的效果。
必须承认，处理这类问题令人厌恶：它耗时费力，无法预防下一波攻击，且总是滞后响应。更糟的是，这种被动防御严重打击创作热情。虽然部署更强大的防护系统（如Anubis或迁移至CloudFlare）可能提升安全性，但前者配置复杂，后者则意味着将访客数据路由至美国的追踪服务器——这都违背了我的初衷。
解决方案或许是将Gitea迁移至第三方平台（如Codeberg），但令人沮丧的是，独立服务器爱好者正日益成为攻击目标，被迫转向中心化服务，长远来看这将恶化网络生态。互联网已不再是技术爱好者的安全港湾。类似遭遇在博主圈中屡见不鲜。
此外，我还注意到来自bioware.com、mcdonalds.com等知名域名的异常Referer流量——显然这些企业不可能链接到我的内容，伪造此类报头或许只是为了虚增点击量。
尽管形势严峻，我仍拒绝屈服。正如50 Cent所说："要么坚持托管，要么壮烈牺牲"。
[网页设计][爬虫技术][人工智能]
评论总结
以下是评论内容的总结，涵盖主要观点和论据：
1. 自动化攻击增加的原因
- 技术发展与成本降低：开源技术普及和基础设施成本下降导致攻击增多（评论1："is there better (open-source?) technology...hosting infrastructure is cheaper"）
- PoW解决方案提议：建议通过工作量证明系统限制机器访问（评论1："hide most of the internet behind Proof of Work"）
2. 现有防御工具的局限性
- Anubis的优缺点：能强制机器人自我识别，但小规模运营商缺乏数据支撑（评论2："smaller operators don't get enough traffic to ban abusive IPs"）
- Fail2ban的替代方案：建议直接使用Nginx限速功能（评论8："configure nginx to do rate-limiting directly"）
3. 中心化与去中心化之争
- 支持中心化权威：认为去中心化系统无法抵抗恶意行为（评论3："Bad actors exist...abolishing them has always failed"）
- 反对依赖Cloudflare：但承认其有效性（评论26："added Cloudflare...it does seem to work"）
4. 极端解决方案
- 网络悲观论：认为互联网已失去早期魅力（评论5："the internet is over"；评论15："The real internet has yet to be invented"）
- 技术对抗手段：包括mTLS认证（评论10）、JA3指纹识别（评论14）、投毒攻击（评论11）、蜜罐陷阱（评论23）
5. 地域封锁与副作用
- 粗暴封锁的争议：有用户被迫封禁整个国家IP段（评论4："Had to ban RU, CN, SG, and KR"），但遭反对（评论27："blocking an entire /16 range...contributes to mediocre internet"）
6. 根本问题反思
- 身份系统困境：需身份验证但难以实施（评论6："identity management system...has so many issues"）
- 社会实验失败：互联网暴露人性弱点（评论25："case study for what happens when you remove social control"）
关键引用保留：
- 中心化必要性（评论3）： > "A decentralized system where everyone plays nice...does not exist" > 「人人守规矩的去中心化系统根本不存在」
- 地域封锁争议（评论27）： > "blocking an entire /16...you don’t know. Fix your software, don’t blindly block" > 「盲目封禁整个IP段不如优化软件」
总结呈现了技术、治理和哲学层面的多角度讨论，反映当前网络安全的复杂困境。