文章摘要
一位用户询问如何阻止来自AWS的机器人每月发送20亿次请求,寻求解决方案。该问题在Hacker News上引发讨论,获得114个点赞和70条评论。
文章总结
如何阻止每月发送20亿次请求的AWS机器人?
一位用户在Hacker News上求助,称其网站正遭受来自AWS新加坡区域的机器人(用户代理为“Mozilla/5.0 (compatible; crawler)”)的疯狂请求,平均每秒超过700次,持续数月。尽管通过CloudFlare的WAF规则和444响应减少了流量,但问题仍未解决。AWS的回应是“客户行为无需进一步干预”。
用户尝试的解决方案:
- HTTP响应:尝试了多种4XX和30X重定向(机器人会跟随),但无效。
- 投诉:多次向AWS投诉,但未获实质性帮助。
- 流量重定向:考虑将所有流量重定向至AWS滥用报告页面,但担心可能构成滥用。
社区建议:
技术对抗:
- 重定向至大文件:如Windows ISO镜像,消耗对方带宽。
- 慢速响应:逐字符发送响应,拖慢机器人速度。
- Gzip炸弹:发送压缩文件,解压后耗尽对方资源。
- PoW验证:如Anubis项目,要求机器人完成计算任务。
直接屏蔽:
- 通过CloudFlare屏蔽AWS新加坡IP段。
- 使用防火墙规则直接丢弃数据包,减少资源消耗。
法律手段:
- 发送律师函,引用《计算机欺诈和滥用法案》施压。
其他创意:
- 重定向至色情网站或非法内容,迫使AWS干预。
- 使用“蜜罐”页面,生成无限链接消耗爬虫资源。
争议点:
- 有人认为700 RPS不算DDoS,AWS不干预情有可原。
- 也有观点指出,应根据服务器负载判断是否构成滥用。
总结:
目前最有效的方案可能是通过CloudFlare直接屏蔽流量,或通过技术手段增加机器人运营成本。法律途径适用于愿意投入资源的用户。AWS的漠视态度引发了对云服务滥用监管的讨论。
评论总结
以下是评论内容的总结,平衡呈现不同观点并保留关键引用:
1. 法律手段
- 观点:通过律师或正式法律途径施压AWS
- 引用:
- "Hire a lawyer... Bill them aggressively."(评论1)
- "AWS... responds when you get their lawyers involved."(评论11)
2. 技术屏蔽
- 观点:直接屏蔽IP或使用防火墙/WAF规则
- 引用:
- "block the IPs or setup a WAF on AWS"(评论6)
- "Simply block the bot and move on."(评论18)
3. 流量反制
- 观点:通过重定向或延迟响应增加对方成本
- 引用:
- "reply with 2GB files... make them pay."(评论5)
- "waiting 10 seconds... consumes ~7,000 ports."(评论9)
4. 重定向策略
- 观点:将恶意流量重定向至无效或高成本目标
- 引用:
- "redirect to random porn sites... stopped it."(评论15)
- "redirect to AWS customer portal... hit themselves."(评论22)
5. 平台投诉
- 观点:向AWS滥用投诉部门报告
- 引用:
- "Write to AWS abuse team."(评论8)
- "Tell Cloudflare it's abusive... block outside your account."(评论30)
6. 质疑必要性
- 观点:700 RPS是否构成实际威胁?
- 引用:
- "700 RPS is not enough to qualify as a DoS."(评论13)
7. 其他建议
- 观点:使用工具(如反向代理)或社区黑名单
- 引用:
- "Use pingoo.io to block bots with rules."(评论14)
- "Add IP to a blacklist... pressure AWS."(评论12)
总结:评论主要分为法律施压、技术屏蔽、主动反制三类,多数建议倾向于低成本技术解决方案(如屏蔽或重定向),部分强调通过平台投诉或法律途径解决争议。少数用户质疑流量规模的威胁性。