Hacker News 中文摘要

RSS订阅

问HN:如何阻止AWS机器人每月发送20亿次请求? -- Ask HN: How to stop an AWS bot sending 2B requests/month?

文章摘要

一位用户询问如何阻止来自AWS的机器人每月发送20亿次请求,寻求解决方案。该问题在Hacker News上引发讨论,获得114个点赞和70条评论。

文章总结

如何阻止每月发送20亿次请求的AWS机器人?

一位用户在Hacker News上求助,称其网站正遭受来自AWS新加坡区域的机器人(用户代理为“Mozilla/5.0 (compatible; crawler)”)的疯狂请求,平均每秒超过700次,持续数月。尽管通过CloudFlare的WAF规则和444响应减少了流量,但问题仍未解决。AWS的回应是“客户行为无需进一步干预”。

用户尝试的解决方案:

  1. HTTP响应:尝试了多种4XX和30X重定向(机器人会跟随),但无效。
  2. 投诉:多次向AWS投诉,但未获实质性帮助。
  3. 流量重定向:考虑将所有流量重定向至AWS滥用报告页面,但担心可能构成滥用。

社区建议:

  1. 技术对抗

    • 重定向至大文件:如Windows ISO镜像,消耗对方带宽。
    • 慢速响应:逐字符发送响应,拖慢机器人速度。
    • Gzip炸弹:发送压缩文件,解压后耗尽对方资源。
    • PoW验证:如Anubis项目,要求机器人完成计算任务。
  2. 直接屏蔽

    • 通过CloudFlare屏蔽AWS新加坡IP段。
    • 使用防火墙规则直接丢弃数据包,减少资源消耗。
  3. 法律手段

    • 发送律师函,引用《计算机欺诈和滥用法案》施压。
  4. 其他创意

    • 重定向至色情网站或非法内容,迫使AWS干预。
    • 使用“蜜罐”页面,生成无限链接消耗爬虫资源。

争议点:

  • 有人认为700 RPS不算DDoS,AWS不干预情有可原。
  • 也有观点指出,应根据服务器负载判断是否构成滥用。

总结:

目前最有效的方案可能是通过CloudFlare直接屏蔽流量,或通过技术手段增加机器人运营成本。法律途径适用于愿意投入资源的用户。AWS的漠视态度引发了对云服务滥用监管的讨论。

评论总结

以下是评论内容的总结,平衡呈现不同观点并保留关键引用:


1. 法律手段

  • 观点:通过律师或正式法律途径施压AWS
  • 引用
    • "Hire a lawyer... Bill them aggressively."(评论1)
    • "AWS... responds when you get their lawyers involved."(评论11)

2. 技术屏蔽

  • 观点:直接屏蔽IP或使用防火墙/WAF规则
  • 引用
    • "block the IPs or setup a WAF on AWS"(评论6)
    • "Simply block the bot and move on."(评论18)

3. 流量反制

  • 观点:通过重定向或延迟响应增加对方成本
  • 引用
    • "reply with 2GB files... make them pay."(评论5)
    • "waiting 10 seconds... consumes ~7,000 ports."(评论9)

4. 重定向策略

  • 观点:将恶意流量重定向至无效或高成本目标
  • 引用
    • "redirect to random porn sites... stopped it."(评论15)
    • "redirect to AWS customer portal... hit themselves."(评论22)

5. 平台投诉

  • 观点:向AWS滥用投诉部门报告
  • 引用
    • "Write to AWS abuse team."(评论8)
    • "Tell Cloudflare it's abusive... block outside your account."(评论30)

6. 质疑必要性

  • 观点:700 RPS是否构成实际威胁?
  • 引用
    • "700 RPS is not enough to qualify as a DoS."(评论13)

7. 其他建议

  • 观点:使用工具(如反向代理)或社区黑名单
  • 引用
    • "Use pingoo.io to block bots with rules."(评论14)
    • "Add IP to a blacklist... pressure AWS."(评论12)

总结:评论主要分为法律施压技术屏蔽主动反制三类,多数建议倾向于低成本技术解决方案(如屏蔽或重定向),部分强调通过平台投诉或法律途径解决争议。少数用户质疑流量规模的威胁性。