作者在分析网络活动时发现，一个名为“Thinkbot”的网络机器人频繁出现，其行为异常且不遵守robots.txt文件规则。该机器人使用大量不同的IP地址，且这些地址均来自腾讯公司。作者对此感到困惑，并建议通过IP地址屏蔽该机器人。

标题：“兄弟，不喜欢我就从IP层面封禁我吧！”——波士顿日记

主要内容：

在2025年8月21日的《波士顿日记》中，作者提到自己越来越倾向于支持Jihad Alex Schroeder的“巴特勒圣战”理念。作者在研究网络活动时发现，本月最活跃的网络机器人是一个自称为“Thinkbot”的机器人，可能与某家AI公司有关，但无法确定。该机器人在用户代理字符串中直接表示：“如果在测试阶段给你带来麻烦，请直接封禁其IP地址。”

作者指出，这个机器人使用了74个不同的IP地址，这些地址来自41个不同的网络区块，而这些区块均归属于腾讯公司。作者推测，中国政府可能希望通过这种方式将“防火长城”的成本外部化，即如果中国抓取内容，政府不介意；如果被封禁，政府也无所谓。

为了应对这种情况，作者将腾讯公司拥有的多个网络区块添加到了自己的“坏机器人防火墙规则集”中，覆盖了476,590个独立的IP地址。作者认为，尽管这种做法令人不快，但在当前的互联网环境下，似乎不可避免。

讨论链接： - Lobsters - Lemmy: Bestiverse - Hacker News

其他说明： 文章中的链接设计采用了颜色渐变来表示链接的远近，越接近当前页面的链接颜色越亮。此外，文中提到的所有品牌名称、标语、公司名称等均为其所有者的商标或受保护实体。

评论内容主要围绕如何处理恶意流量和爬虫问题，以下是主要观点总结：

1. IP封锁的实用性：

   • 一些评论者认为封锁特定国家或ASN（如中国和俄罗斯）是有效的解决方案，尤其是当这些地区的流量与恶意行为相关时。
     • "We block China and Russia. DDOS attacks and other hack attempts went down by 95%."（我们封锁了中国和俄罗斯，DDOS攻击和其他黑客尝试减少了95%。）
     • "We solved a lot of our problems by blocking all Chinese ASNs."（通过封锁所有中国的ASN，我们解决了很多问题。）

2. 白名单机制的可行性：

   • 有评论者提出，未来可能通过白名单IP范围来管理流量，类似于广告拦截列表的社区协作方式。
     • "One starts to wonder, at what point might it be actually feasible to do it the other way around, by whitelisting IP ranges."（人们开始思考，什么时候通过白名单IP范围来管理流量会变得可行。）

3. IPv6带来的挑战：

   • 有评论者指出，IPv6的普及可能会使IP封锁变得更加困难。
     • "If ipv6 ever becomes a thing, it'll make blocking all that much harder."（如果IPv6普及，封锁将变得更加困难。）

4. 恶意流量的来源：

   • 一些评论者提到，恶意流量不仅来自特定国家，还来自美国公司，尤其是那些无视robots.txt和DNS速率限制的AI和大公司。
     • "It's usually US companies who disrespect my robots.txt and DNS rate limits who make me the most problems."（通常是那些不尊重我的robots.txt和DNS速率限制的美国公司给我带来最多问题。）

5. 爬虫服务的滥用：

   • 有评论者指出，一些网站管理员的不当行为（如过度封锁合法流量）可能促使项目转向使用更不道德的爬虫服务。
     • "The shenanigans some rogue or clueless webmasters are up to blocking legitimate and non intrusive or load causing M2M trafic is driving some projects into the arms of 'scrape services'."（一些不负责任或无知的管理员过度封锁合法流量，导致一些项目转向使用爬虫服务。）

总结：评论者普遍认为IP封锁在处理恶意流量方面有一定效果，但也提出了白名单机制、IPv6挑战以及恶意流量来源多样性的问题。