Hacker News 中文摘要

RSS订阅

Wayback Machine 访问情况更新 -- An Update on Wayback Machine Access

我们听到了你们的呼声:“修复Wayback Machine!”以下是正在发生的情况。互联网档案馆(Internet Archive)的Wayback Machine遭到一波波高流量自动化访问的冲击,我们已经设置保护措施来维持服务运行。最近的一项改变是,我们重写了请求被阻止时看到的消息。

正文

关于 Wayback Machine 访问情况的更新

我们听到了大家的呼声:“修好 Wayback Machine!”

情况是这样的:互联网档案馆的 Wayback Machine 遭遇了一波又一波高流量的自动化访问,我们已部署防护措施以维持服务运转。最近的一项改动是:当请求被拦截并返回 429 错误(即“请求过多”的 HTTP 状态码)时,我们重写了用户看到的提示信息。

Image 4

这些防护措施有时会误伤真实用户。如果你遇到了这种情况,我们深表歉意,也感谢你在我们努力减少误判期间的耐心。

我们正逐步提升区分滥用型机器人与每天依赖 Wayback Machine 的真实用户的能力。如果你认为自己被误拦截,请发送邮件至 info@archive.org,附上你的操作系统、浏览器和 IP 地址,我们会进行核查。

Wayback Machine

评论

多数人同情互联网档案馆因爬虫滥用流量而被迫设限的处境,并赞扬其守护开放网络;但不少正常用户抱怨限流误伤严重,另有少数人提议以付费接口化解攻防矛盾。

认为爬虫滥用迫使档案馆无奈防护且行为恶劣

  • 有观点指出,大量自动化流量实为爬虫试图绕过原站封锁而抓取档案馆副本,不仅拖垮非盈利基础设施,还导致部分原站主动退出存档(较多人)
  • > 这很可能是爬虫为绕过原站封锁而去抓取档案馆副本,这种行为令人发指,且已让一些网站选择退出(@simonw)

认为当前访问限制过严并误伤正常用户

  • 多名用户反映住宅IP上轻微操作(如滑动日历)就被限流,公司或机场网络更是直接完全无法访问,体验近几个月显著恶化(较多人)
  • > 过去几个月限制太严了,住宅IP上动一下日历就被卡在429错误,企业网络常常根本打不开(@timpera)

认为档案馆是开放互联网守护者并应获支持

  • 有用户认为档案馆在多方攻击下仍维持匿名及Tor开放访问,是封闭时代的英雄,呼吁有余力者捐赠(较多人)
  • > 向档案馆的人致敬,在开放网络向巨头屈服的当下他们是我们需要的英雄,有余钱就捐吧(@basilikum)

建议以付费端点或下载者付费模式化解矛盾

  • 少数人提议直接对爬虫提供付费接口或采用下载者付费(如S3出流量由请求方付),认为封锁与反封锁只利好云厂商,AI公司理应为抓取买单(少数人)
  • > 不如给爬虫提供付费端点,互相封锁只会让云服务商和硬件商得利(@Onavo)

有价值的补充

  • 有用户猜测档案馆可能迟早会引入 Anubis 这类工作量证明反爬机制来区别人机(@tech234a)
  • 社区中存在对“滥用机器人”界定模糊的戏谑质疑,反映了普通用户对一刀切限流的轻微不满情绪(@xyst)