文章摘要
电影数据网站The Numbers因被广泛视为权威来源，于2026年3月5日突然消失。该站拥有超过7.8万部电影和23.6万人的手工研究数据，年访问量超800万，其缺失对行业造成严重影响。
文章总结
文章核心内容重述
电影数据网站TheNumbers.com在2026年3月遭遇严重危机，其服务器因AI爬虫和恶意攻击而崩溃，导致网站瘫痪超过一周。该网站由布鲁斯·纳什于1997年创立，以手工研究的高质量电影票房、预算等数据闻名，每年吸引超过800万访客，被记者、学者和预测市场视为权威来源。
然而，自2024年起，AI训练爬虫和代理型AI的流量激增，到2026年初，网站流量中仅10%来自人类用户，其余均为AI机器人。尽管团队采取了缓解措施，但服务器仍因不堪重负而崩溃。更严重的是，日志显示存在针对性的恶意攻击，攻击者可能试图通过提前获取数据在预测市场（如Polymarket）中获利。
最终，团队被迫放弃恢复旧服务器，转而从头构建新网站。目前，网站仅以简化版本运行，逐步恢复功能。这一事件揭示了三个关键问题：预测市场使任何数据都能转化为金钱，降低了黑客攻击的动机门槛；AI工具使网络攻击变得廉价且易操作；现有网络基础设施在面对大规模AI机器人时极其脆弱。
布鲁斯指出，网站运营已从服务人类和搜索引擎，扩展到需应对六类受众（包括AI训练、代理型AI等），设计决策因素从三个激增至八到十个。类似遭遇的网站还包括Read the Docs、iFixit、Triplegangers等，它们均因AI爬虫而面临带宽成本激增甚至服务中断。
尽管TheNumbers.com的核心业务（如数据销售、分析报告）未受严重影响，但这一事件警示：依赖免费网站的小型独立项目在AI时代面临生存威胁。布鲁斯呼吁用户继续支持网站，并理解其重建过程中的功能缺失。
评论总结
根据评论内容，总结如下：
主要观点与论据：
AI爬虫与网站崩溃的关联性
- 部分评论认为AI爬虫是导致网站负载过高的直接原因（如评论13：用户分享自身经历，AI爬虫通过分页抓取HTML导致月账单达$1k，最终关闭网站）。
- 另有评论指出问题本质是恶意攻击而非AI（评论6：文章暗示恶意用户利用漏洞获取预测市场优势；评论12：预测市场规则松动才是根源，AI作用有限）。
网站架构与技术解决方案
- 建议采用静态站点生成器、CDN（如Cloudflare）等现代技术应对流量（评论3、15）。
- 讽刺性提议：用AI重写网站并监控（评论8：“pay for an LLM to re-write this site... throw the whole thing up in Cloudflare”）。
对免费资源与AI训练数据的矛盾
- 评论14表达对免费资源被爬取并用于商业AI训练的愤怒：“the fact that it gets scraped and added to a pile of training data to later be monetized really rubs me the wrong way”。
- 评论10警告：若AI公司摧毁开放网络，最终需自建知识源（“like netflix makes movies and amazon has physical stores”）。
对网站所有者行为的争议
- 评论7支持所有者权利：“He doesn't owe anyone a .tar.gz either. His work.”
- 评论8批评文章将问题简单归咎于AI：“framing this as 'AI is destroying our beloved internet' just seems obtuse”。
平衡性总结：
- 支持AI是主因：评论13、14强调AI爬虫的破坏性，呼吁惩罚机制（评论4：“There needs to be a penalty for this”）。
- 反对过度归因：评论8、12指出网站自身架构老旧、预测市场规则漏洞等更关键因素。
- 中立技术建议：评论3、15提出具体技术方案，评论17呼吁区分“bot流量”“爬虫规避付费”“黑客风险”三类问题。
关键引用保留：
- “AI scrapers decided it would be more efficient to download terabytes upon terabytes of raw HTML” (评论13)
- “If the scrapers are going to get it anyway, put the data up as a zip somewhere” (评论5)
- “The real story here is that prediction markets were banned for a reason” (评论12)