Hacker News 中文摘要

RSS订阅

旧网络去哪了?我们追踪了657,607个链接来寻找答案 -- Where did the old web go? We followed 657,607 links to find out

文章摘要

一项对2009至2014年间65万余条链接的追踪研究发现,截至2026年8月,76.7%的链接已无法访问,揭示了旧网页大规模消失的现象。

文章总结

一篇关于网络链接失效的研究报告显示,通过对2009年至2014年间创建的657,607个链接进行追踪,发现其中76.7%的链接已无法正常加载页面。这些链接来自0.mk(马其顿首个短链接服务)的数据库备份,主要反映了当时马其顿网络社区分享的内容,包括本地新闻、个人博客、照片托管、论坛及主流平台。

在可爬取的655,178个链接中,51.24%因DNS、超时或TLS问题无法连接,25.44%返回HTTP错误(4xx/5xx),仅23.32%成功加载。但即使加载的页面中,也存在登录墙、广告域名或内容已删除的情况。去重后,492,620个独立URL中仅21.3%能加载,78.7%失效。域名层面,133,605个可爬取主机名中,仅34,827个有至少一个URL能加载。

研究还发现,大型平台(如YouTube、维基百科、谷歌)的链接存活率较高,而个人博客、论坛、本地新闻网站和照片托管服务普遍失效。例如,Facebook照片CDN的835个链接全部无法加载,而PureVolume和Google Code的域名虽仍响应,但原始内容已不复存在。

此外,0.mk的数据还记录了马其顿本地媒体的消亡,如A1电视台(2011年关闭)和多家报纸(2017年停刊)的链接已无法访问。研究中也发现了一些有趣的历史痕迹:第一个短链接指向一个WordPress博客的CSS样式表;最短链接指向一个已消失的长域名;最长URL达38,753字符;还有4478个链接指向其他短链接服务,形成“双重脆弱性”。

0.mk在2014年因收入无法覆盖运营成本而关闭,但17年后,AI技术使得开发、垃圾过滤、审核和监控等任务得以自动化,从而让服务重新上线。所有链接的检测通过爬虫完成,最多跟踪5次重定向,并从第二网络重试连接失败。

评论总结

根据评论内容,主要观点和论据总结如下:

1. 关于“旧网页”的定义与怀旧情绪
- 多数评论认为“旧网页”指2009-2014年之前,如1993-2007年(SwellJoe)或1997年前(jperras),但部分用户认为该时段不算“旧”(tokai, bradley13)。
- 怀旧情绪明显:用户怀念Purevolume社区(hmhrex)和博客圈(morganf),但有人批评“旧网页”设计粗糙(juleiie)。
- 关键引用:
- “The old web is 1993 to 2007. It's all been downhill ever since.”(SwellJoe)
- “Old web was kind of dumb anyway... enjoy the fruits of modern design.”(juleiie)

2. 对0.mk项目重建的质疑
- 用户指出0.mk因无收入关闭,却引入昂贵的AI集成,存在经济矛盾(LordZero)。
- 担忧AI安全风险:如被越狱后删除账户(Lord
Zero)。
- 讽刺0.mk自身曾离线十年,却批评其他网站不稳定(mryall)。
- 关键引用:
- “0.mk's revenue did not cover hosting... then goes on to implement expensive AI integration.”(Lord_Zero)
- “Quite ironic that a link shortener which went offline... is now posting about other sites not staying online.”(mryall)

3. 网页内容消亡的普遍问题
- 评论3(shevy-java)强调网页消亡是设计缺陷,大量内容(如MUD日志)永久丢失。
- 评论6(zrhoone)回忆曾以为网页永恒,但现实相反。
- 关键引用:
- “Webpages dying is probably one of the biggest design flaws of the original web.”(shevy-java)
- “Remember the good ol' days when we all thought that everything on the web would exist for eternity.”(zrhoone)

4. 技术细节与数据发现
- 原始数据(tdx)显示:76.7%的链接无法加载,重复链接不影响结果;2011年异常数据由单一账号造成。
- 意外发现:Facebook旧照片CDN链接全部失效;首个缩短链接是WordPress CSS文件。
- 关键引用:
- “Of the 655,178 links... 76.7% no longer returned a loading page.”(tdx)
- “835 restored links point at Facebook's old photo CDN. None loaded.”(tdx)

5. 对AI与未来网页的讨论
- 评论18(twotwigs)提出用LLM“猜测”URL构建搜索引擎。
- 评论19(MetaWhirledPeas)推测AI可能过滤非技术用户,使“旧网页”回归。
- 关键引用:
- “Have an LLM 'guess' random URLs... You have invented a dark web search engine.”(twotwigs)
- “Maybe the LLM-ification of everything could end up being like a huge filter... the old web will return.”(MetaWhirledPeas)

总结:评论围绕“旧网页”定义、0.mk重建的合理性、网页内容消亡、技术数据发现及AI影响展开,观点存在分歧,但普遍对网页内容持久性持悲观态度。