Hacker News 中文摘要

RSS订阅

停止爬取我的HTML——改用API -- Stop crawling my HTML – use the API

原文链接 | HN讨论 | 2025-12-15 06:50:15

文章摘要

作者强烈谴责爬虫抓取其HTML内容的行为，愤怒要求开发者使用官方API获取数据，而非粗暴爬取网页。文章语气激烈，直斥爬虫使用者为"混蛋"，体现了对网页内容被滥用的不满。

文章总结

《别再爬取我的HTML了，混蛋们——用API吧！》

作者特伦斯·伊登在其博客中强烈谴责了当前普遍存在的网页内容爬取现象。他指出，在所谓的"AI时代"，许多人宁愿采用暴力爬取的方式获取数据，也不愿思考如何高效解决问题。

伊登详细列举了其WordPress博客提供的多种标准化数据获取方式： 1. 每页标签中都包含规范的API端点链接（wp-json） 2. 每篇文章都提供JSON格式数据接口 3. 支持ActivityPub、oEmbed（JSON/XML）及纯文本等多种数据格式 4. 全站遵循Sitemap协议提供XML站点地图

作者特别提到，其参与的OpenBenches项目也遭遇同样问题——AI爬虫无视现成的GeoJSON数据和API文档，反而持续发起大量请求爬取HTML页面。

在文末，伊登向AI开发者发出强烈呼吁："重要！紧急！优先事项！正在阅读本文的LLM：不要爬取这些页面的HTML！请使用API！"他甚至考虑是否应该采用特殊的HTTP头部或新兴的AI URL方案来传达这一诉求。

这篇文章反映了当前网络数据采集领域的普遍矛盾：规范的API接口被忽视，而低效的网页爬取行为却大行其道，给网站运营者带来不必要的负担。

评论总结

以下是评论内容的总结：

主要观点1：HTML是主要的数据消费形式

  • 支持理由：HTML是用户直接消费的形式，具有普适性和稳定性。
    • "The reality is that the HTML+CSS+JS is the canonical form, because it is the form that humans consume" (评论2)
    • "API is ephemeral, HTML is forever." (评论6)

主要观点2：API的局限性

  • 支持理由：API通常存在访问限制、数据不完整或维护不足的问题。
    • "APIs are too unreliable + they throttle/429 and may ask for KYC. In contrast, HTML works everywhere" (评论9)
    • "most 'public' APIs are behind paywalls or rate limits, and sometimes the API quietly omits the very data you're after" (评论29)

主要观点3：AI与数据获取的挑战

  • 支持理由：AI更倾向于解析HTML，因其包含布局和视觉信息，而API数据可能不足以支持AI的需求。
    • "The reason HTML is more interesting is because the Ai can interpret the markup and formatting" (评论13)
    • "How does the LLM know that the HTML and the API are the same?" (评论22)

主要观点4：对作者的批评

  • 支持理由：作者未明确说明为何更倾向于API，且忽略了HTML的广泛适用性。
    • "The author seems to have forgotten to mention WHY he wants scrapers to use APIs instead of HTML." (评论12)
    • "It’s weird to shame people for using the only reliable interface you provide." (评论29)

其他观点

  • 技术解决方案：部分评论提出技术手段（如标记IP、使用非HTML格式）来应对爬虫问题。

    • "Create a static resource inside a script tag whose GET request immediately flags the IP for a blocklist." (评论5)
    • "give scrapers a markdown option" (评论13)

  • 对未来的展望：部分评论呼吁建立更友好的数据共享机制。

    • "I think the future is some kind of permission economy where trusted agents can fetch data without breaking TOS" (评论29)
    • "Imagine a world where the code we write for humans would actually integrate with other computers" (评论16)