Hacker News 中文摘要

RSS订阅

《时代》杂志为AI机器人提供内置广告的定制网站 -- TIME Is Serving AI Bots a Different Website, with Ads Built In

文章摘要

TIME杂志为AI机器人提供经过特殊处理的网站版本,其中内置了广告内容,与人类用户看到的页面不同。

文章总结

好的,这是根据您的要求,对原文主要内容进行的中文重述:

《时代》周刊现在会向AI机器人提供与人类读者完全不同的网站版本。人类访问者看到的是正常的杂志页面,而AI爬虫抓取到的则是一个精简的Markdown格式副本,其中嵌入了人类永远不会看到的广告。

作者通过一个实验验证了这一点:他使用同一台电脑,仅通过更改HTTP请求头中的“User-Agent”字段,反复请求《时代》周刊的一篇普通健康文章。当模拟成Chrome浏览器、Safari浏览器或Googlebot(谷歌搜索爬虫)时,他收到了完整的HTML页面,包含设计、图片和脚本,大小约为303KB。然而,当他将身份伪装成ClaudeBot、PerplexityBot或OpenAI的OAI-SearchBot等AI助手爬虫时,服务器返回的却是纯Markdown格式的文本,大小仅为13KB,且内容完全相同。

更有趣的是,并非所有AI机器人都有此待遇。OpenAI用于模型训练的GPTBot和ChatGPT-User直接收到了“406”(无法处理)的拒绝响应。这表明《时代》周刊并非对所有机器人一视同仁,而是有选择性地为特定AI助手提供这个“无读者”版本。

这个Markdown版本的内容中嵌入了广告技术公司Mobian的追踪代码。每次机器人访问页面,都会生成一个唯一的广告展示ID,并记录下“token”数量。这意味着,每一次AI模型读取文章,都被计为一次广告曝光。

作者进一步发现,在《时代》周刊的“2025年最佳发明”等合集页面的Markdown版本中,直接包含了完整的赞助商内容,例如Ally银行的常见问题解答(FAQ),其中充满了营销语言。而在人类看到的正常HTML页面中,完全找不到这些赞助内容的踪迹。

这些广告在Markdown中确实被标注为“赞助内容”,所以并非传统意义上的隐性广告。真正被隐藏的是这种“观众分流”的做法:一个专门为机器编写的网站层已经存在,而阅读该网站的人类读者完全不知道它的存在,也不知道AI模型在代表他们阅读时,看到了什么内容。

值得注意的是,Googlebot(影响搜索排名的爬虫)看到的仍是正常的HTML页面,只有AI助手爬虫才会被引导至这个分支版本。

《时代》周刊表示,其网站的机器人流量在大多数日子里已经超过了人类流量。作者认为,这可能是我们首次清晰地看到,当主要受众变成AI模型时,网络世界将开始变成什么样子。

评论总结

根据评论内容,主要观点和论据总结如下:

观点一:对AI注入广告的尝试(认可度中等) - 评论认为这是一种向AI引擎注入广告内容的方式,可能利用LLM的跨会话记忆功能,使广告成为“事实”并推送给用户。 - 关键引用:WJW: "Is the intention that some type of long-term context would be seeded with 'ideas' for the AI to serve up...";skeledrew: "Probably trying to take advantage of the cross session memory feature... enough 'suggestions' and it becomes a 'fact' in that memory."

观点二:对训练数据的潜在污染(认可度较高) - 评论指出,AI读取的内容可能被用于未来训练,因此嵌入广告可能是一种污染训练数据的尝试,类似SEO在聊天机器人领域的延伸。 - 关键引用:gostsamo: "The same things your bot reads are saved as material for training... this seems as an attempt to poison the training data.";dust42: "SEO was yesterday, now it is AIO... pay TIME for the ads, wait until next model release."

观点三:技术实现与用户体验(认可度中等) - 部分评论认为这是一种巧妙的方法,可以针对AI爬虫提供简化版内容(如Markdown),同时为人类用户保留完整页面。但需注意避免被Google视为“cloaking”而封禁。 - 关键引用:inigyou: "Very clever. Should be implemented on all sites post-haste.";apocalyptic0n3: "This is a neat idea... just serve Markdown content optimized for AI. Be careful not to do this with Googlebot."

观点四:对隐私和广告拦截的影响(认可度较低) - 有评论质疑,这种设计可能主要影响使用隐私浏览器的普通用户,而非AI爬虫,并猜测其目的可能是绕过广告拦截。 - 关键引用:everdrive: "I wonder if this also means that a normal user with a privacy-focused browser also gets this version... feels like this is more for the ad-blocking and privacy crowd.";Apreche: "I can’t replicate it... I used curl and set the User-agent, and I indeed got a markdown reply, but no ads."