文章摘要
Geofabrik升级了下载服务器基础设施,提升了下载速度和时效性,并调整了"…latest"文件的请求处理方式。文章呼吁用户负责任地使用下载服务,以确保服务的可持续性。
文章总结
《负责任地下载数据——Geofabrik服务器使用倡议》
Geofabrik公司近期对其下载服务器基础设施进行了升级,使用户能够更早、更快地获取数据文件。技术改进包括:当用户请求"...latest"文件时,系统将自动通过HTTP重定向到具体的最新版本文件(详见此前博文)。
然而,服务器正面临一些滥用问题: - 有用户连续多日每天重复下载同一20GB文件数百次 - 某用户曾在24小时内下载意大利数据文件近万次 - 部分用户每天下载服务器上所有文件 这类行为导致网络带宽受限,影响所有用户的下载速度,且封禁IP时可能误伤正常用户。
为此提出三项使用建议: 1. 需要全球数据时,请直接使用planet.openstreetmap.org的完整数据集 2. 需要大区域(如欧洲/北美)日常更新时,推荐使用pyosmium-up-to-date工具,该程序仅下载增量更新,可节省98%流量 3. 自动化脚本需设置监控机制,避免因磁盘空间不足等问题导致重复下载
文末重申:Geofabrik致力于为OpenStreetMap用户提供高效便捷的数据服务,希望用户共同维护服务器资源。
(注:原文中的导航菜单、外部链接、版权信息等非核心内容已酌情删减,保留主要技术说明和使用倡议部分)
评论总结
以下是评论内容的总结,平衡呈现不同观点并保留关键引用:
关于滥用下载的问题
- 观点:用户无意识地通过CI管道或脚本重复下载大文件是主要原因
- "Sounds like someone people are downloading it in their CI pipelines. Probably unknowingly."(Gigachad)
- "I’m working on step 3, but I keep running the whole script..."(stevage)
- 建议:强制注册、API密钥或限制下载频率
- "Make people sign up if they want a url they can
curl..."(Gigachad) - "I wouldn’t mind if they rate-limit downloads."(trklausss)
- "Make people sign up if they want a url they can
- 观点:用户无意识地通过CI管道或脚本重复下载大文件是主要原因
技术解决方案提议
- 使用BitTorrent分发数据
- "Definitely a use case for bittorrent."(cadamsdotcom)
- "Why is it not the underlying protocol for much more stuff?"(teekert)
- 服务器端检测重复IP或邮件提醒
- "Can’t the server detect repeated downloads from the same IP?"(rossant)
- "Do they email heavy users?"(aitchnyu)
- 使用BitTorrent分发数据
对服务提供者的态度
- 肯定Geofabrik的贡献
- "People like Geofabrik are why we can (sometimes) have nice things..."(alluro2)
- 批评开发者缺乏责任感
- "The level of irresponsibility/cluelessness... is astonishing."(alluro2)
- "Ah, responsibility... The one thing we hate teaching..."(globular-toast)
- 肯定Geofabrik的贡献
讽刺与无奈
- 对滥用行为的无奈
- "I have a funny feeling that the sort of people who do these things don’t read these sorts of blog posts."(cjs_ac)
- 类比互联网依赖少数维护者
- "Big XKCD 'that one bloke holding up the internet' energy."(crimsoneer)
- 对滥用行为的无奈
关键矛盾:免费服务的可持续性(用户滥用)与技术便利性(自动化需求)之间的冲突。