Hacker News 中文摘要

RSS订阅

650GB数据（S3上的Delta Lake）：Polars vs. DuckDB vs. Daft vs. Spark -- 650GB of Data (Delta Lake on S3). Polars vs. DuckDB vs. Daft vs. Spark

原文链接 | HN讨论 | 2025-11-14 12:24:13

文章摘要

文章探讨了当前数据工程领域存在的"集群疲劳"现象，指出运行SaaS湖仓系统在情感和经济上都代价高昂。作者曾发起"单节点反叛"运动但反响平平，反映出行业对简化架构的需求与现实的落差。

文章总结

单节点革命：650GB数据处理的性能对决

背景与动机

作者近期提出"单节点革命"（Single Node Rebellion）概念，旨在挑战数据工程领域对分布式计算的过度依赖。文章指出，运行SaaS数据湖不仅成本高昂（单次650GB数据处理就可能产生巨额DBU费用），而且多数场景下已不再需要集群计算。新兴工具DuckDB、Polars和Daft（合称D.P.D.）的出现，使得单节点处理海量数据成为可能。

实验设计

  1. 测试环境：

    • 数据规模：650GB Delta Lake表（存储在S3，按年月分区）
    • 硬件配置：AWS EC2实例（32GB内存/16核CPU）
    • 对比工具：DuckDB v0.10.0、Polars 0.20.16、Daft 0.1.11、Spark 3.5.0

  2. 测试方法：

    • 使用模拟社交媒体数据生成Parquet文件
    • 执行包含聚合操作的复杂查询（统计各年度用户互动数据）
    • 重点考察内存溢出风险和流式处理能力

性能表现

| 工具 | 处理时间 | 关键优势 | 主要缺陷 | |------------|----------|----------------------------------|----------------------------| | DuckDB | 16分钟 | 完美支持删除向量，代码简洁 | - | | Polars | 12分钟 | Rust引擎速度最快 | 不支持Delta Lake删除向量 | | Daft | 50分钟 | Rust基础，兼容Iceberg | 性能波动较大 | | Spark | >60分钟 | 分布式原生支持 | 需复杂调优，单节点效率低下 |

核心发现

  1. 可行性验证：单节点工具可稳定处理超过内存20倍的数据量（650GB vs 32GB）
  2. 成本优势：相比Spark集群，单节点方案硬件成本降低90%以上
  3. 生态兼容：DuckDB已实现与Delta Lake/Iceberg的深度集成
  4. 待改进点：Polars对Delta Lake新功能（如删除向量）支持滞后

行业启示

作者通过实验证明： - 集群疲劳（Cluster Fatigue）真实存在，多数场景的分布式计算属于过度设计 - 现代单节点工具已突破"内存限制"的传统认知 - 数据工程架构需要跳出"非Pandas即Spark"的二元思维

"当Pandas让我们失望时，分布式计算并非唯一选择——D.P.D.已经为单节点革命铺平了道路。"

（注：本文保留了关键测试数据和结论，删减了重复的社交媒体分享提示及部分冗余图片说明）

评论总结

以下是评论内容的总结：

  1. 技术依赖与性能限制

    • 有评论指出Polars依赖delta-rs库，而后者不支持删除向量功能（esafak）。
    • 单节点库可处理TB级数据，超过10TB才需转向Spark（esafak）。

  2. 替代工具建议

    • 推荐Presto/AWS Athena作为更快更好的替代方案（blmarket）。
    • 提到DuckDB的新"DuckLake"目录格式值得测试（jdnier）。

  3. 数据规模与处理能力

    • 650GB的Parquet文件实际解压后更大，32GB内存无法容纳32GB的Parquet文件（co0lster）。
    • 有人认为650GB数据量太小，不具备说服力（abofh），而其他人提到有PB甚至EB级数据需求（hnidiots3）。

  4. 基准测试的局限性

    • 测试结果可能受实例网络带宽限制，10Gbps带宽下加载650GB数据至少需要9分钟（luizfelberti）。
    • 使用更大实例可能比廉价实例更经济（luizfelberti）。

  5. 工具功能限制

    • DuckDB在需要磁盘溢出时部分功能（如百分位数）会崩溃（dogman123）。

  6. 其他观点

    • 批评文章中使用截图展示命令和输出（gdevenyi）。
    • 有人调侃用Awk处理数据的可能性（andy99）。

关键引用：
- "polars relies on delta-rs for Delta Lake support, and that is what does not support Deletion vectors"（esafak）
- "650GB relates to size of parquet files which are compressed in reality it’s way more"（co0lster）
- "this benchmark feels completely dominated by the instance's NIC capacity"（luizfelberti）
- "DuckDb has a new 'DuckLake' catalog format that would be another candidate to test"（jdnier）
- "a lot of DuckDB’s functionality does not work if you need to spill to disk"（dogman123）