Hacker News 中文摘要

RSS订阅

60秒内完成Linux性能分析（2015） -- Linux Performance Analysis in 60 seconds (2015)

原文链接 | HN讨论 | 2025-07-30 00:52:53

文章摘要

Netflix技术团队分享了在Linux服务器上快速诊断性能问题的60秒优化流程。通过使用标准Linux性能工具，如top、vmstat、iostat等，团队能够在短时间内获取关键性能指标，如CPU、内存、磁盘I/O和网络状态，从而快速定位问题根源。这一方法结合了Netflix自有的监控工具Atlas和Vector，帮助高效解决大规模EC2云环境中的性能问题。

文章总结

Linux性能分析在60秒内完成 - Netflix技术博客

在Netflix，我们拥有庞大的EC2 Linux云环境，并使用多种性能分析工具来监控和调查其性能。尽管这些工具帮助我们解决了大多数问题，但有时我们仍需登录到实例并运行一些标准的Linux性能工具。本文将展示Netflix性能工程团队如何在命令行中使用标准Linux工具，在60秒内完成优化的性能调查。

前60秒的总结

在60秒内，您可以通过运行以下十个命令，快速了解系统资源使用情况和运行进程。重点关注错误和饱和指标，因为它们易于解释，随后再查看资源利用率。饱和是指资源负载超过其处理能力，可以通过请求队列长度或等待时间来暴露。

  1. uptime：查看系统负载平均值，了解任务（进程）的数量。
  2. dmesg | tail：查看最后10条系统消息，寻找可能导致性能问题的错误。
  3. vmstat 1：打印关键服务器统计信息的摘要，重点关注CPU、内存和I/O状态。
  4. mpstat -P ALL 1：打印每个CPU的时间分解，检查是否存在不平衡。
  5. pidstat 1：类似于top的每进程摘要，但打印滚动摘要，便于观察模式。
  6. iostat -xz 1：了解块设备（磁盘）的工作负载和性能。
  7. free -m：检查内存使用情况，特别是缓冲区和缓存。
  8. sar -n DEV 1：检查网络接口吞吐量，了解工作负载和限制。
  9. sar -n TCP,ETCP 1：查看关键TCP指标，如连接数和重传数。
  10. top：包含许多之前检查的指标，便于快速查看系统状态。

后续分析

除了上述命令，还有许多其他命令和方法可以深入分析。可以参考Brendan的Linux性能工具教程，涵盖超过40个命令，涉及可观察性、基准测试、调优、静态性能调优、剖析和跟踪。

结语

解决大规模系统的可靠性和性能问题是我们的热情所在。如果您有兴趣加入我们，共同应对这些挑战，我们正在招聘！

参考

评论总结

  1. 工具推荐与评价：

    • sar/sysstat 被低估，值得更多关注。
      • "Nice list. sar/sysstat is underrated imho."（评论1）
    • iotop 是 iostat 的替代工具，受到推荐。
      • "I quite like iotop as an alternative to iostat."（评论3）
    • w 命令是快速检查系统健康的首选工具。
      • "My first command is always 'w'."（评论7）

  2. 书籍与资源推荐：

    • Brenden Gregg 的书籍《BPF Performance Tools》和《Systems Performance: Enterprise and the Cloud》被强烈推荐。
      • "I would recommend 'BPF Performance Tools' and 'Systems Performance: Enterprise and the Cloud' by Brenden Gregg."（评论5）

  3. 技术讨论与质疑：

    • 对 Netflix 使用 EC2 Linux 而非 FreeBSD 的质疑。
      • "Wait a minute. I thought Netflix famously ran FreeBSD."（评论4）
    • SSD 性能在实际应用中的局限性，尤其是在单线程随机 IOPS 下的表现。
      • "Especially SSDs are treated like magic storage devices with infinite IOPS at Planck-scale latency."（评论8）

  4. 遗漏与补充：

    • 评论者指出文章遗漏了 rusttop 工具。
      • "he forgot about rusttop."（评论6）
    • 检查磁盘空间是诊断系统问题的关键步骤。
      • "Maybe I missed it, but checking available disk space is often a good step in diagnosing misbehaving systems."（评论10）

  5. 时间与更新：

    • 对 10 年后（2025 年）的 60 秒等效工具的疑问。
      • "it's 10 years later - what's the 60 second equivalent in 2025?"（评论9）