文章讲述了作者团队在开发Linux版CPU分析工具Superluminal时，遇到由eBPF自旋锁问题导致的系统冻结故障。经过深入排查Linux内核机制，他们最终定位并修复了这个棘手的底层问题，展现了解决复杂技术难题的过程。

Linux内核eBPF自旋锁问题修复纪实

问题背景

在开发Linux版CPU分析工具Superluminal时，测试人员Aras在Fedora 42系统（内核6.17.4-200）上遇到了周期性系统冻结问题。冻结现象表现为： - 捕获过程中系统短暂卡顿（约250毫秒） - 性能分析显示所有线程同时出现"伪忙碌"状态 - 内核日志出现NMI处理程序超时警告

调试过程

1. 问题复现
   在物理机安装Fedora后成功复现，但虚拟机环境无法复现。

2. 初步分析

   • 性能分析图显示异常同步阻塞（所有线程同时呈现绿色忙碌状态）
   • dmesg日志显示NMI处理程序执行时间超过250ms
   • 确认问题与eBPF程序中的环形缓冲区操作相关

3. 最小化复现
   精简出仅包含两个eBPF程序的核心测试用例： ```c // 上下文切换事件处理 SEC("tpbtf/schedswitch") int cswitch() { reserveringbuf(); // 申请缓冲区空间 discardreservation(); // 立即释放 }

   // 采样事件处理 SEC("perfevent") int sample() { reserveringbuf(); // 申请缓冲区空间
   discard_reservation(); // 立即释放 } ```

技术深挖

1. 锁机制问题

   • 发现bpf_ringbuf_reserve()使用rqspinlock（弹性队列自旋锁）
   • 采样中断（NMI）可能打断正在持有锁的上下文切换程序
   • 原有锁实现存在时序漏洞：锁状态更新与持有锁记录表更新不同步

2. 修复方案
   内核维护者Kumar Kartikeya Dwivedi提交的补丁：

   • 调整锁获取流程，确保先更新持有锁记录表再尝试获取锁
   • 优化死锁检测机制，将检查频率从1ms缩短至立即触发
   • 处理多CPU场景下的NMI饥饿问题

根本原因

1. 递归锁场景
   NMI不可屏蔽的特性导致：

   • 上下文切换程序持有锁时被采样中断打断
   • 采样程序尝试获取同一锁，形成递归锁
   • 原有死锁检测因时序问题未能及时触发

2. 性能影响

   • 每次锁冲突导致250ms超时（对应RES_DEF_TIMEOUT默认值）
   • 高频采样时可能引发级联延迟

解决方案

1. 内核补丁
   系列修复已合并至Linux 6.19内核，并反向移植到6.17/6.18版本：

   • 确保锁状态一致性
   • 优化死锁检测响应速度
   • 处理多核竞争场景

2. 临时规避方案
   对于旧版本内核，在用户态丢弃递归发生的NMI事件

经验总结

• 开发环境：使用较新内核（如Arch）可提前发现问题
• 锁设计：NMI场景需要特殊处理的同步机制
• 协作价值：与内核社区的高效合作加速问题解决

该问题暴露了eBPF在非屏蔽中断环境下的锁处理缺陷，最终通过改进rqspinlock的实现得到根本解决。此次调试过程展现了Linux内核深度调试的典型方法和挑战。

评论总结：

1. 对文章的赞赏

• 多位评论者称赞文章写得好，解释清晰有趣（评分：无）
  • "Thanks for the great write-up...very exciting reading"（感谢这篇精彩文章...非常令人兴奋的阅读）
  • "Excellently explained writeup...in a simple interesting way"（解释出色的文章...用简单有趣的方式）

2. 技术讨论

• 关于eBPF自旋锁调试的挑战（评分：无）

  • "eBPF spinlock debugging is...terrifying and fascinating"（eBPF自旋锁调试既可怕又迷人）
  • "The verification challenge is the interesting part"（验证挑战是最有趣的部分）

• 提出解决方案建议（评分：无）

  • "Why not have...use different ringBuffers"（为什么不用不同的ringBuffer）
  • "This way buggy kernels should work properly"（这样有问题的内核也能正常工作）

3. 其他观点

• 关于Kubernetes的评论（评分：无）

  • "kubernetes makes this 10x more complicated"（Kubernetes让事情复杂了10倍）

• 简短赞赏（评分：无）

  • "It is a fantastic write up"（这是一篇很棒的文章）