定位Linux锁竞争需综合perf、/proc/PID/stack、ftrace、mtxstat和pstack/gdb：一、perf捕获futex系统调用并统计WAIT次数；二、查/proc/PID/stack确认futex_wait阻塞；三、ftrace跟踪futex_wait/wake路径；四、读/proc/sys/kernel/mtxstat的mutex_contended值；五、pstack/gdb分析pthread_mutex用户态阻塞点。
如果您在排查Linux系统性能瓶颈时怀疑存在锁竞争问题，尤其是线程频繁阻塞于互斥操作，则很可能是futex等待或内核锁争用所致。以下是定位和分析锁竞争状态的具体方法：
一、使用perf工具捕获futex相关事件
perf可直接追踪内核中与futex系统调用相关的调度行为，识别高频率的FUTEX_WAIT/FUTEX_WAKE路径，反映锁争用强度。
1、执行perf record命令捕获futex系统调用事件，持续30秒：
perf record -e 'syscalls:sys_enter_futex' -g -- sleep 30
2、生成火焰图或调用栈报告：
perf script | stackcollapse-perf.pl | flamegraph.pl > futex_flame.svg
3、过滤并统计FUTEX_WAIT调用次数：
perf script | awk '$3 ~ /sys_enter_futex/ && $NF ~ /FUTEX_WAIT/ {count++} END {print "FUTEX_WAIT count:", count}'
二、解析/proc/[pid]/stack与/proc/[pid]/status中的锁状态
每个进程的内核栈快照可暴露当前是否阻塞在futex_wait_queue_me等函数上，/proc/[pid]/status则提供线程锁等待的直观标识。
1、查找处于TASK_INTERRUPTIBLE或TASK_UNINTERRUPTIBLE状态的线程：
ps -eo pid,comm,wchan:20,state,tid --sort=-time | head -20
2、对疑似阻塞线程（state为D或S），查看其内核栈：
cat /proc/PID/stack
3、检查该线程是否停在futex_wait或__x64_sys_futex调用点：
grep -q "futex_wait\|__x64_sys_futex" /proc/PID/stack && echo "thread is futex-blocked"
三、利用ftrace动态跟踪futex关键路径
ftrace提供低开销的内核函数级追踪能力，可精确捕获mutex_lock、mutex_unlock及底层futex_wait/wake的调用链与耗时分布。
1、启用futex相关tracepoint：
echo 1 > /sys/kernel/debug/tracing/events/futex/futex_wait/enable
echo 1 > /sys/kernel/debug/tracing/events/futex/futex_wake/enable
2、启动追踪并限定输出长度：
echo 1 > /sys/kernel/debug/tracing/tracing_on
sleep 10
echo 0 > /sys/kernel/debug/tracing/tracing_on
3、读取原始trace日志并提取关键字段：
cat /sys/kernel/debug/tracing/trace | awk '/futex_wait|futex_wake/ {print $1,$2,$3,$4,$5,$6,$7}' | head -50
四、检查/proc/sys/kernel/mtxstat中的mutex_contended计数
Linux内核自4.12起在某些配置下导出mutex_contended统计值，该值表示因互斥锁不可用而进入内核等待队列的次数，是锁竞争的直接量化指标。
1、确认内核是否启用CONFIG_DEBUG_MUTEXES选项：
zcat /proc/config.gz | grep CONFIG_DEBUG_MUTEXES 2>/dev/null || grep CONFIG_DEBUG_MUTEXES /boot/config-$(uname -r)
2、若已启用，读取全局锁竞争计数：
cat /proc/sys/kernel/mtxstat 2>/dev/null | grep -o "mutex_contended:[0-9]*"
3、对比不同时间段增长速率：
watch -n 5 'cat /proc/sys/kernel/mtxstat 2>/dev/null | grep mutex_contended'
五、通过pstack与gdb分析用户态pthread_mutex阻塞点
当应用层使用pthread_mutex_t时，glibc通过futex实现阻塞，pstack可快速定位线程是否卡在__lll_lock_wait_private等内部函数，表明已进入内核等待。
1、获取目标进程所有线程的C语言级调用栈：
pstack PID > stack.txt
2、筛选含锁等待特征的栈帧：
grep -A5 -B5 "__lll_lock_wait\|futex_wait\|pthread_mutex_lock" stack.txt
3、对特定线程使用gdb附加并检查mutex结构体状态：
gdb -p TID -ex "p ((pthread_mutex_t*)0xADDR)->__data.__lock" -ex "quit"
