perf工具可直接采集和统计syscall级别延迟：先用perf record捕获sys_enter/sys_exit事件，再用perf script解析时间差，或用perf probe动态加探针，最后通过perf report分析热点、perf stat统计均值。
如果您希望分析Linux系统中系统调用的延迟表现，perf工具可直接采集和统计syscall级别的时延分布。以下是使用perf完成该任务的具体操作路径：
一、使用perf record捕获系统调用延迟事件
perf record可基于内核tracepoint机制，对sys_enter和sys_exit事件进行配对采样，从而推导单次系统调用耗时。需启用ftrace backend并确保内核配置支持syscall tracepoints。
1、执行sudo perf record -e 'syscalls:sys_enter_*' -e 'syscalls:sys_exit_*' -a -- sleep 10
2、等待10秒后自动停止记录，生成perf.data文件
3、运行sudo perf script > syscall_trace.log将原始事件流导出为文本
二、使用perf script解析调用延迟
perf script输出包含每个系统调用进入与退出的时间戳（以纳秒为单位），通过脚本可计算差值并筛选高延迟样本。无需额外编译工具，仅依赖perf自带解析能力。
1、执行sudo perf script -F comm,pid,tid,cpu,time,event,ip,sym -F trace:syscalls:sys_enter_* -F trace:syscalls:sys_exit_* > raw_syscall.log
2、提取含时间戳与事件名的行：grep -E "sys_enter_|sys_exit_" raw_syscall.log > filtered.log
3、编写awk脚本对同一pid/tid下相邻的sys_enter_*与对应sys_exit_*行计算时间差
三、使用perf probe动态添加延迟探针
当标准tracepoint未覆盖目标系统调用（如某些架构特定或新引入syscall）时，perf probe可通过内核符号定位入口/出口函数地址，插入kprobe/kretprobe实现毫秒级延迟测量。
1、查询系统调用号对应函数：cat /usr/include/asm-generic/unistd_64.h | grep write
2、添加进入探针：sudo perf probe -x /lib/modules/$(uname -r)/build/vmlinux 'SyS_write %reg' --force
3、添加返回探针：sudo perf probe -x /lib/modules/$(uname -r)/build/vmlinux 'SyS_write%return $retval' --force
4、启用探针并记录：sudo perf record -e probe:SyS_write -e probe:SyS_write__return -a -- sleep 5
四、使用perf report交互式查看延迟热点
perf report可将perf.data中采样的延迟事件按调用栈或系统调用名聚合，识别高频高延迟syscall及其上下文。支持TUI界面实时过滤与钻取，适用于快速定位问题模块。
1、运行sudo perf report -n --sort comm,dso,symbol --no-children
2、在交互界面中按/键输入"sys_"搜索所有系统调用相关条目
3、选中某syscall行后按Enter展开其调用栈，观察延迟占比最高的一级函数
4、按s键保存当前视图至report_syscall.txt
五、使用perf stat统计全局系统调用延迟均值
perf stat提供轻量级聚合统计，不记录单次事件，但能快速获得指定时间段内所有系统调用的平均延迟、最大延迟及总次数。适合日常巡检与基线比对。
1、执行sudo perf stat -e 'syscalls:sys_enter_*' -e 'syscalls:sys_exit_*' -I 1000 -a -- sleep 30
2、观察每秒输出块中的syscalls:sys_enter_* 和 syscalls:sys_exit_* 的事件计数差值
3、结合--log选项将结果重定向至日志：sudo perf stat -e 'syscalls:sys_enter_*' -e 'syscalls:sys_exit_*' --log-fd 1 -- sleep 10 2>&1 | grep "syscalls"
