1. 问题定位与排错思维框架系统性能问题往往表现为用户可感知的卡顿或无响应但背后的成因可能千差万别。在Linux环境下我们需要建立系统化的排错思维框架1.1 现象分类与初步判断当系统出现响应迟缓时首先要区分是全局性性能下降还是局部性问题。全局性问题通常表现为系统负载平均值持续高于CPU核心数多个进程的CPU利用率居高不下内存使用率接近物理上限磁盘I/O等待时间占比过高而局部性问题则可能表现为特定进程占用过多资源某个服务响应时间异常网络连接延迟增加经验提示使用top命令时按1键可查看每个CPU核心的负载情况这对判断是否真正存在CPU瓶颈很有帮助。1.2 性能指标四维度分析法完整的性能分析需要覆盖四个关键维度维度关键指标常用工具CPU用户/系统态时间占比、上下文切换次数top, vmstat, perf内存可用内存、swap使用率、缺页异常free, vmstat, sar磁盘I/O等待时间、吞吐量、队列深度iostat, iotop网络带宽利用率、错误包率、连接状态iftop, netstat, ss1.3 问题复现与监控策略对于偶发性性能问题建立有效的监控策略至关重要使用nohup sar -u -r -d -n DEV 1 3600 monitor.log 进行基础指标采集对关键进程使用strace -p PID -o trace.log记录系统调用配置/proc/sys/kernel/core_pattern确保能生成核心转储文件考虑使用perf record进行性能采样2. 挂起问题深度诊断2.1 进程状态解析Linux进程状态是诊断挂起问题的关键线索R 运行中/可运行 S 可中断睡眠(通常等待I/O) D 不可中断睡眠(常见于磁盘I/O) T 已停止 Z 僵尸进程当大量进程处于D状态时通常意味着存储子系统出现瓶颈。此时需要使用dmesg检查内核日志是否有硬件错误通过iostat -x 1查看设备响应时间(%util和await)检查/sys/block/sdX/queue下的调度器配置2.2 死锁检测技术对于应用程序挂起常见的死锁检测方法包括使用pstack PID获取线程堆栈通过gdb -p PID附加到进程检查锁状态Java应用可用jstack或jcmd PID Thread.print对于Python应用faulthandler模块可生成堆栈跟踪2.3 内存问题诊断内存泄漏导致的挂起往往伴随可用内存持续减少swap使用率逐步上升OOM killer被触发诊断工具链# 实时内存监控 watch -n 1 ps -eo pid,comm,%mem --sort-%mem | head # 检测内存泄漏 valgrind --leak-checkfull ./application # 分析/proc/PID/smaps cat /proc/PID/smaps | grep -i swap3. 性能优化实战技巧3.1 CPU瓶颈优化当CPU成为瓶颈时可考虑使用perf top定位热点函数通过taskset绑定进程到特定核心调整进程nice值检查中断平衡(/proc/interrupts)关键参数/proc/sys/kernel/sched_min_granularity_ns控制调度粒度3.2 存储性能调优针对磁盘I/O问题使用blktrace分析I/O路径考虑更换I/O调度器(deadline/noop/cfq)调整vm.dirty_ratio/vm.dirty_background_ratio对数据库应用设置正确的filesystem mount选项(noatime,nodiratime)3.3 网络优化要点网络延迟问题排查ss -ti查看TCP连接状态ethtool -S eth0检查网卡统计调整TCP缓冲区大小(net.ipv4.tcp_rmem/wmem)考虑启用TCP快速打开(net.ipv4.tcp_fastopen)4. 典型案例分析4.1 案例NFS挂载导致系统卡顿现象执行ls命令时系统无响应 诊断步骤ps auxf发现多个进程处于D状态mount显示有NFS挂载点rpcinfo -p检查NFS服务可用性tcpdump -i eth0 port 2049抓包分析解决方案增加NFS挂载timeout参数(timeo30)使用hard替代soft挂载选项考虑本地缓存方案(cachefilesd)4.2 案例Java应用周期性停顿现象每5分钟出现10秒服务无响应 诊断过程jstat -gcutil PID 1s观察GC情况发现Full GC与停顿时间吻合分析heap dump确认内存使用模式调整G1垃圾回收器参数最终方案增加-XX:G1ReservePercent设置-XX:InitiatingHeapOccupancyPercent35添加GC日志监控4.3 案例数据库查询突然变慢排查路径SHOW PROCESSLIST查看活跃查询检查information_schema.innodb_trx分析slow query log使用pt-query-digest定位问题SQL优化措施添加缺失索引优化JOIN顺序调整innodb_buffer_pool_size考虑查询缓存策略5. 工具链深度解析5.1 SystemTap实战SystemTap脚本示例(检测进程阻塞)probe scheduler.cpu_on { if (task_utime(task_prev) task_utime(task_next)) { printf(pid %d blocked for %d us\n, task_pid(task_prev), gettimeofday_us() - task_prev-timestamp); } }5.2 BPF/BCC工具集常用BPF工具opensnoop跟踪文件打开操作execsnoop监控新进程创建runqlat测量CPU调度延迟biolatency统计块设备I/O延迟5.3 火焰图生成与分析生成CPU火焰图步骤perf record -F 99 -a -g -- sleep 30 perf script | stackcollapse-perf.pl | flamegraph.pl cpu.svg关键分析技巧看最宽的山峰定位热点注意平顶表示CPU饱和对比不同时间点的火焰图6. 预防性维护策略6.1 基线性能建立建议采集的基线指标sar -A全系统数据df -iinode使用情况conntrack -L连接跟踪表大小ulimit -a系统限制6.2 告警阈值设置关键告警项磁盘空间使用率 85%内存可用量 10%CPU steal时间 5%TCP重传率 1%6.3 压力测试方法推荐工具组合stress-ng模拟各种负载fio存储性能测试wrkHTTP压力测试tc模拟网络延迟测试时监控要点dstat -tcmnd --disk-util --top-cpu --top-mem