文转载自微信公众号「菜鸟飞呀飞」,作者刘进坤 。转载本文请联系菜鸟飞呀飞公众号。
前言
这是面试阿里时的一道题,也是平时工作中处理线上问题经常遇到的一类问题,所以耐心看完吧,无论是工作还是面试,帮助都很大。
首先线上接口变慢,原因可能有很多,有可能是网络,有可能是慢 SQL,有可能是服务本身出现了问题,还有可能是机器达到了性能瓶颈。而机器性能瓶颈也又可以分为磁盘 IO 瓶颈、CPU 性能瓶颈、网卡瓶颈等等,本文主要从 CPU 出现性能瓶颈这个角度来分析下问题出现在哪儿。
为什么选 CPU 来分析呢?这是因为这通常是我们排查问题的第一步,自下而上排查,而通过 CPU 往往能帮助我们分析出问题出现在哪儿。
top
首先使用 top 命令,可以看到机器有多少个 CPU,以及 CPU 过去 1 分钟、5 分钟、15 分钟的平均负载,各个 CPU 的使用率等信息。今天主要分析下 CPU 的负载和使用率的区别,这两个指标经常容易搞混。
CPU 的负载(load)和使用率(utilization)
首先,需要明确的是,CPU 的负载(load)和使用率这两个指标并不是一码事。第一,它们的计算公式不一样,也就是说它们所代表的含义也就不一样;第二,这两个指标如果异常,我们排查问题的方向也就不同。
负载的计算公式
load = (D+R)/SUM(ALL)
D 和 R 是什么意思呢?
一台 linux 机器在运行时会有很有很多进程,这些进程按照状态可以细分为 7 类:
「因此 D+R 表示的是机器的整体负载,即 CPU 负载(正在运行着的进程)+Disk 负载+网络负载+其他外设负载,当出现负载高时,那么问题可能不仅仅出现在 R 态的进程,还有可能是磁盘和网络 IO 引起的。」
CPU 的使用率
CPU 是分时间片运行的,每个时间片会分配给一个进程(或者线程)。
CPU 的使用率 = CPU 执行非系统空闲进程的时间 / CPU 总的执行时间
CPU 总的执行时间又可以细分为四大类:
1.用户进程使用时间(User Time)
2.系统内核使用时间(System Time)
3.被抢占的时间(Steal Time)
4.空闲时间(Idle Time)
因此,当 CPU 的使用率较高的时候,问题可能出现在用户进程,也可能出现在系统内核,究竟是谁导致的,可以通过机器表现出来的现象或者其他的命令工具去排查(看下文)。
负载高使用率低
这种情况是通常是由于 D 状态(不可中断的睡眠状态)的进程数过多导致的,即 CPU 使用率不高,但是 IO 负载很高。因此需要进一步定位是磁盘 IO 导致的,还是网络 IO 导致的。
如何查看磁盘 IO 相关的信息呢?
可以使用命令 「iostat -x 2 5」 去查看,还可以使用 iotop 和 pidstat 查看进程的 IO 情况。
负载高且使用率高
负载高且使用率高这种情况产生的原因比较多,大概可以分为下面三大类.
1.sys 高。这个时候需要进一步查看上下文的切换(可以通过 vmstat 命令)
i. 如果是非自愿上下文切换,这种情况可能是由于 cpu 资源抢占比较激烈,由于时间片已到的原因,被系统强制调度,进而发生上下文的切换。
ii. 如果是自愿上下文切换,这种情况可能存在大量 IO 操作或者内存等系统资源存在瓶颈,大量进程无法获取到系统资源,导致上下文切换。可以使用 iostat 查看 IO 情况后者 free 查看内存情况
2.si 高,需要进一步查看软中断的类型。中断相关的信息存储在/proc/softirqs (软中断)、/proc/interrupts(硬中断),可以通过 cat 命令查看。si 高通常可能是网络 IO 或者线程调度引起的,其中软中断又可以分为两大类:
a). NET_TX 和 NET_RX NET_TX 指的是发送网络包的软中断,NET_RX 指的是接收网络包的软中断。如果这两者较高,那么就是系统的网络 IO 存在瓶颈的可能性较大
b). SCHED 进程调度或者负载均衡引起的中断,这种中断出现较多时,通常伴随进程的上下文切换,一般与非自愿上下文切换一同出现,可能存在 CPU 瓶颈
3..us 高,这表示用户进程占用 CPU 较高。可能出现的问题是:
代码出现死循环,此时表现为多核 CPU 均出现 us 较高。(top 和 jstack 定位具体线程的堆栈)
程序属于 CPU 密集计算型,此时表现为多核 CPU 出现 us 较高
内存问题,出现 Full GC,通常只有单核 CPU 的 us 较高(jstat -util pid)
资源等待造成线程池满,引发 CPU 使用率飙高,通常伴随线程池异常出现(查看应用日志)
如果是代码死循环问题,这种问题比较简单,通常的定位手段为:先使用 top 查询出占用 CPU 使用率最高的进程 ID(pid),然后使用 「top -H -p pid」 命令查询出 pid 这个进程中占用 CPU 资源最高的线程 id,此时查询出来的线程 id 为十进制,还需要将十进制的线程 id 转换为 16 进制,可以使用如下命令:「printf "0x%x" 线程 id」,接着使用「jstack pid 线程 id」 查看该线程的堆栈信息了,根据堆栈信息就可以快速定位代码中哪儿出现了死循环。
如果是 GC 问题,可以使用「jstat -util pid 1000」 命令,每隔 1 秒中打印一下 JVM 中新老年代各个区域的使用情况,系统多久发生一次 Full GC,每次 GC 花费的时间。
神秘项目我是CPU一号车间的阿Q,是的,我又来了。 最近一段时间,我几次下班约隔...
1492年,哥伦布发现了新大陆,开创了大航海时代,让世界实现了跨洲际连接;1969年...
临近2019年末,苹果正式发布了MacBook Pro 16英寸,外观没有太大变化,相比MacBo...
在单核CPU基本绝迹的现在,处理器核心数量基本上只有多和更多的区别。 Intel十代...
今年初的黑天鹅事件导致全球经济出现了波动,也在方方面面都对企业的办公方式产...
对SSD硬盘来说,随着TLC、QLC闪存占据主流,性能、可靠性问题日益突出,用久了还...
很多玩家在选购显卡的时候都会比较好奇,为什么同型号同芯片的显卡价格会相差那...
7月15日,联想ThinkStation家族新成员ThinkStation K将在京东平台全新发布。Thin...
来自市场研究公司Omdia的最新报告表示,苹果发布了其最新的Mac和MacBook系列产品...
本文可以了解什么? DDR-DDR4内存模块的差异以及对比; 逻辑BANK的概念与定义; 芯...