前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >后台开发必备知识——过载、过载保护、过载预防

后台开发必备知识——过载、过载保护、过载预防

原创
作者头像
windealli
修改2018-09-05 19:39:19
5K1
修改2018-09-05 19:39:19
举报
文章被收录于专栏:windealliwindealli

过载与服务器雪崩

过载: 系统负载超过系统最大的处理能力。

服务器雪崩: 服务器的处理能力陡降,低于系统原本能达到的最大处理能力。

系统过载处理不当会造成服务器雪崩: 系统过载时,CPU、内存等资源达到瓶颈,系统响应会变慢。这时可能会发生大量的请求重试或系统内部重试,进一步加剧系统负载,产生恶性循环,导致系\

统处理能力急剧下降(服务器雪崩)。

服务器雪崩
服务器雪崩

如图所示,假设系统的负载为600请求/秒,当请求数超过600时,由于发生了大量的内部重试和资源竞争,能够有效返回的请求数会发生陡降,最后远低于600.这就是我们所的服务器雪崩。

理论上,系统的负载为600请求每秒的话,即使每秒访问量大于负载,也应该至少能有效返回接近600的请求。过载保护就是为了能够保证这一点。

过载保护
过载保护
系统过载的原因
  1. 访问量过大,(某个时间内访问量过大,或突增)
  2. 系统内部瓶颈、故障。(系统内部故障会导致系统的处理能力下降,从而容易引发过载。)
  3. 后端故障、延迟。(后端处理能力的下降会影响到本系统的响应能力)

过载预防与过载保护

系统过载可能导致服务器雪崩,系统设计时要尽可能预防过载,并且要考虑过载发生时如何尽可能不让系统发生性能雪崩。

过载预防和过载保护的解决方案没有进行严格区分,很多方案同时具有双方面的作用。

设计过载预防、过载保护的方案时,可以从过载的产生原因入手。

过载预防和过载保护的解决方案

轻重分离

轻重分离是指对系统的服务内容进行细分,分离部署系统服务,避免局部的过载扩散到全局。

负载均衡

负载均衡可以避免单机过载过载,保证系统整体处理能力处在较好的状态。

灰度发布

系统过载可能是由于自身故障导致的, 其引发原因可能是系统升级(新版本存在bug),灰度发布可以缩小影响范围。

流量控制

系统可以通过流量控制避免系统过载。

通过限制最大的并发连接数,避免过载。

重试频率控制

系统过载时,由于请求发生延时,前端通常会发起重试,如果重试频率过大,则必然造成服务器雪崩。因此可以通过限制请求的访问频率,避免过载或服务器雪崩。

监控告警

系统监控自身状态,当系统负载达到警戒值时,系统除了自身要采取相应措施外,还应该反馈给后端和客户端。

最大处理时延控制

系统要限制一个请求的最大处理时延,避免因为请求的处理时延过长而导致系统过载。

后端延迟时间控制

后端延迟经常要大于本地延迟时间,因此限制后端延迟时间也是避免系统过载的重要手段。

过载保护的策略

前面介绍了一些过载预防和过载保护的具体方法,就过载保护而言,主要是使用了以下策略:

  • 快速返回策略: 利用监控告警的,client获取server状态,如果认定其不可用,则不需要再把请求发给Server。请求快速返回。
  • 快速拒绝策略: Server根据自身状态,拒绝掉一些请求。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 过载与服务器雪崩
    • 系统过载的原因
    • 过载预防与过载保护
      • 过载预防和过载保护的解决方案
        • 轻重分离
        • 负载均衡
        • 灰度发布
        • 流量控制
        • 重试频率控制
        • 监控告警
        • 最大处理时延控制
        • 后端延迟时间控制
      • 过载保护的策略
      相关产品与服务
      负载均衡
      负载均衡(Cloud Load Balancer,CLB)提供安全快捷的流量分发服务,访问流量经由 CLB 可以自动分配到云中的多台后端服务器上,扩展系统的服务能力并消除单点故障。负载均衡支持亿级连接和千万级并发,可轻松应对大流量访问,满足业务需求。
      领券
      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
      http://www.vxiaotou.com