当前位置:主页 > 查看内容

内容分发网络 统计分析问题 - 常见问题

发布时间:2021-10-10 00:00| 位朋友查看

简介:访问监控中的带宽数据是如何统计的? 各 CDN 节点会实时采集流量数据,上报至计算中心,汇总为域名总流量数据。按照时间周期,使用流量/时间,折算为带宽数据进行展示。 例如: 某1分钟产生的总流量为6MB,则对应的带宽为(6 * 8)/ 60 = 0.8Mbps。 带宽计费……

访问监控中的带宽数据是如何统计的?

各 CDN 节点会实时采集流量数据,上报至计算中心,汇总为域名总流量数据。按照时间周期,使用流量/时间,折算为带宽数据进行展示。
例如:

  • 某1分钟产生的总流量为6MB,则对应的带宽为(6 * 8)/ 60 = 0.8Mbps。
  • 带宽计费时使用5分钟粒度数据结算,则对应带宽值 = 5分钟粒度总流量 ÷ 300秒。

为什么监控流量与日志计算流量对不上,有什么区别?

加速域名日志中记录的下行字节数统计而来的流量数据,是应用层数据。在实际网络传输中,产生的网络流量要比纯应用层流量多5% - 15%。

  • TCP/IP 包头消耗:基于 TCP/IP 协议的 HTTP 请求,每一个包的大小最大是1500个字节,包含了 TCP 和 IP 协议的40个字节的包头,包头部分会产生流量,但是无法被应用层统计到,这部分的开销大致为3%左右。
  • TCP 重传:正常网络传输过程中,发送的网络包会有3% - 10%左右会被互联网丢掉,丢掉后服务器会对丢弃的部分进行重传,此部分流量应用层也无法统计,占比约为3% - 7%。

在业内标准中,计费用流量一般在应用层流量的基础上加上上述开销,腾讯云 CDN 取10%,因此监控流量约为日志计算流量的110%。

如何计算流量命中率?

CDN 默认为用户开启二级缓存(边缘层、中间层),只要由 CDN 任意一个层级命中,响应请求,则算做命中 CDN 节点。
流量命中率 =(总下行流量 - 回源流量)/ 总下行流量。

如何处理流量命中率偏低问题?

  • 检查是否进行了缓存刷新:缓存刷新会清空节点上指定内容,短时间会出现命中率下降的情况。
  • 检查源站是否上新资源:源站上新资源较多,会引起 CDN 节点回源,流量命中率会出现下降趋势。
  • 检查源站是否异常:若源站出现故障,5XX或4XX较多时,也会影响流量命中率。
  • 检查缓存过期策略是否配置正确:查看控制台缓存配置中“缓存过期配置”部分,缓存过期规则优先级为从上到下,从低到高,即下部的缓存策略会覆盖上部的缓存策略。
  • 检查是否开启 Range 回源:查看控制台回源配置中 “Range 回源”部分,若关闭了 Range 回源,会导致回源时拉取整个大文件,而不是按照请求时分片拉取,会拉高回源流量,从而影响流量命中率。
  • 检查是否开启过滤参数:查看控制台访问配置中“过滤参数”部分,若关闭了过滤参数,则按照全路径缓存,同一资源不同参数请求时,无法匹配会缓存多份,从而影响流量命中率。

状态码统计会统计所有产生的状态码吗?

会,CDN 统计分析新版上线后,只要是源站产生的状态码,都会产生对应的监控曲线,方便您排查异常问题。

如何计算省份、运营商统计数据?

省份、运营商统计数据,是从访问日志中利用 client IP 信息计算而来的,由于采用的是纯日志计算,因此累加起来与选择“全部省份”、“全部运营商”时,采用的计费数据存在一定差值,具体原因详情请参考上述 第二个问题。

CDN 回源流量是怎么产生的?

以下三种情况会产生 CDN 回源流量:

  1. CDN 节点上没有资源,需要到源站拉取的时候。
  2. 手动刷新源站时同步到节点的时候。
  3. 源站刷新时间到了自动刷新的时候。

CDN 流量异常/遭受 DDOS、CC 攻击。

您好,如果您认为您的业务访问量并不大,可以下载日志根据您的业务访问情况,来做出相关访问限制。CDN 并不清楚您的业务逻辑,所以默认是不会对访问作出限制的,需要您自行按照业务情况去配置,详情请参见 高额账单风险警示。
为避免您的站点被盗刷流量或者遭遇类似 CC、DDOS 等攻击,强烈建议做如下配置:

  1. 防盗链配置:对业务资源的访问来源进行控制,通过对用户 HTTP Request Header 中 referer 字段的值设置访问控制策略,从而限制访问来源,避免恶意用户盗刷。详情请参见 防盗链配置。
  2. IP黑白名单配置:您可以根据业务需要对用户请求的源 IP 配置过滤策略,帮助您解决恶意 IP 盗刷、攻击等问题,详情请参见 IP 黑白名单配置。
  3. IP访问限频配置:通过对客户端 IP 在每一个节点每一秒钟访问次数进行限制,进行 CC 攻击的抵御。配置开启后,超出QPS限制的请求会直接返回514,设置较低频次限制可能会影响您的正常高频用户的使用,请根据业务情况、使用场景合理设置阈值,详情请参见 IP 访问限频配置。
  4. 带宽封顶配置:您可以对域名设置带宽封顶阈值,当域名在一个统计周期(5分钟)内产生的带宽超过指定阈值时,会根据您的配置将所有访问返回给源站,或直接关闭 CDN 服务,所有访问均返回 404,详情请参见 带宽封顶配置。
说明:

您也可以使用 安全加速 ,在为您业务提供快速稳定的内容分发服务的基础上,提供全面的网络攻击防护能力。

请问使用 API 接口查询数据时会有延迟吗,延迟有多大?

使用 API 查询数据是有一定延迟的。访问数据、计费数据等的实时数据查询,时延在5-10分钟左右,TOP 数据等分析类的查询时延在半小时左右。后台在凌晨3点左右会对数据进行校准。


本站部分内容转载于网络,版权归原作者所有,转载之目的在于传播更多优秀技术内容,如有侵权请联系QQ/微信:153890879删除,谢谢!
上一篇:内容分发网络 缓存刷新问题 - 常见问题 下一篇:没有了

推荐图文

  • 周排行
  • 月排行
  • 总排行

随机推荐