Kafka作为一款热门的消息队列中间件,具备高效可靠的消息异步传递机制,主要用于不同系统间的数据交流和传递,在企业解决方案、金融支付、电信、电子商务、社交、即时通信、视频、物联网、车联网等众多领域都有广泛应用。
将业务中属于非核心或不重要的流程部分,使用消息异步通知的方式发给目标系统,这样主业务流程无需同步等待其他系统的处理结果,从而达到系统快速响应的目的。
如网站的用户注册场景,在用户注册成功后,还需要发送注册邮件与注册短信,这两个流程使用Kafka消息服务通知邮件发送系统与短信发送系统,从而提升注册流程的响应速度。
在电子商务系统或大型网站中,上下游系统处理能力存在差异,处理能力高的上游系统的突发流量可能会对处理能力低的某些下游系统造成冲击,需要提高系统的可用性的同时降低系统实现的复杂性。电商大促销等流量洪流突然来袭时,可以通过队列服务堆积缓存订单等信息,在下游系统有能力处理消息的时候再处理,避免下游订阅系统因突发流量崩溃。消息队列提供亿级消息堆积能力,3天的默认保留时长,消息消费系统可以错峰进行消息处理。
另外,在商品秒杀、抢购等流量短时间内暴增场景中,为了防止后端应用被压垮,可在前后端系统间使用Kafka消息队列传递请求。
在大型业务系统设计中,为了快速定位问题,全链路追踪日志,以及故障及时预警监控,通常需要将各系统应用的日志集中分析处理。
Kafka设计初衷就是为了应对大量日志传输场景,应用通过可靠异步方式将日志消息同步到消息服务,再通过其他组件对日志做实时或离线分析,也可用于关键日志信息收集进行应用监控。
日志同步主要有三个关键部分:日志采集客户端,Kafka消息队列以及后端的日志处理应用。
上图中Logstash、ElasticSearch分别为日志分析和检索的开源工具,Hadoop表示大数据分析系统。
基本介绍 赫夫曼编码也翻译为(哈夫曼编码)Huffman Coding,又称为霍夫曼编码,是...
背景: 团队要发布一组应用,springboot开发的ws应用。然后需要对外。支持ws wss...
2020年以来,“数字孪生”不再只是一种技术,而是一种发展新模式、一个转型的新...
华为云CDN在中国大陆境内有2000+加速节点,覆盖所有省份、自治区、直辖市,在中...
本文以电商平台的日志为例,为您介绍Log4j日志的分析操作。 前提条件 已采集Log4...
腾讯云自动化助手 API 升级到 3.0 版本。全新的 API 接口文档更加规范和全面,统...
一、什么是数据挖掘 数据挖掘(Data Mining),又称为数据库中的知识发现(Knowledg...
日本导演矢口史靖曾拍过一部自灾难喜剧电影《生存家族》,讲述了某天全球突然停...
服务地址(Endpoint)是您访问函数计算服务的地址。您需要结合您的阿里云账号与...
功能介绍 查询提交请求的租户有权限操作的所有浮动IP地址。单次查询最多返回2000...