Kafka是什么
Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。
一个商业化消息队列的性能好坏,其文件存储机制设计是衡量一个消息队列服务技术水平和最关键指标之一。 下面将从Kafka文件存储机制和物理结构角度,分析Kafka是如何实现高效文件存储,及实际应用效果。
Kafka部分名词解释如下:
分析过程分为以下4个步骤:
通过上述4过程详细分析,我们就可以清楚认识到kafka文件存储机制的奥秘。
2.1 topic中partition存储分布
假设实验环境中Kafka集群只有一个broker,xxx/message-folder为数据文件存储根目录,在Kafka broker中server.properties文件配置(参数log.dirs=xxx/message-folder),例如创建2个topic名称分别为report_push、launch_info, partitions数量都为partitions=4 存储路径和目录规则为: xxx/message-folder
- |--report_push-0
- |--report_push-1
- |--report_push-2
- |--report_push-3
- |--launch_info-0
- |--launch_info-1
- |--launch_info-2
- |--launch_info-3
在Kafka文件存储中,同一个topic下有多个不同partition,每个partition为一个目录,partiton命名规则为topic名称+有序序号,第一个partiton序号从0开始,序号最大值为partitions数量减1。 如果是多broker分布情况,请参考kafka集群partition分布原理分析
2.2 partiton中文件存储方式
下面示意图形象说明了partition中文件存储方式:
这样做的好处就是能快速删除无用文件,有效提高磁盘利用率。
2.3 partiton中segment文件存储结构
读者从2.2节了解到Kafka文件系统partition存储方式,本节深入分析partion中segment file组成和物理结构。
下面文件列表是笔者在Kafka broker上做的一个实验,创建一个topicXXX包含1 partition,设置每个segment大小为500MB,并启动producer向Kafka broker写入大量数据,如下图2所示segment文件列表形象说明了上述2个规则:
以上述图2中一对segment file文件为例,说明segment中index<—->data file对应关系物理结构如下:
上述图3中索引文件存储大量元数据,数据文件存储大量消息,索引文件中元数据指向对应数据文件中message的物理偏移地址。 其中以索引文件中元数据3,497为例,依次在数据文件中表示第3个message(在全局partiton表示第368772个message)、以及该消息的物理偏移地址为497。
从上述图3了解到segment data file由许多message组成,下面详细说明message物理结构如下:
2.4 在partition中如何通过offset查找message
例如读取offset=368776的message,需要通过下面2个步骤查找。
从上述图3可知这样做的优点,segment index file采取稀疏索引存储方式,它减少索引文件大小,通过mmap可以直接内存操作,稀疏索引为数据文件的每个对应message设置一个元数据指针,它比稠密索引节省了更多的存储空间,但查找起来需要消耗更多的时间。
3 Kafka文件存储机制–实际运行效果
实验环境:
详细Kafka服务端配置及其优化请参考:kafka server.properties配置详解
从上述图5可以看出,Kafka运行时很少有大量读磁盘的操作,主要是定期批量写磁盘操作,因此操作磁盘很高效。这跟Kafka文件存储中读写message的设计是息息相关的。Kafka中读写message有如下特点:
写message
读message
Kafka高效文件存储设计特点
服务网格(Service Mesh)为服务通信带来了安全性、弹性、可见性,因此使开发人员...
做网站懒得备案,选国外云服务器就能解决这个问题,那么 国外云服务器哪家好 呢?...
许多组织都在努力从分析中获取业务价值。Gartner的调查称,到2022年,只有20%的...
简介: 有一类写多读少的业务场景:大部分请求是对数据进行修改,少部分请求对数...
美国服务器租用已经不是刚刚兴起的业务,对于国内企业用户来讲,至少也有15年的...
Nginx 是一个采用主从架构的 Web 服务器,可用于反向代理、负载均衡器、邮件代理...
在 Node.js 中开启一个 HTTP 服务很简单,如果想使用 Node.js 开启一个 HTTPS 的...
随着虚拟技术的不断成熟,服务器租用在全球的热度日益高涨。虽然国内服务器技术...
在过去的20年中,Progressive雇用了70至90名夏季IT实习生,这些实习生从5月至8月...
本文转载自微信公众号「后端技术指南针」,作者程序员大白啊 。转载本文请联系后...