当前位置:主页 > 查看内容

【kafka运维】ConfigCommand命令详解(2)

发布时间:2021-07-18 00:00| 位朋友查看

简介:ConfigCommandConfig相关操作; 动态配置可以覆盖默认的静态配置;1.查询配置Topic配置查询展示关于Topic的动静态配置 1.查询单个Topic配置(只列举动态配置) sh bin/kafka-configs.sh --describe --bootstrap-server xxxxx:9092 --topic test_create_topic 或……

0 (1).png

ConfigCommandConfig相关操作; 动态配置可以覆盖默认的静态配置;1.查询配置Topic配置查询展示关于Topic的动静态配置

1.查询单个Topic配置(只列举动态配置)

sh bin/kafka-configs.sh --describe --bootstrap-server xxxxx:9092 --topic test_create_topic
或者
sh bin/kafka-configs.sh --describe --bootstrap-server 172.23.248.85:9092 --entity-type topics --entity-name test_create_topic

2.查询所有Topic配置(包括内部Topic)(只列举动态配置)
sh bin/kafka-configs.sh --describe --bootstrap-server 172.23.248.85:9092 --entity-type topics

3.查询Topic的详细配置(动态+静态)

只需要加上一个参数--all其他配置/clients/users/brokers/broker-loggers 的查询同理 ;只需要将--entity-type 改成对应的类型就行了 (topics/clients/users/brokers/broker-loggers)查询kafka版本信息sh bin/kafka-configs.sh --describe --bootstrap-server xxxx:9092 --version

所有可配置的动态配置 请看最后面的 附件 部分

2 增删改 配置 --alter

--alter

删除配置: --delete-config k1=v1,k2=v2
添加/修改配置: --add-config k1,k2
选择类型: --entity-type (topics/clients/users/brokers/broker-

 loggers)

类型名称: --entity-name

Topic添加/修改动态配置

--add-config

sh bin/kafka-configs.sh --bootstrap-server xxxxx:9092 --alter --entity-type topics --entity-name test_create_topic1 --add-config file.delete.delay.ms=222222,retention.ms=999999 Topic删除动态配置

--delete-config

sh bin/kafka-configs.sh --bootstrap-server xxxxx:9092 --alter --entity-type topics --entity-name test_create_topic1 --delete-config file.delete.delay.ms,retention.ms 其他配置同理,只需要类型改下--entity-type类型有: (topics/clients/users/brokers/broker- loggers)

哪些配置可以修改 请看最后面的附件:ConfigCommand 的一些可选配置

附件

ConfigCommand 的一些可选配置

Topic相关可选配置

keyvalue示例cleanup.policy清理策略 compression.type压缩类型(通常建议在produce端控制) delete.retention.ms压缩日志的保留时间 file.delete.delay.ms flush.messages持久化message限制 flush.ms持久化频率 follower.replication.throttled.replicasflowwer副本限流 格式:分区号:副本follower号,分区号:副本follower号0:1,1:1index.interval.bytes leader.replication.throttled.replicasleader副本限流 格式:分区号:副本Leader号0:0max.compaction.lag.ms max.message.bytes最大的batch的message大小message.downconversion.enablemessage是否向下兼容 message.format.versionmessage格式版本message.timestamp.difference.max.ms message.timestamp.type min.cleanable.dirty.ratio min.compaction.lag.ms min.insync.replicas最小的ISR preallocate retention.bytes日志保留大小(通常按照时间限制) retention.ms日志保留时间 segment.bytessegment的大小限制 segment.index.bytes segment.jitter.ms segment.mssegment的切割时间 unclean.leader.election.enable是否允许非同步副本选主

Broker相关可选配置

keyvalue示例advertised.listeners background.threads compression.type follower.replication.throttled.rate leader.replication.throttled.rate listener.security.protocol.map listeners log.cleaner.backoff.ms log.cleaner.dedupe.buffer.size log.cleaner.delete.retention.ms log.cleaner.io.buffer.load.factor log.cleaner.io.buffer.size log.cleaner.io.max.bytes.per.second log.cleaner.max.compaction.lag.ms log.cleaner.min.cleanable.ratio log.cleaner.min.compaction.lag.ms log.cleaner.threads log.cleanup.policy log.flush.interval.messages log.flush.interval.ms log.index.interval.bytes log.index.size.max.bytes log.message.downconversion.enable log.message.timestamp.difference.max.ms log.message.timestamp.type log.preallocate log.retention.bytes log.retention.ms log.roll.jitter.ms log.roll.ms log.segment.bytes log.segment.delete.delay.ms max.connections max.connections.per.ip max.connections.per.ip.overrides message.max.bytes metric.reporters min.insync.replicas num.io.threads num.network.threads num.recovery.threads.per.data.dir num.replica.fetchers principal.builder.class replica.alter.log.dirs.io.max.bytes.per.second sasl.enabled.mechanisms sasl.jaas.config sasl.kerberos.kinit.cmd sasl.kerberos.min.time.before.relogin sasl.kerberos.principal.to.local.rules sasl.kerberos.service.name sasl.kerberos.ticket.renew.jitter sasl.kerberos.ticket.renew.window.factor sasl.login.refresh.buffer.seconds sasl.login.refresh.min.period.seconds sasl.login.refresh.window.factor sasl.login.refresh.window.jitter sasl.mechanism.inter.broker.protocol ssl.cipher.suites ssl.client.auth ssl.enabled.protocols ssl.endpoint.identification.algorithm ssl.key.password ssl.keymanager.algorithm ssl.keystore.location ssl.keystore.password ssl.keystore.type ssl.protocol ssl.provider ssl.secure.random.implementation ssl.trustmanager.algorithm ssl.truststore.location ssl.truststore.password ssl.truststore.type unclean.leader.election.enable

Users相关可选配置

keyvalue示例SCRAM-SHA-256 SCRAM-SHA-512 consumer_byte_rate针对消费者user进行限流 producer_byte_rate针对生产者进行限流 request_percentage请求百分比

clients相关可选配置

keyvalue示例consumer_byte_rate producer_byte_rate request_percentage 关于作者:石臻臻的杂货铺, 专注于 Java领域、大数据领域 等知识分享, 内容多为 原理 、源码、实战 等等, 坚持输出干货,所写内容必定经过验证,并深入源码分析,保证内容准确性, 长期在CSDN、和公众号【石臻臻的杂货铺】发布原创文章,欢迎关注! 如果有相关技术领域问题,欢迎进群交流,各个领域都有专人解答,你所问的,都会得到回应! 欢迎Star和共建由滴滴开源的kafka的管理平台 满足所有开发运维日常需求

滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台

本文转自网络,原文链接:https://developer.aliyun.com/article/785414
本站部分内容转载于网络,版权归原作者所有,转载之目的在于传播更多优秀技术内容,如有侵权请联系QQ/微信:153890879删除,谢谢!

推荐图文

  • 周排行
  • 月排行
  • 总排行

随机推荐