Kafka 单机部署区分集成Zookeeper 部署和Zookeeper + Kafka 部署俩总方式,如果是单机部署Kafka,集成Zookeeper 最简单,也可以选择Zookeeper + Kafka 这种模式,但是如果为Kafka集群的话,则必须需要部署 Zookeeper 集群。
一. 获取解压 ?? ?1. 下载? ? ? ??
wget http://mirror.bit.edu.cn/apache/kafka/1.1.0/kafka_2.12-1.1.0.tgz
? ? 2. 解压kafka? ? ? ??
tar -zxvf kafka_2.11-0.10.1.1.tgz
二. 配置修改 ?? ?1. 集成Zookeeper 配置修改方式 ?? ??? ?1.0 配置profile? ? ? ? ? ?
vi /etc/profile
?? ?export KAFKA_HOME=/home/.../kafka_2.11-0.10.1.1
?? ?export PATH=$PATH:$KAFKA_HOME/bin
?? ??? ??? ?
source /etc/profile #配置生效
? ? ? ? 1.1 配置zookeeper.properties
vi conf/zookeeper.properties
? ??? ?dataDir=****?? ??? ?#根据自己情况设定
?? ? ?ckuebtPort=2291
? ? ??1.2 配置server.properties
vi server.properties
??? ?log.dirs = ***?? ??? ?#根据自己情况设定
??? ?zookeeper.connect=localhost:2291
?? ?2. 外部Zookeeper 配置修改方式 ?? ??? ?2.0 配置profile
?vi /etc/profile
??? ?export KAFKA_HOME=/home/.../kafka_2.11-0.10.1.1
??? ?export PATH=$PATH:$KAFKA_HOME/bin
?
??? ?source /etc/profile? ? ? #配置生效
? ? ? ?2.1 配置server.properties ?? ??? ??? ?修改 broker.id = 1 及zookeeper.oonnect 地址,log.dirs 地址
broker.id=1
port=9092
host.name=localhost
# kafka代理地址
listeners=PLAINTEXT://:9092
log.dirs=/home/panfudong/soft/kafka/kafka_2.11-0.10.1.1/kafka-logs
zookeeper.connect=localhost:2181
?? ?到此zookeeper 单机配置成功
三. 启动停止 ?? ?集成Zookeeper? ? ? ??
bin/zookeeper-server-start.sh config/zookeeper.properties
? ? 外部Zookeeper? ? ? ??
bin/kafka-server-start.sh config/server.properties
? ? ? ? 或者?? ? ? ??
./kafka-server-start.sh --daemon ../config/server.propertie
? ? 停止:? ? ? ?
?./bin/kafka-server-stop.sh
四. 操作命令 ?? ?1. 开启kafka自带zookeeper: ?? ??? ?前台运行:? ? ? ??
bin/zookeeper-server-start.sh config/zookeeper.properties
? ? ? ? 后台运行:? ? ? ??
nohup bin/zookeeper-server-start.sh config/zookeeper.properties > zookeeper-run.log 2>&1 &
? ? 2. 开启kafka: ?? ??? ?前台运行:? ? ? ??
bin/kafka-server-start.sh config/server.properties
? ? ? ? 后台运行:? ? ? ??
nohup bin/kafka-server-start.sh config/server.properties > kafka-run.log 2>&1 &
? ? 3. 创建kafka主题:? ? ? ??
bin/kafka-topics.sh --create --zookeeper 10.45.xx.xx:2191 --replication-factor 1 --partitions 1 --topic test
? ? 4. 显示kafka所有主题:? ? ? ?
?bin/kafka-topics.sh -list -zookeeper 10.45.xx.xx:2191
? ? 5. 创建kafka生产者:? ? ? ??
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
? ? 6. 创建kafka消费者:? ? ? ??
bin/kafka-console-consumer.sh --zookeeper 10.45.xx.xx:2191 --topic test --from-beginninghttp://img1.maka.im/user/6626827/images/5a97355615a0e93a6dbcae09a6284de7.png?x-oss-process=image/crop,x_0,y_0,w_0,h_0/auto-orient,1/format,webp
备注: ?? ?--zookeeper:后面接的是你配置的zookeeper地址 ?? ?--broker-list:默认端口为9092.可自行更改