本文转载自微信公众号「 民工哥技术之路」,作者老A。转载本文请联系民工哥技术之路公众号。
原理:
节点通信方式:
Redis分布式集群(部署):
端口号:7000-7005
本次分布式分片集群在一台LInux系统即可,只需要安装多个实例作为集群配置。
安装ruby环境支持:
- yum -y install ruby rubygems
yum安装2.0.0版本,但是gem需要2.2.2版本以上,所以选择编译
下载并安装ruby环境:
- wget https://cache.ruby-lang.org/pub/ruby/2.6/ruby-2.6.1.tar.gz
- tar xf ruby-2.6.1.tar.gz && cd ruby-2.6.1/
- ./configure --prefix=/usr/local/ruby
- make && make install && echo $?
- echo 'export PATH=$PATH:/usr/local/ruby/bin' >> /etc/profile
- source /etc/profile
修改gem工具国内源:
- # 查看gem工具源地址
- gem sources -l
- # 添加一个阿里云的gem工具源
- gem sources -a http://mirrors.aliyun.com/rubygems/
- # 删除gem工具默认国外源
- gem sources --remove https://rubygems.org/
- # 下载当前最新版本集群插件
- gem install redis -v 4.1.0
集群节点准备:
- mkdir /data/700{0..5}
配置7000端口实例:
- vim /data/7000/redis.conf
- port 7000
- daemonize yes
- pidfile /data/7000/redis.pid
- loglevel notice
- logfile "/data/7000/redis.log"
- dbfilename dump.rdb
- dir /data/7000
- protected-mode no
- cluster-enabled yes
- cluster-config-file nodes.conf
- cluster-node-timeout 5000
- appendonly yes
拷贝其他端口实例:
- # 拷贝配置文件
- cp /data/7000/redis.conf /data/7001/
- cp /data/7000/redis.conf /data/7002/
- cp /data/7000/redis.conf /data/7003/
- cp /data/7000/redis.conf /data/7004/
- cp /data/7000/redis.conf /data/7005/
- # 修改配置文件内容
- sed -i 's#7000#7001#g' /data/7001/redis.conf
- sed -i 's#7000#7002#g' /data/7002/redis.conf
- sed -i 's#7000#7003#g' /data/7003/redis.conf
- sed -i 's#7000#7004#g' /data/7004/redis.conf
- sed -i 's#7000#7005#g' /data/7005/redis.conf
启动所有实例:
- redis-server /data/7000/redis.conf
- redis-server /data/7001/redis.conf
- redis-server /data/7002/redis.conf
- redis-server /data/7003/redis.conf
- redis-server /data/7004/redis.conf
- redis-server /data/7005/redis.conf
创建命令软链接:
(这个命令过期了,现在使用redis-cli命令)(可选执行命令)
- ln -s /usr/local/redis-5.0.2/src/redis-trib.rb /usr/sbin/
查看进程:
- ps -ef |grep redis-server
加入所有实例节点到集群管理:
- # --replicas 1",1是代表每一个主有一个从,后面的是所有节点的地址与端口信息
- redis-cli --cluster create --cluster-replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005
分布式主从规则为,前三个实例节点是主,对应的后面三个实例节点为从节点,如果replicas 2,那就多加3个实例节点
查看主节点状态:
- redis-cli -p 7000 cluster nodes|grep master
查看从节点状态:
- redis-cli -p 7000 cluster nodes|grep slave
Redis-分布式集群(管理)
集群节点增加准备:
- mkdir /data/700{6..7}
- 拷贝其他端口实例:
- # 拷贝配置文件
- cp /data/7000/redis.conf /data/7006/
- cp /data/7000/redis.conf /data/7007/
- # 修改配置文件内容
- sed -i 's#7000#7006#g' /data/7006/redis.conf
- sed -i 's#7000#7007#g' /data/7007/redis.conf
启动新节点实例:
- redis-server /data/7006/redis.conf
- redis-server /data/7007/redis.conf
查看进程:
- ps -ef |grep redis-server
添加主节点:(7000实例是管理节点)
- #'把7006实例添加到7000实例这个主节点所在集群内(此时已经有了4个主节点)
- redis-cli --cluster add-node 127.0.0.1:7006 127.0.0.1:7000
查看主节点状态:
- redis-cli -p 7000 cluster nodes|grep master
转移slot(重新分片):
- #'操作集群管理节点从新分配,并在交互界面指定分片大小、选择接收分片的节点ID
- redis-cli --cluster reshard 127.0.0.1:7000
- How many slots do you want to move (from 1 to 16384)? 4096
- #通过人工手动计算数据分片总大小除以主节点后的数字
- What is the receiving node ID? 2129d28f0a86fc89571e49a59a0739812cff7953
- #选择接收数据分片的节点ID,(这是新增节点7006实例的ID号)
- Source node #1: all
- #选择从哪些源主节点重新分片给新主节点)(all是所有节点)
- Do you want to proceed with the proposed reshard plan (yes/no)? yes
- #确认修改以上的操作
重新查看主节点状态:(可以看到集群数据的重新分片)
- redis-cli -p 7000 cluster nodes|grep master
添加从节点:
- #'把7007实例节点添加到7006实例主节点内,并指定对应7006实例主节点坐在集群的管理节点
- redis-cli --cluster add-node 127.0.0.1:7007 127.0.0.1:7000 --cluster-slave --cluster-master-id 2129d28f0a86fc89571e49a59a0739812cff7953
查看从节点状态:
- redis-cli -p 7000 cluster nodes|grep slave
集群节点删除准备:
移动要删除节点的数据分片:
- #'操作集群管理节点从新分配,并在交互界面指定分片大小、选择接收分片的节点ID
- redis-cli --cluster reshard 127.0.0.1:7000
- #方法是根据要删除master节点的分片位置,然后一个组分一个节点 , 也可以直接移动所有数据片到一个节点
- How many slots do you want to move (from 1 to 16384)? 1365
- #通过人工手动查看数据分片总大小
- What is the receiving node ID? e64f9074a3733fff7baa9a4848190e56831d5447
- #选择接收数据分片的节点ID,(这是新增节点7006实例的ID号)
- Source node #1: 2129d28f0a86fc89571e49a59a0739812cff7953
- #选择从哪些源主节点重新分片给新主节点(这是要删除的主节点的ID号)
- Source node #2: done
- #这是结束命令
- Do you want to proceed with the proposed reshard plan (yes/no)? yes
- #确认修改以上的操作
重新查看主节点状态:(可以看到集群数据的重新分片)
- redis-cli -p 7000 cluster nodes|grep master
继续移动数据片:
- #'操作集群管理节点从新分配,并在交互界面指定分片大小、选择接收分片的节点ID
- redis-cli --cluster reshard 127.0.0.1:7000
- # 方法是根据要删除master节点的分片位置,然后一个组分一个节点 , 也可以直接移动所有数据片到一个节点
- How many slots do you want to move (from 1 to 16384)? 1366 #通过人工手动查看数据分片总大小
- What is the receiving node ID? f6c1aaea3a8c56e0c7dee8ad7ae17e26dd04244c
- #选择接收数据分片的节点ID,(这是新增节点7006实例的ID号)
- Source node #1: 2129d28f0a86fc89571e49a59a0739812cff7953
- #选择从哪些源主节点重新分片给新主节点(这是要删除的主节点的ID号)
- Source node #2: done
- #这是结束命令
- Do you want to proceed with the proposed reshard plan (yes/no)? yes
- #确认修改以上的操作
重新查看主节点状态:(可以看到集群数据的重新分片)
- redis-cli -p 7000 cluster nodes|grep master
最后一次移动数据片:
- #'操作集群管理节点从新分配,并在交互界面指定分片大小、选择接收分片的节点ID
- redis-cli --cluster reshard 127.0.0.1:7000
- #方法是根据要删除master节点的分片位置,然后一个组分一个节点 , 也可以直接移动所有数据片到一个节点
- How many slots do you want to move (from 1 to 16384)? 1365
- #通过人工手动查看数据分片总大小
- What is the receiving node ID? 5a0df4ea0af5f35c1248e45e88d44c3f2e10169f
- Source node #1: 2129d28f0a86fc89571e49a59a0739812cff7953
- Source node #2: done
重新查看主节点状态:(可以看到集群数据的重新分片)
- redis-cli -p 7000 cluster nodes|grep master
删除清空数据片的主节点:
- #'删除已经清空数据的7006实例
- redis-cli --cluster del-node 127.0.0.1:7006 2129d28f0a86fc89571e49a59a0739812cff7953
- #删除没有主库的7007实例
- redis-cli --cluster del-node 127.0.0.1:7007 821bcf78c5e4c0b08aa7a5d514214b657ebec4ab
其他配置管理:
- 内存信息查看
- redis-cli -p 6382 -a redhat info memory
- #设置最大只能使用100MB的内存
- redis-cli -p 6382 -a redhat config set maxmemory 102400000
11月5日(周四)14:00,Pure Storage将于线上举办研讨会,直击当前Oracle用户普遍...
当员工分散在各处时,数据备份策略也需要相应的改变。这就是为什么组织应该考虑...
香港站群服务器怎么选 ?随着互联网高速发展,很多企业会搭建网站推广业务,网站...
近日,某权威机构发布了《DDoS威胁白皮书》,从威胁态势、攻击手法、攻击资源、...
租用境外服务器违法吗 ?由于境外外服务器免备案,不受中国政府管制,因此有不少...
云存储服务带来很多好处:更高灵活性、更简单的部署和维护,以及更低的成本。但...
在新基建的大潮下,数字中国建设如火如荼,千行百业进入产业数字化、智能化转型...
过去一年,全球经受了一场挑战乃至洗礼,IT领导者们开始深切意识到自己还有许多...
白驹过隙,时光荏苒。2020年对于我们所有人来说都是不平凡的一年。我们见证了COV...
本文转载自微信公众号「小菜亦牛」,作者JaJian 。转载本文请联系小菜亦牛公众号...