Redis集群新增、删除节点以及动态增加内存的方法-巨人网络通讯

Redis集群新增、删除节点以及动态增加内存的方法

一、新增服务节点到集群中

1、创建配置文件

在主机127.0.0.5上创建新端口的配置文件，如之前有端口直接复制之前的配置文件即可。复制完然后修改下配置文件里的端口、内存大小、pid的路径等。

cp redis7001.conf redis7002.conf

2、启动新的端口

cd ../bin/
./redis-server ../etc/redis7002.conf

该操作在127.0.0.6上同样再操作一次。

3、将新增的两个端口增加到现有集群中

./redis-cli --cluster add-node 127.0.0.3:7002 127.0.0.1:7002
./redis-cli --cluster add-node 127.0.0.4:7002 127.0.0.1:700

21430f4be50444f20854193613fe1f4346fae577 127.0.0.3:7002@17002 slave 2ef3474dcb875522cd1b03465506065de2ada8e7 0 1630463304000 18 connected
b7e55a3d3eda2777c077c606c090bcfaf6b674fd 127.0.0.1:7002@17002 master - 0 1630463306333 17 connected 0-99 200-399 600-699 800-899 5461-10922
2ef3474dcb875522cd1b03465506065de2ada8e7 127.0.0.2:7002@17002 master - 0 1630463305000 18 connected 100-199 400-599 700-799 900-999 10923-16383
4d0c6a957452191e755c1bb0856307c9da838f79 127.0.0.1:7002@17002 slave b7e55a3d3eda2777c077c606c090bcfaf6b674fd 0 1630463307336 10 connected
1f42f45cd136239d95fc15bda9938821c33138cc 127.0.0.5:7002@17002 master connected 0
3bc21c09f3318342600205b1b5e6ea129e3608f3 127.0.0.6:6002@17002 myself,master - connected 0

使用命令 cluster nodes 查看集群状态，发现两个节点默认均为master。这是还没有对节点进行分配的原因。

4、设置从节点

我们设置 127.0.0.6:7002 为从节点，登录该节点

redis-cli -c -h 192.168.8.196 -p 5008

指定5008从节点的主节点ID,这里我们填写127.0.0.5:6002的服务节点ID，节点ID为上面查出来第一列的值

cluster replicate 1f42f45cd136239d95fc15bda9938821c33138cc

查看当前集群节点信息 cluster nodes

21430f4be50444f20854193613fe1f4346fae577 127.0.0.3:7002@17002 slave 2ef3474dcb875522cd1b03465506065de2ada8e7 0 1630463304000 18 connected
b7e55a3d3eda2777c077c606c090bcfaf6b674fd 127.0.0.1:7002@17002 master - 0 1630463306333 17 connected 0-99 200-399 600-699 800-899 5461-10922
2ef3474dcb875522cd1b03465506065de2ada8e7 127.0.0.2:7002@17002 master - 0 1630463305000 18 connected 100-199 400-599 700-799 900-999 10923-16383
4d0c6a957452191e755c1bb0856307c9da838f79 127.0.0.1:7002@17002 slave b7e55a3d3eda2777c077c606c090bcfaf6b674fd 0 1630463307336 10 connected
1f42f45cd136239d95fc15bda9938821c33138cc 127.0.0.5:7002@17002 master 0 connected 0
3bc21c09f3318342600205b1b5e6ea129e3608f3 127.0.0.6:6002@17002 myself,slave 1f42f45cd136239d95fc15bda9938821c33138cc 0 1630463307336 0 connected

5、设置主节点master

因为新增节点时并未分配卡槽，需要我们手动对集群进行重新分片迁移数据，需要重新分片命令 reshard

./redis-cli --cluster reshard 127.0.0.5:7002

执行之后会出现下面几个选项

How many slots do you want to move (from 1 to 16384)? 4096

#它提示我们需要迁移多少slot到7007上，我们平分16384个哈希槽给4个节点：16384/4 = 4096，我们需要移动4096个槽点到7007上。
#ps:这里分配可以根据你新增的节点内存和已存在的节点进行考虑，新增节点内存大可以相对分配的多点

What is the receiving node ID? 63aa476d990dfa9f5f40eeeaa0315e7f9948554d
#这里添加接收节点的ID，我们填写127.0.0.5:7002服务节点的ID
1.Please enter all the source node IDs.
2.Type ‘all' to use all the nodes as source nodes for the hash slots.
3.Type ‘done' once you entered all the source nodes IDs.
4.Source node #1: 
#redis-trib 会向你询问重新分片的源节点（source node），即，要从特点的哪个节点中取出 4096 个哈希槽，还是从全部节点提取4096个哈希槽， 并将这些槽移动到7007节点上面。
#如果我们不打算从特定的节点上取出指定数量的哈希槽，那么可以向redis-trib输入 all，这样的话， 集群中的所有主节点都会成为源节点，redis-trib从各个源节点中各取出一部分哈希槽，凑够4096个，然后移动到7007节点上：
1.Source node #1:all  
然后开始从别的主节点迁移哈希槽，并且确认。
....省略分配内容
1.Do you want to proceed with the proposed reshard plan (yes/no)? yes 
#注意这里一定要输入yes，输入Y或者其他会终止操作。 
#确认之后，redis-trib就开始执行分片操作，将哈希槽一个一个从源主节点移动到127.0.0.5:7002目标主节点。

重新分片结束后我们可以check以下节点的分配情况。

./redis-trib.rb check 127.0.0.1:7001
...省略节点内容
#可以看到7007节点分片的哈希槽片不是连续的，间隔的移动。

至此主节点就添加完毕了

二、删除节点

1、删除从节点

先登录 127.0.0.5:7002 节点，使用 cluster nodes 查看集群节点信息。

21430f4be50444f20854193613fe1f4346fae577 127.0.0.3:7002@17002 slave 2ef3474dcb875522cd1b03465506065de2ada8e7 0 1630463304000 18 connected
b7e55a3d3eda2777c077c606c090bcfaf6b674fd 127.0.0.1:7002@17002 master - 0 1630463306333 17 connected 0-99 200-399 600-699 800-899 5461-10922
2ef3474dcb875522cd1b03465506065de2ada8e7 127.0.0.2:7002@17002 master - 0 1630463305000 18 connected 100-199 400-599 700-799 900-999 10923-16383
4d0c6a957452191e755c1bb0856307c9da838f79 127.0.0.1:7002@17002 slave b7e55a3d3eda2777c077c606c090bcfaf6b674fd 0 1630463307336 10 connected
1f42f45cd136239d95fc15bda9938821c33138cc 127.0.0.5:7002@17002 myself,master - 0 1630463305000 18 connected 100-199 400-599 700-799 900-999 10923-16383
3bc21c09f3318342600205b1b5e6ea129e3608f3 127.0.0.6:6002@17002 slave 1f42f45cd136239d95fc15bda9938821c33138cc 0 1630463307336 0 connected

将127.0.0.6:7002的节点ID记录下来(3bc21c09f3318342600205b1b5e6ea129e3608f3)

执行下面命令

./redis-cli --cluster del-node 127.0.0.6 3bc21c09f3318342600205b1b5e6ea129e3608f3

出现以上信息代表删除成功。

2、删除主节点

因为主节点分配了 slot槽，所以这里我们必须先把 7002的slot槽放到其他的可用节点中去，然后再进行移除节点操作才行，不然会出现数据丢失问题。

（1）先把数据迁移到其他主节点中。

./redis-cli --cluster reshard 127.0.0.5:7002

可以看到127.0.0.5:7002中有4461个slot槽，如果想要平均分配，就需要根据现有多少master主节点进行平均，然后重复执行以上命令。我下面操作是直接将所有slot槽分配到一个节点上。

1、How many slots do you want to move (from 1 to 16384)? 4461
2、What is the receiving node ID? b7e55a3d3eda2777c077c606c090bcfaf6b674fd
#这一步是问要将这些slot槽分配到哪个节点上，我分配到了127.0.0.1:7002上，所以填写它的ID
3、Please enter all the source node IDs.
  3.1、Type 'all' to use all the nodes as source nodes for the hash slots.
  3.2、Type 'done' once you entered all the source nodes IDs.
3.3、Source node #1:
#这里需要数据源，其实就是 127.0.0.5:7002 节点的ID，因为你是把 7002 节点的数据放到其它地方去， 输入 7002 的ID
#回车之后会出现再次输入id
#其实是让你还可以选择源节点，但是我这里只要把 7002 节点分到其它地方就行，如果没有再把其它主节点分摊的需要，此处输入 done即可，否则输入其它节点的ID，最后输入 done
4.Do you want to proceed with the proposed reshard plan (yes/no)? yes 
#注意这里一定要输入yes，输入Y或者其他会终止操作。 
#这里就分配完slot槽了

执行完成之后，输入 cluster nodes 查看节点信息
可以看到 7002 已经没有槽分配了
接下来就可以按照删除从节点的方法删除主节点了。

./redis-cli --cluster del-node 127.0.0.6 主节点ID

再次查看集群信息，发现主节点也删掉了。

三、动态扩容内存

在业务运行时，redis内存不够了怎么办，无非两种办法，要么删除无用的key，要么就是增加节点内存，当删除key之后还是无法满足需求，就只能增加内存。redis提供了不停服务增加内存的命令 CONFIG SET parameter value
1、CONFIG SET 命令可以动态地调整 Redis 服务器的配置(configuration)而无须重启。
2、你可以使用它修改配置参数，或者改变 Redis 的持久化(Persistence)方式。
3、CONFIG SET 可以修改的配置参数可以使用命令 CONFIG GET * 来列出，所有被 CONFIG SET 修改的配置参数都会立即生效。

1、动态将7002端口内存从5G提升至10G

1、先获取当前最大内存

redis 127.0.0.1:7002> config get maxmemory
1) "maxmemory"
2) "5000000000"

2、设置新的最大内存

redis 127.0.0.1:6379> config set maxmemory 10G
OK
#其实set 10G是不规范的，最好的是换算下填写10737418240

3、查看修改后的值

redis 127.0.0.1:6379> CONFIG GET maxmemory
1) "maxmemory"
2) "10000000000"

附：可以动态设置的值

127.0.0.1:6379> CONFIG GET *
 1) "dbfilename"
  2) "dump.rdb"
  3) "requirepass"
  4) "123456"
  5) "masterauth"
  6) ""
  7) "unixsocket"
  8) ""
  9) "logfile"
 10) "/diskc/redis-2.8.19/log/6379_slave.log"
 11) "pidfile"
 12) "/var/run/redis.pid"
 13) "maxmemory"
 14) "10000000000"
 15) "maxmemory-samples"
 16) "3"
 17) "timeout"
 18) "0"
 19) "tcp-keepalive"
 20) "0"
 21) "auto-aof-rewrite-percentage"
 22) "100"
 23) "auto-aof-rewrite-min-size"
 24) "67108864"
 25) "hash-max-ziplist-entries"
 26) "512"
 27) "hash-max-ziplist-value"
 28) "64"
 29) "list-max-ziplist-entries"
 30) "512"
 31) "list-max-ziplist-value"
 32) "64"
 33) "set-max-intset-entries"
 34) "512"
 35) "zset-max-ziplist-entries"
 36) "128"
 37) "zset-max-ziplist-value"
 38) "64"
 39) "hll-sparse-max-bytes"
 40) "3000"
 41) "lua-time-limit"
 42) "5000"
 43) "slowlog-log-slower-than"
 44) "100000"
 45) "latency-monitor-threshold"
 46) "0"
 47) "slowlog-max-len"
 48) "128"
 49) "port"
 50) "6379"
 51) "tcp-backlog"
 52) "511"
 53) "databases"
 54) "16"
 55) "repl-ping-slave-period"
 56) "10"
 57) "repl-timeout"
 58) "60"
 59) "repl-backlog-size"
 60) "1048576"
 61) "repl-backlog-ttl"
 62) "3600"
 63) "maxclients"
 64) "15000"
 65) "watchdog-period"
 66) "200"
 67) "slave-priority"
 68) "100"
 69) "min-slaves-to-write"
 70) "0"
 71) "min-slaves-max-lag"
 72) "10"
 73) "hz"
 74) "10"
 75) "repl-diskless-sync-delay"
 76) "5"
 77) "no-appendfsync-on-rewrite"
 78) "no"
 79) "slave-serve-stale-data"
 80) "yes"
 81) "slave-read-only"
 82) "yes"
 83) "stop-writes-on-bgsave-error"
 84) "yes"
 85) "daemonize"
 86) "yes"
 87) "rdbcompression"
 88) "yes"
 89) "rdbchecksum"
 90) "yes"
 91) "activerehashing"
 92) "yes"
 93) "repl-disable-tcp-nodelay"
 94) "no"
 95) "repl-diskless-sync"
 96) "no"
 97) "aof-rewrite-incremental-fsync"
 98) "yes"
 99) "aof-load-truncated"
100) "yes"
101) "appendonly"
102) "no"
103) "dir"
104) "/diskc/redis-2.8.19"
105) "maxmemory-policy"
106) "volatile-lru"
107) "appendfsync"
108) "everysec"
109) "save"
110) "900 1 300 10 60 10000"
111) "loglevel"
112) "notice"
113) "client-output-buffer-limit"
114) "normal 0 0 0 slave 268435456 67108864 60 pubsub 33554432 8388608 60"
115) "unixsocketperm"
116) "0"
117) "slaveof"
118) ""
119) "notify-keyspace-events"
120) ""
121) "bind"
122) ""

到此这篇关于Redis集群新增、删除节点以及动态增加内存的方法的文章就介绍到这了,更多相关Redis集群新增删除节点及动态增加内存内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章: