windows下REDIS主从频繁切换事件排查
https://www.cnblogs.com/Jack-Blog/p/13049155.html
结论
仔细看哨兵redis发现,服务器1.193的哨兵也会认为1.193的redis主观下线sdown master master 172.17.1.193 6379,怀疑有可能是redis服务的问题,而不是网络问题。
查看日志发现有频繁的fork operation complete 日志,由于有全量同步和aof同步出现,fork线程和子线程处理完通知父线程后的逻辑处理都会有短暂阻塞。因此在RDB和AOF持久化时造成阻塞(当时的redis数据量达到9G),可能会导致哨兵误认为节点主观下线。
主从同步阻塞时,当增量数据超过配置的阈值或配置的时间,则会触发全量数据同步。
redis主从配置注意点
- 控制Redis实例最大可用内存,fork耗时跟内存成正比。10GB的redis内存大约需要20MB的内存页表,因此内存越大fork越耗时,正常情况大约每GB需要消耗20ms左右。可以通过
latest_fork_usec查看最后一次fork时间,单位是微秒。 - rdb每次会全量保存文件(通过写时复制技术只需要保存修改的数据),保存需要双倍数据内存,主从同步方式可以使用无硬盘模式,尽可能使用aof每秒保存,若是4.X版本的redis,则使用rdb-aof模式,增量数据以aof追加,aof重写时以rbd数据保存。
- 哨兵主观下线时间配置
down-after-milliseconds不要配置太短,配置太短很可能造成频繁发生主从切换。 - 增大主从同步的缓存大小
repl-backlog-size,当主从连接断开重连后,若增量同步数据小于缓存大小, 则仅需增量同步即可,无需全量同步。默认1MB - 适当增大主从断开全量同步时间超过配置的
repl-backlog-ttl值会触发全量同步,单位时秒。 - 当搭建了集群,若超过半数节点无响应,则整个集群会挂掉。当发生主从同步,持久化时节点可能阻塞,适当调整集群通讯超时时间。
cluster-node-timeout单位是毫秒。