环境运维

redis为什么能做到读写并发数可以那么巨大,那么快

Redis 之所以能够实现极高的读写并发性能和极低的延迟,主要得益于以下几个关键设计和技术:


1. 纯内存操作

  • 数据全内存存储:Redis 将所有数据存储在内存中,避免了磁盘 I/O 的瓶颈(磁盘读写速度比内存慢几个数量级)。

  • 直接操作内存数据结构:读写操作直接针对内存中的数据结构(如哈希表、跳表等),无需序列化/反序列化,效率极高。


2. 单线程事件循环(核心模型)

  • 避免锁竞争:Redis 的核心命令处理是单线程的(6.0 之前完全单线程,之后多线程仅用于部分后台任务和网络 I/O),避免了多线程的上下文切换和锁竞争开销。

  • 非阻塞 I/O 多路复用:通过 epoll/kqueue 等系统调用监听大量连接,单线程即可高效处理数万并发连接(类似 Nginx 的高并发模型)。

  • 顺序执行:单线程保证了原子性操作,无需加锁,简化了设计。


3. 高效的数据结构

  • 优化过的底层结构:例如:

    • 哈希表使用渐进式 rehash 避免一次性迁移的卡顿。

    • 有序集合(ZSET)结合跳表和哈希表,实现 O(logN) 复杂度的查询。

  • 针对不同场景的编码优化:如小数据用 ziplist 压缩存储,减少内存占用和访问时间。


4. 异步非阻塞设计

  • 网络 I/O 多路复用:通过 Reactor 模式处理客户端请求,单线程可以同时监听、读写多个套接字。

  • 后台线程处理慢操作:Redis 6.0 后引入多线程处理网络 I/O 和某些慢操作(如大 Key 删除、持久化等),但核心命令执行仍是单线程。


5. 持久化优化

  • RDB/AOF 异步写入:持久化操作由子进程或后台线程执行,不影响主线程处理请求。

  • 写时复制(COW):生成 RDB 快照时利用操作系统的 COW 机制,避免阻塞主线程。


6. 协议与客户端优化

  • 简单的 RESP 协议:Redis 协议易于解析,减少客户端/服务端的计算开销。

  • 管道(Pipeline):客户端可以批量发送命令,减少网络往返时间(RTT)。


7. 系统级优化

  • 内存分配器:Redis 使用 jemalloc 或 tcmalloc 替代默认的 malloc,减少内存碎片和分配开销。

  • CPU 缓存友好:紧凑的数据结构和顺序访问模式充分利用 CPU 缓存局部性。


性能数据参考

  • 单机吞吐量:Redis 单实例可轻松达到 10万+ QPS(取决于硬件和命令复杂度)。

  • 横向扩展:通过分片(Cluster)或代理(Twemproxy)可进一步提升整体吞吐量。


注意事项

  • 单线程的局限性:虽然单线程简化了设计,但单个命令的耗时操作(如 KEYS *)会阻塞整个实例,因此需避免长耗时命令。

  • 多线程的演进:Redis 6.0+ 的多线程主要用于网络 I/O,未来可能进一步扩展。

总之,Redis 通过内存存储、单线程事件循环、高效数据结构和系统级优化,在保证简单性的同时实现了极高的性能。