redis为什么能做到读写并发数可以那么巨大,那么快
Redis 之所以能够实现极高的读写并发性能和极低的延迟,主要得益于以下几个关键设计和技术:
1. 纯内存操作
-
数据全内存存储:Redis 将所有数据存储在内存中,避免了磁盘 I/O 的瓶颈(磁盘读写速度比内存慢几个数量级)。
-
直接操作内存数据结构:读写操作直接针对内存中的数据结构(如哈希表、跳表等),无需序列化/反序列化,效率极高。
2. 单线程事件循环(核心模型)
-
避免锁竞争:Redis 的核心命令处理是单线程的(6.0 之前完全单线程,之后多线程仅用于部分后台任务和网络 I/O),避免了多线程的上下文切换和锁竞争开销。
-
非阻塞 I/O 多路复用:通过
epoll/kqueue等系统调用监听大量连接,单线程即可高效处理数万并发连接(类似 Nginx 的高并发模型)。 -
顺序执行:单线程保证了原子性操作,无需加锁,简化了设计。
3. 高效的数据结构
-
优化过的底层结构:例如:
-
哈希表使用渐进式 rehash 避免一次性迁移的卡顿。
-
有序集合(ZSET)结合跳表和哈希表,实现 O(logN) 复杂度的查询。
-
-
针对不同场景的编码优化:如小数据用
ziplist压缩存储,减少内存占用和访问时间。
4. 异步非阻塞设计
-
网络 I/O 多路复用:通过 Reactor 模式处理客户端请求,单线程可以同时监听、读写多个套接字。
-
后台线程处理慢操作:Redis 6.0 后引入多线程处理网络 I/O 和某些慢操作(如大 Key 删除、持久化等),但核心命令执行仍是单线程。
5. 持久化优化
-
RDB/AOF 异步写入:持久化操作由子进程或后台线程执行,不影响主线程处理请求。
-
写时复制(COW):生成 RDB 快照时利用操作系统的 COW 机制,避免阻塞主线程。
6. 协议与客户端优化
-
简单的 RESP 协议:Redis 协议易于解析,减少客户端/服务端的计算开销。
-
管道(Pipeline):客户端可以批量发送命令,减少网络往返时间(RTT)。
7. 系统级优化
-
内存分配器:Redis 使用
jemalloc或tcmalloc替代默认的malloc,减少内存碎片和分配开销。 -
CPU 缓存友好:紧凑的数据结构和顺序访问模式充分利用 CPU 缓存局部性。
性能数据参考
-
单机吞吐量:Redis 单实例可轻松达到 10万+ QPS(取决于硬件和命令复杂度)。
-
横向扩展:通过分片(Cluster)或代理(Twemproxy)可进一步提升整体吞吐量。
注意事项
-
单线程的局限性:虽然单线程简化了设计,但单个命令的耗时操作(如
KEYS *)会阻塞整个实例,因此需避免长耗时命令。 -
多线程的演进:Redis 6.0+ 的多线程主要用于网络 I/O,未来可能进一步扩展。
总之,Redis 通过内存存储、单线程事件循环、高效数据结构和系统级优化,在保证简单性的同时实现了极高的性能。