纯干货 | 缓存穿透击穿雪崩解决

▌ 技术引导 缓存穿透、击穿、雪崩这三个问题在高并发场景下会直接导致服务不可用，甚至引发数据库崩溃，必须有具体手段应对。我见过大量生产环境因为缓存穿透直接导致数据库被刷爆，多次重启服务器。解决方法中，布隆过滤器是直接有效的，但配置上必须注意内存和误判率平衡。击穿问题常用互斥锁或队列控制，但锁粒度过大会影响性能，必须配合本地缓存做优化。雪崩问题的处理要从缓存失效策略入手，比如使用随机延期失效时间，或者将热点数据放在不同的缓存组，这样能避免集中失效。实际实践中，Redis集群+本地缓存+异步更新这三重机制能显著提升系统稳定性。另外，我用过Redisson的分布式锁，但高并发下容易出现锁竞争导致延迟，所以要配合Lua脚本做原子操作。 ▌ 技术参考 一 缓存穿透的实战处理 缓存穿透通常由非法查询引发，比如查询一个根本不存在的id。解决方法是用布隆过滤器拦截无效请求，避免穿透到数据库。布隆过滤器的误判率是核心参数，一般设置在0.01%到1%之间。在Java中，可以使用Guava或者Redis的内置模块，比如redis-cli -x bf.add key value。误判率低的话，内存占用会比较高，比如100万元素需要约1.2GB内存。生产中需要根据QPS和数据量动态调整，可以用bf.info key查看当前状态。如果布隆过滤器误判率过高，会导致部分合法请求被误判为无效，所以要配合其他手段，比如Redis的setnx命令做兜底处理。 二 缓存击穿的分布式锁方案 缓存击穿是热点数据过期后，大量并发请求同时访问数据库，引发压力激增。解决方案之一是使用分布式锁。Redisson的RLock通过tryLock(10, 100, TimeUnit.MILLISECONDS)控制并发，但需要设置超时时间，避免死锁。同时要配合本地缓存，比如Caffeine的缓存策略，当锁获取成功时，将数据写入本地缓存，这样能减少对Redis的依赖。锁粒度过细的话，可能会增加锁竞争，所以要统一锁的key，比如用业务id加"lock"后缀。如果系统有多个节点，锁的key要确保全局唯一，避免同一key被不同节点重复加锁。 三 布隆过滤器的误判率控制 布隆过滤器的误判率决定了其是否能拦截无效请求。误判率越低，内存消耗越大，反之则越高。在定制化布隆过滤器时，可以用公式n ln(2) / (k p) 来计算位数组长度，其中n是元素数量，k是哈希函数数量，p是误判率。比如100万数据，误判率0.1%，建议k=7，位数组长度约26500000位。实际部署中，可以用Redis的bf.add和bf.info命令监控状态。布隆过滤器不能直接删除元素，只能通过bf.delete或bf.expire来控制。在高并发系统中，需要定期同步布隆过滤器数据，防止数据滞后导致穿透。 四 本地缓存的引入策略 本地缓存对于解决缓存击穿问题至关重要，可以临时保存热点数据，减轻Redis压力。Caffeine是目前最推荐的Java本地缓存框架，它的写入策略支持写入时刷新，即whenWrite。本地缓存的容量需要根据业务场景设定，比如设置maximumSize为10000，使用expireAfterWrite控制过期时间，比如设置为5分钟。当缓存击穿发生时，本地缓存能缓冲部分请求，但需要结合Redis的锁机制，避免数据不一致。如果本地缓存和Redis的缓存策略不一致，会导致数据延迟或过期，所以需要统一缓存更新逻辑。 五 缓存雪崩的延期失效策略 缓存雪崩是大量缓存同时失效，导致数据库压力骤增。解决方法是为缓存设置随机的失效时间，比如使用一个时间偏移量。在Spring Boot中，可以用RedisTemplate的expire方法，对每个key设置不同的过期时间，比如baseTime + random(0, 300)。对于集群环境，可以将不同的缓存组分配不同的过期时间，避免多个组同时失效。另一种方案是使用Redis的setex命令，通过脚本计算随机失效时间。如果数据库有大量写操作，就要配合异步更新，比如使用RabbitMQ发送更新任务，避免同步更新影响性能。 六 多级缓存架构的构建方法 多级缓存架构是处理缓存穿透、击穿、雪崩的常见方案，通常包括本地缓存层和Redis分布式缓存层。本地缓存使用Caffeine，用于缓冲热点数据，而Redis则用于分布式存储。数据更新时，需要先更新本地缓存，再异步更新Redis，这样能保证数据一致性。如果使用Spring Cache，可以通过@Cacheable注解实现本地缓存，而Redis则需要手动维护。在高并发场景下，本地缓存的容量和淘汰策略要仔细配置，比如设置maximumSize为20000，使用expireAfterWrite控制数据寿命。同时，需要保证本地缓存和Redis的数据同步，避免脏读。 七 Redis的Lua脚本优化 在使用分布式锁处理缓存击穿时，Lua脚本能显著提升效率。Redis的Lua脚本支持原子操作，可以避免多个节点同时获取锁。比如用eval命令执行以下脚本： local key = KEYS[1] local lockKey = key .. "_lock" if redis.call("exists", lockKey) == 0 then redis.call("set", lockKey, "1", "NX", "EX", 300) return redis.call("get", key) else return nil end 这个脚本在Redis中执行，能确保锁操作和缓存读取在同一个事务中完成。需要注意的是，Lua脚本执行时间不能太长，否则会阻塞Redis的其他操作。在实际部署中，会结合Redisson的锁机制，再搭配Lua脚本做兜底处理，避免锁竞争。 八 Redis的分布式锁配置细节 Redisson的分布式锁支持基于Redis的锁机制，可以通过RLock接口获取。在Java中，使用RedissonClient配置，比如： Config config = new Config(); config.useSingleServer().setAddress("redis://127.0.0.1:6379"); RedissonClient redisson = Redisson.create(config); RLock lock = redisson.getLock("myLock"); lock.lock(); // 业务代码 lock.unlock(); 但是，高并发下会遇到锁竞争问题，所以要配合本地缓存，当锁获取到后，先读本地缓存，如果存在就直接返回。否则再通过Redis获取数据。同时，锁的超时时间要合理设置，比如使用tryLock(10, 500, TimeUnit.MILLISECONDS)，避免死锁。 九 Redis的异步更新机制 在处理缓存雪崩问题时，异步更新是关键。可以使用RabbitMQ或Kafka发送更新任务，避免同步更新带来的性能瓶颈。比如，当数据被修改时，发送一个消息到队列，由消费者异步更新缓存。在Java中，可以用@RabbitListener注解监听消息，然后调用RedisTemplate的opsForValue().set方法。异步更新的效率比直接写入高，但需要考虑消息堆积问题，所以要设置消费速率限制。比如，用Spring Cloud Stream做消息分发，结合Redis的异步写入策略，确保数据及时更新。 十 缓存穿透的正则过滤方案 除了布隆过滤器，还可以用正则表达式过滤非法请求。比如在Nginx中配置location匹配，拦截不合法的id。在Go语言中，可以用regexp.MustCompile来定义过滤规则，比如^[0-9]{1,20}$，确保id是数字。但正则过滤的缺点是无法处理复杂数据，比如字符串或特殊格式的id。对于业务数据量大的场景，正则过滤只能作为辅助手段，不能完全依赖。另外，正则过滤的规则需要定期更新，避免漏掉新的非法请求。 十一 Redis的本地缓存与LRU策略 Redis内置了本地缓存机制，可以通过redis-cli -x set命令设置。但Redis本身的本地缓存是基于LRU的，一般不会主动淘汰。如果需要更精细的管理，可以使用Redis的evict命令，或者在应用层用Caffeine等框架。在实际项目中，Caffeine的本地缓存更灵活，支持基于大小、时间、访问频率的淘汰策略。比如，设置maximumSize为20000，使用expireAfterWrite控制数据存活时间。同时，要确保本地缓存和Redis的数据一致性，避免数据延迟或不一致。 十二 缓存击穿的队列缓冲方案 当缓存击穿发生时，大量请求同时访问数据库，可以通过队列缓冲。比如用Kafka或RabbitMQ接收请求，然后由单线程处理，避免并发写入。在Python中，可以用Celery做异步任务，将缓存更新任务放入队列。队列的消费速度要根据业务负载调整，比如设置concurrency=5，控制并发数量。这样能有效缓解数据库压力，但需要考虑队列堆积问题，所以要设置超时时间，比如使用Celery的time_limit参数，防止任务无限堆积影响系统。 十三 Redis的缓存失效时间随机化 为了避免缓存雪崩，可以将缓存的失效时间设置为随机值。比如在设置缓存时，用baseTime + random(0, 300)作为过期时间。在Java中，可以用Random类随机生成时间偏移，比如： long expireTime = 3600 + random.nextInt(300); redisTemplate.opsForValue().set(key, value, expireTime, TimeUnit.SECONDS); 这个策略能有效分散缓存失效时间，避免集中请求。但需要注意，如果数据更新频繁，这个策略可能无法覆盖所有情况，所以需要配合其他手段，比如定期更新缓存，保证数据新鲜度。 十四 Redis的热点数据分组策略 在高并发系统中，将热点数据分组能有效避免雪崩。比如根据业务模块划分缓存组，每个组的过期时间不同。在Redis中，可以用不同的key前缀来区分组，比如group1:users:123。这样每个组的失效时间可以独立设置，比如group1的缓存失效时间设为1小时，group2设为30分钟。分组策略需要结合业务逻辑，比如根据用户访问频次或业务场景划分。同时，要监控各组的数据命中率，避免某个组成为热点导致压力过大。 十五 布隆过滤器的内存管理技巧 布隆过滤器的内存占用是其关键问题。如果数据量很大，可能会占用过多内存，影响系统性能。在Java中，可以用Guava的BloomFilter，设置预期插入数量和误判率。比如： BloomFilter filter = BloomFilter.create( BloomFilterType.MURMUR128, 1000000, 0.01); filter.put("123"); filter.put("abc"); 在部署时，要监控过滤器的内存使用情况，可以用bf.info命令查看。如果发现内存占用过高，可以调整误判率或哈希函数数量，比如k=10，p=0.05。同时，定期清理布隆过滤器数据，比如用bf.delete或bf.expire，防止数据过期导致误判率上升。 十六 缓存穿透与击穿的混合处理 在实际项目中，缓存穿透和击穿可能同时存在。比如非法请求会穿透，而热点数据过期会击穿。处理时要结合布隆过滤器和本地缓存，布隆过滤器拦截无效请求，本地缓存缓冲热点数据。Redis的缓存失效时间要根据业务调整，避免提前失效导致击穿。同时，需要对不合法请求做日志记录，分析具体来源，比如用日志框架记录请求路径和参数。这样能快速定位问题，而不是等到系统崩溃才处理。 十七 Redisson的锁重试机制 Redisson的锁支持重试机制，可以避免锁获取失败。在调用lock()方法时，可以设置retries参数，比如： RLock lock = redisson.getLock("myLock"); lock.lock(10, TimeUnit.SECONDS, 10, TimeUnit.SECONDS); 如果锁获取失败，会自动重试，直到成功或超时。这个机制能提升锁获取的成功率，但要注意重试次数不能太多，否则会影响性能。在生产环境中，通常配合本地缓存，一旦锁获取到，立即读取本地缓存，避免直接访问数据库。 十八 高并发下的缓存监控方案 监控缓存命中率和失效情况是处理穿透、击穿、雪崩的关键。可以用Prometheus+Grafana做监控，采集Redis的keyspace_hits和keyspace_misses指标。同时，监控缓存的过期时间，比如用redis-cli -x info keyspace查看。如果发现命中率持续下降，说明穿透问题严重，需要检查布隆过滤器是否更新及时。对于雪崩，监控缓存失效时间分布，如果发现大量key同时失效，就要调整随机化策略。 十九 Redis的缓存预热与冷启动策略 在系统冷启动时，缓存可能为空，导致大量请求穿透到数据库。解决方法是预热缓存，比如在应用启动时，用线程池加载热点数据。在Java中，可以用Executors.newScheduledThreadPool(5)创建线程池，然后逐条加载数据。预热的数据量要根据业务需求调整，比如预热1000条用户数据，使用RedisTemplate的opsForValue().set方法批量写入。同时，要确保预热数据不会影响正常业务，比如在非高峰时段进行。 二十 Redis的持久化与高可用配置 Redis的持久化配置直接影响缓存的可用性。默认的RDB持久化可能无法应对高并发，所以建议开启AOF模式，使用appendfsync everysec，这样能在每秒写入一次日志，避免数据丢失。同时，配置集群模式，确保多个节点能处理请求。在部署时，要设置replica和sentinel，保证主从同步和自动故障转移。如果主节点宕机，从节点能接管，避免缓存失效导致雪崩。