缓存雪崩,缓存穿透,缓存击穿出现的原因及解决方案

缓存雪崩
出现过程

假设有如下一个系统,高峰期请求为5000次/秒,4000次走了缓存,只有1000次落到了数据库上,数据库每秒1000的并发是一个正常的指标,完全可以正常工作,但如果缓存宕机了,或者缓存设置了相同的过期时间,导致缓存在同一时刻同时失效,每秒5000次的请求会全部落到数据库上,数据库立马就死掉了,因为数据库一秒最多抗2000个请求,如果DBA重启数据库,立马又会被新的请求打死了,这就是缓存雪崩。


解决方法

事前:redis高可用,主从+哨兵,redis cluster,避免全盘崩溃
事中:本地ehcache缓存 + hystrix限流&降级,避免MySQL被打死
事后:redis持久化RDB+AOF,快速恢复缓存数据
缓存的失效时间设置为随机值,避免同时失效
缓存穿透
出现过程

假如客户端每秒发送5000个请求,其中4000个为黑客的恶意攻击,即在数据库中也查不到。举个例子,用户id为正数,黑客构造的用户id为负数,如果黑客每秒一直发送这4000个请求,缓存就不起作用,数据库也很快被打死。


解决方法

对请求参数进行校验,不合理直接返回
查询不到的数据也放到缓存,value为空,如 set -999 “”
使用布隆过滤器,快速判断key是否在数据库中存在,不存在直接返回
第一种是最基本的策略,第二种其实并不常用,第三种比较常用。

为什么第二种并不常用呢?

因为如果黑客构造的请求id是随机数,第二种并不能起作用,反而由于缓存的清空策略,(例如清除最近没有被访问的缓存)导致有用的缓存被清除了。

缓存击穿
出现过程

设置了过期时间的key,承载着高并发,是一种热点数据。从这个key过期到重新从MySQL加载数据放到缓存的一段时间,大量的请求有可能把数据库打死。缓存雪崩是指大量缓存失效,缓存击穿是指热点数据的缓存失效

解决方法

设置key永远不过期,或者快过期时,通过另一个异步线程重新设置key
当从缓存拿到的数据为null,重新从数据库加载数据的过程上锁,下面写个分布式锁实现的demo
Redis实现分布式锁
我之前的文章写到了Redis实现分布式锁的原理,这里就不再详细概述了

Redis分布式锁为什么要这样写?

1.加锁执行命令

SET resource_name random_value NX PX 30000
1
2.解锁执行脚本

if redis.call("get", KEYS[1]) == ARGV[1] then 
    return redis.call("del", KEYS[1]) 
else 
    return 0 
end
1
2
3
4
5
写一个分布式锁工具类

public class LockUtil {

    private static final String OK = "OK";
    private static final Long LONG_ONE = 1L;
    private static final String script = "if redis.call('get', KEYS[1]) == ARGV[1] then return redis.call('del', KEYS[1]) else return 0 end";

    public static boolean tryLock(String key, String value, long expire) {
        Jedis jedis = RedisPool.getJedis();
        SetParams setParams = new SetParams();
        setParams.nx().px(expire);
        return OK.equals(jedis.set(key, value, setParams));
    }

    public static boolean releaseLock(String key, String value) {
        Jedis jedis = RedisPool.getJedis();
        return LONG_ONE.equals(jedis.eval(script, 1, key, value));
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
工具类写起来还是挺简单的

示例代码

public String getData(String key) {
    String lockKey = "key";
    String lockValue = String.valueOf(System.currentTimeMillis());
    long expireTime = 1000L;
    String value = getFromRedis(key);
    if (value == null) {
        if (LockUtil.tryLock(lockKey, lockValue, expireTime)) {
            // 从数据库取值并放到redis中
            LockUtil.releaseLock(lockKey, lockValue);
        } else {
            // sleep一段时间再从缓存中拿
            Thread.sleep(100);
            getFromRedis(key);
        }
    }
    return value;
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
参考博客
[1]https://blog.csdn.net/zeb_perfect/article/details/54135506
[2]https://blog.csdn.net/kongtiao5/article/details/82771694
[3]https://www.javashitang.com/?p=596
 

热门文章

暂无图片
编程学习 ·

springcloud config 配置访问

springcloud http请求地址和资源文件映射如下: / { 应用名 } / { 环境名 } [ / { 分支名 } ] / { 应用名 } - { 环境名 }.yml / { 应用名 } - { 环境名 }.properties / { 分支名 } / { 应用名 } - { 环境名 }.yml / { 分支名 } / { 应用名 } - { 环境名 }.properties label 分支…
暂无图片
编程学习 ·

react-native 使用react-native-image-crop-picker上传图片、视频到服务端

博主主要卡在了上传数据这一步情景是这样的:每一次只允许选择一张图片,每次从相册中选择一图片点击右上角确定后,立即发送请求,上传该图片,并且下次再点击时,重复这个动作。(1)点击下图的上传资料(2)点击红框内的按钮(3)选择图片(4)选择完毕的同时,上传图片到服…
暂无图片
编程学习 ·

百天打卡计划第四天-Thread之类的加载过程

类的加载过程 类的加载过程一般分为三个大阶段,加载阶段、连接阶段、初始化阶段。 1加载阶段:主要是负责查找并加载类的二进制数据文件,其实就是class文件。 2连接阶段:连接阶段的工作主要分为三个阶段验证:主要是确保类文件的正确性。 准备:为类的静态变量分配内存,并为…
暂无图片
编程学习 ·

吐血整理各种二叉树(BST、AVL、Red Black、B、B+)

前言 没有必要过度关注二叉树的增删改导致的结构改变,规则操作什么的了解一下就好,看不下去就跳过,本文过多的XX树操作图片纯粹是为了作为规则记录,该文章主要目的是增强下个人对各种常用XX树的设计及缘由的了解,也从中了解到常用的实现案例使用XX树实现的原因。 数据在计…
暂无图片
编程学习 ·

Lower Frame Rate Neural Network Acoustic Models翻译

摘要 最近,使用连续时序分类(CTC)训练的神经网络声学模型被提出,作为传统的交叉熵训练的神经网络声学模型的替代方法,其中,交叉熵方法每10ms输出一帧。与传统模型相反,CTC联合声学模型一起学习对齐,并且除了传统声学状态单元外还输出空白符号。这允许CTC模型以低帧率运…
暂无图片
编程学习 ·

云原生已来,只是分布不均

作者 | 右京 阿里云交付专家 **导读:**云原生是什么?相信不同的人有不同的认识和解读。本文结合大家的各种讨论及项目实践经验,从交付的角度,分享阿里交付专家对云原生的理解,阐述如何构建云原生应用,云原生有哪些关键技术,以及关于云原生落地的思考。 前言 Internet 改…
暂无图片
编程学习 ·

Spring Boot 集成 WebSocket 实现服务端推送消息到客户端

假设有这样一个场景:服务端的资源经常在更新,客户端需要尽量及时地了解到这些更新发生后展示给用户,如果是 HTTP 1.1,通常会开启 ajax 请求询问服务端是否有更新,通过定时器反复轮询服务端响应的资源是否有更新。ajax 轮询在长时间不更新的情况下,反复地去询问会对服务器…
暂无图片
编程学习 ·

Java工具类-使用RSA验签

1 私钥签名public static String signByKey(String content,String privateKey) {PKCS8EncodedKeySpec sp = new PKCS8EncodedKeySpec(new BASE64Decoder().decodeBuffer(privateKey));KeyFactory keyFactory = KeyFactory.getInstance("RSA");PrivateKey key = keyF…
暂无图片
编程学习 ·

个人项目界面编写

个人项目界面代码编写前言一、首先要准备好工具二、界面都要引入css跟js三、注册界面 register,jsp注册效果图四、登陆 login.jsp登陆效果图五、主界面 main.jsp主界面效果图六、搜索界面 search.jsp搜索页效果图七、购物车 shopping.jsp购物车效果图 前言 我是先在bootstrap编…
暂无图片
编程学习 ·

UGUI获取自适应UI元素的宽高

对于使用了layout的布局元素来说,并不能直接通过rectTransfrom来获取搞元素的weight和height 不过Unity中有对应API可以帮助我们获取 通过LayoutUtility中的静态方法我们可以获取对应的一些信息 GetFlexibleHeight 返回布局元素的灵活高度。GetFlexibleSize 返回布局元素的灵活…
暂无图片
编程学习 ·

Yarn工作原理自我总结

如图所示 1.由Client(客户端)提交一个作业请求给ResourceManager(资源管理器) 2.ResourceManager生成一个ApplicationMaster(程序管理员),并根据Node Status(状态)在空闲的NodeManager节点上运行ApplicationMaster 3.ApplicationMaster向ResourceManager注册其信息,并发送资源…
暂无图片
编程学习 ·

数据库语句和数据库表常用的操作命令

Mysql的启动与关闭启动 net start mysql关闭 net stop mysql显示当前服务器版本 SELECT NERSION();显示当前的日期 SWLECT NOW();显示当前用户 SELECT USER(); 数据库语句(DDL)查看数据库 show databases;创建数据库 create database demo;查看警告信息 show warnings;查…
暂无图片
编程学习 ·

mysql 获取本周每天时间

mysql 获取本周每天时间语句 (evt_t_event换成自己的表) SELECT@date := DATE_ADD(@date, INTERVAL + 1 DAY) daysFROM(SELECT@date := DATE_ADD(SUBDATE(CURDATE(),DATE_FORMAT(CURDATE(),%w)-1), INTERVAL - 1 DAY)FROMevt_t_eventLIMIT 7) time
暂无图片
编程学习 ·

叩丁狼开发工程师:SSR服务架构特点分析

叩丁狼开发工程师:SSR服务架构特点分析SSR服务架构是我们在搭建一些开放性平台的时候需要添加的一项功能应用,而今天成都软件开发工程师就通过案例分析来了解一下,关于SSR服务架构的特点都有哪些内容?1、抵抗单页面大流量 要抵抗单页面的大流量,先我们自然而然会想到会使用…
暂无图片
编程学习 ·

Java8的集合:HashSet的实现原理

HashSet 概述 HashSet 实现 Set 接口,由哈希表(实际上是一个 HashMap 实例)支持。它不保证 set 的迭代顺序;特别是它不保证该顺序恒久不变。此类允许使用 null 元素。 HashSet 的实现 对于 HashSet 而言,它是基于 HashMap 实现的,HashSet 底层使用 HashMap 来保存所有元素…
暂无图片
编程学习 ·

叩丁狼培训实战Java教程之自定义spring

Java培训实战教程之自定义spring1.1 描述 在企业级开发中,spring框架应用非常广。为了让已经学习过spring框架同学,可以更深入的理解和应用spring,本文将通过自定义spring,更佳系统的阐述spring核心:IoC、AOP。IoC(Inversion of Control)控制反转:将对象的创建权交与sp…
暂无图片
编程学习 ·

XGBoost学习总结

XGBoost学习总结极端梯度提升算法XGBoost是2014年提出的基于CART回归树的一种boosting集成算法,是对梯度提升决策树(GBDT)算法的一种改进.它的目标是建立t棵回归树使得树群对样本的预测值尽可能接近样本的真实值,并且具有一定的泛化能力.本文是对XGBoost学习的总结与思考,通过总…