缓存的分类
本地缓存(local cache)：存在应用服务器内存中的数据称为本地缓存
分布式缓存(dustribute cache)：存储在当前应用服务器之外的数据称为分布式缓存
这里顺带提及集群和分布式的区别
集群(cluster)：将同一种服务的多个节点放在一起共同对系统提供服务，称为集群
分布式(distribute system)：有多个不同服务集群功能对系统提供服务，这个系统称之为分布式系统
所以两者虽然都是多个服务器节点，区别就在多个节点中，集群侧重的是同一种服务，而分布式侧重的是不同的服务，而且分布式还是建立在集群的基础之上的。
缓存发挥的作用
由图中可以看出，缓存是作为存储层和客户端之间的中间层，当客户端的请求过来时，首先请求缓存中的内容，如果查到（hit）则直接返回，不再去查找存储层；如果没有（miss），则去存储层中查找并将结果写入缓存（write cache）再返回，以便之后相同的请求可以去缓存中获取。
之所以加入缓存层是因为存储层一般是需要读写磁盘的，而缓存层在内存中，两者的读写速度完全不是一个量级，内存快的多。而大部分应用的请求都有一个特点——读多写少，所以将总是需要查到的数据放在缓存层中可以大大提高应用的响应速度，减少存储层的压力。
一般Web应用中，存储层就是我们用的关系型数据库，MySQL、Oracle、SQLServer等，而缓存层分类上面已经提到，常用的有Redis，Memcached等。
MyBatis开启二级缓存
MyBatis一级缓存中，其最大的共享范围就是一个SqlSession内部，如果多个SqlSession之间需要共享缓存，则需要使用到二级缓存。
开启方法：
在业务的mapper.xml文件中添加
<cache/>
二级缓存开启后，同一个namespace下的所有操作语句，都影响着同一个Cache，即二级缓存被多个SqlSession共享，是一个全局的变量。
当开启缓存后，数据的查询执行的流程就是 二级缓存 -> 一级缓存 -> 数据库。
这样开启的是本地二级缓存，这样有个缺点就是应用重新启动后，JVM重新分配内存，这样的话之前的缓存就都没了，所以我们得用分布式缓存来解决。
使用Redis作为Mybatis的二级缓存
MyBatis的缓存实现类默认是PerpetualCache，它继承类Cache接口，除此之外还有其他实现类。
原理就是维护一个HashMap，将查询的SQL以及Mapper的namespace作为Key，然后查询的结果作为Value，通过键值对的方式来实现缓存查询过的sql语句的结果，所以要用redis替换也还是十分合适的。
Cache接口
public interface Cache {
String getId();
void putObject(Object var1, Object var2);
Object getObject(Object var1);
Object removeObject(Object var1);
void clear();
int getSize();
ReadWriteLock getReadWriteLock();
}
解析
getId ：这个方法其实是获取了执行的sql对应的namespace，可以用来组成缓存的key
putObject ：此方法就是用来将数据放入缓存的
getObject ：用以根据key获取缓存的值
removeObject ：删除某一缓存项目，MyBatis暂未实现与启用此方法，所以暂时无用
clear ：每次执行update/delete/insert语句都会调用此方法进行清除原有的缓存
getSize ：获取缓存大小，暂时用处不大
getReadWriteLock ：获取读写锁，这是用来拿到互斥锁解决缓存击穿问题的
所以我们只要恰当地实现以上方法，对接上redis，就可以使用redis作为mybatis的二级缓存了。
MyBatisRedisCache实现类
这里在网上找了一个博主实现地比较好的，链接在文章最后，作者为Leven
SpringBoot配置
mybatis:
configuration:
cache-enabled: true
RedisConfig中配置RedisTemplate
/**
* Redis缓存配置
* @author Leven
* @date 2019-09-07
*/
@Configuration
public class RedisConfig {
/**
* 配置自定义redisTemplate
* @return redisTemplate
*/
@Bean
public RedisTemplate<String, Object> redisTemplate(RedisConnectionFactory redisConnectionFactory) {
RedisTemplate<String, Object> template = new RedisTemplate<>();
template.setConnectionFactory(redisConnectionFactory);
// 使用Jackson2JsonRedisSerializer来序列化和反序列化redis的value值
Jackson2JsonRedisSerializer<Object> jackson2JsonRedisSerializer = new Jackson2JsonRedisSerializer<>(Object.class);
StringRedisSerializer stringRedisSerializer = new StringRedisSerializer();
ObjectMapper mapper = new ObjectMapper();
mapper.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY);
mapper.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL);
jackson2JsonRedisSerializer.setObjectMapper(mapper);
template.setKeySerializer(stringRedisSerializer);
template.setValueSerializer(jackson2JsonRedisSerializer);
template.setHashKeySerializer(stringRedisSerializer);
template.setHashValueSerializer(jackson2JsonRedisSerializer);
template.afterPropertiesSet();
return template;
}
}
RedisService接口
/**
* redis基础服务接口
* @author Leven
* @date 2019-09-07
*/
public interface RedisService {
// =============================common============================
/**
* 指定缓存失效时间
* @param key 键
* @param time 时间(秒)
*/
void expire(String key, long time);
/**
* 指定缓存失效时间
* @param key 键
* @param expireAt 失效时间点
* @return 处理结果
*/
void expireAt(String key, Date expireAt);
/**
* 根据key 获取过期时间
* @param key 键 不能为null
* @return 时间(秒) 返回0代表为永久有效
*/
Long getExpire(String key);
/**
* 判断key是否存在
* @param key 键
* @return true 存在 false不存在
*/
Boolean hasKey(String key);
/**
* 删除缓存
* @param key 可以传一个值 或多个
*/
void delete(String... key);
/**
* 删除缓存
* @param keys 可以传一个值 或多个
*/
void delete(Collection<String> keys);
// ============================String=============================
/**
* 普通缓存获取
* @param key 键
* @return 值
*/
Object get(String key);
/**
* 普通缓存放入
* @param key 键
* @param value 值
*/
void set(String key, Object value);
/**
* 普通缓存放入并设置时间
* @param key 键
* @param value 值
* @param time 时间(秒) time要大于0 如果time小于等于0 将设置无限期
*/
void set(String key, Object value, long time);
/**
* 普通缓存放入并设置时间
* @param key 键
* @param value 值
* @param time 时间(秒) time要大于0 如果time小于等于0 将设置无限期
*/
void set(String key, Object value, long time, TimeUnit timeUnit);
/**
* 递增
* @param key 键
* @param value 要增加几(大于0)
* @return 递增后结果
*/
Long incr(String key, long value);
/**
* 递减
* @param key 键
* @param value 要减少几(大于0)
* @return 递减后结果
*/
Long decr(String key, long value);
// ================================Map=================================
/**
* HashGet
* @param key 键 不能为null
* @param item 项 不能为null
* @return 值
*/
Object hashGet(String key, String item);
/**
* 获取hashKey对应的所有键值
* @param key 键
* @return 对应的多个键值
*/
Map<Object, Object> hashEntries(String key);
/**
* HashSet
* @param key 键
* @param map 对应多个键值
*/
void hashSet(String key, Map<String, Object> map);
/**
* HashSet 并设置时间
* @param key 键
* @param map 对应多个键值
* @param time 时间(秒)
*/
void hashSet(String key, Map<String, Object> map, long time);
/**
* 向一张hash表中放入数据,如果不存在将创建
* @param key 键
* @param item 项
* @param value 值
*/
void hashSet(String key, String item, Object value);
/**
* 向一张hash表中放入数据,如果不存在将创建
* @param key 键
* @param item 项
* @param value 值
* @param time 时间(秒) 注意:如果已存在的hash表有时间,这里将会替换原有的时间
*/
void hashSet(String key, String item, Object value, long time);
/**
* 删除hash表中的值
* @param key 键 不能为null
* @param item 项 可以使多个 不能为null
*/
void hashDelete(String key, Object... item);
/**
* 删除hash表中的值
* @param key 键 不能为null
* @param items 项 可以使多个 不能为null
*/
void hashDelete(String key, Collection items);
/**
* 判断hash表中是否有该项的值
* @param key 键 不能为null
* @param item 项 不能为null
* @return true 存在 false不存在
*/
Boolean hashHasKey(String key, String item);
/**
* hash递增 如果不存在,就会创建一个 并把新增后的值返回
* @param key 键
* @param item 项
* @param value 要增加几(大于0)
* @return 递增后结果
*/
Double hashIncr(String key, String item, double value);
/**
* hash递减
* @param key 键
* @param item 项
* @param value 要减少记(小于0)
* @return 递减后结果
*/
Double hashDecr(String key, String item, double value);
// ============================set=============================
/**
* 根据key获取Set中的所有值
* @param key 键
* @return set集合
*/
Set<Object> setGet(String key);
/**
* 根据value从一个set中查询,是否存在
* @param key 键
* @param value 值
* @return true 存在 false不存在
*/
Boolean setIsMember(String key, Object value);
/**
* 将数据放入set缓存
* @param key 键
* @param values 值 可以是多个
* @return 成功个数
*/
Long setAdd(String key, Object... values);
/**
* 将数据放入set缓存
* @param key 键
* @param values 值 可以是多个
* @return 成功个数
*/
Long setAdd(String key, Collection values);
/**
* 将set数据放入缓存
* @param key 键
* @param time 时间(秒)
* @param values 值 可以是多个
* @return 成功个数
*/
Long setAdd(String key, long time, Object... values);
/**
* 获取set缓存的长度
* @param key 键
* @return set长度
*/
Long setSize(String key);
/**
* 移除值为value的
* @param key 键
* @param values 值 可以是多个
* @return 移除的个数
*/
Long setRemove(String key, Object... values);
// ===============================list=================================
/**
* 获取list缓存的内容
* @param key 键
* @param start 开始
* @param end 结束 0 到 -1代表所有值
* @return 缓存列表
*/
List<Object> listRange(String key, long start, long end);
/**
* 获取list缓存的长度
* @param key 键
* @return 长度
*/
Long listSize(String key);
/**
* 通过索引 获取list中的值
* @param key 键
* @param index 索引 index>=0时， 0 表头，1 第二个元素，依次类推；index<0时，-1，表尾，-2倒数第二个元素，依次类推
* @return 值
*/
Object listIndex(String key, long index);
/**
* 将list放入缓存
* @param key 键
* @param value 值
*/
void listRightPush(String key, Object value);
/**
* 将list放入缓存
* @param key 键
* @param value 值
* @param time 时间(秒)
*/
void listRightPush(String key, Object value, long time);
/**
* 将list放入缓存
* @param key 键
* @param value 值
*/
void listRightPushAll(String key, List<Object> value);
/**
* 将list放入缓存
*
* @param key 键
* @param value 值
* @param time 时间(秒)
*/
void listRightPushAll(String key, List<Object> value, long time);
/**
* 根据索引修改list中的某条数据
* @param key 键
* @param index 索引
* @param value 值
*/
void listSet(String key, long index, Object value);
/**
* 移除N个值为value
* @param key 键
* @param count 移除多少个
* @param value 值
* @return 移除的个数
*/
Long listRemove(String key, long count, Object value);
}
RedisServiceImpl实现
/**
* redis基础服务接口实现
*
* @author Leven
* @date 2019-09-07
*/
@Slf4j
@Service
public class RedisServiceImpl implements RedisService {
private static final String PREFIX = "应用名";
@Autowired
private RedisTemplate<String, Object> redisTemplate;
// =============================common============================
/**
* 指定缓存失效时间
*
* @param key 键
* @param time 时间(秒)
*/
@Override
public void expire(String key, long time) {
redisTemplate.expire(getKey(key), time, TimeUnit.SECONDS);
}
/**
* 指定缓存失效时间
*
* @param key 键
* @param expireAt 失效时间点
* @return 处理结果
*/
@Override
public void expireAt(String key, Date expireAt) {
redisTemplate.expireAt(getKey(key), expireAt);
}
/**
* 根据key 获取过期时间
*
* @param key 键 不能为null
* @return 时间(秒) 返回0代表为永久有效
*/
@Override
public Long getExpire(String key) {
return redisTemplate.getExpire(getKey(key), TimeUnit.SECONDS);
}
/**
* 判断key是否存在
*
* @param key 键
* @return true 存在 false不存在
*/
@Override
public Boolean hasKey(String key) {
return redisTemplate.hasKey(getKey(key));
}
/**
* 删除缓存
*
* @param keys 可以传一个值 或多个
*/
@Override
public void delete(String... keys) {
if (keys != null && keys.length > 0) {
if (keys.length == 1) {
redisTemplate.delete(getKey(keys[0]));
} else {
List<String> keyList = new ArrayList<>(keys.length);
for (String key : keys) {
keyList.add(getKey(key));
}
redisTemplate.delete(keyList);
}
}
}
/**
* 删除缓存
*
* @param keys 可以传一个值 或多个
*/
@Override
public void delete(Collection<String> keys) {
if (keys != null && !keys.isEmpty()) {
List<String> keyList = new ArrayList<>(keys.size());
for (String key : keys) {
keyList.add(getKey(key));
}
redisTemplate.delete(keyList);
}
}
// ============================String=============================
/**
* 普通缓存获取
*
* @param key 键
* @return 值
*/
@Override
public Object get(String key) {
return key == null ? null : redisTemplate.opsForValue().get(getKey(key));
}
/**
* 普通缓存放入
*
* @param key 键
* @param value 值
*/
@Override
public void set(String key, Object value) {
redisTemplate.opsForValue().set(getKey(key), value);
}
/**
* 普通缓存放入并设置时间
*
* @param key 键
* @param value 值
* @param time 时间(秒) time要大于0 如果time小于等于0 将设置无限期
*/
@Override
public void set(String key, Object value, long time) {
set(key, value, time, TimeUnit.SECONDS);
}
/**
* 普通缓存放入并设置时间
*
* @param key 键
* @param value 值
* @param time 时间 time要大于0 如果time小于等于0 将设置无限期
* @param timeUnit 时间单位
*/
@Override
public void set(String key, Object value, long time, TimeUnit timeUnit) {
if (time > 0) {
redisTemplate.opsForValue().set(getKey(key), value, time, timeUnit);
} else {
set(getKey(key), value);
}
}
/**
* 递增
*
* @param key 键
* @param value 要增加几(大于0)
* @return 递增后结果
*/
@Override
public Long incr(String key, long value) {
if (value < 1) {
throw new BizException("递增因子必须大于0");
}
return redisTemplate.opsForValue().increment(getKey(key), value);
}
/**
* 递减
*
* @param key 键
* @param value 要减少几(大于0)
* @return 递减后结果
*/
@Override
public Long decr(String key, long value) {
if (value < 1) {
throw new BizException("递减因子必须大于0");
}
return redisTemplate.opsForValue().decrement(getKey(key), value);
}
// ================================Map=================================
/**
* HashGet
*
* @param key 键 不能为null
* @param item 项 不能为null
* @return 值
*/
@Override
public Object hashGet(String key, String item) {
return redisTemplate.opsForHash().get(getKey(key), item);
}
/**
* 获取hashKey对应的所有键值
*
* @param key 键
* @return 对应的多个键值
*/
@Override
public Map<Object, Object> hashEntries(String key) {
return redisTemplate.opsForHash().entries(getKey(key));
}
/**
* HashSet
*
* @param key 键
* @param map 对应多个键值
*/
@Override
public void hashSet(String key, Map<String, Object> map) {
redisTemplate.opsForHash().putAll(getKey(key), map);
}
/**
* HashSet 并设置时间
*
* @param key 键
* @param map 对应多个键值
* @param time 时间(秒)
*/
@Override
public void hashSet(String key, Map<String, Object> map, long time) {
String k = getKey(key);
redisTemplate.opsForHash().putAll(k, map);
if (time > 0) {
expire(k, time);
}
}
/**
* 向一张hash表中放入数据,如果不存在将创建
*
* @param key 键
* @param item 项
* @param value 值
*/
@Override
public void hashSet(String key, String item, Object value) {
redisTemplate.opsForHash().putIfAbsent(getKey(key), item, value);
}
/**
* 向一张hash表中放入数据,如果不存在将创建
*
* @param key 键
* @param item 项
* @param value 值
* @param time 时间(秒) 注意:如果已存在的hash表有时间,这里将会替换原有的时间
*/
@Override
public void hashSet(String key, String item, Object value, long time) {
String k = getKey(key);
redisTemplate.opsForHash().putIfAbsent(k, item, value);
if (time > 0) {
expire(k, time);
}
}
/**
* 删除hash表中的值
*
* @param key 键 不能为null
* @param item 项 可以使多个 不能为null
*/
@Override
public void hashDelete(String key, Object... item) {
redisTemplate.opsForHash().delete(getKey(key), item);
}
/**
* 删除hash表中的值
*
* @param key 键 不能为null
* @param items 项 可以使多个 不能为null
*/
@Override
public void hashDelete(String key, Collection items) {
redisTemplate.opsForHash().delete(getKey(key), items.toArray());
}
/**
* 判断hash表中是否有该项的值
*
* @param key 键 不能为null
* @param item 项 不能为null
* @return true 存在 false不存在
*/
@Override
public Boolean hashHasKey(String key, String item) {
return redisTemplate.opsForHash().hasKey(getKey(key), item);
}
/**
* hash递增 如果不存在,就会创建一个 并把新增后的值返回
*
* @param key 键
* @param item 项
* @param value 要增加几(大于0)
* @return 递增后结果
*/
@Override
public Double hashIncr(String key, String item, double value) {
if (value < 1) {
throw new BizException("递增因子必须大于0");
}
return redisTemplate.opsForHash().increment(getKey(key), item, value);
}
/**
* hash递减
*
* @param key 键
* @param item 项
* @param value 要减少记(小于0)
* @return 递减后结果
*/
@Override
public Double hashDecr(String key, String item, double value) {
if (value < 1) {
throw new BizException("递减因子必须大于0");
}
return redisTemplate.opsForHash().increment(getKey(key), item, -value);
}
// ============================set=============================
/**
* 根据key获取Set中的所有值
*
* @param key 键
* @return set集合
*/
@Override
public Set<Object> setGet(String key) {
return redisTemplate.opsForSet().members(getKey(key));
}
/**
* 根据value从一个set中查询,是否存在
*
* @param key 键
* @param value 值
* @return true 存在 false不存在
*/
@Override
public Boolean setIsMember(String key, Object value) {
return redisTemplate.opsForSet().isMember(getKey(key), value);
}
/**
* 将数据放入set缓存
*
* @param key 键
* @param values 值 可以是多个
* @return 成功个数
*/
@Override
public Long setAdd(String key, Object... values) {
return redisTemplate.opsForSet().add(getKey(key), values);
}
/**
* 将数据放入set缓存
*
* @param key 键
* @param values 值 可以是多个
* @return 成功个数
*/
@Override
public Long setAdd(String key, Collection values) {
return redisTemplate.opsForSet().add(getKey(key), values.toArray());
}
/**
* 将set数据放入缓存
*
* @param key 键
* @param time 时间(秒)
* @param values 值 可以是多个
* @return 成功个数
*/
@Override
public Long setAdd(String key, long time, Object... values) {
String k = getKey(key);
Long count = redisTemplate.opsForSet().add(k, values);
if (time > 0) {
expire(k, time);
}
return count;
}
/**
* 获取set缓存的长度
*
* @param key 键
* @return set长度
*/
@Override
public Long setSize(String key) {
return redisTemplate.opsForSet().size(getKey(key));
}
/**
* 移除值为value的
*
* @param key 键
* @param values 值 可以是多个
* @return 移除的个数
*/
@Override
public Long setRemove(String key, Object... values) {
return redisTemplate.opsForSet().remove(getKey(key), values);
}
// ===============================list=================================
/**
* 获取list缓存的内容
*
* @param key 键
* @param start 开始
* @param end 结束 0 到 -1代表所有值
* @return 缓存列表
*/
@Override
public List<Object> listRange(String key, long start, long end) {
return redisTemplate.opsForList().range(getKey(key), start, end);
}
/**
* 获取list缓存的长度
*
* @param key 键
* @return 长度
*/
@Override
public Long listSize(String key) {
return redisTemplate.opsForList().size(getKey(key));
}
/**
* 通过索引 获取list中的值
*
* @param key 键
* @param index 索引 index>=0时， 0 表头，1 第二个元素，依次类推；index<0时，-1，表尾，-2倒数第二个元素，依次类推
* @return 值
*/
@Override
public Object listIndex(String key, long index) {
return redisTemplate.opsForList().index(getKey(key), index);
}
/**
* 将list放入缓存
*
* @param key 键
* @param value 值
*/
@Override
public void listRightPush(String key, Object value) {
redisTemplate.opsForList().rightPush(getKey(key), value);
}
/**
* 将list放入缓存
*
* @param key 键
* @param value 值
* @param time 时间(秒)
*/
@Override
public void listRightPush(String key, Object value, long time) {
String k = getKey(key);
redisTemplate.opsForList().rightPush(k, value);
if (time > 0) {
expire(k, time);
}
}
/**
* 将list放入缓存
*
* @param key 键
* @param value 值
*/
@Override
public void listRightPushAll(String key, List<Object> value) {
redisTemplate.opsForList().rightPushAll(getKey(key), value);
}
/**
* 将list放入缓存
*
* @param key 键
* @param value 值
* @param time 时间(秒)
*/
@Override
public void listRightPushAll(String key, List<Object> value, long time) {
String k = getKey(key);
redisTemplate.opsForList().rightPushAll(k, value);
if (time > 0) {
expire(k, time);
}
}
/**
* 根据索引修改list中的某条数据
*
* @param key 键
* @param index 索引
* @param value 值
*/
@Override
public void listSet(String key, long index, Object value) {
redisTemplate.opsForList().set(getKey(key), index, value);
}
/**
* 移除N个值为value
*
* @param key 键
* @param count 移除多少个
* @param value 值
* @return 移除的个数
*/
@Override
public Long listRemove(String key, long count, Object value) {
return redisTemplate.opsForList().remove(getKey(key), count, value);
}
private String getKey(String key) {
return PREFIX + ":" + key;
}
}
实现Cache接口的MybatisRedisCache
/**
* MyBatis二级缓存Redis实现
* 重点处理以下几个问题
* 1、缓存穿透：存储空值解决，MyBatis框架实现
* 2、缓存击穿：使用互斥锁，我们自己实现
* 3、缓存雪崩：缓存有效期设置为一个随机范围，我们自己实现
* 4、读写性能：redis key不能过长，会影响性能，这里使用SHA-256计算摘要当成key
* @author Leven
* @date 2019-09-07
*/
@Slf4j
public class MybatisRedisCache implements Cache {
/**
* 统一字符集
*/
private static final String CHARSET = "utf-8";
/**
* key摘要算法
*/
private static final String ALGORITHM = "SHA-256";
/**
* 统一缓存头
*/
private static final String CACHE_NAME = "MyBatis:";
/**
* 读写锁：解决缓存击穿
*/
private final ReadWriteLock readWriteLock = new ReentrantReadWriteLock();
/**
* 表空间ID：方便后面的缓存清理
*/
private final String id;
/**
* redis服务接口：提供基本的读写和清理
*/
private static volatile RedisService redisService;
/**
* 信息摘要
*/
private volatile MessageDigest messageDigest;
/////////////////////// 解决缓存雪崩，具体范围根据业务需要设置合理值 //////////////////////////
/**
* 缓存最小有效期
*/
private static final int MIN_EXPIRE_MINUTES = 60;
/**
* 缓存最大有效期
*/
private static final int MAX_EXPIRE_MINUTES = 120;
/**
* MyBatis给每个表空间初始化的时候要用到
* @param id 其实就是namespace的值
*/
public MybatisRedisCache(String id) {
if (id == null) {
throw new IllegalArgumentException("Cache instances require an ID");
}
this.id = id;
}
/**
* 获取ID
* @return 真实值
*/
@Override
public String getId() {
return id;
}
/**
* 创建缓存
* @param key 其实就是sql语句
* @param value sql语句查询结果
*/
@Override
public void putObject(Object key, Object value) {
try {
String strKey = getKey(key);
// 有效期为1~2小时之间随机，防止雪崩
int expireMinutes = RandomUtils.nextInt(MIN_EXPIRE_MINUTES, MAX_EXPIRE_MINUTES);
getRedisService().set(strKey, value, expireMinutes, TimeUnit.MINUTES);
log.debug("Put cache to redis, id={}", id);
} catch (Exception e) {
log.error("Redis put failed, id=" + id, e);
}
}
/**
* 读取缓存
* @param key 其实就是sql语句
* @return 缓存结果
*/
@Override
public Object getObject(Object key) {
try {
String strKey = getKey(key);
log.debug("Get cache from redis, id={}", id);
return getRedisService().get(strKey);
} catch (Exception e) {
log.error("Redis get failed, fail over to db", e);
return null;
}
}
/**
* 删除缓存
* @param key 其实就是sql语句
* @return 结果
*/
@Override
public Object removeObject(Object key) {
try {
String strKey = getKey(key);
getRedisService().delete(strKey);
log.debug("Remove cache from redis, id={}", id);
} catch (Exception e) {
log.error("Redis remove failed", e);
}
return null;
}
/**
* 缓存清理
* 网上好多博客这里用了flushDb甚至是flushAll，感觉好坑鸭！
* 应该是根据表空间进行清理
*/
@Override
public void clear() {
try {
log.debug("clear cache, id={}", id);
String hsKey = CACHE_NAME + id;
// 获取CacheNamespace所有缓存key
Map<Object, Object> idMap = getRedisService().hashEntries(hsKey);
if (!idMap.isEmpty()) {
Set<Object> keySet = idMap.keySet();
Set<String> keys = new HashSet<>(keySet.size());
keySet.forEach(item -> keys.add(item.toString()));
// 清空CacheNamespace所有缓存
getRedisService().delete(keys);
// 清空CacheNamespace
getRedisService().delete(hsKey);
}
} catch (Exception e) {
log.error("clear cache failed", e);
}
}
/**
* 获取缓存大小，暂时没用上
* @return 长度
*/
@Override
public int getSize() {
return 0;
}
/**
* 获取读写锁：为了解决缓存击穿
* @return 锁
*/
@Override
public ReadWriteLock getReadWriteLock() {
return readWriteLock;
}
/**
* 计算出key的摘要
* @param cacheKey CacheKey
* @return 字符串key
*/
private String getKey(Object cacheKey) {
String cacheKeyStr = cacheKey.toString();
log.debug("count hash key, cache key origin string:{}", cacheKeyStr);
String strKey = byte2hex(getSHADigest(cacheKeyStr));
log.debug("hash key:{}", strKey);
String key = CACHE_NAME + strKey;
// 在redis额外维护CacheNamespace创建的key，clear的时候只清理当前CacheNamespace的数据
getRedisService().hashSet(CACHE_NAME + id, key, "1");
return key;
}
/**
* 获取信息摘要
* @param data 待计算字符串
* @return 字节数组
*/
private byte[] getSHADigest(String data) {
try {
if (messageDigest == null) {
synchronized (MessageDigest.class) {
if (messageDigest == null) {
messageDigest = MessageDigest.getInstance(ALGORITHM);
}
}
}
return messageDigest.digest(data.getBytes(CHARSET));
} catch (Exception e) {
log.error("SHA-256 digest error: ", e);
throw new SPIException(ExceptionCode.RUNTIME_UNITE_EXP,"SHA-256 digest error, id=" + id + ".");
}
}
/**
* 字节数组转16进制字符串
* @param bytes 待转换数组
* @return 16进制字符串
*/
private String byte2hex(byte[] bytes) {
StringBuilder sign = new StringBuilder();
for (byte aByte : bytes) {
String hex = Integer.toHexString(aByte & 0xFF);
if (hex.length() == 1) {
sign.append("0");
}
sign.append(hex.toUpperCase());
}
return sign.toString();
}
/**
* 获取Redis服务接口
* 使用双重检查保证线程安全
* @return 服务实例
*/
private RedisService getRedisService() {
if (redisService == null) {
synchronized (RedisService.class) {
if (redisService == null) {
redisService = ApplicationContextUtils.getBeanByClass(RedisService.class);
}
}
}
return redisService;
}
}
配置实现类
有两种方式配置二级缓存实现类到mapper上，二选一
- Java代码（注解）
@CacheNamespace(implementation=com.leven.mybatis.core.cache.MybatisRedisCache.class)
public interface UserMapper extends OracleMapper<UserDO> {
}
- XML
<cache type="com.leven.mybatis.core.cache.MybatisRedisCache"/>
实现类解析与缓存三大问题的解决
通过阅读以上实现类源码可以看出其中一些设计的精巧，下面一一来分析。
- Key的命名
key的命名可以看到使用了一些前缀，比如最终对某一sql运行结果缓存的key实际上是
应用名:MyBatis:SQL转为的HEX
可以看出是用冒号隔开的，一层一层的，类似命名空间一样的方式，这种key命名方式的好处是可以很好地区分不同业务的key，使得缓存的存储更有条理更加规范，同时也可以使得在RDM等redis可视化界面中呈现树形的结构。
- key的摘要处理
MyBatis原始的key里是直接包含了被执行的sql语句，但是这样会导致key的长度太大，对redis性能有一定的影响，所以这里的处理是用SHA-256算法计算出原本为string的key的摘要，最后将其转换为十六进制的表示形式。
这样做的优点是可以缩短key的长度，提升redis性能，同时也保证了sql与key的唯一对应性，只是需要一点开销去计算这个过程。
- CacheNamespace
网上很多其他的clear方法的实现类都是flushdb的，这样做不好，因为很多情况下不同namespace下的数据并无关联，这边的修改不会影响那边，所以只需要清除本SQL所在的namespace即可，不需要全部清除，被清除的之后还要去数据库中取也是增加了开销。（如果有关联的缓存则用另一种方法处理，文章下面有介绍）
上面的实现类就是通过redis维护一个hash结构，key为namespace，里面的每个field就是其下的执行过的SQL的摘要，value只是标志位。而SQL对应的查询结果缓存则是单独用普通的string的key-value进行存储，只是我们制定了序列化用json而已。在clear时，查询到此namespace下的所有摘要，想删除了对应的所有的string的key-value，再去把hash结构删了。
那有人可能会说，为啥不直接在hash中field对应的value里存储SQL的查询结果，要在外面另外的用key-value结构去存呢，这样我clear的时候直接删除整个namespace对应的hash就行了呗。这其实也是一种方案，但是缺点有两个：（一）无法对每一个SQL摘要进行单独设置过期时间，最多只能对hash结构的大key设置；（二）hash中的filed不宜过多
- 随机过期时间——应对缓存雪崩
缓存雪崩，简单来说就是当我们有一组key因为过期时间点相近，在那一小段时间内这组key集体失效，而此时又有很多请求过来要获取这组key的内容，那就全部打在MySQL上，可能就会造成数据库压力过大而崩溃。
解决方法是在设置key的过期时间时加上随机数，使得他们的过期时间尽量分散，避免在同一时间内集体失效。
- 存储空值——应对缓存穿透
缓存穿透 ，当客户端请求一个数据库中没有的值得时候，缓存中自然也不会有，那就穿过缓存直接来到数据库进行查询，如果这样的请求多了的话对数据库也不利。
解决方法是对查询不存在的结果也在缓存中存储空值来解决，这个由MyBatis实现，下次再来请求这个不存在的值得时候就可以拦截在缓存中了。
如果遇到那种黑客攻击，生成了一堆随机的，不存在的值来穿透，来打到我们的数据库怎么办？那就要用大名鼎鼎的布隆过滤器（bloom filter）了，这里不展开。
- 使用互斥锁——应对缓存击穿
缓存击穿 ，这个跟缓存雪崩有点类似，缓存雪崩是大规模的key失效，而缓存击穿是一个热点的key失效，经常有大并发集中对其进行访问，突然间这个Key失效了，导致大并发全部打在数据库上，导致数据库压力剧增。这种现象就叫做缓存击穿。
解决方案是互斥锁，当这个热点key失效时先加把互斥锁，拿到锁的线程去数据库中查找，其它线程只能等到重试，等load db完成后再写到缓存中，拿到锁的线程才释放锁，这时其他线程就可以去缓存中取了，这样就减少了数据库的压力。当然，用了锁就会影响系统一定的性能。
关联缓存
当遇到不同namespace之间的数据有关联，也就是在清除一个namespace时，也需要清除另一个与之相关联的避免读到脏数据，这个时候我们可以使用关联缓存。
开启方法：在对应的mapper下加上以下标签：
<cache-ref namespace="xxxxxxx"/>
设置之后本mapper的缓存会放到cache-ref制定的namespace下，也就是不再自己一个namespace，共用了指向的namespace，那到时清除的时候就会一块清除。
参考链接
【编程不良人】适合后端编程人员的Redis实战教程、redis应用场景、分布式缓存、Session管理、面试相关等已完结!