麒麟v10 上部署 TiDB v5.1.2 生产环境优化实践
1577
2023-05-11
基于内存和 Redis 的两级 Java 缓存框架
简介
J2Cache 是 OSChina 目前正在使用的两级缓存框架(要求至少 Java 8)。***级缓存使用内存(同时支持 Ehcache 2.x、Ehcache 3.x 和 Caffeine),第二级缓存使用 Redis(推荐)/Memcached 。 由于大量的缓存读取会导致 L2 的网络成为整个系统的瓶颈,因此 L1 的目标是降低对 L2 的读取次数。 该缓存框架主要用于集群环境中。单机也可使用,用于避免应用重启导致的缓存冷启动后对后端业务的冲击。
J2Cache 的两级缓存结构
L1: 进程内缓存(caffeineehcache)
L2: Redis/Memcached 集中式缓存
数据读取
读取顺序 -> L1 -> L2 -> DB数据更新从数据库中读取***数据,依次更新 L1 -> L2 ,发送广播清除某个缓存信息接收到广播(手工清除缓存 & 一级缓存自动失效),从 L1 中清除指定的缓存信息
J2Cache 配置
配置文件位于 core/resources 目录下,包含三个文件:
j2cache.properties J2Cache 核心配置文件,可配置两级的缓存,Redis 服务器、连接池以及缓存广播的方式caffeine.properties 如果一级缓存选用 Caffeine ,那么该文件用来配置缓存信息ehcache.xml Ehcache 的配置文件,配置说明请参考 Ehcache 文档ehcache3.xml Ehcache3 的配置文件,配置说明请参考 Ehcache 文档network.xml JGroups 网络配置,如果使用 JGroups 组播的话需要这个文件,一般无需修改
实际使用过程需要将所需的配置文件复制到应用类路径中,如 WEB-INF/classes 目录。
J2Cache 运行时所需 jar 包请查看 core/pom.xml
测试方法
使用方法
J2Cache 默认使用 Caffeine 作为一级缓存,使用 Redis 作为二级缓存。你还可以选择 Ehcache2 和 Ehcache3 作为一级缓存。
准备工作
安装 Redis新建一个基于 Maven 的 Java 项目
一. 引用 Maven
net.oschina.j2cache j2cache-core xxxxx
二. 准备配置
使用你喜欢的文本编辑器打开 j2cache.properties 并找到 redis.hosts 项,将其信息改成你的 Redis 服务器所在的地址和端口。
我们建议缓存在使用之前都需要预先设定好缓存大小及有效时间,使用文本编辑器打开 caffeine.properties 进行缓存配置,配置方法请参考文件中的注释内容。
例如:default = 1000,30m #定义缓存名 default ,对象大小 1000,缓存数据有效时间 30 分钟。 你可以定义多个不同名称的缓存。
三. 编写代码
Test.java
public static void main(String[] args) { CacheChannel cache = J2Cache.getChannel(); //缓存操作 cache.set("default", "1", "Hello J2Cache"); System.out.println(cache.get("default", "1")); cache.evict("default", "1"); System.out.println(cache.get("default", "1")); cache.close(); }
编译并运行查看结果,更多的用法请参考 CacheChannel.java 接口的方法。
请注意 cache.close() 方法只需在程序退出时调用。
四. 动态构建 J2Cache 实例
J2CacheConfig config = new J2CacheConfig(); //填充 config 变量所需的配置信息 J2CacheBuilder builder = J2CacheBuilder.init(config); CacheChannel channel = builder.getChannel(); //进行缓存的操作 channel.close();
五. 集群测试
常见问题
1、J2Cache 的使用场景是什么?
首先你的应用是运行在集群环境,使用 J2Cache 可以有效降低节点间的数据传输量;其次单节点使用 J2Cache 可以避免应用重启后对后端业务系统的冲击。
2、为什么不能在程序中设置缓存的有效期
在程序中定义缓存数据的有效期会导致缓存不可控,一旦数据出问题无从查起,因此 J2Cache 的所有缓存的有效期都必须在 一级缓存 的配置中预设好再使用。
3、如何使用 JGroups 组播方式(无法在云主机中使用)
首先修改 j2cache.properties 中的 j2cache.broadcast 值为 jgroups,然后在 maven 中引入
4、如何使用 ehcache 作为一级缓存
首先修改 j2cache.properties 中的 j2cache.L1.provider_class 为 ehcache 或者 ehcache3,然后拷贝 ehcache.xml 或者 ehcache3.xml 到类路径,并配置好缓存,需要在项目中引入对 ehcache 的支持:
5、如何使用 RabbitMQ 作为消息通知
首先修改 j2cache.properties 中的 j2cache.broadcast 为 rabbitmq,然后在 j2cache.properties 中配置 rabbitmq.xxx 相关信息。
需要在项目中引入对 rabbitmq 的支持:
6、如何使用 RocketMQ 作为消息通知
首先修改 j2cache.properties 中的 j2cache.broadcast 为 rocketmq,然后在 j2cache.properties 中配置 rocketmq.xxx 相关信息。
需要在项目中引入对 rabbitmq 的支持:
7、如何使用 memcached 作为二级缓存
首先修改 j2cache.properties 中的 j2cache.L2.provider_class 为 memcached,然后在 j2cache.properties 中配置 memcached.xxx 相关信息。
需要在项目中引入对 memcached 的支持:
8、为什么 J2Cache 初始化时,连接本机的 Redis 非常慢,要 5 秒以上?
如果出现这种情况,请在系统 hosts 里配置机器名和IP地址的对应关系,例如:
127.0.0.1 localhost 127.0.0.1 winter-notebook.local ::1 localhost ::1 winter-notebook.local
9、使用何种 Redis 的存储模式***? generic 还是 hash ?
推荐使用 generic 存储模式,这也是 J2Cache 默认的存储模式,hash 模式***的问题是无法单独对 key 进行 expire 设置。
项目地址
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。