黄东旭解析 TiDB 的核心优势
944
2023-05-15
一文带你了解 Redis 的慢日志相关底层原理
01、前言
相信很多小伙伴在使用 Redis 的时候都知道 Redis 有相关慢日志的查询功能,并且多多少少都看过。那 Redis 底层到底是如果创建慢日志以及慢日志的结构是什么样子的呢?这篇文章就带大家认识一下。我们先看一张慢日志的截图
使用slowlog get 2命令查看最近的两条慢日志信息,如上图,我们可以看到每条日志中包含的信息有六个部分组成,从上到下编号为 0-5,依次代表的意思是
0:日志的唯一编号 ID
1:命令执行的当前时间戳
2:命令执行的耗时时长,单位微妙
3:具体的执行命令和参数
4:客户端的 ip 和端口(4.0 版本以上才支持)
5:客户端名称(4.0 版本以上支持)
如上图所示,第一条慢日志的 ID 是 41,命令执行的时间戳是 1575729996,并且执行了 16129 微妙,具体执行的命令就是slowlog get,ip 和端口是27.38.56.88:8223,客户端的名称没有设置。
02、慢日志命令设置
查看命令
上面我们已经大概的知道的一条慢日志的格式,自然的我们可以想到的问题是一个命令执行多长时间,我们就可以认为是慢查询,以及慢日志最多能保存多少条。
我们可以通过config get slowlog-log-slower-than 命令来查看 Redis 的时长设置,以及通过config get slowlog-max-len 来查看最大慢日志条数。如下图。
设置命令
上面我们使用config get 命令查看了时长设置和条数设置,相反的我们可以用config set来设置相关参数,如下图,我们先查看一下配置,然后再通过config set slowlog-log-slower-than 1000 命令和 config set slowlog-max-len 64 命令来设置具体的值:
通过上面的操作我们可以看到相关的配置已经更改生效了。
slowlog-log-slower-than:这个参数的意思是任何命令执行超过这个时间就会被记录为慢日志,单位是微秒。slowlog-max-len:这个参数表示记录的慢日志的最大条数,设置了这个值过后,新的日志加进来,ID 最小的日志就会被删除。
为了验证上面的第二点,我这边将slowlog-log-slower-than设置为 10 微秒,slowlog-max-len 设置为 5 条来进行试验,首先第一次使用slowlog get命令查询的时候 5 条慢日志的编号是从 83-87,
再次使用slowlog get命令查询的编号结果是84-88,说明 ID 为 83 的那一条已经被删除了。
03、慢日志的存储原理
存储结构
struct redisServer { long long slowlog_entry_id;//下一条慢查询日志的 ID list *slowlog;//保存了所有慢查询日志的链表 long long slowlog_log_slower_than;//服务器配置 slowlog-log-slower-than 选项的值 unsigned long slowlog_max_len;//服务器配置的 slowlog-max-len 的值 }
在 Redis 的服务器状态中保存了慢日志的相关属性slowlog_entry_id 属性的初始值是 0 每创建一条慢日志的时候就会增加 1。slowlog 链表里面存储了所有的慢日志,链表是由slowlogEntry结构组成的,每个slowlogEntry代表一条慢日志。slowlog_log_slower_than 和 slowlog_max_len 是前面服务器配置的相关参数。
slowlog 链表
typedef struct slowlogEntry { long long id;//唯一标识符 time_t time; //命令执行的时间,格式为 unix 时间戳 long long duration;//命令消耗的时间,以微秒为单位 robj **argv;//命令与命令参数 int argc; //命令与命令参数个数 } slowlogEntry;
image-20191211220858341
slowlogEntry 实体的相关字段含义如下:
id: 标识慢日志的唯一 IDtime: 命令执行的时间戳duration: 命令执行是耗时,单位为微妙agrv: 命令和参数数组argc: 命令和参数的个数
如上图就表示了在执行命令set number 520 发生了慢日志,命令执行耗时 10 微秒。
04、操作慢日志
知道了慢日志的存储结构,我们就需要考虑在执行命令的时候,如何根据条件去创建慢日志。
首先我们需要在命令的执行前后记录时间戳,然后相减计算出命令的执行耗时,然后根据 Redis 服务器配置slowlog-log-slower-than 进行对比,决定是否记录慢日志,另外在记录慢日志的时候需要根据slowlog_max_len 值判断是否要删除最久的日志信息。伪代码如下:
//1. 记录命令执行前的时间戳 long before = now(); //2. 执行命令 execute(argv, argc); //3. 记录命令执行后的时间戳 long after = now(); //4. 调用创建慢日志函数 slowlogPushEntryIfNeed(argv, argc, after - before);
slowlogPushEntryIfNeed 函数主要用来判断是否插入数据,以及是否删除旧数据。
void slowlogPushEntryIfNeed(robj **argv, int argc, long long duration) { //1. 判断是否开启慢日志 if (server.slowlog_log_slower_than < 0) return; //2. 如果超时,则插入慢日志 if (duraton > server.slowlog_log_slower_than){ //插入 } while (listLength(server.slowlog) > server.slowlog_max_len) { //删除 } }
我们先判断服务器是否配置了超时参数,如果超时参数小于 0 则直接返回,否则再比较命令执行时间是否超时,如果超时则插入慢日志;最后在比较慢日志的条数是否达到上限,如果达到则进行删除。
05、总结
Redis 在日常工作中经常会使用,其中还有很多细节需要我们慢慢研究和学习,后续还会有其他内容的相关文章,欢迎关注。
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。