mysqlgroupby菜鸟教程_菜鸟教程(runoob.com)

// 过期时间为指定毫秒时间戳(未来某个日期)

&＃43;&＃96;&＃96;&＃96;

&＃43;

&＃43;### 过期键删除策略

&＃43;**三种策略&＃xff1a;定时删除、惰性删除、定期删除**

&＃43;定时删除&＃xff1a;在设置过期时间的同时&＃xff0c;同时设置一个定时器&＃xff0c;让定时器在键过期时&＃xff0c;立刻执行删除操作。对内存友好&＃xff0c;但对 CPU 不友好(现阶段不易实现&＃xff0c;消耗太大)。

&＃43;惰性删除&＃xff1a;在取出键时才对键进行过期检查&＃xff0c;对内存不友好&＃xff0c;但对 CPU 友好&＃xff0c;当过期键过多时&＃xff0c;有可能会造成内存泄露类似的情况。

&＃43;定期删除&＃xff1a;前两种方式的一种折中&＃xff0c;难点在于确定时长和频率。

&＃43;

&＃43;**Redis 使用惰性删除和定期删除两种策略**

&＃43;

&＃43;**AOF、RDB 和 复制功能 对过期键的处理**

&＃43;1、生成 RDB 文件时不会包含过期键&＃xff1b;

&＃43;2、载入 RDB 文件时&＃xff0c;主服务器不会载入过期键&＃xff0c;从服务器则会全部载入&＃xff1b;

&＃43;3、AOF 文件写入&＃xff0c;过期键未删除便不影响&＃xff0c;当执行某个删除操作后&＃xff0c;会向 AOF 追加删除命令&＃xff1b;

&＃43;4、AOF 重写&＃xff0c;只对未过期的键进行重写&＃xff1b;

&＃43;5、复制模式下&＃xff0c;从服务器的过期键删除动作由主服务器控制&＃xff1b;主服务器删除一个键后会向所以的从服务器发送删除命令&＃xff0c;从服务器只有接收到此命令才进行删除&＃xff1b;

&＃43;

&＃43;**数据库通知**

&＃43;键空间通知&＃xff1a;某个键执行了哪些命令

&＃43;键事件通知&＃xff1a;某个命令被哪些键执行了

&＃43;

&＃43;

&＃43;## Redis 持久化

&＃43;因为 Redis 是内存数据库&＃xff0c;它将自己的数据库状态存储在内存里面&＃xff0c;所以如果不想办法将存储在内存中的数据库状态保存到磁盘&＃xff0c;那么一旦服务器进程退出&＃xff0c;那么数据也会消失。

&＃43;

&＃43;### RDB(Redis DataBase) 持久化

&＃43;

&＃43;**RDB 文件的创建与载入**

&＃43;两个命令生成 RDB 文件

&＃43;1、SAVE&＃xff1a;阻塞 Redis 服务器&＃xff0c;直到 RDB 文件创建完成&＃xff1b;

&＃43;2、BGSAVE&＃xff1a;派出一个子进程创建 RDB 文件&＃xff1b;

&＃43;Redis 服务器在启动时检测到 RDB 文件存在&＃xff0c;就会自动载入 RDB 文件(阻塞状态)&＃xff0c;直到载入完成。

&＃43;(因为 AOF 文件的更新频率通常比 RDB 文件的更新频率高&＃xff0c;所以如果开启了 AOF 功能&＃xff0c;那么会优先使用 AOF 文件来还原)

&＃43;

&＃43;**自动间隔性保存**

&＃43;通过 save 选项设置多个保存条件&＃xff0c;任意一个被满足&＃xff0c;就会执行 BGSAVE。

&＃43;

&＃43;&＃96;&＃96;&＃96;C

&＃43;typedef struct redisServer{

&＃43;struct saveparam *saveparams; // 记录了保存条件的数组

&＃43;long long dirty; // 修改计数器

&＃43;time_t lastsave; // 上一次执行保存的时间

&＃43;}

&＃43;

&＃43;typedef struct saveparam{

&＃43;time_t seconds; // 秒数

&＃43;int changes; // 修改数

&＃43;}

&＃43;&＃96;&＃96;&＃96;

&＃43;

&＃43;**RDB 文件结构**

&＃43;五个部分&＃xff1a;REDIS、db_version、databases、EOF、check_sum

&＃43;

&＃43;**分析 RDB 文件**

&＃43;

&＃43;### AOF(Append Only File) 持久化

&＃43;**AOF 持久化的实现**

&＃43;三个步骤

&＃43;命令追加(append)&＃xff1a;执行完一个命令之后&＃xff0c;会以协议格式将命令追加到 aof_buf 末尾&＃xff1b;

&＃43;文件写入&＃xff1a;

&＃43;文件同步(sync)

&＃43;

&＃43;**AOF 文件的载入与数据还原**

&＃43;读&＃xff0c;写&＃xff0c;即可&＃xff1b;

&＃43;

&＃43;**AOF 重写**

&＃43;因为该文件中会有很多冗余命令(如增了又删等等)&＃xff0c;因此&＃xff0c;需要重写 AOF 文件&＃xff0c;这样体积会小很多。重写其实只是重写读 数据库&＃xff0c;并不会对 旧AOF 文件进行任何处理。当开始重写 AOF 文件时&＃xff0c;此时会开辟一个缓存区&＃xff0c;当有新命令到来时&＃xff0c;会写入&＃xff0c;最后重写完成时&＃xff0c;再全部追加到新文件中。

&＃43;(疑问&＃xff1a;新命令执行&＃xff0c;如果是重写后的数据还好&＃xff0c;如果是还未重写的数据&＃xff0c;AOF 重写读一遍&＃xff0c;缓存的又追加命令&＃xff0c;那不是造成数据不一致了&＃xff1f;)

&＃43;

&＃43;

&＃43;## 事件

&＃43;Redis 服务器是一个事件驱动程序&＃xff0c;有一下两类事件

&＃43;文件事件(file event)&＃xff1a;套接字、I/O 多路复用程序、文件事件分派器、事件处理器

&＃43;时间事件(time event)&＃xff1a;

&＃43;**文件事件**

&＃43;文件事件是对套接字操作的抽象。

&＃43;1、文件事件处理器使用 I/O 多路复用程序来同时监听多个套接字&＃xff0c;并根据套接字目前执行的任务来为套接字关联不同的事件处理器。

&＃43;2、当被监听的套接字准备好执行连接应答、读取、写入、关闭等操作时&＃xff0c;与操作相对应的文件事件就会产生&＃xff0c;这时文件事件处理器就会调用套接字之前关联好的事件处理器来处理这些事件。

&＃43;

&＃43;**时间事件**

&＃43;主要分为两类&＃xff1a;定时事件、周期性事件

&＃43;

&＃43;

&＃43;## 客户端

&＃43;服务端采用链表保存所有与服务器连接的客户端。

&＃43;1、客户端属性(通用属性)&＃xff1a;12 个

&＃43;2、客户端的创建与关闭&＃xff1a;

&＃43;

&＃43;

&＃43;## 服务器

&＃43;1、命令请求的执行过程

&＃43;2、ServerCron 函数

&＃43;3、初始化服务器

&＃43;

&＃43;

&＃43;## 复制

&＃43;Redis 中用户可以通过执行 SLAVEOF 命令&＃xff0c;让一个服务器去复制另一个服务器。

&＃43;旧版复制功能包括&＃xff1a;同步、命令传播。

&＃43;同步&＃xff1a;使用 SYNC 的命令进行同步&＃xff0c;在执行 RDB 的持久化过程中&＃xff0c;会将新到来的命令缓存&＃xff0c;那么&＃xff0c;是用什么机制&＃xff0c;保证不会在 BGSAVE 命令中将新插入的键写入 RDB 文件中&＃xff1f;&＃xff1f;&＃xff1f;

&＃43;命令传播&＃xff1a;被客户端的命令修改后&＃xff0c;向从服务器传播指令&＃xff0c;以保证数据一致。

&＃43;缺点&＃xff1a;在断线重连时&＃xff0c;需要复制主服务器的所有数据&＃xff0c;而是不是更新之后未接受到的数据&＃xff0c;会导致效率低下。

&＃43;新版复制&＃xff1a;将上面耗时的 SYNC 命令拆分为 PSYNC(里面的两种模式&＃xff0c;完整重同步&＃xff0c;部分重同步)

&＃43;部分重同步如何实现&＃xff1f;

&＃43;1、偏移量&＃xff1a;用于记录主从服务器的数据是否一致&＃xff0c;还差多少

&＃43;2、复制积压缓冲区(默认为 1 M&＃xff0c;可以根据需要调整)&＃xff1a;记录一部分命令到队列中&＃xff0c;以备从服务器断线重连执行部分重同步&＃xff0c;如果缓冲区中不存在从服务器偏移量之后的命令(offset &＃43; 1)&＃xff0c;那么就需要执行完整重同步。

&＃43;3、服务器运行 ID&＃xff1a;主从服务器第一次连接时&＃xff0c;主服务器发送的&＃xff0c;当从服务器断线重连时&＃xff0c;需要发送此 ID 确认是否是之前连接的主服务器&＃xff0c;如果相同可以执行部分重同步&＃xff0c;如果不同则要执行完全重同步。

&＃43;

&＃43;复制的实现

&＃43;1、设置主服务器的地址和端口

&＃43;2、建立套接字

&＃43;3、发送 PING 命令

&＃43;4、身份验证

&＃43;5、发送端口信息

&＃43;6、同步

&＃43;7、命令传播

&＃43;

&＃43;

&＃43;## Sentinel(哨兵)

&＃43;哨兵是干什么的&＃xff1f;

&＃43;Sentinel 系统由多个哨兵实例构成&＃xff0c;可以监视任意多个主服务器以及下属所有从服务器。当某个主服务器下线时&＃xff0c;哨兵可以将它的某个从服务器升级为新的主服务器继续工作。

&＃43;(注意&＃xff1a;1、其余从服务器与新的主服务器保持同步&＃xff0c;2、如果下线的服务器上线了&＃xff0c;则会被作为从服务器继续保持同步)

&＃43;

&＃43;什么是哨兵&＃xff1f;

&＃43;哨兵本质上只是一个运行在特殊模式下的 Redis 服务器&＃xff0c;所以启动哨兵的第一步就是初始化一个普通的 Redis 服务器。

&＃43;

&＃43;

&＃43;## 集群

&＃43;Redis 集群是 Redis 提供的分布式数据库方案&＃xff0c;集群通过分片(sharding)来进行数据共享&＃xff0c;并提供复制和故障转移功能。

&＃43;节点&＃xff1a;一个 Redis 集群通常由多个节点组成。

&＃43;槽指派&＃xff1a; Redis 集群通过分片的方式来保存数据库中的键值对&＃xff0c;整个数据库被分为 16384 个槽&＃xff0c;

&＃43;

&＃43;

&＃43;## 发布与订阅

&＃43;由多个命令组成&＃xff1a;PUBLISH、SUBSCRIBE、UNSBUSCRIBE、PSUBSCRIBE、UNPSUBSCRIBE

&＃43;PUBLISH&＃xff1a;发布一条消息

&＃43;SUBSCRIBE&＃xff1a;订阅一个频道

&＃43;PSUBSCRIBE&＃xff1a;订阅一个模式(可以匹配多个频道)

&＃43;

&＃43;频道的订阅与退订

&＃43;* Redis 将所有频道的订阅关系都保存在服务器状态的 pubsub_channels 字典里面&＃xff0c;这个字典的键是某个被订阅的频道&＃xff0c;值是一个链表&＃xff0c;链表记录了所有订阅此频道的客户端。

&＃43;* 订阅&＃xff1a;当一个客户端订阅某个频道时&＃xff0c;如果字典存在则直接插入到链表末尾&＃xff0c;否则新建一个键值对。

&＃43;* 退订&＃xff1a;与上面相反如果删除后链表为空&＃xff0c;则删除该键值对。

&＃43;

&＃43;模式的订阅与退订

&＃43;* Redis 将所有模式的订阅关系都保存在服务器状态的 pubsub_patterns 链表里面&＃xff0c;链表中的每个节点都包含一个 pubsub_Pattern 结构&＃xff0c;包括具体的订阅模式和订阅了该模式的客户端。

&＃43;* 订阅模式&＃xff1a;新建一个 pattern 结构&＃xff0c;添加到 patterns 链表的末尾。

&＃43;* 退订模式&＃xff1a;删除链表节点

&＃43;

&＃43;发布消息(PUBLISH channel message)

&＃43;* 将消息 message 发送给所有的订阅者&＃xff1a;遍历频道的链表即可

&＃43;* 将消息发送给符合 pattern 的订阅者&＃xff1a;只要有消息发布都需要来遍历一下

&＃43;

&＃43;查看订阅信息(PUBSUB)

&＃43;* PUBSUB CHANNELS&＃xff1a;服务器被订阅的频道

&＃43;* PUBSUB NUMSUB xxx&＃xff1a;返回频道的订阅者数量

&＃43;* PUBSUB NUMPAT&＃xff1a;服务器被订阅模式的数量

&＃43;

&＃43;

&＃43;## 事务

&＃43;事务将多个命令请求打包&＃xff0c;然后一次性、按顺序的执行。

&＃43;首先通过命令 MULTI 表示事务开始&＃xff0c;然后输入多条命令&＃xff0c;最后输入 EXEC 开始执行事务。

&＃43;

&＃43;* MULTI&＃xff1a;将客户端的状态转为事务状态&＃xff0c;将发送的命令存入队列

&＃43;* EXEC&＃xff1a;遍历队列&＃xff0c;执行命令&＃xff0c;最后将所有的结果返回给客户端

&＃43;* WATCH&＃xff1a;是一个乐观锁&＃xff0c;在 EXEC 执行前&＃xff0c;可以监视指定数据库的键是否被修改(别的客户端)&＃xff0c;如果是则拒绝执行事务。

&＃43;* ACID 性质&＃xff1a;

&＃43;原子性&＃xff1a;不支持回滚&＃xff0c;会增加复杂度

&＃43;一致性&＃xff1a;检查三个地方&＃xff0c;入队错误&＃xff1a;错误的命令不会被入队&＃xff1b;执行错误&＃xff1a;命令执行错误会返回错误信息&＃xff1b;服务器停机&＃xff1a;

&＃43;隔离性&＃xff1a;单线程&＃xff0c;并且事务执行时不会中断&＃xff0c;因此总是串行的。

&＃43;耐久性&＃xff1a;由 Redis 的持久化模式决定&＃xff0c;当服务器运行在 AOF 持久化模式下且 appendfsync 选项设置为 always 时&＃xff0c;事务也具有耐久性。

&＃43;

&＃43;

&＃43;## LUA 脚本

&＃43;初始化&＃xff1a;八个步骤创建 Lua 环境

&＃43;执行 Redis 脚本的伪客户端&＃xff1a;

&＃43;保存 Lua 脚本的脚本字典&＃xff1a;

&＃43;

&＃43;

&＃43;## Lua 排序

&＃43;

&＃43;

&＃43;## 二进制位数组

&＃43;

&＃43;

&＃43;## 慢查询日志

&＃43;

&＃43;

&＃43;

&＃43;## 监视器