Redis提供的持久化机制（RDB和AOF）【转载】

客户端向服务端发送写操作&＃xff08;数据在客户端的内存中&＃xff09;。
数据库服务端接收到写请求的数据&＃xff08;数据在服务端的内存中&＃xff09;。
服务端调用write这个系统调用&＃xff0c;将数据往磁盘上写&＃xff08;数据在系统内存的缓冲区中&＃xff09;。
操作系统将缓冲区中的数据转移到磁盘控制器上&＃xff08;数据在磁盘缓存中&＃xff09;。
磁盘控制器将数据写到磁盘的物理介质中&＃xff08;数据真正落到磁盘上&＃xff09;。

　　对于第一个问题&＃xff0c;通常数据库层面会进行全面控制。而对第二个问题&＃xff0c;操作系统有其默认的策略&＃xff0c;但是我们也可以通过POSIX API提供的fsync系列命令强制操作系统将数据从内核区写到磁盘控制器上。对于第三个问题&＃xff0c;好像数据库已经无法触及&＃xff0c;但实际上&＃xff0c;大多数情况下磁盘缓存是被设置关闭的&＃xff0c;或者是只开启为读缓存&＃xff0c;也就是说写操作不会进行缓存&＃xff0c;直接写到磁盘。

第一种是最粗糙的处理&＃xff0c;就是不通过数据的组织形式保证数据的可恢复性。而是通过配置数据同步备份的方式&＃xff0c;在数据文件损坏后通过数据备份来进行恢复。实际上MongoDB在不开启操作日志&＃xff0c;通过配置Replica Sets时就是这种情况。
另一种是在上面基础上添加一个操作日志&＃xff0c;每次操作时记一下操作的行为&＃xff0c;这样我们可以通过操作日志来进行数据恢复。因为操作日志是顺序追加的方式写的&＃xff0c;所以不会出现操作日志也无法恢复的情况。这也类似于MongoDB开启了操作日志的情况。
更保险的做法是数据库不进行旧数据的修改&＃xff0c;只是以追加方式去完成写操作&＃xff0c;这样数据本身就是一份日志&＃xff0c;这样就永远不会出现数据无法恢复的情况了。实际上CouchDB就是此做法的优秀范例。

一旦采用该方式&＃xff0c;那么你的整个Redis数据库将只包含一个文件&＃xff0c;这样非常方便进行备份。比如你可能打算没1天归档一些数据。
方便备份&＃xff0c;我们可以很容易的将一个一个RDB文件移动到其他的存储介质上
RDB 在恢复大数据集时的速度比 AOF 的恢复速度要快。
RDB 可以最大化 Redis 的性能&＃xff1a;父进程在保存 RDB 文件时唯一要做的就是 fork 出一个子进程&＃xff0c;然后这个子进程就会处理接下来的所有保存工作&＃xff0c;父进程无须执行任何磁盘 I/O 操作。

如果你需要尽量避免在服务器故障时丢失数据&＃xff0c;那么 RDB 不适合你。 虽然 Redis 允许你设置不同的保存点&＃xff08;save point&＃xff09;来控制保存 RDB 文件的频率&＃xff0c; 但是&＃xff0c; 因为RDB 文件需要保存整个数据集的状态&＃xff0c; 所以它并不是一个轻松的操作。 因此你可能会至少 5 分钟才保存一次 RDB 文件。 在这种情况下&＃xff0c; 一旦发生故障停机&＃xff0c; 你就可能会丢失好几分钟的数据。
每次保存 RDB 的时候&＃xff0c;Redis 都要 fork() 出一个子进程&＃xff0c;并由子进程来进行实际的持久化工作。 在数据集比较庞大时&＃xff0c; fork() 可能会非常耗时&＃xff0c;造成服务器在某某毫秒内停止处理客户端&＃xff1b; 如果数据集非常巨大&＃xff0c;并且 CPU 时间非常紧张的话&＃xff0c;那么这种停止时间甚至可能会长达整整一秒。 虽然 AOF 重写也需要进行 fork() &＃xff0c;但无论 AOF 重写的执行间隔有多长&＃xff0c;数据的耐久性都不会有任何损失。

redis调用fork &＃xff0c;现在有父子两个进程
子进程根据内存中的数据库快照&＃xff0c;往临时文件中写入重建数据库状态的命令
父进程继续处理client请求&＃xff0c;除了把写命令写入到原来的aof文件中。同时把收到的写命令缓存起来。这样就能保证如果子进程重写失败的话并不会出问题。
当子进程把快照内容写入已命令方式写到临时文件中后&＃xff0c;子进程发信号通知父进程。然后父进程把缓存的写命令也写入到临时文件。
现在父进程可以使用临时文件替换老的aof文件&＃xff0c;并重命名&＃xff0c;后面收到的写命令也开始往新的aof文件中追加。

使用 AOF 持久化会让 Redis 变得非常耐久&＃xff08;much more durable&＃xff09;&＃xff1a;你可以设置不同的 fsync 策略&＃xff0c;比如无 fsync &＃xff0c;每秒钟一次 fsync &＃xff0c;或者每次执行写入命令时 fsync 。 AOF 的默认策略为每秒钟 fsync 一次&＃xff0c;
在这种配置下&＃xff0c;Redis 仍然可以保持良好的性能&＃xff0c;并且就算发生故障停机&＃xff0c;也最多只会丢失一秒钟的数据&＃xff08; fsync 会在后台线程执行&＃xff0c;所以主线程可以继续努力地处理命令请求&＃xff09;。
AOF 文件是一个只进行追加操作的日志文件&＃xff08;append only log&＃xff09;&＃xff0c; 因此对 AOF 文件的写入不需要进行 seek &＃xff0c; 即使日志因为某些原因而包含了未写入完整的命令&＃xff08;比如写入时磁盘已满&＃xff0c;写入中途停机&＃xff0c;等等&＃xff09;&＃xff0c; redis-check-aof 工具也可以轻易地修复这种问题。
Redis 可以在 AOF 文件体积变得过大时&＃xff0c;自动地在后台对 AOF 进行重写&＃xff1a; 重写后的新 AOF 文件包含了恢复当前数据集所需的最小命令集合。 整个重写操作是绝对安全的&＃xff0c;因为 Redis 在创建新 AOF 文件的过程中&＃xff0c;会继续将命令追加到现有的 AOF 文件里面&＃xff0c;
即使重写过程中发生停机&＃xff0c;现有的 AOF 文件也不会丢失。 而一旦新 AOF 文件创建完毕&＃xff0c;Redis 就会从旧 AOF 文件切换到新 AOF 文件&＃xff0c;并开始对新 AOF 文件进行追加操作。
AOF 文件有序地保存了对数据库执行的所有写入操作&＃xff0c; 这些写入操作以 Redis 协议的格式保存&＃xff0c; 因此 AOF 文件的内容非常容易被人读懂&＃xff0c; 对文件进行分析&＃xff08;parse&＃xff09;也很轻松。 导出&＃xff08;export&＃xff09; AOF 文件也非常简单&＃xff1a; 举个例子&＃xff0c; 如果你不小心执行了 FLUSHALL 命令&＃xff0c;
但只要 AOF 文件未被重写&＃xff0c; 那么只要停止服务器&＃xff0c; 移除 AOF 文件末尾的 FLUSHALL 命令&＃xff0c; 并重启 Redis &＃xff0c; 就可以将数据集恢复到 FLUSHALL 执行之前的状态。

对于相同的数据集来说&＃xff0c;AOF 文件的体积通常要大于 RDB 文件的体积。根据所使用的 fsync 策略&＃xff0c;AOF 的速度可能会慢于 RDB 。 在一般情况下&＃xff0c; 每秒 fsync 的性能依然非常高&＃xff0c; 而关闭 fsync 可以让 AOF 的速度和 RDB 一样快&＃xff0c; 即使在高负荷之下也是如此。 不过在处理巨大的写入载入时&＃xff0c;RDB 可以提供更有保证的最大延迟时间&＃xff08;latency&＃xff09;。AOF 在过去曾经发生过这样的 bug &＃xff1a; 因为个别命令的原因&＃xff0c;导致 AOF 文件在重新载入时&＃xff0c;无法将数据集恢复成保存时的原样。 &＃xff08;举个例子&＃xff0c;阻塞命令 BRPOPLPUSH 就曾经引起过这样的 bug 。&＃xff09; 测试套件里为这种情况添加了测试&＃xff1a; 它们会自动生成随机的、复杂的数据集&＃xff0c; 并通过重新载入这些数据来确保一切正常。 虽然这种 bug 在 AOF 文件中并不常见&＃xff0c; 但是对比来说&＃xff0c; RDB 几乎是不可能出现这种 bug 的。