热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

如何利用Myflash解析binlog?

本文主要介绍了对Myflash的测试,从准备测试环境到利用Myflash解析binl


作者 | 李真旭:网名 Roger,Oracle ACE,拥有超过10年的 Oracle 运维管理使用经验;参与过众多移动、电信、联通、银行等大型数据库交付项目, 具有丰富的运维管理经验,对 Oracle 数据库管理运行机制、锁机制、优化机制等具有深入理解;擅长 Oracle 数据库的 performance tunning、troubleshooting 以及异常恢复;个人博客:http://www.killdb.com

新美大在 binlog2sql 的基础只是开源了一款新的小工具叫 Myflash;用于解析binlog 实现快速数据恢复,类似 Oracle 中的 Flashback 功能,不过目前仅支持MySQL 5.6、5.7版本(MariaDB 10 已经引入了 Flashback 功能)。在这里进行了简单测试,以后恢复 DML 误操作就更简单一些了。


1) 首先需要准备好 Myflash 测试环境


大家可以去这里下载源程序:https://github.com/Meituan-Dianping/MyFlash


这里的测试环境是 Redhat Linux 6.5,直接解压 myflash 无法运行,发现 glibc 版本不匹配,需要 2.14 版本。因此首先需要编译新版本的 glibc。


–下载 glibc 2.14


---下载lib包


# wget http://ftp.gnu.org/gnu/glibc/glibc-2.14.tar.gz 

# wget http://ftp.gnu.org/gnu/glibc/glibc-ports-2.14.tar.gz 

# tar -xvf  glibc-2.14.tar.gz 

# tar -xvf  glibc-ports-2.14.tar.gz

# mv glibc-ports-2.14 glibc-2.14/ports

# mkdir glibc-build-2.14

# cd glibc-build-2.14/


–编译

# ../glibc-2.14/configure  --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin

# make


–拷贝 libc.so.6 到 lib64


[root@killdb glibc-build-2.14]# cp libc.so.6 lib64/libc-2.14.so


–删除原来的 libc


[root@killdb lib64]# rm -rf lib64/libc.so.6

rm: error while loading shared libraries: libc.so.6: cannot open shared object file: No such file or directory

[root@killdb lib64]# export LD_PRELOAD=/lib64/libc-2.14.so

[root@killdb lib64]# rm -rf lib64/libc.so.6                  

[root@killdb lib64]# ln -s lib64/libc-2.14.so lib64/libc.so.6


–make install


# make install


–确认是否 OK


可以看到已经可以了,支持最新的 GLIBC_2.14 了。下面开始测试 myflash。


2) 如下是针对 Myflash 的简单测试过程


–创建测试表


mysql> CREATE TABLE `Test` (

    -> `ID` int(11) NOT NULL AUTO_INCREMENT,

    -> `NAME` varchar(50) NOT NULL,

    -> PRIMARY KEY (`ID`)

    -> ) AUTO_INCREMENT=1000

    -> ;


–创建测试存储过程模拟 10 万条测试数据


mysql> delimiter $$

mysql> create procedure pro_test()

    -> begin

    -> declare id int;

    -> set id = 100000;

    -> while id>0 do

    -> insert into Test(name) values ('www.killdb.com');  

    -> set id = id-1;                                                                                                                                              

    -> end while;

    -> end $$

Query OK, 0 rows affected (0.00 sec)


mysql>  delimiter ;

mysql>  call pro_test();

Query OK, 1 row affected (44.21 sec)


–模拟删除 5 万条数据


mysql> delete from Test limit 50000;

Query OK, 50001 rows affected (0.54 sec)


mysql> select count(1) from Test;

+----------+

| count(1) |

+----------+

|    50001 |

+----------+

1 row in set (0.01 sec)


mysql>


–利用 Myflash 解析 binlog


这里简单的修改了一个小脚本,实现了半自动化。

[root@killdb binary]# ./flashback.sh  

[root@killdb binary]# cat flashback.sh 

#!/bin/bash


file_path=/root/myflash/binary/

cd /root/myflash/binary

./flashback --databaseNames enmotech --tableNames Test --sqlTypes delete  --binlogFileNames=/opt/mysql/mysql-bin.000003 

./flashback --maxSplitSize=15 --binlogFileNames=binlog_output_base.flashback


arr=`find ${file_path} -name "binlog_output_base.0*"|sort -n`


for i in ${arr}

do

        mysqlbinlog ${i} | mysql -S /opt/mysql/mysql.sock

done


–验证数据


mysql> select count(1) from Test;

+----------+

| count(1) |

+----------+

|   100001 |

+----------+

1 row in set (0.02 sec)


可以看到数据很容易就恢复出来了,效率非常高。比 binsql2sql 要高很多。整个恢复过程大概 1~2 秒。不仅是 delete,实际对于 insert 和 update 的 DML 操作,都是支持的。

资源下载

关注公众号:数据和云(OraNews)回复关键字获取

‘2017DTC’,2017 DTC 大会 PPT

‘DBALIFE’,“DBA 的一天”海报

‘DBA04’,DBA 手记4 经典篇章电子书

‘RACV1’, RAC 系列课程视频及 PPT

‘122ARCH’,Oracle 12.2 体系结构图

‘2017OOW’,Oracle OpenWorld 资料

‘PRELECTION’,大讲堂讲师课程资料



推荐阅读
  • 本文深入探讨了使用Puppet进行软件包分发与管理的方法。首先介绍了fpm这一跨平台的软件包制作工具,其简便的操作流程使得软件包的创建变得轻松快捷。fpm的项目地址为:https://github.com/jordansissel/fpm。通过结合Puppet和fpm,可以实现高效、可靠的软件包管理和部署。 ... [详细]
  • 在CentOS 7上部署WebRTC网关Janus
    在CentOS 7上部署WebRTC网关Janus ... [详细]
  • Go 项目中数据库配置文件的优化与应用 ... [详细]
  • MongoDB高可用架构:深入解析Replica Set机制
    MongoDB的高可用架构主要依赖于其Replica Set机制。Replica Set通过多个mongod节点的协同工作,实现了数据的冗余存储和故障自动切换,确保了系统的高可用性和数据的一致性。本文将深入解析Replica Set的工作原理及其在实际应用中的配置和优化方法,帮助读者更好地理解和实施MongoDB的高可用架构。 ... [详细]
  • 在网络故障排查中,tcpdump 是一款强大的工具,尤其在 Linux 环境下。尽管开发环境中问题较少,但在测试或生产环境中,往往会遇到各种难以预料的异常情况。通过在问题发生的环境中启用 tcpdump 进行抓包,并重现问题,可以获取到宝贵的原始数据,为问题的诊断提供关键线索。本文将详细介绍如何使用 tcpdump 进行实战操作,帮助读者掌握这一技能。 ... [详细]
  • 本文探讨了Android系统中支持的图像格式及其在不同版本中的兼容性问题,重点涵盖了存储、HTTP传输、相机功能以及SparseArray的应用。文章详细分析了从Android 10 (API 29) 到Android 11 的存储规范变化,并讨论了这些变化对图像处理的影响。此外,还介绍了如何通过系统升级和代码优化来解决版本兼容性问题,以确保应用程序在不同Android版本中稳定运行。 ... [详细]
  • Node.js 配置文件管理方法详解与最佳实践
    本文详细介绍了 Node.js 中配置文件管理的方法与最佳实践,涵盖常见的配置文件格式及其优缺点,并提供了多种实用技巧和示例代码,帮助开发者高效地管理和维护项目配置,具有较高的参考价值。 ... [详细]
  • FastDFS Nginx 扩展模块的源代码解析与技术剖析
    FastDFS Nginx 扩展模块的源代码解析与技术剖析 ... [详细]
  • 在处理遗留数据库的映射时,反向工程是一个重要的初始步骤。由于实体模式已经在数据库系统中存在,Hibernate 提供了自动化工具来简化这一过程,帮助开发人员快速生成持久化类和映射文件。通过反向工程,可以显著提高开发效率并减少手动配置的错误。此外,该工具还支持对现有数据库结构进行分析,自动生成符合 Hibernate 规范的配置文件,从而加速项目的启动和开发周期。 ... [详细]
  • CentOS 7环境下Jenkins的安装与前后端应用部署详解
    CentOS 7环境下Jenkins的安装与前后端应用部署详解 ... [详细]
  • 2016-2017学年《网络安全实战》第三次作业
    2016-2017学年《网络安全实战》第三次作业总结了教材中关于网络信息收集技术的内容。本章主要探讨了网络踩点、网络扫描和网络查点三个关键步骤。其中,网络踩点旨在通过公开渠道收集目标信息,为后续的安全测试奠定基础,而不涉及实际的入侵行为。 ... [详细]
  • 在CentOS上部署并使用FFmpeg多媒体处理工具
    最近在进行音频处理时需要用到FFmpeg,本文将详细介绍如何在CentOS系统上部署并使用这一强大的多媒体处理工具。首先,从官方网站下载FFmpeg的最新版本,然后通过Xftp工具将下载的压缩包(如ffmpeg-4.3.1.tar.xz)传输到服务器上。接下来,解压文件并按照官方文档进行编译安装。安装完成后,可以通过命令行工具验证FFmpeg是否成功安装,并开始进行多媒体文件的转换和处理。此外,文章还将介绍一些常用的FFmpeg命令和参数,帮助用户快速上手。 ... [详细]
  • 掌握PHP编程必备知识与技巧——全面教程在当今的PHP开发中,了解并运用最新的技术和最佳实践至关重要。本教程将详细介绍PHP编程的核心知识与实用技巧。首先,确保你正在使用PHP 5.3或更高版本,最好是最新版本,以充分利用其性能优化和新特性。此外,我们还将探讨代码结构、安全性和性能优化等方面的内容,帮助你成为一名更高效的PHP开发者。 ... [详细]
  • 如果程序使用Go语言编写并涉及单向或双向TLS认证,可能会遭受CPU拒绝服务攻击(DoS)。本文深入分析了CVE-2018-16875漏洞,探讨其成因、影响及防范措施,为开发者提供全面的安全指导。 ... [详细]
  • 在尝试对从复杂 XSD 生成的类进行序列化时,遇到了 `NullReferenceException` 错误。尽管已经花费了数小时进行调试和搜索相关资料,但仍然无法找到问题的根源。希望社区能够提供一些指导和建议,帮助解决这一难题。 ... [详细]
author-avatar
小丹巛丹布莱妮
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有