MySQL 开源工具集合

MySQL 开源工具集合

上次聊到MySQL官方运维工具。这次再了解下常用的开源工具。

目前已收集的并在实际环境中使用过的开源工具如下：

可以说掌握了这些工具(原理和使用技巧)，MySQL的日常运维就更简单。

备注：介绍中图片部分是开源社区的，部分是自己按照思路画的，画图有助于理解。

在线DDL变更

pt-osc&gh-ost都是在线变更ddl的工具。

pt-osc在于触发器原理

gh-ost不依赖于触发器,通过模拟从库,在binlog中获取增量变更,再异步应用到ghost表

备注：最终都会有RENAME表名的动作。

备份恢复工具

xtrabackup 二进制在线热备份工具，支持增量备份。目前物理备份中唯一的选择。全量方面，其实mysql8.0 clone也算是不错的选择。(高版本innobackupex已废弃)

mydumper是多线逻辑备份工具，一些自研产品常用的工具，myloader是sql语句导入工具 ，同一个软件包，跟mydumper结合使用。

压测工具

TPCC测试模拟了一个比较复杂的 OLTP应用环境，是一个在线零售公司。此公司对10万种商品进行销售，业务模型：批发零售系统，订单处理下的数据库的表现。

sysbench是一个开源的、模块化的、跨平台的多线程性能测试工具，可以用来进行CPU、内存、磁盘I/O、线程、数据库的性能测试。单语句INSERT，SELECT，UPDATE下的数据库的表现。

区别在于TPCC测试的业务流程，sysbench测试的单语句执行性能。按照自需选择测试工具。

闪回工具

有时会误删或者误更新数据，binlog格式必须为row，且binlog_row_image=full，并且保留下来的情况下。可以分析binlog回转SQL语句进行恢复。就是delete→insert ，insert→delete，update→update方式按照时间顺序倒序回放。常用的工具有binlog2sql和MyFlash。

大众点评 binlog2sql：

数据库服务必须在线状态开发语言Python 2.7, 3.4+仅支持 MySQL 5.6, 5.7

美团点评 MyFlash：

仅支持MySQL 5.6与5.7只能回滚DML(增、删、改)开发语言c，mysqlbinlog工具配合sed、awk离线解析

MyFlash做的性能对比：

binlog2sql是要分析数据库运行中的一些状态 和 BINLOG_DUMP协议获取binlog内容mysqlbinlog是因为要把binlog解析的不是标准的SQL语句MyFlash是直接生成标准sql语句，效率上更高

慢日志分析

pt-query-digest是 Percona-Toolkit 的组件之一，非常不错的日志分析工具，优于mysqldumpslow，可以从普通日志、慢查询日志、二进制日志以及show processlist和tcpdump中对SQL进行分析。

主从一致性验证

pt-table-checksum 是 Percona-Toolkit 的组件之一，用于检测MySQL主、从库的数据是否一致。其原理是在主库执行基于statement的sql语句来生成主库数据块的checksum，把相同的sql语句传递到从库执行，并在从库上计算相同数据块的checksum，最后，比较主从库上相同数据块的checksum值，由此判断主从数据是否一致。recursion-method 方式选择host方式。

其他

undrop-for-innodb分析ibd文件进行数据恢复工作。当误删除数据、无备份，且确保本地ibd文件没有写入，数据能恢复。但中文解析可能失败需注意。innodb_rub

innodb_ruby 主要可查看innodb数据库数据表的各种存储，解析innodb的文件，用于学习数据库底层的一些存储。

备注：这里可以结合官方innnchecksum，分析MySQL8.0的ibd文件结构，便于做个类似的工具

SQL审核web工具

基于Python 及 Django，利于二次开发改造，有开发能力，可以参考。主要是依赖于pt-toolkit进行整合开发的。

Yearning

自动化SQL语句审核，可对SQL进行自动检测并执行。DDL/DML语句执行后自动生成回滚语句。前身是Inception。

Archery

集成SQL查询、审核、执行、备份、慢日志管理等功能。

客户端图形化管理工具

主要解决数据库管理员、程序开发者提供可视化的SQL开发、数据操作、以及数据库管理功能，易学易用。特别是数据导入导出功能和二进制数据转化图片方面，比较方便。但对于DBA来说是一个潜在的风险，长时间使用这些工具，命令行易忘记。

从上到下推荐：

NavicatSQLyogHeidiSQL：采用 Delphi 开发，支持 Windows 操作系统。支持 MySQL、MariaDB、Percona Server 和微软的 ***MySQL Workbench 官方管理重量级工具PhpMyAdmin 安装部署比较麻烦，早起使用的多

总结

对于MySQL5.7版本这些工具目前支持的都非常友好，但8.0版本目前很多工具不兼容。

工具就是替代一部分功能，提高效率的。MySQL运维中提高工作效率，就需要引入这些工具，也需要使用得当，理解并熟悉用法，才是运维之道。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。