我是如何用2个Unix命令给SQL提速的

我是如何用2个Unix命令给SQL提速的

我试图在 MariaDB(MySQL)上运行一个简单的连接查询，但性能简直糟糕透了。下面将介绍我是如何通过两个简单的 Unix 命令，将查询时间从 380 小时降到 12 小时以下的。

下面就是这个查询，它是 GHTorrent 分析的一部分，我使用了关系在线分析处理框架 simple-rolap 来实现这个分析。

我将这两个表导出到文件中，使用 Unix 的 join 命令将它们连接在一起，将结果传给 uniq，把重复的行移除掉，然后将结果导回到数据库。导入过程(包括重建索引)从 20:41 开始，到第二天的 9:53 结束。以下是具体操作步骤。

1. 将数据库表导出为文本文件

我先导出连接两个表需要用到的字段，并按照连接字段进行排序。为了确保排序顺序与 Unix 工具的排序顺序兼容，我将字段转换为字符类型。

这样就生成了以下两个文件。

为了避免内存不足，我使用 –quick 选项来运行 mysql 客户端，否则客户端会在输出结果之前尝试收集所有的记录。

2. 使用 Unix 命令行工具处理文件

接下来，我使用 Unix 的 join 命令来连接这两个文本文件。这个命令线性扫描两个文件，并将***个字段相同的记录组合在一起。由于文件中的记录已经排好序，因此整个过程完成得很快，几乎就是 I/O 的速度。我还将连接的结果传给 uniq，用以消除重复记录，这就解决了原始查询中的 distinct 问题。同样，在已经排好序的输出结果上，可以通过简单的线性扫描完成去重。

这是我运行的 Unix 命令。

经过一个小时的处理，我得到了想要的结果。

3. 将文本文件导回数据库

***，我将文本文件导回数据库。

结 语

理想情况下，MariaDB 应该支持排序合并连接，并且在预测到备用策略的运行时间过长时，优化器应该使用排序合并连接。但在此之前，使用 70 年代设计的 Unix 命令就可以解决这个问题。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。