麒麟v10 上部署 TiDB v5.1.2 生产环境优化实践
622
2023-05-28
利用 MySQL 解八皇后问题
前言
在新的公司经常会遇到上百行的 SQL 代码,主要用于进行数据获取与处理,因为公司使用阿里的 ADB,所以希望将数据间简单处理的逻辑都放在 ADB 上进行。这让我适应了一段时间,毕竟之前的经验都是尽量将 SQL 简单化,然后通过代码对获取的数据进行处理,所以我 SQL 功力不强。
SQL 不强,那就学一下,所以在学习的过程中,突然好奇,我是否可以通过 MySQL 来解算法题,这个过程遇到了很多坑,但探究的过程还是很有趣的。
大部分 SQL 语言细节或其他知识,都会在最后的参考小节中给出对应的文章,这些文章是我学习 SQL 语法和解决具体问题的内容。
八皇后
国际象棋中的皇后可以横向、纵向、斜向移动,所谓八皇后问题就是如何在一个 8x8 的棋盘上放置 8 个皇后,使得任意 2 个皇后都不在同一条横线、竖线、斜线方向上,具体如下图所示,图中在棋盘的 (1,1) 位置放置一个皇后,那么图中绿色的部分就不能放置其他皇后。
问题是:8 个皇后在 8x8 的棋盘上可以有多少种放法?
这是一道经典的回溯算法题,回溯算法的本质其实就是通过递归的方式遍历完所有的情况,最终获得所有的情况。
回溯算法的关键如其名,就是做回溯操作,比如某个皇后,尝试了一行中的 8 个格子,都无法满足条件,这就说明此前皇后的放置位置有问题,我们需要回到此前的某次操作并修改那次操作,比如将那次操作的皇后放置到新的位置。
回溯算法很适合用递归的方式去实现,递归的本质是函数帧的出栈与入栈,即栈的出入操作满足回溯的特点。
SQL 的差异
聪明的你在遇到如果通过 MySQL 实现八皇后问题时,肯定会 Google 搜索一下前人的解决方法,遗憾的是,我没有搜索到参***,唯一搜索的与 SQL 相关的答案是用 PL/SQL 实现的。
SQL 其实就是一种邻域内语言 (DDL),它有自己的标准,但不同的数据库对这套标准有不同的实现,这与流量器有自己对 Web 标准的实现类似,这让不同数据库之前的 SQL 不能通用。
PL/SQL 是 *** 数据库对 SQL 标准的实现,它对标准 SQL 进行了扩展,让其具有过程化编程语言的能力,在 PL/SQL 中,你可以轻松实现数组、循环、判断等操作。
MySQL 也对 SQL 标准有自己的实现,事实是,MySQL 实现的 SQL 相比于 PL/SQL 弱了很多,它更擅长与数据的操作,而不是过程化的程序编程。
我之所以选择 MySQL,有几点原因:
1. 目前没发现有人通过 MySQL 来解八皇后问题,没有参***。2.MySQL 的 SQL 语言对过程化支持比较弱,有点挑战。3.MySQL 是大部分程序员都使用的数据库,大家比较熟悉(方便理解我装的 B)。
因为没人弄过,我也不熟悉 MySQL 流程控制相关的语法,所以一开始我是没有把握的,但解决问题的过程才有意思。
为了描述方便,后文以 SQL 表示 MySQL 中的 SQL,以 MySQL 表示数据库。
此外,MySQL 不同版本间的 SQL 实现可能也有所差异,本文使用的 MySQL 版本为 8.0.19,大家可以自行通过 select version(); 查看自己 MySQL 的版本。
Python 解题
我的解题思路很简单,用一个长度为 8 的列表来存皇后位置,具体而言,列表的下标表示当前皇后所在的行,该下标对应的值则表示该行上皇后所在的列,这样不同的皇后所在的行就不会重复了,所以只需要判断列和斜边是否会冲突。
具体的 Python 代码如下:
num = 0 def is_ok(queen, row): for r in range(1, row): # 第 r 行与第 row 行皇后在同一列,冲突 if queen[r] == queen[row]: return False t = abs(queen[r] - queen[row]) # 第 r 行与第 row 行皇后在同一斜线,冲突 # 如果 2 个皇后所在位置的行差与列差相同,则在同一斜线 if t == abs(r - row): return False return True def find(queen, row): global num # 每一行都从第一列到第八列进行尝试 for col in range(1, (8+1)): queen[row] = col # 判断是否满足条件 if is_ok(queen, row): if row == 8: num += 1 return # 如果没有到第八行,则继续递归 find(queen, row + 1) # Python列表下标从0开始,为了从1开始,所以这样 queen = [0,1,2,3,4,5,6,7,8] find(queen, 1) print('result is ', num)
去除注释,代码其实很短。
当然还有更优的解法,大家可以上力扣看看,我看了其 Python 版的代码,我感觉代码太多了...
Python 版的解法有了,后面要做的就是将他翻译成 SQL 的形式,这个过程有蛮多问题的。
没有数组怎么办?
在 MySQL 实现的 SQL 中,是不存在容器类型的变量的,即数组、字典这些在语言层面上不支持,怎么办呢?
通过 Google 搜索,发现大多数人的做法是利用字符串来模拟数组,字符串以逗号作为分割,然后通过字符相关的方法来实现字符串的中元素的查找与更新,具体可以看参考部分给出的文章。
经过试验,我发现这个方式并不好用,在我的 MySQL 上,运行会报语法错误。
简单思考后,我决定使用临时表的方式来解决数组的。
临时表主要用于临时保存一些数据,它的特点是只对创建该表的用户可见,当会话结束上,MySQL 会自动删除临时表,它的优势在于:建表和删表消耗资料都极小,其创建的语法为:
CREATE TEMPORARY TABLE tbl_name(...);
即正常建表语句中加上 TEMPORARY 关键字则可,具体的语句如下。
-- 如果临时表存在,则删除临时表 DROP TABLE IF EXISTS queen; -- id 模仿列表的下标,location 存列表中的值 CREATE TEMPORARY TABLE queen ( id INT, location INT );
看回 Python 的代码,可以发现,默认设置了对应的值。
queen = [0,1,2,3,4,5,6,7,8]
为了模仿这种效果,临时表中也要有对应的默认值,因为 MySQL 中的表其下标是从 1 开始的,所以只需要创建 8 行则可,这里我定义了一个存储过程来实现初始化临时表中值的效果,代码如下:
从注释应该可以理解上述 SQL 的逻辑。
需要注意的是,MySQL 的存储过程并不是函数,所谓存储过程只是用户定义一系列 SQL 语句的集合,在遇到需要重复使用的 SQL 语句时,可以将其定义为存储过程,在执行过程中,MySQL 会对其进行相应的优化。
存储过程通过 PROCEDURE 关键字定义,可以接受多个参数,也可以返回多个参数,但没有 return 语句,其返回的值,通过复制给同名参数的形式实现,通过下面的代码应该可以理解我所表达的意思。
因为后续解八皇后算法时会涉及到列表元素的增删改查,所以我封装了多个存储过程来实现对临时表的增删改查。
DROP PROCEDURE IF EXISTS get_queen; -- in_id 为传入参数,out_lcation 为传出参数 CREATE PROCEDURE get_queen(IN in_id INT, OUT out_location INT) BEGIN -- 通过 id 获得对应的 location,并通过 INTO 关键字将获得的值赋值给 out_location,实现查询结果的返回 SELECT location INTO out_location FROM queen WHERE id=in_id; END; -- 通过id更新对应的位置 DROP PROCEDURE IF EXISTS update_queen; -- 多个传入参数 CREATE PROCEDURE update_queen(IN in_id INT, IN new_location INT) BEGIN -- 更新值 UPDATE queen SET location = new_location WHERE id=in_id; END;
看到 get_queen 方法,其返回值的方式是将需返回的值赋值给 out_location 参数,使用示例如下:
-- 通过 CALL 关键字调用存储过程,通过 @ 表示变量,@q1 则是用于接受结果的变量 CALL get_queen(r, @q1);
遗憾的是,临时表在 MySQL 中的支持也是有限的,当你在具体使用时,会出现「Can't reopen table 错误」。
这是 MySQL 特有的问题,即临时表不能重复使用,这个问题存在已久,但已经没有被解决,MariaDB(MySQL 另外一个分支)已经解决这个问题。
一个简单的解决方案是复制临时表。如果表相对较小,则可以很好地工作,临时表通常就是这种情况。
为了避免这个情况,我直接创建普通表,即会落盘到磁盘中,从而避免这个问题。
即将下面代码
DROP TABLE IF EXISTS queen; CREATE TEMPORARY TABLE queen ( id INT, location INT );
修改为:
DROP TABLE IF EXISTS queen; CREATE TABLE queen ( id INT, location INT );
相关的讨论可以看:参考 4
如何打印日志?
使用 Python 时,我们可以通过 print 方法打印一些内容来方便我们判断当前程序执行流程是否正常,那 SQL 中怎么搞?
目前,我在 Navicat 上编写并执行 SQL,经过查询,Navicat 似乎是无法进行 Debug 的,而 MySQL 也不知道打印,这就很蛋疼,毕竟写比较多的 SQL 时,没有日志比较难看出代码中的 Bug。
为了实现查看执行流程,我觉得单独创建一个表来记录日志,然后定义一个存储过程将相关的信息写入表中,从而实现查看执行日志的目的。
-- 创建日志表 DROP TABLE IF EXISTS queen_log; CREATE TABLE queen_log ( id INT UNSIGNED NOT NULL PRIMARY KEY AUTO_INCREMENT, log VARCHAR(500) NOT NULL ); -- 定义存储过程 DROP PROCEDURE IF EXISTS add_log; CREATE PROCEDURE add_log(IN in_log VARCHAR(500)) BEGIN -- 将日志插入到表中 INSERT INTO queen_log (log) VALUES (in_log); END; CALL add_log('一条日志');
定义判断函数
在 Python 实现中,我们定义了 is_ok 方法来判断当前皇后的落子是否满足条件,这里通过 SQL 将这个方法再实现一遍。
在实现前,需要再次讨论一下存储过程与函数的差异。
在 SQL 中,存储过程必然会将其中的逻辑执行完,不会中途跳出,即没有 return 方法,而函数可以使用 return 方法在执行的过程中退出函数,但函数的局限在于函数只能返回单个结果,而存储过程可以获得多个返回结果。
回顾一下 is_ok 方法,该方法只需返回 True 或 False 单个结果用于表示当前皇后是否可以落子则可,在满足条件时,is_ok 方法直接通过 return 返回。
简单思考一下,可以发现 is_ok 方法更适合于使用 MySQL 的函数去实现。
SQL 版 is_ok 函数的实现比较直观,因为我们通过表来实现队列,所以我们不需要将 queen 列表传入,表结构是全局可见的。
递归限制
掌握了 MySQL 流程控制(IF、WHILE 等)、存储过程、函数等用法后,我感觉自己很快就可以用 MySQL 解出八皇后问题了。
很快,我用函数写了 SQL 版的 find 函数,find 函数中使用了 is_ok 函数,然后再回调自身,代码如下:
DROP FUNCTION IF EXISTS find; CREATE FUNCTION find(in_row INT) RETURNS INT DETERMINISTIC COMMENT '判断当前落子位置是否满足条件' BEGIN DECLARE col int DEFAULT 1; WHILE col <= 8 DO CALL get_queen(in_row, @old_location); CALL update_queen(in_row, col); -- 满足条件 IF (is_ok(in_row) = 1) THEN IF (in_row = 8) THEN SET @num = @num + 1; -- 满足条件 跳出递归 RETURN 0; END IF; -- 尚未查找到第 8 行,第归查找一下行 SET @a = find(in_row+1); END IF; -- 还原递归的值 CALL update_queen(in_row, @old_location); -- 下一次循环 SET col = col + 1; END WHILE; RETURN 0; END;
但 MySQL 中,函数是不能回调的... 会出现「Recursive stored functions and triggers are not allowed 报错」。
此时就陷入了一个困境:
find 之所以用函数是想着满足条件后就直接 return 返回,结果发现函数不支持递归,只能存储过程才支持递归调用。
如果使用存储过程,它没有 return 关键字,在满足条件后,无法通过 return 返回,只能将所有逻辑执行完后,自动结束,这就需要改蛮多代码的。
最后我发现了 LEAVE 关键字,该关键字主要用于跳出 WHILE 循环,类似于 Python 中的 break 关键字,利用这个方法,在满足条件时,我直接跳出 find 方法的主循环,从而达到 return 返回的效果。
find 最终的代码如下:
SET @num := 0; -- 设置递归查询的层深上限 SET max_sp_recursion_depth = 500; -- 计算八皇后可能的结果 DROP PROCEDURE IF EXISTS find; CREATE PROCEDURE find(IN in_row INT) BEGIN DECLARE col INT DEFAULT 1; -- 添加日志 CALL add_log('find procedure is running.'); -- 循环处,有 loop1 标识 loop1:WHILE col <= 8 DO CALL get_queen(in_row, @old_location); CALL update_queen(in_row, col); -- 满足条件 SET @res = is_ok(in_row); -- 添加日志 CALL add_log(CONCAT('is_ok running, in_row: ', in_row, ' col: ', col, ' res: ', @res)); IF (@res = 1) THEN IF (in_row = 8) THEN SET @num = @num + 1; CALL add_log(CONCAT('num is: ', @num)); -- 满足条件 跳出递归 LEAVE loop1; END IF; -- 未到第 8 行,继续递归 CALL find(in_row+1); -- 还原递归的值 CALL update_queen(in_row, @old_location); END IF; -- 下一次循环 SET col = col + 1; -- 循环处,有 loop1 标识 END WHILE loop1; END;
还需要注意的一点是,MySQL 对递归深度是有较严格限制的,所以我们需要设置一下 max_sp_recursion_depth。
-- 设置递归查询的层深上限 SET max_sp_recursion_depth = 500;
实现过程中遇到的问题与解决方案。
Not allowed to return a result set from a function 错误
该错误表明:不允许从函数返回结果集。
即你定义的函数中,不能使用 SELECT 打印数据,MySQL 会认为在方法中打印数据是要返回相关的结果集。
Recursive stored functions and triggers are not allowed 报错
MySQL 的方法不支持递归调用,但存储过程可以。
Recursive limit 0 报错
需要修改 max_sp_recursion_depth。
这个修改涉及到全局和 session 级修改, 全局修改的话 需要 有 super 权限:set global max_sp_recursion_depth=2, session 级修改的话只对当前连接有效,不需要加 global。
Thread stack overrun 错误
错误原因:
thread_stack 太小,默认 128K。
通过下面命令可以查看
mysql> show variables like '%thread%'; +-----------------------------------------+---------------------------+ | Variable_name | Value | +-----------------------------------------+---------------------------+ | create_admin_listener_thread | OFF | | innodb_parallel_read_threads | 4 | | thread_handling | one-thread-per-connection | | thread_stack | 286720 | +-----------------------------------------+---------------------------+ 18 rows in set (0.02 sec) 删除的部分无关内容,减少展示
看到其中的 thread_stack 为 286720 Bytes 即 280KB。
最终结果
将上面的代码整理在一起,就获得了最终的 SQL 代码,完整代码如下:
DROP TABLE IF EXISTS queen; CREATE TABLE queen ( id INT, location INT ); DROP TABLE IF EXISTS queen_log; CREATE TABLE queen_log ( id INT UNSIGNED NOT NULL PRIMARY KEY AUTO_INCREMENT, log VARCHAR(500) NOT NULL ); DROP PROCEDURE IF EXISTS add_log; CREATE PROCEDURE add_log(IN in_log VARCHAR(500)) BEGIN INSERT INTO queen_log (log) VALUES (in_log); END; DROP PROCEDURE IF EXISTS init_queen; CREATE PROCEDURE init_queen() BEGIN DECLARE i int DEFAULT 1; WHILE i <= 8 DO INSERT INTO queen (id, location) VALUES (i, i); SET i = i + 1; END WHILE; END; DROP PROCEDURE IF EXISTS get_queen; CREATE PROCEDURE get_queen(IN in_id INT, OUT out_location INT) BEGIN SELECT location INTO out_location FROM queen WHERE id=in_id; END; DROP PROCEDURE IF EXISTS update_queen; CREATE PROCEDURE update_queen(IN in_id INT, IN new_location INT) BEGIN UPDATE queen SET location = new_location WHERE id=in_id; END; DROP FUNCTION IF EXISTS is_ok; CREATE FUNCTION is_ok(in_row INT) RETURNS INT DETERMINISTIC COMMENT '判断当前落子位置是否满足条件' BEGIN DECLARE t int DEFAULT -1; DECLARE r int DEFAULT 1; WHILE (r <= (in_row - 1)) DO CALL get_queen(r, @q1); CALL get_queen(in_row, @q2); IF (@q1 = @q2) THEN RETURN -1; END IF; SET t = ABS(@q1 - @q2); IF (t = ABS(r - in_row)) THEN RETURN -2; END IF; SET r = r + 1; END WHILE; RETURN 1; END; SET @num := 0; SET max_sp_recursion_depth = 500; -- 计算八皇后可能的结果 DROP PROCEDURE IF EXISTS find; CREATE PROCEDURE find(IN in_row INT) BEGIN DECLARE col INT DEFAULT 1; CALL add_log('find procedure is running.'); loop1:WHILE col <= 8 DO CALL get_queen(in_row, @old_location); CALL update_queen(in_row, col); SET @res = is_ok(in_row); CALL add_log(CONCAT('is_ok running, in_row: ', in_row, ' col: ', col, ' res: ', @res)); IF (@res = 1) THEN IF (in_row = 8) THEN SET @num = @num + 1; CALL add_log(CONCAT('num is: ', @num)); LEAVE loop1; END IF; CALL find(in_row+1); CALL update_queen(in_row, @old_location); END IF; SET col = col + 1; END WHILE loop1; END; CALL init_queen(); CALL find(1); SELECT @num;
如果比较难理解,可以看回文中讲解代码时的注释。
最终效果如下:
执行日志:
查询计算过程:
对了,这个程序大概运行了 2.9 分钟,非常的慢,可能是递归过程中涉及了大量 INSERT 操作。
从运行速度也可以判断出,这个程序没啥用,是的,没啥用,但我折腾的比较开心,这就够了??。
广告算法的内容已经安排上了,记得来看呀,那我们下篇文章见。
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。