MySQL去除“关联表”重复数据,以建立联合唯一索引

网友投稿 962 2023-04-28

MySQL去除“关联表”重复数据,以建立联合唯一索引

MySQL去除“关联表”重复数据,以建立联合唯一索引

前言

昨天遇到一个问题,需要对一张关系表进行重构和优化。然而这张关系表由于已有代码没有注重并发导致了很多的脏数据,即重复数据。

问题在于,由于代码不规范,在高并发时(或数据库压力大时造成的延时积压时)会出现多个(相同thread_id和user_id的)组合,如下:

之后你们懂的,各种和原想不一致的神奇bug喷涌而出,比如:

我刚刚取消了推荐,怎么还显示我推荐着!!

显示的总推荐数怎么和实际推荐用户加起来不一样!!

解决方案一:使用insert where not exists语句

先上代码:(这里拿另一个关系表的真实query举例,原理一样)

INSERT INTO `user_topic` (`user_id`, `topic_id`)  SELECT :userId, :topicid FROM `user_topic`  WHERE NOT EXISTS (SELECT * FROM `user_topic`  WHERE `user_topic`.`user_id` = :userId  AND `user_topic`.`topic_id` = :topicid)  LIMIT 1;

通过这种“插入时判断不存在才插入并返回行数为1,存在的话返回行数为0”的方法,可以做到:

只有在返回行数为1的情况下才执行之后逻辑(如缓存内的统计数+1,缓存内帖子推荐人增加此userId等等)如果返回行数为0,则接口返回error

解决方案二:清理脏数据并建立联合唯一索引

这个方案是本文的核心了,也是我们目前认为的***实践。

***步:查找user_id, thread_id的联合duplication

或简单的版本

得到

哇!所有的重复项都在这里了,好想马上把它们干掉!

现在需要将重复的条目中ID更大的所有条目都删除,只留ID最小的那一个。

删之前先获得需要删除项,比对一下,

下一步,SELECT * FROM改成DELETE FROM,删除!

***,加联合唯一索引!

Of course,如果上述清理工作没有完成将会报错!

完!

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:详解MySQL大表优化方案
下一篇:大型网站应用中MySQL的架构演变史
相关文章