赛程刚过 1/3，什么操作让性能提升 150+ 倍？| TiDB 性能挑战赛

11 月初我们开启了一项社区新活动「TiDB 性能挑战赛」(Performance Challenge Program，简称 PCP)，这项积分赛将持续 3 个月，选手将完成一系列难度不同的任务，赢得相应的积分。目前赛程刚刚过去三分之一，已经取得了十分耀眼的阶段性成果：

• 过去一个月共吸引了来自社区的 156 位贡献者，包括：
• 14 支参赛队伍。
• 110 位个人参赛者。
• 参赛选手们总共完成了 147 个挑战任务，这些成果已经逐步落地到 TiDB 产品中：
• TiDB 表达式框架中完成了 70+ 个函数的向量化。
• TiKV 协处理器中完成了 40+ 个函数的向量化，其中 34 个已在 TiDB 侧新开启了下推，让下推的函数计算速度大幅上升。
• ……

截至发稿时积分排行榜前五名的参赛选手 / Team 分别是：.* team、ekalinin、mmyj、AerysNan、js00070。

其中 .* team 表现尤为优异，他们已经拿到了 4150 积分，在排行榜上遥遥领先。而来自俄罗斯的个人参赛者 ekalinin 获得了 1450 积分，是目前积分最高的个人参赛者，他共提交了 17 个任务，目前完成了 12 个，其中包含一个 Medium 难度的任务。

积分排行榜

下面让我们来看看过去的一个月里大家在「性能提升」方面有哪些突破性的战绩吧！

• 相关 PR 链接:

  https://github.com/tikv/tikv/pull/6000

• 作者：TennyZhuang（ .* team 成员）

IN() 是一个大家用的很多的 SQL 内置函数。这个 PR 使得 IN() 内置函数的性能有了复杂度级别的提升，从 O(N) 提升到 O(1)，如上图所示。这对于 IN() 函数中有很多参数的情况能有很大的帮助，例如在以下 1000 个参数场景中性能提升可达 150+ 倍：

CREATE TABLE `foo` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `c` char(100),
  PRIMARY KEY (`id`)
);

select * from foo where c in (
"271a76b46731d9", "a7a69f89d4b32e", "8d969b6b76f6f4", "8ea63d5c33dabe", "4c5dabf74df99f", "897ab55a20218b", "80d73f4331a342", "a4747627a2e05d",
"e20beca46373", "4dbc295621b4c5", "79ab1ea844c293", "86d75b32f6b1b8", "7fd827adcc7cd0", "bf26b53dd73dd",
...
);

大家不要觉得这么多参数是很少见的情况，实际上我们已经遇到多个 TiDB 用户给 IN()  内置函数传递多达几千个参数的场景。

TennyZhuang（ .* team 成员）成功通过这个 PR 获得了 2100 积分，这个是目前选手获得的单个贡献最高积分。不过这还只是 Medium 难度的任务，我们还有许多更高积分奖励的 Hard 级别任务等待大家来挑战  

• 相关 PR 链接：

  https://github.com/tikv/tikv/pull/5866

• 作者：TennyZhuang（ .* team 成员）

这个 PR 通过修改了算法，实现了对 LIKE() 内置函数性能的指数级别改进，从 O(2^N) 优化到 O(N)。在优化前，仅仅是 6 个通配符就能将单行计算性能降低到秒级，对性能可以造成非常严重的影响。上图直观展示了这个 PR 带来的性能提升（纵坐标是对数坐标）。TennyZhuang（ .* team 成员）通过这个 PR 获得了 1500 积分。

• 相关 PR 链接：

  https://github.com/tikv/tikv/pull/5979

• 作者：Renkai

• PCP-27: 通过跳过 RocksDB Compaction 阶段的某些 SST，以减少 RocksDB 写放大（积分：3600）。
• PCP-26: 优化 PD 获取 TSO 的性能（积分：20000）。
• PCP-10: 优化宽表情况下的查询效率 （积分：3000）。
• ……

• breeswish（@Coprocessor SIG）
• lonng（@Coprocessor SIG）
• sticnarf （@Coprocessor SIG）
• yiwu-arbug （@Storage Engine SIG）
• zhangjinpeng1987（@Storage Engine SIG）
• SunRunAway（@Expression SIG）
• qw4990（@Expression SIG）