TiDB Placement Rule实战经验分享

Tiit 758 2023-12-27

TiDB Placement Rule实战经验分享

一、背景

Placement Rule in SQL从v6.1开始正式GA，但是还是有很多小伙伴对其并不熟悉。具体原理和隔离效果，本篇文章就不做过多介绍了，TUG社区中已经有很多类似的文章介绍，我重点介绍一下在实践中的实战方案，给大家参考一下，让大家少走一些弯路。 这里先列一下在实际中遇到的一些问题：

1. 什么是Placement Rule in SQL？

想知道什么是Placement Rule in SQL，首先要了解什么是Placement Rule？Placement Rule是TiDB 4.0就有的一个特性，它是一套副本规则系统，用于指导 PD 针对不同类型的数据生成对应的调度。通过组合不同的调度规则，用户可以精细地控制任何一段连续数据的副本数量、存放位置、主机类型、是否参与 Raft 投票、是否可以担任 Raft leader 等属性(偷懒摘自官方文档)。 但是Placement Rule必须先通过tidb-ctl获取对应表的StartKey和EndKey，再通过pd-ctl来设置具体的规则，很不方便，当对表执行DDL时StartKey和EndKey还可能会发生变化，需要手动调整规则很容易踩坑，所以使用的人很少。而Placement Rule in SQL则是可以通过SQL来设置Placement Rule，更便捷灵活，适应性更强。

2. 什么场景下才需要使用Placement Rule in SQL？

这个问题，其实在官方Placement Rule in SQL文档里有列举：

  • 合并多个不同业务的数据库，大幅减少数据库常规运维管理的成本

  • 增加重要数据的副本数，提高业务可用性和数据可靠性

  • 将最新数据存入 NVMe，历史数据存入 ***，降低归档数据存储成本

  • 把热点数据的 leader 放到高性能的 TiKV 实例上

  • 将冷数据分离到不同的存储中以提高可用性

  • 支持物理隔离不同用户之间的计算资源，满足实例内部不同用户的隔离需求，以及不同混合负载 CPU、I/O、内存等资源隔离的需求

对我而言，主要功能有两点：

  1. 隔离TP和AP的数据：线上TiDB集群是个混合集群，既汇总了多个MySQL产生的数据，又存在数仓团队的分析数据，数仓团队在计算时候，经常会导致整个TiDB集群负载很高。

  2. 冷热分离：有多个大表的历史数据基本不会被查询，但是占用了大量空间，每个月增量数据有1T左右，必须经常扩容TiKV节点，集群成本很高。

而这两种需求都可以通过Placement Rule in SQL来实现。

二、配置指南

1. TiKV设置合适的Labels值

不管是资源隔离、还是冷热分离，都是要将TiKV节点分成不同组，所以必须要提前规划好。有两种方法可以修改TiKV的Label：

  1. 通过TiKV的配置参数：在初始化时候就设置好server.labels

  2. 通过pd-ctl来设置：初始化后，可以通过pd-ctl store label命令来修改

注意： store 的 label 更新方法使用的是合并策略。如果修改了 TiKV 配置文件中的 store label，进程重启之后，PD 会将自身存储的 store label 与其进行合并更新，并持久化合并后的结果。

2. PD设置location-labels

具体可以参考： 设置 PD 的 location-labels 配置，这个参数的值要和TiKV设置的Label对应，其次需要注意的是，TiDB会按照设置的数组的层级来尽可能平均的分布数据，也就是说要尽可能保证机器在每个层都是平均分布的，如果机器分布不平均，就可能会有这个帖子一样的疑问，发现不同区的TiKV磁盘使用率不一样。

3. TiDB执行Placement Rule in SQL制定合适的规则

现在假定集群有9台TiKV节点(6台高性能NVMe-***分为TP、AP两组，3台大容量HDD存冷数据)，配置设置如下：

  • location-labels: "zone,dc,host,disk"。

  • TP组的TiKV节点的server.labels中增加: "disk": "tp-ssd"

  • AP组的TiKV节点的server.labels中增加: "disk": "ap-ssd"

  • 冷数据TiKV节点的server.labels中增加: "disk": "hdd"之后，就可以在通过Placement Rule in SQL创建对应的三个规则：

CREATE PLACEMENT POLICY `on_tp_ssd` CONSTRAINTS="[+disk=tp-ssd]";CREATE PLACEMENT POLICY `on_ap_ssd` CONSTRAINTS="[+disk=ap-ssd]";CREATE PLACEMENT POLICY `on_hdd` CONSTRAINTS="[+disk=hdd]";

之后就可以对分区、表、库级别来设置相应的规则，将对应的region限制到特定TiKV节点，例子如下：

ALTER DATABASE test PLACEMENT POLICY=`on_tp_ssd`;ALTER TABLE test.t1 PLACEMENT POLICY=`on_tp_ssd`;ALTER TABLE test.t1 PARTITION `pbefore` PLACEMENT POLICY=`on_hdd`;-- 取消PLACEMENT POLICYALTER TABLE test.t1 PLACEMENT POLICY=`default`;

这里需要注意的是PLACEMENT POLICY和CHARSET比较类似，只有建表时没有指定放置策略的时候，表才会从数据库继承放置策略，一旦表创建之后再改变数据库的PLACEMENT POLICY，只会对新表有效，对旧表是无效的。同样分区表也和CHARSET类似，改变表的放置策略，也会让分区应用新的放置策略。

三、实战

3.1 如何保证只有冷数据才会放到HDD节点中？

在冷热分离这个场景下，在引入HDD节点之前，必须要考虑一个问题：如何保证不影响正常数据的写入？也就是如何保证只有冷数据才会放到HDD节点中？举个例子：

现在有一套TiDB汇总了线上20套MySQL的表，并通过白名单方式对所有database都执行了ALTER DATABASE test PLACEMENT POLICY=`on_tp_ssd`，保证现有database的数据只放到TP ***节点上。但是如果后续有新业务上线，在某个MySQL上创建了一个新的database，而TiDB上因为疏忽，并没有修改PLACEMENT POLICY=`on_tp_ssd` 会发生什么事情呢？这个database下面所有的表，数据都均匀分布在所有节点中，既可能是AP ***节点、也可能是HDD节点，完全没办法达到资源隔离的牡蛎，肯定会影响TP数据的写入效率的。

可能细心的同学在上面就已经发现，在TiDB是可以通过将PLACEMENT POLICY设置为default的方式，让表使用默认的规则，那么我们可以修改名为default的PLACEMENT POLICY么？

答案是不可以的，不过可以通过其他方式实现类似的需求，以下是我梳理的操作步骤：

注意：此处为了突出黑名单功能，对场景做了简化，假定disk这个label只包含["hdd", "ssd"]两个值，我们只想保证热数据不放入HDD。我们线上其实是通过白名单方式，让默认数据值放在disk=on_tp_ssd的磁盘上，配置文件会略有区别，不过原理不变。

7.5之前：通pd-ctl设置

7.5之前default的placement-rule没办法通过Placement rule in SQL的方式来直接修改，只能通过原始的pd-ctl来修改。原理可以参考下面官方文章。详细的执行步骤如下：

  1. 查看当前的default规则

tiup ctl:v6.5.3 pd config placement-rules show --group=pd --id=default >rules.json

正常来说，rules.json里的内容应该是

{
  "group_id": "pd",
  "id": "default",
  "start_key": "",
  "end_key": "",
  "role": "voter",
  "is_witness": false,
  "count": 3,
  "location_labels": [
    "zone",
    "dc",
    "host",
    "disk"
  ]
}

  1. 只需要手动修改rules.json，在json中增加一个基于lable的label_constraints，排除掉HDD节点的label(这里假定每个HDD节点，lables里都有disk: hdd这个参数)，这种情下配置如下：

{
  "group_id": "pd",
  "id": "default",
  "start_key": "",
  "end_key": "",
  "role": "voter",
  "is_witness": false,
  "count": 3,
  "label_constraints": [
    {
      "key": "disk",
      "op": "notIn",
      "values": [
        "hdd"
      ]
    },
    {
      "key": "engine",
      "op": "notIn",
      "values": [
        "tiflash"
      ]
    }
  ],
  "location_labels": [
    "zone",
    "dc",
    "host"
  ]
}

  1. 将配置应用到pd中

tiup ctl:v6.5.3 pd config placement save --in=rules.json

7.5之后：通过SQL来设置

7.5之后，TiDB新增了一个ALTER RANGE的语法，现在 ALTER RANGE 能起作用的有 global 和 meta 两个参数：

  • global：表示集群内全域数据的范围；

  • meta：表示 TiDB 内部存储的元信息的数据范围。

操作步骤如下：

  1. 创建放置规则，并将其设置为global级别

MySQL [(none)]> CREATE PLACEMENT POLICY on_ssd CONSTRAINTS="[-disk=hdd]";
Query OK, 0 rows affected (0.01 sec)
MySQL [(none)]> ALTER RANGE global PLACEMENT POLICY = on_ssd;
Query OK, 0 rows affected (0.01 sec)

  1. 其实原理和我们手动设置的类似，也是设置了group_id=TiDB_GLOBAL一个全局的放置规则，具体内容如下：

[tidb@prod-tiup-f01 ~]$ tiup ctl:v7.5.0 pd config placement-rules show --group=TiDB_GLOBAL
Starting component `ctl`: /home/tidb/.tiup/components/ctl/v7.5.0/ctl pd config placement-rules show --group=TiDB_GLOBAL
[
  {
    "group_id": "TiDB_GLOBAL",
    "id": "on_ssd_rule_0",
    "start_key": "",
    "end_key": "",
    "role": "voter",
    "is_witness": false,
    "count": 3,
    "label_constraints": [
      {
        "key": "disk",
        "op": "notIn",
        "values": [
          "hdd"
        ]
      },
      {
        "key": "engine",
        "op": "notIn",
        "values": [
          "tiflash"
        ]
      }
    ],
    "create_timestamp": 1703414881
  }
]

3.2 在使用冷热后，如何兼顾查询历史数据的效率？

如果某个大表十分重要，有很多业务都会使用到，在某些场景下还需要使用历史数据进行分析，在预算充足的情况下，这种情况处理起来也简单，申请资源扩容 TiKV节点就可以了。不过当你申请资源时候，大多数情况下老板的回答是，既要想办法降低存储成本，又要不影响分析查询的性能，降本和增效一个都不能少。不过这也是为数不多，我们DBA能刷存在感的时机了，能提出合理的解决方案，才能体现我们不是吃干饭的。 常见的历史数据查询场景是，大多数业务只会查询最近几个月的数据，只有少数的报表才需要查询历史数据，根据这种场景：

  • 最简单处理方式就是只把历史分区放置在HDD节点中，最近几个月数据放在***节点中，不过这种架构会导致一些分析类查询变得非常慢。如果老板希望看最近几年的业务增长曲线，结果在Tableau页面点击查询后，半天没有响应甚至查询失败后，显然会置疑TiDB的能力，不是说TiDB是HTAP全能数据库么，怎么查一年的业务增量需要时间这么长，比MySQL还慢。这必然会影响你在老板心中解决问题的能力。

  • 更好的解决方案需要利用Tiflash列式存储引擎，将历史数据放到HDD节点中减少***储存数据量，对整表增加Tiflash副本(单副本/多副本均可，副本个数的提升对查询性能影响不大更多是可用性的提升)。由于TiFlash对高并发支持并不友好，这种方案的前提是只有少量AP类查询会查询历史数据，不会有高并发查询历史数据的场景。

PS：

  1. 记得要开启分区动态裁剪功能，这个可以让分区表的查询变快。(6.5之后，默认开启)

  2. 由于7.1之前TiFlash并不会将WHERE条件下推，导致即便只需要查询部分数据(例如某一年/月数据)， TiFlash也会从磁盘扫描某几列全部数据到内存中，在内存中完成过滤，所以即便是API类查询，性能也可能比TiKV还慢。 7.1之后TiFlash延迟物化功能GA，默认会开启tidb_opt_enable_late_materialization，上述场景的查询会有较大的性能提升，TiFlash适应的场景会更广泛。延迟物化是指：TiFlash 支持下推部分过滤条件到 TableScan 算子，即先扫描过滤条件相关的列数据，过滤得到符合条件的行后，再扫描这些行的其他列数据，继续后续计算，从而减少 IO 扫描和数据处理的计算量。

PPS: 7.4.0之后TiFlash存储计算资源分离和 S3 共享存储 (GA)，TiFlash支持存储和计算资源分离，提升 HTAP 资源的弹性能力，可以将全量数据基于 S3 的存储引擎，以更低的成本提供共享存储，给所有表都增加TiFlash副本的成本变的很低很低。 PPPS:  现在7.5.0 LTS也已经在2023-12-01发布了，强烈建议大家在测试环境验证验证新版本，在观望一段时候后，将重要性没那么强的集群先升级到7.5.0。当然关键的正式集群，最好至少等到7.5.2之后再考虑升级，别做小白鼠。

3.3 如何快速将非分区表改造为分区表？

线上有一套TiDB集群汇总了所有MySQL表，由于不是所有业务在上线前，都会根据表的预期数据增量来考虑是否需要对表进行分区，导致往往是排查空间问题时，才发现是某个上游MySQL上出现新的数据量特别大的表，且没有提前周知给我们。在这种情况下，如何高效的将非分区表改造为分区表呢？

6.1之后7.5之前：通过EXCHANGE PARTITION间接改造

由于TiDB 6.1之后支持了EXCHANGE PARTITION操作，可以基于EXCHANGE PARTITION，来将快速的将非分区表改造为分区表。我总结出来的操作步骤是：

  1. 基于当前表创建对应的分区表。(第一个分区的上界要大于表的当前最大值)

mysql> show create table t1\G
*************************** 1. row ***************************
     Table: t1
Create Table: CREATE TABLE `t1` (
`date` date NOT NULL,
`name` varchar(10) NOT NULL,
PRIMARY KEY(`date`,`name`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin
1 row in set (0.00 sec)
mysql> select * from t1;
+------------+------+
| date       | name |
+------------+------+
| 2023-07-02 | 0000 |
| 2023-07-03 | 0000 |
| 2023-07-04 | 0000 |
| 2023-07-05 | 0000 |
+------------+------+
4 rows in set (0.01 sec)
mysql> CREATE TABLE `t1_partition` (
  ->   `date` date NOT NULL,
  ->   `name` varchar(10) NOT NULL,
  ->   PRIMARY KEY(`date`,`name`)
  -> ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin
  -> PARTITION BY RANGE COLUMNS(`date`)
  -> (PARTITION `pbefore` VALUES LESS THAN ('2023-08-01'),
  ->  PARTITION `p202308` VALUES LESS THAN ('2023-09-01'),
  ->  PARTITION `p202309` VALUES LESS THAN ('2023-10-01'),
  ->  PARTITION `p202310` VALUES LESS THAN ('2023-11-01'),
  ->  PARTITION `p202311` VALUES LESS THAN ('2023-12-01'),
  ->  PARTITION `p202312` VALUES LESS THAN ('2024-01-01'),
  ->  PARTITION `pfuture` VALUES LESS THAN (MAXVALUE));
Query OK, 0 rows affected (0.17 sec)

  1. 使用EXCHANGE PARTITION操作，将非分区表数据交换到分区表第一个分区中

mysql> alter table t1_partition exchange partition pbefore with table t1;
Query OK, 0 rows affected, 1 warning (0.23 sec)
mysql> show warnings;
+---------+------+---------------------------------------------------------------------------------------+
| Level   | Code | Message                                                                               |
+---------+------+---------------------------------------------------------------------------------------+
| Warning | 1105 | after the exchange, please analyze related table of the exchange to update statistics |
+---------+------+---------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

  1. 交换非分区表和分区表的表名

mysql> rename table t1 to t1_bak, t1_partition to t1;
Query OK, 0 rows affected (0.28 sec)

  1. 最后，别忘记第二步还有个warning，经过EXCANGE之后，需要对新表进行analyze table操作，才会生成全局的动态裁剪统计信息。

mysql> analyze table t1;
Query OK, 0 rows affected, 14 warnings (2.24 sec)

需要注意的是：

  1. 这种场景下，在EXCHANGE PARTITION后，RENAME TABLE之前，这期间可能会有几秒中业务查询t1表会是个空表，需要提前跟业务沟通好，找个业务低峰期处理。

  2. TiDB在开启聚簇索引后是不支持修改主键的，而开启冷热分离一般来说是将某个时间字段加到主键中，根据时间字段来分区，也就是需要更改表的主键，所以强烈建议汇总类的TiDB集群的tidb_enable_clustered_index参数最好设置为OFF，这样MySQL上新增的表默认才会是NONCLUSTERED的，可以方便的修改大表的主键。(6.5之前默认值是INT_ONLY，6.5之后默认值是ON，在默认情况下，基本上90%的表是不能直接进行分区化改造的)

7.5之后：官方支持非分区表和分区表之间的相互转换

详细内容可以看：官方文档，直接一条SQL就能更改。

ALTER TABLE <table_name> PARTITION BY <new partition type and definitions>

不过，别忘记官方文档里说的：该语句在执行时，将根据新的分区定义复制表中的所有行，并在线重新创建索引。这是一个非常非常重的操作，如果表已经非常大了，还是建议按照手动操作步骤来变更，可以减少行的复制操作。

总结

本篇文章，总结了一下通过Placement Rule完成业务隔离、冷热隔离放的实战经验，通过上述描述，大家也能看到7.5的新功能可以规避很多非常规的骚操作。其实不仅如此，7.5在资源管控、DDL等后台任务控制、TiFlash等其他方面也对用户更加友好了，希望大家在测试环境多多验证，尽量早上生产。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。

标签：TiDB 高并发 pingcap HTAP 数据存储
上一篇:异地灾容，探索不同地区的灾害抗争与重建之道
下一篇:一篇文章说清TiDB集群各种容量计算方式
相关文章