本文档的主要内容为：

openEuler 服务器主机设置

离线部署 TiDB v6.1.0（1监控/3TiDB/3PD/3TiKV）以及部署过程中踩到的坑。其中，TiDB 与 PD 为单机混合部署，设置 numa 绑核。

TiUniManager 离线部署与升级，以及部署升级过程中踩到的坑。

TiUniManager 接管存量 TiDB v6.1.0 集群。

【注意事项】

文档中为减少文字篇幅，所有软件包都是通过 wget 工具在线下载。在离线生产环境中，需通过其他方式准备软件包。

openEuler 22.03 LTS 不在 TiDB 及 TiUniManager 支持列表中，因此，在部署时需要做些细微调整，以避坑。本文档总结了部分踩到的坑，仅供参考。

1. 服务器准备

1.1. 拓扑规划

实例实例数量推荐配置OSIP说明Monitoring&Grafana&TiUniManager18C/16G/SAS/千兆网卡openEuler 22.03 LTS192.168.3.220部署监控、tiup、TiUniManager、br等生态工具。TiDB/PD3/316C/32G/***/万兆网卡*2openEuler 22.03 LTS192.168.3.221/222/223TiDB Server 与 PD 混合部署，生产环境中需要设置numa绑核，以避免资源争用。TiKV316C/32G/***/万兆网卡*2openEuler 22.03 LTS192.168.3.224/225/226

1.2. 目录规划

针对 PD 及 TiKV 实例，建议为数据目录分配高性能的磁盘。

IP目录用途建议磁盘类型192.168.3.220/tidb-deploy监控组件程序目录无限制/tidb-data监控组件数据目录无限制/em-deployTiUniManager 组件程序目录无限制/em-dataTiUniManager 组件数据目录无限制192.168.3.221/222/223/tidb-deployTiDB Server、PD组件程序目录无限制/tidb-dataTiDB Server、PD组件数据目录TiDB Server 无限制、PD 组件建议 ***192.168.3.224/225/226/tidb-deployTiKV 组件程序目录无限制/tidb-dataTiKV组件数据目录建议 NVME 或 ***

1.3. 系统安装

以下选项使用所有主机

为提高内存性能，禁用 SWAP 分区

软件选择：Minimal Install->Standard

数据盘格式化为 ext4，且为挂载选项增加 nodelalloc,noatime

## 1. 查看数据盘 UUID ~]# lsblk -f /dev/sdb NAME FSTYPE FSVER LABEL UUID FSAVAIL FSUSE% MOUNTPOINTS sdb └─sdb1 ext4 1.0 5d4f7d41-0673-45c7-a118-97f2d614a35f 29.7G 0% /tidb-data ## 2. 挂载数据盘，增加 nodelalloc,noatime 选项 ~]# echo "UUID=5d4f7d41-0673-45c7-a118-97f2d614a35f /tidb-data ext4 defaults,nodelalloc,noatime 0 2" >> /etc/fstab

1.4. 主机配置

1.4.1. 网络设置

## 1. 查看网卡名称，这里为 ens18 ~]# nmcli device status ## 2. 添加静态 IPv4 地址 ~]# nmcli con add type ethernet con-name net-static ifname ens18 ip4 192.168.3.220/24 gw4 192.168.3.1 ~]# nmcli con mod net-static ipv4.addr "192.168.3.220/24" ~]# nmcli con mod net-static ipv4.dns "223.5.5.5" ~]# nmcli con up net-static ifname ens18 ~]# ip -4 a

1.4.2. 配置本地源

## 1. 挂载光盘 ~]# mkdir -p /mnt/yum ~]# mount -o loop /dev/cdrom /mnt/yum ## 2. 创建 repo 文件 ~]# cat > /etc/yum.repos.d/local.repo << EOF [Packages] name=openEuler 22.03 LTS baseurl=file:///mnt/yum/ enabled=1 gpgcheck=0 gpgkey=file:///mnt/yum/RPM-GPG-KEY-openEuler EOF ## 3. 更新 yum 缓存 ~]# yum clean all ~]# yum makecache

1.4.3. ssh 互信及免密登录

中控机设置 ront 用户互信，免密登录各节点。

## 生成 root 密钥 ~]# ssh-keygen -t rsa## 批量设置 root 互信 ~]# for NODE_IP in 192.168.3.220 192.168.3.221 192.168.3.222 192.168.3.223 192.168.3.224 192.168.3.225 192.168.3.226 do echo ">>> ${NODE_IP}" ssh-copy-id root@${NODE_IP} done

1.4.4. 关闭 Swap、内核优化、SELinux、防火墙

~]# for NODE_IP in 192.168.3.220 192.168.3.221 192.168.3.222 192.168.3.223 192.168.3.224 192.168.3.225 192.168.3.226 do echo ">>> ${NODE_IP}" ssh root@${NODE_IP} "echo \"vm.swappiness = 0\">> /etc/sysctl.conf" ssh root@${NODE_IP} "swapoff -a && swapon -a" ssh root@${node_ip} "echo \"fs.file-max = 1000000\" >> /etc/sysctl.conf" ssh root@${node_ip} "echo \"net.core.somaxconn = 32768\" >> /etc/sysctl.conf" ssh root@${node_ip} "echo \"net.ipv4.tcp_syncookies = 0\" >> /etc/sysctl.conf" ssh root@${node_ip} "echo \"vm.overcommit_memory = 1\" >> /etc/sysctl.conf" ssh root@${NODE_IP} "sysctl -p" ssh root@${NODE_IP} "setenforce 0" ssh root@${NODE_IP} "sed -i s#SELINUX=enforcing#SELINUX=disabled#g /etc/selinux/config" ssh root@${NODE_IP} "sed -i s/^SELINUX=.*/SELINUX=disabled/ /etc/selinux/config" ssh root@${NODE_IP} "systemctl disable --now firewalld.service" done

一起执行 swapoff -a 和 swapon -a 命令是为了刷新 swap，将 swap 里的数据转储回内存，并清空 swap 里的数据。

1.4.5. 时间同步

~]# for NODE_IP in 192.168.3.220 192.168.3.221 192.168.3.222 192.168.3.223 192.168.3.224 192.168.3.225 192.168.3.226 do echo ">>> ${NODE_IP}" ssh root@${NODE_IP} "cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime" ssh root@${NODE_IP} "yum install ntp ntpdate -y" ssh root@${NODE_IP} "ntpdate pool.ntp.org" ssh root@${NODE_IP} "systemctl enable --now ntpd.service" done

TiDB 是一套分布式数据库系统，需要节点间保证时间的同步，从而确保 ACID 模型的事务线性一致性。可以通过互联网中的 pool.ntp.org授时服务来保证节点的时间同步，离线环境将其替换为自建的 NTP 服务来解决授时。

1.4.6. 系统优化

通过 tuned 优化系统

## 1. 获取磁盘 ID_SERIAL ~]# udevadm info --name=/dev/sdb | grep ID_SERIAL E: ID_SERIAL=0QEMU_QEMU_HARDDISK_drive-scsi1 ## 2. 创建 tuned 策略，根据磁盘类型选择调度算法。 ~]# mkdir /etc/tuned/balanced-tidb-optimal/ ~]# vi /etc/tuned/balanced-tidb-optimal/tuned.conf [main] include=balanced [cpu] governor=performance [vm] transparent_hugepages=never [disk] devices_udev_regex=(ID_SERIAL=0QEMU_QEMU_HARDDISK_drive-scsi1) elevator=mq-deadline ## 3. 应用 tuned 策略 ~]# tuned-adm profile balanced-tidb-optimal ## 4. 验证优化结果 ~]# cat /sys/kernel/mm/transparent_hugepage/enabled && cat /sys/kernel/mm/transparent_hugepage/defrag ~]# cat /sys/block/sdb/queue/scheduler ~]# cpupower frequency-info --policy

多个磁盘的 ID_SERIAL 用竖线分割，如：

[disk] devices_udev_regex=(ID_SERIAL=0QEMU_QEMU_HARDDISK_drive-scsi1)|(ID_SERIAL=36d0946606d79f90025f3e09a0c1f9e81) elevator=none

若 THP 禁用失败，可通过如下方式禁用。

## 1. 立即禁用 THP ~]# echo never > /sys/kernel/mm/transparent_hugepage/enabled && echo never > /sys/kernel/mm/transparent_hugepage/defrag ## 2. 开机禁用 THP ~]# cat >> /etc/rc.d/rc.local << EOF # Disable Transparent HugePages if test -f /sys/kernel/mm/transparent_hugepage/enabled; then echo never > /sys/kernel/mm/transparent_hugepage/enabled fi if test -f /sys/kernel/mm/transparent_hugepage/defrag; then echo never > /sys/kernel/mm/transparent_hugepage/defrag fi EOF ~]# chmod +x /etc/rc.d/rc.local

【注意事项】

openEuler 中 /etc/rc.d/rc.local文件默认权限为-rw-r--r--，需要为其增加执行权限 x，否则无法开机自动禁用 THP。

openEuler 中的磁盘调度策略

openEuler 内核在 blk 层加入了多队列功能，可尽情发挥 *** 的性能。开启多对列之后单队列就无法使用了，相应的单队列算法都看不见了。

~]# cat /sys/block/sdb/queue/scheduler [none] mq-deadline kyber bfq

单队列与多队列调度算法的对应关系如下表所示：

单队列多队列deadlinemy-deadlinecfqbfqnoopnonekyber

1.4.7. 用户创建及资源限制

1.4.7.1. 创建用户、授权及资源限制~]# for NODE_IP in 192.168.3.220 192.168.3.221 192.168.3.222 192.168.3.223 192.168.3.224 192.168.3.225 192.168.3.226 do echo ">>> ${NODE_IP}" ssh root@${NODE_IP} "useradd -u 1001 tidb -G wheel && echo tidb123 |passwd --stdin tidb" ssh root@${NODE_IP} "echo \"tidb ALL=(ALL) NOPASSWD: ALL\" >> /etc/sudoers" ssh root@${NODE_IP} "echo \"tidb soft nofile 1000000\" >> /etc/security/limits.conf" ssh root@${NODE_IP} "echo \"tidb hard nofile 1000000\" >> /etc/security/limits.conf" ssh root@${NODE_IP} "echo \"tidb soft stack 32768\" >> /etc/security/limits.conf" ssh root@${NODE_IP} "echo \"tidb hard stack 32768\" >> /etc/security/limits.conf" done

tidb 用户密码 tidb123；

【非必须】将用户 tidb 添加到 wheel 组，以使 tidb 用户可执行 su 命令切换用户。

tidb用户登录各目标节点，确认执行sudo - root无需输入密码，即表示添加成功。

1.4.7.2. 免密登录

tidb 用户登录中控机（192.168.3.220）执行：

~]$ id uid=1001(tidb) gid=1001(tidb) groups=1001(tidb),10(wheel) context=unconfined_u:unconfined_r:unconfined_t:s0-s0:c0.c1023 ## 为 tidb 生成密钥 ~]$ ssh-keygen -t rsa## 1. 分发密钥 for NODE_IP in 192.168.3.220 192.168.3.221 192.168.3.222 192.168.3.223 192.168.3.224 192.168.3.225 192.168.3.226 do echo ">>> ${NODE_IP}" ssh-copy-id tidb@${NODE_IP} done ## 2. 验证免密登录 for NODE_IP in 192.168.3.220 192.168.3.221 192.168.3.222 192.168.3.223 192.168.3.224 192.168.3.225 192.168.3.226 do echo ">>> ${NODE_IP}" ssh tidb@${NODE_IP} "date" done

1.4.8. 安装 numactl

针对混合部署的服务器，为避免组件之间的资源争用，建议对组件进行 NUMA 绑核。

1.4.8.1. 安装 numactl~]# for NODE_IP in 192.168.3.220 192.168.3.221 192.168.3.222 192.168.3.223 192.168.3.224 192.168.3.225 192.168.3.226 do echo ">>> ${NODE_IP}" ssh root@${NODE_IP} "mount -o loop /dev/cdrom /mnt/yum" ssh root@${NODE_IP} "yum -y install numactl" done

1.5. 离线部署 TiDB

1.5.1. 部署 TiUP 组件

可直接在 tidb 官网下载 TiDB 软件包，该软件包中包含 TiUP 组件。将 TiDB 软件包上传至中控机（192.168.3.220）。

https://pingcap.com/zh/product#SelectProduct

## 1. 下载 TiDB 离线镜像包 ~]$ export version=v6.1.0 ~]$ wget https://download.pingcap.org/tidb-community-server-${version}-linux-amd64.tar.gz ~]$ chown tidb:tidb tidb-community-server-${version}-linux-amd64.tar.gz ## 2. 部署 TiUP 组件 ~]$ tar -xzvf tidb-community-server-${version}-linux-amd64.tar.gz ~]$ sh tidb-community-server-${version}-linux-amd64/local_install.sh ~]$ source /home/tidb/.bash_profile ## 3. 查看离线镜像中的组件 ~]$ tiup list

local_install.sh 脚本会自动执行 tiup mirror set tidb-community-server-${version}-linux-amd64 命令将当前镜像源设置为本地文件夹 tidb-community-server-${version}-linux-amd64。若需切换到在线环境，可执行 tiup mirror set https://tiup-mirrors.pingcap.com。

1.5.2. 拓扑准备

~]$ tiup cluster template |grep -Ev ^\s*#|^$ > topology.yaml

生成的默认拓扑配置，根据实际环境修改如下：

global: user: "tidb" ssh_port: 22 deploy_dir: "/tidb-deploy" data_dir: "/tidb-data" arch: "amd64" server_configs: tidb: new_collations_enabled_on_first_bootstrap: true # 配置项将写入 /tidb-deploy/tidb-4000/conf/tidb.toml 文件中 monitored: node_exporter_port: 9100 blackbox_exporter_port: 9115 pd_servers: - host: 192.168.3.221 numa_node: "1" # 配置项将写入 /tidb-deploy/pd-2379/scripts/run_pd.sh 脚本中 - host: 192.168.3.222 numa_node: "1" - host: 192.168.3.223 numa_node: "1" tidb_servers: - host: 192.168.3.221 numa_node: "0" - host: 192.168.3.222 numa_node: "0" - host: 192.168.3.223 numa_node: "0" tikv_servers: - host: 192.168.3.224 - host: 192.168.3.225 - host: 192.168.3.226 monitoring_servers: - host: 192.168.3.220 grafana_servers: - host: 192.168.3.220 alertmanager_servers: - host: 192.168.3.220

new_collations_enabled_on_first_bootstrap

从 TiDB v4.0 开始，引入了 TiDB 配置项 new_collations_enabled_on_first_bootstrap，用于启用新的排序框架。该配置项只能在TiDB集群初始化时设置，后期修改无效。

在 v4.x-v5.x 中，该配置项默认为 false，即不启用新排序框架，仅支持 utf8mb4_bin（大小写敏感）排序规则，无法更改。

从 TiDB v6.0.0 版本开始，该配置项的默认值变更为 true ，即在新的排序规则框架下，TiDB 能够支持 utf8_general_ci、utf8mb4_general_ci、utf8_unicode_ci、utf8mb4_unicode_ci、gbk_chinese_ci 和 gbk_bin 这几种排序规则，与 MySQL 兼容。

混合部署的 numa 绑核

当前环境 TiDB 与 PD 组件为混合部署，因此为避免资源争用，对其启用 NUMA 绑核。

## 查看 numa 信息 ~]# numactl --hardware available: 2 nodes (0-1) node 0 cpus: 0 1 2 3 node 0 size: 1978 MB node 0 free: 1773 MB node 1 cpus: 4 5 6 7 node 1 size: 1438 MB node 1 free: 1082 MB node distances: node 0 1 0: 10 20 1: 20 10

numa 绑核配置，不能设置在全局配置 server_configs 中，否则无法识别。

1.5.3. 环境校验

生产环境，需确保所有检查项都为 pass

## 1. 环境检查 ~]$ tiup cluster check ./topology.yaml --user tidb ... Node Check Result Message ---- ----- ------ ------- 192.168.3.223 os-version Pass OS is CentOS Linux 7 (Core) 7.9.2009 192.168.3.223 cpu-cores Pass number of CPU cores / threads: 4 192.168.3.223 memory Pass memory size is 4096MB ... 省略部分内容 ... 192.168.3.222 command Pass numactl: policy: default ## 2. 自动修复 ~]$ tiup cluster check ./topology.yaml --apply --user root

【注意事项】

因 openEuler 不在官方支持的 OS 列表中，因此会有os-version Fail os vendor openEuler not supported 的报错提示，可忽略

1.5.4. 集群部署

~]$ id uid=1000(tidb) gid=1000(tidb) groups=1000(tidb) ## 1. 部署集群 ~]$ export version=v6.1.0 ~]$ tiup cluster deploy kruidb ${version} ./topology.yaml --user tidb Starting component `cluster`: /home/tidb/.tiup/components/cluster/v1.10.2/tiup-cluster deploy kruidb v6.1.0 ./topology.yaml --user tidb ... 省略部分日志内容 ... Cluster type: tidb Cluster name: kruidb Cluster version: v6.1.0 Role Host Ports OS/Arch Directories ---- ---- ----- ------- ----------- pd 192.168.3.221 2379/2380 linux/x86_64 /tidb-deploy/pd-2379,/tidb-data/pd-2379 pd 192.168.3.222 2379/2380 linux/x86_64 /tidb-deploy/pd-2379,/tidb-data/pd-2379 pd 192.168.3.223 2379/2380 linux/x86_64 /tidb-deploy/pd-2379,/tidb-data/pd-2379 tikv 192.168.3.224 20160/20180 linux/x86_64 /tidb-deploy/tikv-20160,/tidb-data/tikv-20160 tikv 192.168.3.225 20160/20180 linux/x86_64 /tidb-deploy/tikv-20160,/tidb-data/tikv-20160 tikv 192.168.3.226 20160/20180 linux/x86_64 /tidb-deploy/tikv-20160,/tidb-data/tikv-20160 tidb 192.168.3.221 4000/10080 linux/x86_64 /tidb-deploy/tidb-4000 tidb 192.168.3.222 4000/10080 linux/x86_64 /tidb-deploy/tidb-4000 tidb 192.168.3.223 4000/10080 linux/x86_64 /tidb-deploy/tidb-4000 prometheus 192.168.3.220 9090/12020 linux/x86_64 /tidb-deploy/prometheus-9090,/tidb-data/prometheus-9090 grafana 192.168.3.220 3000 linux/x86_64 /tidb-deploy/grafana-3000 alertmanager 192.168.3.220 9093/9094 linux/x86_64 /tidb-deploy/alertmanager-9093,/tidb-data/alertmanager-9093 Attention: 1. If the topology is not what you expected, check your yaml file. 2. Porter Enabling instance 192.168.3.220 ... 省略部分日志内容 ... Enable 192.168.3.222 success Cluster `kruidb` deployed successfully, you can start it with command: `tiup cluster start kruidb --init` ## 2. 初始化集群 ~]$ tiup cluster start kruidb --init ... 省略部分日志内容 ... Started cluster `kruidb` successfully The root password of TiDB database has been changed. The new password is: 0y-@6R2gDp45m*3=KC. Copy and record it to somewhere safe, it is only displayed once, and will not be stored. The generated password can NOT be get and shown again.

可通过 tiup cluster start kruidb-cluster --init 在初始化集群时，为 root 用户生成随机密码（只显示一次）。省略 --init 参数，则为root用户指定空密码。

1.5.5. 修改默认密码

## 1. 中控机 192.168.3.220 安装 MySQL CLI 客户端 ~]$ sudo yum install mysql -y ## 2. 默认密码登录 TiDB 并修改密码 ~]$ mysql -uroot -P4000 -h192.168.3.221 -p0y-@6R2gDp45m*3=KC mysql> select user,host from mysql.user; +------+------+ | user | host | +------+------+ | root | % | +------+------+ 1 row in set (0.01 sec) mysql> alter user root identified with mysql_native_password by "root"; Query OK, 0 rows affected (0.07 sec) mysql> flush privileges; Query OK, 0 rows affected (0.03 sec) ## 3. 用新密码登录 TiDB 数据库 ~]$ mysql -uroot -P4000 -h192.168.3.221 -proot

1.6. 检查 TiDB 集群

1.6.1. 查看集群

~]$ tiup cluster list tiup is checking updates for component cluster ... Starting component `cluster`: /home/tidb/.tiup/components/cluster/v1.10.2/tiup-cluster list Name User Version Path PrivateKey ---- ---- ------- ---- ---------- kruidb tidb v6.1.0 /home/tidb/.tiup/storage/cluster/clusters/kruidb /home/tidb/.tiup/storage/cluster/clusters/kruidb/ssh/id_rsa~]$ tiup cluster display kruidb tiup is checking updates for component cluster ... Starting component `cluster`: /home/tidb/.tiup/components/cluster/v1.10.2/tiup-cluster display kruidb Cluster type: tidb Cluster name: kruidb Cluster version: v6.1.0 Deploy user: tidb SSH type: builtin Dashboard URL: http://192.168.3.222:2379/dashboard Grafana URL: http://192.168.3.220:3000 ID Role Host Ports OS/Arch Status Data Dir Deploy Dir -- ---- ---- ----- ------- ------ -------- ---------- 192.168.3.220:9093 alertmanager 192.168.3.220 9093/9094 linux/x86_64 Up /tidb-data/alertmanager-9093 /tidb-deploy/alertmanager-9093 192.168.3.220:3000 grafana 192.168.3.220 3000 linux/x86_64 Up - /tidb-deploy/grafana-3000 192.168.3.221:2379 pd 192.168.3.221 2379/2380 linux/x86_64 Up /tidb-data/pd-2379 /tidb-deploy/pd-2379 192.168.3.222:2379 pd 192.168.3.222 2379/2380 linux/x86_64 Up|UI /tidb-data/pd-2379 /tidb-deploy/pd-2379 192.168.3.223:2379 pd 192.168.3.223 2379/2380 linux/x86_64 Up|L /tidb-data/pd-2379 /tidb-deploy/pd-2379 192.168.3.220:9090 prometheus 192.168.3.220 9090/12020 linux/x86_64 Up /tidb-data/prometheus-9090 /tidb-deploy/prometheus-9090 192.168.3.221:4000 tidb 192.168.3.221 4000/10080 linux/x86_64 Up - /tidb-deploy/tidb-4000 192.168.3.222:4000 tidb 192.168.3.222 4000/10080 linux/x86_64 Up - /tidb-deploy/tidb-4000 192.168.3.223:4000 tidb 192.168.3.223 4000/10080 linux/x86_64 Up - /tidb-deploy/tidb-4000 192.168.3.224:20160 tikv 192.168.3.224 20160/20180 linux/x86_64 Up /tidb-data/tikv-20160 /tidb-deploy/tikv-20160 192.168.3.225:20160 tikv 192.168.3.225 20160/20180 linux/x86_64 Up /tidb-data/tikv-20160 /tidb-deploy/tikv-20160 192.168.3.226:20160 tikv 192.168.3.226 20160/20180 linux/x86_64 Up /tidb-data/tikv-20160 /tidb-deploy/tikv-20160

1.6.2. 检查集群配置

可通过 tiup cluster show-config <集群名> 查看集群配置；通过 tiup cluster edit-config <集群名> 修改集群运行的配置信息，该命令会自动汇总各节点的配置项。

~]$ tiup cluster show-config kruidb global: user: tidb ssh_port: 22 ssh_type: builtin deploy_dir: /tidb-deploy data_dir: /tidb-data os: linux arch: amd64 monitored: node_exporter_port: 9100 blackbox_exporter_port: 9115 deploy_dir: /tidb-deploy/monitor-9100 data_dir: /tidb-data/monitor-9100 log_dir: /tidb-deploy/monitor-9100/log server_configs: tidb: new_collations_enabled_on_first_bootstrap: true # ... 省略部分配置内容 ... tidb_servers: - host: 192.168.3.221 ssh_port: 22 port: 4000 status_port: 10080 deploy_dir: /tidb-deploy/tidb-4000 log_dir: /tidb-deploy/tidb-4000/log numa_node: "0" arch: amd64 os: linux - host: 192.168.3.222 # ... 省略部分配置内容 ... - host: 192.168.3.223 # ... 省略部分配置内容 ... tikv_servers: - host: 192.168.3.224 ssh_port: 22 port: 20160 status_port: 20180 deploy_dir: /tidb-deploy/tikv-20160 data_dir: /tidb-data/tikv-20160 log_dir: /tidb-deploy/tikv-20160/log arch: amd64 os: linux - host: 192.168.3.225 # ... 省略部分配置内容 ... - host: 192.168.3.226 # ... 省略部分配置内容 ... pd_servers: - host: 192.168.3.221 ssh_port: 22 name: pd-192.168.3.221-2379 client_port: 2379 peer_port: 2380 deploy_dir: /tidb-deploy/pd-237