1.TiDB集群

1.1拓扑结构

3副本集群

Ip

组件

73.134.46.237

中控机、PD、TiDB Server

73.134.46.61  非***固态硬盘

TiKV1

73.134.47.200 非***固态硬盘

TiKV2

73.134.46.239 非***固态硬盘

TiKV3

73.134.47.53

Prometheus、Grafana、alertmanager、Nginx、HAProxy

1.2相关链接

Dashboard:

  http://73.134.46.237:2379/dashboard

Grafana:

  http://73.134.47.53:3000

TiDB集群数据源：

 HAProxy  73.134.47.53:3390   推荐

 Nginx     73.134.47.53:4000

2.接入指引

2.1方案比对

小数据量迁移

    通常数据量较低时，使用 DM 进行迁移较为简单，可直接完成全量+持续增量迁移工作。

 大数据量迁移

    当数据量较大时，DM 较低的数据导入速度 (30~50 GiB/h) 可能令整个迁移周期过长。本文所称“大数据量”通常指 TiB 级别以上。使用 Dumpling 和 TiDB Lightning 进行全量数据迁移，其本地导入 (local backend) 模式导入速度可达每小时 500 GiB。完成全量数据迁移后，再使用 DM 完成增量数据迁移。

名称

使用场景

上游（或输入源文件）

下游

（或输出文件）

主要优势

使用限制

Data Migration

集群

用于将数据从与

MySQL 协议

兼容的数据库迁移到 TiDB。

MySQL，MariaDB，

Aurora，MySQL

TiDB

一体化的数据迁移任务

管理工具，

支持全量迁移和增量同步；

支持对表与操作进行过滤；

支持分库分表的合并迁移。

建议用于 1 TB 以内的存量数据迁移。

Dumpling

用于将数据从 MySQL/TiDB

进行全量导出。

MySQL，TiDB

SQL，CSV

支持全新的 table-filter，

筛选数据更加方便；

支持导出到 Amazon S3 云盘

如果导出后计划往非 TiDB 的数据库恢复，建议使用 Dumpling；如果是往另一个 TiDB 恢复，建议使用 BR。

TiDB Lightning

用于将数据

全量导入到 TiDB。

Dumpling 输出的文件；

从 Hive 或者 Aurora 导出的

Parquet 文件；

从本地盘或 Amazon S3

云盘读取数据。

TiDB

支持迅速导入大量新数据，

实现快速初始化 TiDB 集群

的指定表；支持断点续传；

支持数据过滤。

Physical Import Mode Logical Import Mode

2.2方案一Data Migration集群（推荐）

2.3方案二Dumpling和TiDB Lightning

3.Data Migration集群

3.1DM集群拓扑结构

Ip

组件

73.134.47.190

Dm-master、Dm-worker、Prometheus、Grafana、alertmanager

3.2相关链接：

Dashboard:

  http://73.134.47.190:8261/dashboard

Grafana:

  http://73.134.47.190:3000/

3.3离线部署DM集群

a. 制作离线镜像

在外网连通的服务器上使用TiUP工具制作离线镜像

tiup mirror clone tidb-dm-v6.5.0-linux-amd64 --os=linux --arch=amd64 \

    --dm-master=v6.5.0 --dm-worker=v6.5.0 --dmctl=v6.5.0 \

    --alertmanager=v0.17.0 --grafana=v4.0.3 --prometheus=v4.0.3 \

    --tiup=v$(tiup --version|grep tiup|awk -F {print $1}) --dm=v$(tiup --version|grep tiup|awk -F {print $1})

b. 设置镜像和环境变量

sh tidb-dm-v6.5.0-linux-amd64/local_install.sh

source /home/tidb/.bash_profile

c. 初始化配置文件

tiup dm template > /data/tidb/topology.yaml

编辑配置文件，其中73.134.47.190部署dm-master、dm-worker

d.执行部署

tiup dm deploy dm-test v6.5.0 /data/tidb/topology.yaml --user tidb -p

e. 验证

tiup dm list

tiup dm display dm-gykj

启动集群

tiup dm start dm-gykj

tiup dm display dm-gykj

3.4数据迁移

a. 加密数据源密码

tiup dmctl -encrypt Root#123

b. 数据源配置

命名规则 mysql-source-${项目简称}.yaml  示例：mysql-source-xahr.yaml

注：在全量数据迁移和增量数据迁移模式下，启动迁移任务时会进行前置检查（上游数据库权限检查、外键、主键或唯一键等等），因此需提供root用户

b.加载数据源配置文件

tiup dmctl --master-addr=73.134.47.190:8261 operate-source create mysql-source-xahr.yaml

查看数据源状态

tiup dmctl --master-addr=73.134.47.190:8261 config source xahr-test

查看数据源和dm-worker的绑定关系

tiup dmctl --master-addr=73.134.47.190:8261 operate-source show xahr-test

c. 编辑迁移任务配置文件

命名规则 task-${项目简称}.yaml  示例：task-xahr.yaml

d. 迁移任务前置检查

检查项：上游字符集、版本、外键、主键或唯一键

        dump权限

        REPLICATION权限、MySQL binlog配置等

tiup dmctl --master-addr=73.134.47.190:8261 check-task task-xahr.yaml

e. 启动迁移任务

tiup dmctl --master-addr=73.134.47.190:8261 start-task ./task-xahr.yaml

f. 验证任务状态

tiup dmctl --master-addr=73.134.47.190:8261 query-status ./task-xahr.yaml

g. 验证全量迁移+增量同步

查询tidb，xahr数据库和对应表数据已同步

增量同步验证

源库创建一个表插入2条数据

Tidb集群xahr库已同步

h. 全量数据迁移校验

i. 增量数据同步校验

tiup dmctl --master-addr=73.134.47.190:8261 validation start --start-time 2023-01-29T15:00:00 --mode full task-xahr

mode:  full 行数据进行每列的比对

       fast 判断行在下游数据库是否存在

       null 不开启

3.5运维管理操作

3.5.1数据源

创建

tiup dmctl --master-addr=73.134.47.190:8261 operate-source create ./mysql-source-xahr.yaml

停止

tiup dmctl --master-addr=73.134.47.190:8261 operate-source stop xahr-test

查看绑定关系

tiup dmctl --master-addr=73.134.47.190:8261 operate-source show ./source-mysql-xahr.yaml

查看配置

tiup dmctl --master-addr=73.134.47.190:8261 config source xahr-test

查询组件信息

tiup dmctl --master-addr=73.134.47.190:8261 list-member

改变绑定

tiup dmctl --master-addr=73.134.47.190:8261 transfer-source szsf-test dm-127.0.0.1-8262

3.5.2迁移任务

前置检查

tiup dmctl --master-addr=73.134.47.190:8261 check-task ./task-xahr.yaml

启动

tiup dmctl --master-addr=73.134.47.190:8261 start-task ./task-xahr.yaml

查询状态

tiup dmctl --master-addr=73.134.47.190:8261 query-status

查询详情

tiup dmctl --master-addr=73.134.47.190:8261 query-status ./task-xahr.yaml

暂停

tiup dmctl --master-addr=73.134.47.190:8261 pause-task task-xahr

恢复

tiup dmctl --master-addr=73.134.47.190:8261 resume-task task-xahr

停止

tiup dmctl --master-addr=73.134.47.190:8261 stop-task task-xahr

3.5.3迁移增量校验

开启增量校验

tiup dmctl --master-addr=73.134.47.190:8261 validation start --start-time 2023-01-29 15:00:00 --mode full task-xahr

增量校验状态

tiup dmctl --master-addr=73.134.47.190:8261 validation status task-xahr

停止增量校验

tiup dmctl --master-addr=73.134.47.190:8261 validation stop task-xahr

错误行信息

tiup dmctl --master-addr=73.134.47.190:8261 validation show-error task-xahr

清理错误行

tiup dmctl --master-addr=73.134.47.190:8261 validation clear-error task-xahr --all

3.5.4集群运维

3.5.4.1WebUI

通过DM WebUI页面管理迁移任务

前提条件开启OpenAPI

方法一：

拓扑文件中添加如下配置

方法二：

修改集群配置文件

   tiup dm edit-config dm-gykj

重新加载集群

   tiup dm reload dm-gykj -R dm-master

WebUI地址：

http://73.134.47.190:8261/dashboard

3.5.4.2 dmctl

tiup dmctl用来运维DM集群的命令行工具，交互和命令模式

3.5.4.3日常巡检

方法一：dmctl工具查看任务运行状态及错误输出

tiup dmctl --master-addr=73.134.47.190:8261 query-status

方法二：Prometheus和Grafana

通过Prometheus和Grafana查看DM相关监控项

方法三：dm-master和dm-worker日志文件

通过dm-master和dm-worker日志文件查看DM运行状态和相关错误

dm-master

dm-worker

3.5.4.4集群操作

集群列表

tiup dm list

启动集群

tiup dm start dm-gykj

集群状态

tiup dm display dm-gykj

集群缩容

tiup dm scale-in dm-gykj -N 73.134.47.190:8262

集群扩容

tiup dm scale-out dm-gykj ./scale-out-monitor.yaml

更新配置

tiup dm edit-config dm-gykj

加载配置

tiup dm reload dm-gykj

补丁更新

tiup dm patch dm-gykj /data/tidb/dm-master-hotfix.tar.gz -R dm-master

操作日志

tiup dm audit

4.Dumpling和TiDB Lightning

4.1Dumpling全量导出

4.1.1安装

在线安装

tiup install dumpling

在线使用

tiup dumpling ...

离线安装

tar -zxvf dumpling-v6.5.0-linux-amd64.tar.gz

4.1.2使用

./dumpling -uroot -pxxxxx -h 73.134.35.132 -P3306 --filetype sql -t 8 -o /data/ywgl/exportfile/xahr  -B xahr

-t 指定导出的线程数，提高导出速度，不超过64

-F 指定单个文件的最大大小，单位MiB

--compress 压缩导出数据

整库导出

./dumpling -uroot -pxxxxx -h 73.134.35.132 -P3306 --filetype sql -t 8 -o /data/ywgl/exportfile/xahr  -B xahr

表导出

./dumpling -uroot -pxxxxx -h 73.134.35.132 -P3306 --filetype sql -t 8 -o /data/ywgl/exportfile/xahr  -T xahr.dict,xahr.dict_type,xahr.sdic_activity_info

筛选数据导出

./dumpling -uroot -pxxxxx -h 73.134.35.132 -P3306 --filetype sql -t 8 -o /data/ywgl/exportfile/xahr  -T xahr.sdic_activity_info --where "id<=7"

参考脚本

dumpling.sh

#!/bin/bash START_TIME=date +%Y-%m-%d %H:%M:%S START_TIME_S=date +%s DUMPLING_PATH=/data/ywgl/exportfile SOURCE_IP=$1 DATABASE=$2 USER_PWD=$3

if [ -d "$DUMPLING_PATH/$DATABASE" ]; then rm -fr $DUMPLING_PATH/$DATABASE fi

cd /data/tidb-community-toolkit-v6.5.0-linux-amd64

./dumpling -uroot -p$USER_PWD -h $SOURCE_IP -P3306 --filetype sql --compress gzip -t 8 -F256MiB -o $DUMPLING_PATH/$DATABASE -B $DATABASE

END_TIME=date +%Y-%m-%d %H:%M:%S END_TIME_S=date +%s SUM_TIME=$[$END_TIME_S-$START_TIME_S]

echo "---------------begin:$START_TIME-- end:$END_TIME-- total:$SUM_TIME seconds---------------------"

4.2TiDB Lighning导入数据

4.2.1安装

在线安装

tiup install tidb-lightning

在线使用

tiup dumpling ...

离线安装

tar -zxvf tidb-lightning-v6.5.0-linux-amd64.tar.gz

chmod +x tidb-lightning

4.2.2前置检查

目标TiKV集群的总存储空间必须大于 数据源大小* 副本数量*2

4.2.3使用

编辑配置文件

执行导入

nohup ./tidb-lightning -config /data/ywgl/tidb-lightning-$DATABASE.toml > /dev/null 2>&1 &

参考脚本

lightning.sh

#!/bin/bash TIDB_LIGHTNING_PATH=/data/ywgl/exportfile DATABASE=$1

if [ ! -d "$TIDB_LIGHTNING_PATH/$DATABASE" ]; then echo "$DATABASE文件夹不存在" exit fi

if [ ls "$TIDB_LIGHTNING_PATH/$DATABASE" | wc -l -eq 0 ]; then echo "$DATABASE数据文件为空" fi

cd /data/ywgl cp tidb-lightning-example.toml tidb-lightning-$DATABASE.toml sed -i "s/database/$DATABASE/g" tidb-lightning-$DATABASE.toml cd /data/tidb-community-toolkit-v6.5.0-linux-amd64 nohup ./tidb-lightning -config /data/ywgl/tidb-lightning-$DATABASE.toml > /dev/null 2>&1 & tail -f tidb-lightning-$DATABASE.log

导入监控

5.备份与恢复

5.1安装

安装br

tiup install br

安装minio

Server端

MC客户端

6.学习计划

1

br备份恢复方案（备份存储的选择（NFS或者Minio）；全量备份、增量备份、日志备份；

全量恢复、库表恢复、PITR指定时间点恢复）和验证

3周

2

TiDB集群运维操作（扩缩容、升级、补丁、修改配置、）

1周

3

TiUnitManager的使用

2周

4

日常巡检（Prometheus和dashborad）

3周

5

使用TiCDC同步数据到下游MySQL数据库

1周

6

Tiflash的使用

2周