扩容prometheus 并迁移prometheus 的数据

背景：

Tidb 在日常的集群运维时,如果需要做扩缩容时，是非常方便的，但是对于监控组件prometheus 官网并没有给出带历史监控数据的迁移方式。下面是结合实际的操作总结的一些操作步骤，如果有更好的方式欢迎交流。

1、扩容新的prometheus

tiup cluster scale-out tidb-dev ./scale-out-prom.yaml

2、修改监控组件和dashbaord的promethues 源

Grafana 报错

解决方案：

修改grafna 的数据源

选择目前的数据源

修改成新扩容的promthues地址

Dashboard 报错

解决方案：

点击修改promethues 源，选择自由源

3、stop 老的prometheus

tiup cluster stop tidb-prd -N 10.2.103.116:9590

4、备份老的prometheus的数据

[tidb@vm116 tidb-data]$ mv prometheus-9590/ prometheus-9590_bak [tidb@vm116 tidb-data]$ mkdir prometheus-9590 [tidb@vm116 tidb-data]$ ll

5、拷贝老的监控数据到新的prometheus

drwxr-xr-x 3 tidb tidb 4096 4月 13 19:00 01GXX4BEMERFC450HMF20P43XZ drwxr-xr-x 3 tidb tidb 4096 4月 14 11:00 01GXYV98210PZBRFFDBY5H8GEC drwxr-xr-x 3 tidb tidb 4096 4月 15 05:00 01GY0S2SMKP8R40QTY9TZ2E4Z1 drwxr-xr-x 3 tidb tidb 4096 4月 15 11:00 01GY1DNYYKXGA1SSQD5Q31T3Y6 drwxr-xr-x 3 tidb tidb 4096 4月 15 13:00 01GY1MHNTZAXMFFA9C8TRK2ZX0 drwxr-xr-x 3 tidb tidb 4096 4月 15 13:00 01GY1MHP8RCK1J80EGF0DGF9R4 drwxr-xr-x 2 tidb tidb 4096 4月 15 13:00 chunks_head drwx------ 2 tidb tidb 4096 4月 15 13:57 docdb -rw-r--r-- 1 tidb tidb 0 4月 13 10:05 lock -rw-r--r-- 1 tidb tidb 20001 4月 15 13:56 queries.active drwxr-xr-x 8 tidb tidb 4096 4月 15 13:57 tsdb drwxr-xr-x 3 tidb tidb 4096 4月 15 13:00 wal [tidb@vm115 prometheus-9590]$ cp -r 01G* /data1/tidb-data/prometheus-9690/ [tidb@vm115 prometheus-9590]$ pwd /data1/tidb-data/prometheus-9590 [tidb@vm115 prometheus-9590]$ 总用量 24 drwxr-xr-x 3 tidb tidb 4096 4月 13 09:51 01GXV6HXACPXR3S4MSKR273MKR drwxr-xr-x 3 tidb tidb 4096 4月 13 09:51 01GXVM9BKBDRW0D6WYGZC2RQZV drwxr-xr-x 3 tidb tidb 4096 4月 13 09:51 01GXVM9CJPYDCXY8Q2HDAJH985 drwxr-xr-x 3 tidb tidb 4096 4月 13 09:51 01GXVV52V0AH0AG7S4CVYF2SBD drwxr-xr-x 3 tidb tidb 4096 4月 13 09:51 01GXW20T31GE5JF2S2H8FH05XF -rw-r--r-- 1 tidb tidb 0 4月 13 09:51 lock drwxr-xr-x 3 tidb tidb 4096 4月 13 09:51 wal [tidb@vm115 prometheus-9590]$ [tidb@vm115 prometheus-9690]$ pwd /data1/tidb-data/prometheus-9690 [tidb@vm115 prometheus-9690]$ ll 总用量 60 drwxr-xr-x 3 tidb tidb 4096 4月 15 14:14 01GXX4BEMERFC450HMF20P43XZ drwxr-xr-x 3 tidb tidb 4096 4月 15 14:14 01GXYV98210PZBRFFDBY5H8GEC drwxr-xr-x 3 tidb tidb 4096 4月 15 14:14 01GY0S2SMKP8R40QTY9TZ2E4Z1 drwxr-xr-x 3 tidb tidb 4096 4月 15 14:14 01GY1DNYYKXGA1SSQD5Q31T3Y6 drwxr-xr-x 3 tidb tidb 4096 4月 15 14:14 01GY1MHNTZAXMFFA9C8TRK2ZX0 drwxr-xr-x 3 tidb tidb 4096 4月 15 14:14 01GY1MHP8RCK1J80EGF0DGF9R4 drwxr-xr-x 2 tidb tidb 4096 4月 15 14:09 chunks_head drwx------ 2 tidb tidb 4096 4月 15 14:09 docdb -rw-r--r-- 1 tidb tidb 0 4月 15 13:56 lock -rw-r--r-- 1 tidb tidb 20001 4月 15 14:16 queries.active drwxr-xr-x 8 tidb tidb 4096 4月 15 14:09 tsdb drwxr-xr-x 2 tidb tidb 4096 4月 15 14:09 wal [tidb@vm115 prometheus-9690]$

查询grafana

问题：promethues 保存了一些数据在内存里面，导致即使导入老的监控，仍然有一段是丢失的，暂时没有找到解决版本

如果restart prometheus 报错

level=info ts=2023-04-13T01:59:58.473663032Z caller=main.go:640 msg="Starting TSDB ..." level=info ts=2023-04-13T01:59:58.473702757Z caller=web.go:418 component=web msg="Start listening for connections" address=:9590 level=info ts=2023-04-13T01:59:58.473915597Z caller=repair.go:48 component=tsdb msg="found healthy block" mint=1681288029295 maxt=1681300800000 ulid=01GXV6HXACPXR3S4MSKR273MKR level=info ts=2023-04-13T01:59:58.473956652Z caller=repair.go:48 component=tsdb msg="found healthy block" mint=1681322400000 maxt=1681329600000 ulid=01GXVM9BKBDRW0D6WYGZC2RQZV level=info ts=2023-04-13T01:59:58.473993214Z caller=repair.go:48 component=tsdb msg="found healthy block" mint=1681300800000 maxt=1681322400000 ulid=01GXVM9CJPYDCXY8Q2HDAJH985 level=info ts=2023-04-13T01:59:58.474019427Z caller=repair.go:48 component=tsdb msg="found healthy block" mint=1681329600000 maxt=1681336800000 ulid=01GXVV52V0AH0AG7S4CVYF2SBD level=info ts=2023-04-13T01:59:58.474186922Z caller=main.go:509 msg="Stopping scrape discovery manager..." level=info ts=2023-04-13T01:59:58.474200027Z caller=main.go:523 msg="Stopping notify discovery manager..." level=info ts=2023-04-13T01:59:58.474205361Z caller=main.go:545 msg="Stopping scrape manager..." level=info ts=2023-04-13T01:59:58.474212946Z caller=main.go:539 msg="Scrape manager stopped" level=info ts=2023-04-13T01:59:58.474224191Z caller=main.go:505 msg="Scrape discovery manager stopped" level=info ts=2023-04-13T01:59:58.474232013Z caller=main.go:519 msg="Notify discovery manager stopped" level=info ts=2023-04-13T01:59:58.474241846Z caller=manager.go:736 component="rule manager" msg="Stopping rule manager..." level=info ts=2023-04-13T01:59:58.474253972Z caller=manager.go:742 component="rule manager" msg="Rule manager stopped" level=info ts=2023-04-13T01:59:58.474264935Z caller=notifier.go:521 component=notifier msg="Stopping notification manager..." level=info ts=2023-04-13T01:59:58.474272305Z caller=main.go:708 msg="Notifier manager stopped" level=error ts=2023-04-13T01:59:58.474455533Z caller=main.go:717 err="opening storage failed: get segment range: segments are not sequential" ^C #解决方案 rm -rf /data1/tidb-data/prometheus-9590/wal

总结：

整体操作步骤还是比较简单，主要是修改grafana和dashboard 源。希望官方也能给出更好的操作方式。