实用技巧分享：如何高效利用 Grafana 监控分析 TiDB 指标？

• 之前如果 Prometheus 需要迁移，需要重启整个集群，因为组件要调整 push 的目标地址。

• 现在可以部署 2 套 Prometheus，防止监控的单点，因为 pull 的 source 端是可以多个。

• 去掉了 PushGateWay 这个单点组件。

# 可以看到实时 qps 的数据，区分不同的 type，value 是 counter 类型的累计值（科学计数法）

curl http://__tidb_ip__:10080/metrics |grep tidb_executor_statement_total
tidb_executor_statement_total{type="Delete"} 520197
tidb_executor_statement_total{type="Explain"} 1
tidb_executor_statement_total{type="Insert"} 7.20799402e+08
tidb_executor_statement_total{type="Select"} 2.64983586e+08
tidb_executor_statement_total{type="Set"} 2.399075e+06
tidb_executor_statement_total{type="Show"} 500531
tidb_executor_statement_total{type="Use"} 466016

• rate[1m]：表示 1 分钟的增长速率，只能用于 counter 类型的数据。

• sum：表示 value 求和。

• by type：表示将求和后的数据按 metric 的原始值中的 type 进行分组。

• Legend format：表示指标名称的格式。

• Resolution：默认打点步长是 15s，Resolution 表示是否分解。

提示：我们可以结合技巧 1，发现这里还有一个 sql_type 的维度，可以立刻分析出是 select 慢还是 update 慢，并且可以分析出是在哪个 instance 上慢。

通常默认图例中只有 Max 和 Current，但有时指标波动较大时，我们可以增加 Avg 等其他汇总函数的图例，可以看一段时间的整体趋势。

图 15 增加 Avg 函数

• 自动化平台获取集群规模、状态等信息。
• 对表达式稍加改动给报表提供数据，如统计每天的 QPS 总量、每天的 QPS 峰值、每天响应时间的汇总。
• 将重要的指标进行定期健康巡检。

curl -u user:pass 'http://__grafana_ip__:3000/api/datasources/proxy/1/api/v1/query_range?query=sum(tikv_engine_size_bytes%7Binstancexxxxxxxxx20181%22%7D)%20by%20(instance)&start=1565879269&end=1565882869&step=30' |python -m json.tool
{
    "data": {
        "result": [
            {
                "metric": {
                    "instance": "xxxxxxxxxx:20181"
                },
                "values": [
                    [
                        1565879269,
                        "1006046235280"
                    ],
                    [
                        1565879299,
                        "1006057877794"
                    ],
                    [
                        1565879329,
                        "1006021550039"
                    ],
                    [
                        1565879359,
                        "1006021550039"
                    ],
                    [
                        1565882869,
                        "1006132630123"
                    ]
                ]
            }
        ],
        "resultType": "matrix"
    },
    "status": "success"
}