Region is unavailable的排查总结

网友投稿 601 2023-04-01

region访问基本流程

tidb在访问key数据时需要获取key所在region的分布信息,在tidb 侧有一个region cache存储region信息,包含region key范围、leader+peer信息、store_id等,每次访问key时先从region cache内查找是否有相应region信息如果没有则从pd读取并放到region cache内。

Region is unavailable的排查总结

由于pd或tikv不会主动将最新的region信息告知给tidb,当region发生变化时,比如leader切换、region分裂或合并,或者tikv节点无法访问等,tidb侧的region cache信息可能会过期,此时根据region cache信息访问tikv时由于region的变化tikv会返回一些错误信息,比如not leader、RegionNotFound 、EpochNotMatch 等。tidb会进行backoff,根据tikv返回的错误信息里的内容或从pd更新region信息,尝试使用新的信息访问region。

region is unavailable常见原因

region is unavailable 就是tidb 在backoff时由于各种问题导致超过了阈值时间(20秒)而返回的错误。常见的原因有:

1、最大副本数的半数以上tikv或tiflash不可用或同时发生重启,导致raftgroup多副本失败。需要注意的tidb集群允许问题tikv的数量是以副本数的多数可用为准,与运行tikv的主机数量没关系。

2、在backoff时间内没有leader可访问:

(1) Tikv很忙Region 在backoff时间内没有选举出leader;

(2) region已经有问题无法选出leader;

(3) Region split时间过长。

3、 Region split/merge在Follower apply慢的情况下,发生Leader切换后未能在backoff时间内同步到split/merge操作。

4、其他情况:比如版本升级过程不完全、bug等。如:https://docs.pingcap.com/zh/tidb/stable/release-5.3.3

排查总结

1、确认问题是偶尔出现还是每次必现。

2、检查是否有多个tikv 或tiflash异常的情况。

tiup cluster display  xxx 或查询Information_schema.tikv_store_status

3、检查tikv/tiflash的版本是否一致,状态是否与tiup一致,已缩容节点是否仍可见。

查询Information_schema.tikv_store_status 或 pd-ctl store

4、检查副本数设置max-replicas是否>=3。

pd-ctl config show

5、检查查询的表或使用的索引region是否正常。

explain SQL 检查报错表的执行计划使用索引还是表、走的tikv还是tiflash。

show table xxx regions .

pd-ctl region region_id

正常情况region中peer数应该>=max-replica数量,且其中一个为leader

6、直接查找不正常的region。

(1) 没有leader的region

pd-ctl region --jq=.regions[]|select(has("leader")|not)|{id: .id,peer_stores: [.peers[].store_id]}

(2) region数小于一定数量的region

pd-ctl region --jq=.regions[] | {id: .id, peer_stores: [.peers[].store_id] | select(length==1) }

(3) 检查bad region

./tikv-ctl --data-dir /data1/tidb-data/tikv-20160 bad-regions

5.x版本:./tikv-ctl --db /data1/tidb-data/tikv-20160/db bad-regions

7、检查tikv是否出现重启。

监控: TiKV detail -> cluster -> uptime或看memory趋势

8、检查follower apply是否延迟。

监控:TiKV detail -> raft Io -> appply log duration 是否过大

TiKV detail -> raft propose -> appply wait duration 是否过大

9、检查tikv是否出现server busy 或其他错误

监控:TiKV detail -> Erros

Server busy 排查

10、检查问题region的tikv/pd日志,确认是否有异常信息。

一些建议

1、在同一主机部署同一集群的多个tikv实例时一定要将所有tikv设置相同的label,否则会导致同一主机有某些region的多个副本存在,宕机后会出现多副本失败。

2、升级、缩容操作要处理完整。缩容处理流程可参考:

TiKV缩容下线异常处理的三板斧:https://tidb.net/blog/ddef26a5

----------------------------------------------------------------------------------------------------------------------

参考文档: Region is unavailable

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:携程 x TiDB丨应对全球业务海量数据增长,一栈式 HTAP 实现架构革新
下一篇:对TiDB监控方式的一点点研究
相关文章