黄东旭解析 TiDB 的核心优势
759
2023-12-26
在 pingcap 用户峰会 2023 上,PingCAP 研发副总裁唐刘、PingCAP 首席科学家丁岩,共同带来了“携手中国用户,打造世界级产品”主题分享。分别从 TiDB 7.x 版本内核的演进方向、面向中国企业级用户的新品平凯数据库的发版策略和产品路线图两个角度,解析 TiDB 产品家族协同演进路径。以下为分享实录。
我是 PingCAP 唐刘,负责 TiDB 的产研工作。首先请容我对在座的各位以及在线收看直播的用户报以最诚挚的敬意,因为有你们八年多不断的坚持、陪伴和信任,才有了我们现在源源不断的动力去打磨、去不断完善我们的产品,给客户带来更大的价值。
我们先来探讨一个话题,为什么中国企业以及中国的用户对 PingCAP 非常重要?从 TiDB 诞生的第一天起我们就致力于解决企业用户在规模化负载下的稳定性和性能问题。熟悉 TiDB 的用户应该都知道,我们最开始就是解决的 是 MySQL 分库分表的问题。经过八年多的发展,在各行各业无论衣食住行,还是金融保险都有了 TiDB 的身影。鉴于中国这样庞大的用户基数,大家可以想象这些规模化场景对整个数据库的稳定性和性能都提出了世界级的挑战。毫不夸张地说,如果我们能满足中国用户这些天花板级别的要求,我们就非常有信心地将产品推广到全世界,让全世界的用户享受到 TiDB 带给他们的价值。所以,中国对我们来说非常重要。
过去一年,PingCAP 投入了大量资源去解决 TiDB 在规模化场景下的稳定性和性能问题,也取得了不小的成果。首先在国内的某头部大行,通过我们的跑批优化,在该行的反洗钱业务、客户详单查询业务跑批场景上有 2-3 倍的性能提升。在国内某头部城商行,我们通过悲观事务的优化,在他们的互联网核心交易场景,实现了延迟降低 4 倍,7*24 小时延迟抖动控制在 2% 以内的目标。在国内某互联网零售企业,我们通过多业务整合和资源管控的方式,不仅使得用户节省了成本,同时也让业务的整体延迟下降了将近 50%。这些是我们在过去一年中取得成绩的一部分,非常感谢这些用户对我们的选择和信任。
当然不限于此,TiDB 的产品核心能力也有很多方面的重要提升。首先,在线 DDL 的性能提升了 10 倍。对于老版本中用户关注的 OOM 问题,经过我们一年多的努力,TiDB 最新的版本中的 OOM 较之前的版本下降了 99%,实现了质的飞跃。目前,TiDB 已经能做到单表 50TB 数据的小时级别导入,让用户非常顺滑、快速地将大批数据导入到 TiDB,满足用户对极致的 RPO 和 RTO 的述求,数据同步输出的延时也降低至了秒级。这些性能提升大家可以在最新的 TiDB 7.1 LTS 版本中享受到。未来,我们在后续的 TiDB 7.X 版本中,将继续致力于稳定性与性能的提升。
下面我给大家简单介绍 TiDB 7.X 版本中的三个重要新特性。
第一个特性是 Partitioned Raft KV,它带来的用户价值非常显著。我们能让用户相比之前用更少的机器,挂更大的盘,存更多的数据,还能提供更好的性能。在当前数据规模不断膨胀和多变的经济环境下,对用户来说这是一个非常具有吸引力的特性。使用 Partitioned Raft KV 这个特性之后,TiDB 无论是在性能还是在成本上面相比之前都有了质的飞跃,希望大家尽快使用 TiDB 的最新版本来体验这个功能。
第二个重要新特性就是资源管控(Resource Control),之前有很多用户反馈在使用和维护多套 MySQL 集群上面精疲力尽,将多套 MySQL 集群归集到一个 TiDB 里面又担心跑在数据库里面的业务相互影响。TiDB 7.1 LTS 版本已经提供了一个非常好的解决方案,就是通过 Resource Control 让用户非常方便地将多个 MySQL 实例汇聚到一个 TiDB 集群里面,一方面能够极大降低用户对于多套 MySQL 集群的运维成本,降低了运维复杂度,另一方面通过多合一的业务汇聚能够帮助用户节省成本。在实际的用户场景中,我们发现使用多合一的汇聚能帮用户节省 40% 左右的成本,在当前经济环境的压力下和降本增效的背景下,基于 TiDB 资源管控的数据库整合方案无疑是理想的选择。
第三个重要特性就是在线 DDL。在今天敏捷迭代的商业环境中,数据库需要跑得更快,但是我们不可能一开始就设计出一个完美的表结构。随着业务不断地快速变化,我们势必会对原始设计的表结构进行频繁的变更。运维过 MySQL 的同学应该都知道,当 MySQL 的集群规模非常大的时候(或者一些传统数据库集群规模非常大的时候),如果你要做一个 DDL 变更,这是多么痛苦的一件事情,不仅耗时会非常长,而且可能会造成停机维护、业务中断,甚至造成业务损失。然而,这一切在 TiDB 里面都不是问题,我们从第一天就支持了在线 DDL。在 TiDB 新版本中,在线 DDL 的性能提升了 10 倍,意味着你可以比竞争对手更快地进行表结构的变更,更敏捷地支撑业务迭代,以更快的速度在竞争中胜出。
后续的 TiDB 7.X 版本中将会推出 DDL 并行执行框架。如果你想要 DDL 执行得更快,只需要不断地添加节点,就能够实现性能的水平扩展,可以在 10 倍提升的基础上再乘以 N 个框架并行。这套框架不仅会用于当前的 DDL 处理,未来 TiDB 大批量的数据导入、大规模的数据统一分析、甚至一些重型查询的并行执行,我们都会通过这套框架进行统一的收敛。未来,我们希望通过这套并行框架给用户提供一套极致的性能体验。
这一系列新特性将会在 TiDB 7.5 LTS 中和大家见面。TiDB 7.5 版本将会提供更强大的资源管控能力,Partitioned Raft KV 将正式 GA,TiDB 也将全面兼容 MySQL 8.0。大家知道 MySQL 5.7 将在今年 10 月 End of Life,PingCAP 承诺我们会持续拥抱 MySQL 生态,不断地兼容 MySQL 5.7 和 MySQL 8.0,同时会带来顺畅的迁移体验,方便用户把数据库从 MySQL 迁移到 TiDB,实现无缝地迁移和使用。
从第一天开始 TiDB 就致力于成为一款全球化的数据库,从第一天开始我们坚信中国用户一直是 TiDB 持续创新的核心发动机。据我们内部统计,TiDB 新版本中有 50% 的功能需求来自中国用户,TiDB 70% 的外部贡献者来自于中国,有 30,000 多名中国的 AskTUG 用户在体验产品并给出反馈。今年,我们启动了用户之声活动,来到各个区域倾听用户的声音,希望通过我们的努力携手中国用户打造一款世界级的数据库产品。
我是平凯数据库的研发负责人丁岩。刚才唐刘介绍了很多 TiDB 的内核新特性,非常惊艳。对于中国企业用户来讲还有一个惊喜,一个专属的福利就是平凯数据库,我来介绍一下平凯数据库的发版策略和产品路线图。
我们锚定 TiDB 在每个 LTS 版本发布之后三个月左右,随着增强型企业级功能一起发布平凯数据库的新版本,节奏是每半年发布一个版本。平凯数据库是中国企业用户专属的一个福利,它有哪些吸引人的特性?
前面研究院付平老师介绍过,中国正在加速制定数据库的标准规范,涵盖方方面面。平凯数据库定位于全面地遵守国标、行标,兼容国产化生态,在安全合规方面让用户用得放心、用得安全。我们有很多大客户,例如国有大行的 TiDB 集群已经达到上百个,服务器达到上千台的规模,这个时候管理和运维就成为一个难题。平凯数据库适时地推出可视化管控平台(TEM),轻松管理上千台服务器、上百个 TiDB 集群,为用户节省管理运维的成本,提升管理效率。
中国市场上很多客户正在计划或者已经在把 *** 上的业务迁移到 TiDB,这个时候迁移成本包括迁移过程中的风险在所难免,我们也急客户所需,想客户所想,推出了全链路数据迁移平台(TMS),从数据库的对象,到 SQL 的兼容分析,到迁移前后 SQL 执行性能的对比,再到存量数据的迁移,提供一套全流程的迁移工具和解决方案,降低客户的迁移成本和迁移风险。此外,平凯数据库还提供存储过程的兼容,存储级的备份恢复,高级安全功能等。平凯数据库 7.1 版本将在今年 8 月底正式 GA。
半年之后,我们将发布平凯数据库 7.5 版本。7.5 版本将在符合国标、行标最新的规范标准,在安全方面持续发力。在生态方面,TEM 支持 K8s 集群的管理;大数据生态兼容方面,7.5 版本支持 ORC 格式数据的导入;自动化部署支持 IPv6。7.5 版本将持续提升存储过程的执行效率。我们收到的中国企业用户的迫切需求,都会在后续版本中做规划和交付,更多惊艳的企业级新特性正在路上,敬请期待。
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。