麒麟v10 上部署 TiDB v5.1.2 生产环境优化实践
532
2024-03-07
一年一度的 6.18 又双叒叕来了,给技术人最好的礼物就是技术指南!而经过这些年的发展,购物节早已不仅仅局限于电商行业,现在各行各业其实都会采用类似方式做运营活动,汽车界有 818,小米有米粉节等等,这对包括数据库在内的基础软件提出了很多新挑战,同时也积累了诸多最佳实践。
PingCAP 与京东、中通、汽车之家、易车网等用户展开一系列深入探讨,希望为大家揭秘逐年飙涨的销量背后隐藏着什么样的技术难题?用什么技术架构才能平稳地扛住流量洪峰?本篇为「大促背后的数据库」系列专题下篇,介绍了 TiDB 在超级汽车狂欢节的的应用实践。
理想很丰满,现实却骨感。
放眼天下,几乎没有企业能够拥有互联网巨头的技术体系和团队配置,但现实中又有实打实的大促场景需求,比如汽车之家、易车等汽车互联网平台都在推动 818 汽车狂欢节;又如小米有品作为粉丝经济的代表,每年通过 816 感恩季活动来回馈粉丝和扩大影响力;平安人寿在 “开门红” 的基础上升级出 108 财神节…… 在强调用户至上的今天,大促一定会逐渐成为各行各业的标配。
最大的挑战之一就是大部分企业没有足够规模的技术团队来支撑起大促场景。以汽车之家为例,其连续三年与湖南卫视联手打造 “818 全球汽车夜”,这种直播活动互动多、变数大,一次秒杀引发的数据流量可能是平时的数十倍之多,今年最大数据峰值更是高达 40 万/秒写入;数据库不仅需要解决海量实时交易的挑战,还需要将实时分析数据反馈给现场主持人,整个过程还需稳定可靠。
整个 “818 全球汽车夜” 对于分布式数据库的水平高扩展性、容灾能力、云端能力要求极高,以汽车之家技术团队的编制,靠自身来进行方案设计、压测、优化和部署上线在短时间内难度极大。事实证明,汽车之家选择 TiDB 是明智之选,通过成熟、可靠的分布式数据库解决方案,以及 PingCAP 技术专家的力量,让汽车之家能够迅速弥补自身技术团队的不足,高效完成对大促场景的支撑。
>>> 查看完整版《TiDB 在2021汽车之家“818全球汽车夜”的应用》
无独有偶,易车作为国内最早一批汽车互联网平台企业之一,其在去年 “818” 期间,与浙江卫视联合推出了一台综合汽车工艺秀、明星歌舞演出和明星综艺秀的车界 “春晚” —— “易车超级 818 汽车狂欢夜” 。在为汽车用户带来视听盛宴、购车福利的同时,晚会还推出超 150 台半价车的超值福利,观众可边看晚会边抢 5 折售卖的好车,同时还有购车红包、抵扣券、车款直降等多重优惠,得到实实在在的购车福利。截至晚会结束,全平台观看直播人次达 2.24 亿,获得线上订单 4.39 万,累计成交额(GMV)64.2 亿元。
在易车的 818 狂欢节中,数据库的应用场景有很多,其中实时数据看板是主要的应用业务之一。看板可以实时展示易车 818 购车节的专题、活动、流量、线索、互动等数据表现,是大数据平台的整体数据输出。
由于易车的这场汽车狂欢夜是台网互动的直播活动,摇一摇(红包、半价车、易车币)和主会场分会场直播节目的投票都是用户参与度最高、数据流量最大的环节。在整个活动过程中,不仅要求数据库能够存储海量数据,同时还要求能够应对高并发、低延迟等场景需求。这里的数据库不仅会作为数据存储的介质,还会作为实时计算的数据源头,配合流量数据,实现秒级数据实时播报。
数据库和 Flink 是整个系统中非常重要的两个组件,Flink 的数据来源包括数据库和业务流量数据,所以数据库不仅要满足数据秒级实时推送,还要支持 Flink 高并发的读写请求。
TiDB 社区的技术支持给了易车 DBA 们非常重要的帮助,从七月正式立项,仅用了不到一个月时间就完成了选型、方案设计、压测、上线部署,并在 “818” 中有惊无险地将大促流量平稳承载过来。
818 汽车狂欢数据看板业务架构图
在整个 818 活动中,TiDB 被用作 818 汽车狂欢节数据看板的核心数据库。易车准备了两套 TiDB 集群,和实时计算的主备方案一一对应。业务研发通过双写的方式把数据同时写入两个集群,一部分业务的查询链接集群 1 ,另一部分业务的查询连接集群 2,当其中一个集群出现问题,应用端就会切换到另外一个集群。两个 TiDB 集群都是部署了 3 个 TiDB Server、3 个 PD Server、6 个 TiKV 节点、2 个 TiFlash 节点。此外,还准备了 4 台机器做扩容以免数据量暴涨集群支撑不了。
最终,易车 818 汽车狂欢节期间数据量达到了平时的 10 倍以上,在直播最后蔡徐坤出场时,数据库流量更是直接翻了四倍,差点启用事先准备好兜底用的一键扩容方案。在整个过程中,818 汽车狂欢数据看板业务 SQL 999 始终控制在 8ms 以内,SQL 99 在 3ms 左右,QPS 达到 62k。
>>> 查看完整版《技术升级 & 行业升级,TiDB + 易车打造超级汽车狂欢节》
Forrester 首席分析师 James McQuivey 在《颠覆:数字经济的创新思维和商业模式》中直言:在数字化浪潮中,市场竞争者们都在利用新的技术、工具和平台来参与市场竞争、接近用户,甚至是颠覆旧的商业模式。
如今,大促不仅是一个 “显性” 的商业节日,更像是一个 “隐形” 的技术战场。它代表着商业的角力,更是数字化能力的比拼。它就像一块试金石,检验着各家企业数字化转型的成败。大促给予企业的不仅仅是营业额的提升、用户粘性的增强,更是对于数字化转型和新技术价值的再思考。
首先,在数字化时代中,场景变化之快绝非虚谈,哪怕是大促,现在的大促跟十年前在形式、方法、规模上都是千差万别,大促场景的创新在未来会只多不少,迅速变化的业务逻辑则会进一步推动企业的数字化转型和技术的选择。
其次,大促等新场景是打破技术偏见、接纳先进技术的绝佳机会,新技术趋势会在场景中得到落地、认可和推广。以如今火热的 HTAP 为例,不用像 MySQL 那样分表,实现实时海量规模的 OLTP 和实时数据分析,还能多云部署和两三中心容灾,这与大促的海量交易、实时数据展现、平稳运行的要求高度契合。人们过去总认为 HTAP 离实际场景太远,但汽车之家、易车网等用户用事实证明了新技术的价值。
最后,所有企业都在面临一个不确定增加的时代,唯有不断的场景创新能力和数字化能力方能抵御各种不确定性。互联网巨头的业务规模、技术体系固然代表着业界顶尖水平,但是否真正适合自己和为之所用还有待商榷,用户需要不断认识自我,寻找到适合自身发展需求的技术、方案和模式。
面向未来,数据将成为企业最为重要的生产要素,围绕数据存储、管理和应用创新的能力将成为企业的核心竞争力,尤其是随着大促等高峰值场景走向常态化,像 TiDB 这样低门槛、低成本和高质量的分布式数据库技术和解决方案一定会受到更多行业用户的青睐,以实现数字化核心能力的快速提升,从而在千变万化的市场中做到心中有 “数”。
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。