打造友邻式多元生态,支撑工商银行、平安科技、中国人寿财险、杭州银行的创新实践

网友投稿 1032 2023-04-09

作为数据库服务商, PingCAP 肩负着一项重要使命:找到一条深耕行业场景,构建多元生态的路径。9 月 22 日的用户峰会上,PingCAP 副总裁陈煜琦发表了以“深耕行业场景,构建多元生态”为主题的演讲,工商银行、杭州银行、中国人寿财险、平安科技分享了在他们的关键业务中如何借助 TiDB 深挖行业场景,来自神州数码、中电金信、天翼云、东软集团、云徙科技、嘉和美康的生态伙伴分享了他们与 TiDB 的共建经验。以下为分享回顾。

打造友邻式多元生态,支撑工商银行、平安科技、中国人寿财险、杭州银行的创新实践

在传统的体系下, 原厂商和渠道商往往处于供应链上下游的位置, 彼此之间是通过商业利益进行连接的。在这种体系下,原厂商往往处于主导地位, 如果用太阳系来比喻这套合作体系, 那么处于太阳系中心的就是原厂商, 各个渠道商就像一颗颗行星, 被吸引着围绕原厂商转动、 产生连接、创造商业价值。但是这样的引力是不可持续的,并且黏性是不够的。

PingCAP 副总裁陈煜琦

PingCAP 副总裁陈煜琦介绍,我们有非常好的社区文化、开源基因,以及散布在各行各业中的开发者、使用者、源代码贡献者。通过开源模式,PingCAP 打造出一套“友邻式”的生态体系,任何个人、公司、数据平台、云基础设施都可以通过 TiDB 开源社区连接在一起,持续挖掘和创造商业价值。

在过去这些年中,基于这样的“友邻式”生态,PingCAP 从研发、产品到服务,积累了非常多体系化的能力,在金融、保险、物流、互联网等行业的深度客户中积累了非常多的场景和经验,与众多生态伙伴共同挖掘 TiDB 的行业场景能力。

与深度用户共同挖掘行业场景

金融机构尤其是银行,信息化开始都比较早,信息技术已经成为银行经营的主要支柱。银行业务的特殊性是和钱打交道,因此对系统可靠性要求比较高。TiDB 的分布式架构、金融级数据强一致性都为金融用户提供了坚实的数据底座能力。

杭州银行:关键业务类系统数据库的选择

杭州银行作为金融企业,为保证系统运行的可靠性、安全性和稳定性,以往比较偏爱国外厂商的高端成熟系统。

随着数字经济发展和新一代技术崛起,以互联网厂商为代表,通过分布式、微服务、云计算等技术也构建出了可以满足业务发展的技术架构,并且在人才体系、业务模式和用户习惯上能够实现多个维度不断破圈。银行也从自身的金融科技发展角度看到了新技术在性能、弹性和成本管理上的优势。在架构转变过程中,金融科技的自主发展已经成为银行业的发展共识,越来越多的银行同业开始应用分布式技术,在业务发展变革中通过场景实践来带动发展。

杭州银行坚持自主研发、自主建设、自主可控的系统建设思路。在基础软件领域,杭州银行从 2015 年开始使用 MySQL 等开源软件;2018 年引入私有云建设,在云上所有的业务系统数据库都使用了 RDS ;2020 年,采购单独的分布式数据库产品也投入了生产环节;2021 年随着云原生技术的发展,杭州银行进一步在生产环境引入了容器云平台,在客户关系管理、办公自动化系统等金融分析系统中引入了 TiDB,并在多种业务场景对 HTAP 架构进行验证,了解掌握它的技术特点。

刘峥 杭州银行 信息技术部副总经理

银行业务交易类系统尤其是关键业务系统,是金融行业中要求最为苛刻的系统。“钱不能错,服务不能停”,这是监管基本要求。作为交易系统的数据承载、服务底座,这种系统的数据库必须满足四个基本要求,杭州银行信息技术部副总经理刘峥把它总结为“SAPE”:一是 Safe (安全),数据安全是要绝对保证的,在任何情况下数据不能丢,数据不能错;二是 Availability (高可用),保证业务连续性不仅要符合监管要求底线,也要完善整个体系的可用性;三是 Performance (性能),使用分布式数据库替代传统数据库后,除了自然而然带来的横向扩展能力外,系统性能不能因此而产生降级;四是 Ecology (生态),这是当前背景下的一个特定要求,当前数据库产品众多,产品技术生态一定要有多方支持,由多方共建,对开发者和开发商要有强大吸引力,产品才能持续发展。

杭州银行组织多方参照监管单位发布的关于分布式数据库的技术架构、灾难恢复、安全技术的行业标准,共同设计了产品的测试场景,结合 TiDB 的产品特性在关键业务系统的仿真场景下进行更为详细的测试验证。TiDB 在开发应用、双中心多活、HTAP 等场景下体现出了较大优势,对测试过程中新增的一些产品需求也能及时改进和反馈。从开放性上来讲,TiDB 在人才培养、开发平台的适配、开源生态都有比较明显的优势,下一步杭州银行将在更多重要业务系统应用 TiDB,进行持续探索和磨合。

工商银行:国产分布式数据库的探索实践

工商银行从 2017 年就开始关注、研究和使用 TiDB。工商银行技术专家王君轶依稀还记得做第一个 TiDB 变更时的情景,那时还是 TiDB 2.0 版本,做一个服务器的置换一做就到第二天天亮。上个月工商银行把所有机型升到 TiDB 5.4 版本,所有升级动作仅在一个小时内就能全部搞定。近几年 TiDB 的更新迭代非常快,用户体验已经不可同日而语了。

王君轶 工商银行 基础技术实验室 技术专家

王君轶介绍使用 TiDB 的契机是自主可控,当时人行和工信部都提出银行核心系统的国产化替代,工行也积极响应,直到现在也是重点工作之一。同时工行也提出了在分布式数据库技术领域要提前进行技术储备和布局。虽然 TiDB 是当时一款比较火的产品,但是当时业界也不乏其他一些优秀产品,为什么最终工行还是选用了 TiDB?最主要的一个原因就是开源,开源为工行深入研究一款产品提供了可能。同时,跨行业的丰富使用案例,也给工行提供了很多借鉴。社区化的开发模式、版本的快速迭代,可以更快地完善所需功能。后续多家国产数据库陆续开源,也从侧面印证了 TiDB 坚持的开源战略受到了行业的认可。最后一点原因是工行对分布式数据库技术的研究需要。工行在分布式数据库技术领域也是多驾马车并行的,TiDB 可以作为这个技术领域的有益补充。

工行从 2017 年开始对 TiDB 进行研究论证,2018 年开始落地。刚开始上线的时候 TiDB 性能并不是太好,在进行了一系列优化,包括物理机置换,搬迁到万兆网络机房以后,性能肉眼可见地获得了很大提升。在高可用方面,工行进行了负载均衡以及同城双活的改造。整个过程并不是一蹴而就,其实是一个慢慢摸索的发展状态。直到 2020 年后 TiDB 开始慢慢走向成熟,4.0 版本也具备了 HTAP 的能力,工行随之开始寻找合适的试验场景。同时工行也在不断完善集群的一些配套功能,包括报警监控、安全审计等。再之后,工行开始研究 TiDB 上容器,这也顺应了基础设施云化的发展趋势。今年,工行会继续通过 TiDB 国产开源的特性,助力运维数据库的自主可控建设。

TiDB 在工行前后共投入了四五套集群,主要分为两类:一种是传统的部署架构,另一种是云上多租户,也就是容器集群架构。传统的部署架构可以支持更大负载的应用,而且具备稳定性和性能两方面的优势,比较适合应用等级比较高,数据规模比较大的应用;容器集群可以通过容器来提高租户间的安全隔离,借助开发的调度编排,实现资源投入和人力成本的降低,比较适合应用等级稍低,数据规模没那么大的应用。两种架构正好形成互补。

上图是一个同城两中心部署架构,具备同城双活高可用能力,通过 F5 实现园区间的流量转发。同时根据服务器的资源配置,将 DB 节点和 KV 节点进行多实例部署,兼具性能、稳定性以及资源利用率两方面的均衡。

工行去年开始试点容器集群,现在还处于摸索阶段。容器集群最大的优势除了能够降低资源投入外,还能节约人力成本。出现故障灾难恢复时,不需要人工干预,能够实现自愈,通过 TiDB  Operator 能够实现集群的全生命周期管理。

TiDB 在工行最初是以运维领域作为研究的切入点。运维应用所使用的数据库也在面临很多挑战,像业务应用基本每个应用都会单独设一套数据库,资源投入多不说还比较难管理。但绝大部分运维应用都不会太大,属于中小型的应用,不过也有极个别的比较复杂,加上人工智能、模型训练等,如果随便找一个业务数据库来跑的话,在分析计算方面还不一定能够搞得定,同时随着业务应用的不断扩张,与之相对应的运维数据呈几何增长,扩容也是一个问题。此外,在多数据中心的情况下如何高可用部署?其实行内的业务系统高可用已经比较成熟,但运维应用的高可用相对比较薄弱,近几年行内对运维应用容灾能力越来越重视。

因此,工行基于分布式数据库 TiDB 构建了一个多租户 DBaaS 云,能够为多个运维应用提供数据库服务,根据业务的需求进行弹性伸缩。同时工行进行了同城高可用的部署,在应用上进行试点验证。以工行的智能算法门户应用为例,这个应用是面向运维的,能够提供数据的加工处理,以及运维集成的端到端的运维服务。它一方面会对数据库捞取大量的数据做模型训练,而且实时性要求还不低。另外一方面,它会将运维数据异常检测的一些结果数据对数据库进行高频的读写更新,这比较贴合 HTAP 场景,因此工行以 Spark 作为分布式计算引擎,以 TiDB 作为底层数据存储引擎,来构建高效的流批一体处理框架。

数据库也是保险公司信息系统中关键的基础设施,因此,产品优秀,服务到位是保险信息系统稳定运行的前提, PingCAP 与中国人寿财险建立了良好合作,一起打造出分布式数据库在财险行业核心应用的典范。

中国人寿财险:“核心系统分布式数据库”改造实践

中国人寿财险是中国人寿集团重要成员单位,成立 16 年以来成果颇丰,目前在中国财险行业排名第四,累计服务了 1.1 亿个人用户,470 万个组织客户。该公司高度重视科技投入,科技应用在公司发展历程上起到了至关重要作用,从最初的技术支撑到逐步引领业务的方向,科技创新成为中国人寿财险最重要的核心竞争力之一。

陈彬 中国人寿财险 金融科技中心系统运行部负责人

中国人寿财险充分利用两条科技途径推进科技创新,一是利用大数据、云计算、人工智能等新一代技术来改造传统保险业务,二是直接面向互联网、移动化构建新的服务架构和运营模式。在数字化转型道路上,数据库是最重要的核心基础设施,支持大规模数据、高并发、敏捷响应成为其关键能力,也是保险业务高质量发展的技术保障。

近几年来,中国人寿财险主动应对车险综合改革,业务规模持续上升,盈利能力水平稳步提高,2021 年实现保费收入约 915 亿元。历时三年,中国人寿财险在 2020 年完成了新一代核心业务系统的建设,为深入推进数字化转型打下坚实基础。但是,随着业务规模的不断扩大及保单件数的激增,仍面临一些在应用层面解决不了的痛点,例如,投保业务激增导致高并发,实时数据写入、时效性、可靠性得不到保障。担心业务高峰期出现单点故障,基础软件做不到完全掌控,而这些痛点正好是分布式数据库善于解决的问题。

分布式数据库支持横向扩展,满足金融应用系统海量数据存储和百万级 TPS 高并发要求,提高了吞吐能力,降低了响应时间,实现小机向 X86 迁移,摆脱对专有硬件依赖,分布式数据库是解决以上问题的最佳方案。

鉴于分布式数据库金融行业的应用案例相对较少,中国人寿财险采用四步走策略,包括公开招标、PoC 测试、上线试用、外部评审,尽最大可能选择最适合业务发展的数据库产品。2020 年,中国人寿财险通过对市场上主流分布式数据库进行深入考察和评估,最后选择 TiDB 4.0 作为核心业务系统分布式数据库的试点。

2020 年 11 月,经过详细的技术验证,应用优化和投产保障规划,中国人寿财险数据库及中间件团队成功上线了单证系统。2021 年,陆续实现了承保辅助决策系统、天财车险、特殊车险承保系统的上线。今年,中国人寿财险已经完成了报价中心的切换上线,后续还会完成非车险承保系统的切换上线。TiDB 大幅提升海量数据和高并发下的性能问题,提供灵活的弹性扩容能力,并符合未来云架构的趋势。目前,TiDB 集群稳定支撑非车险及电子投保系统的客户身份认证、投保、对接银行保单处理、电子发票开具等业务,提供了异构数据库的灾备能力,实现了 RPO=0,RTO<30 秒的金融生产级高等级运行保障要求。

在整个实践过程中,中国人寿财险和 PingCAP 密切合作,初步形成了分布式数据库自主创新的能力,验证了分布式数据库在核心业务系统的可行性。中国人寿财险基于 TiDB 实现了核心业务系统的分布式改造,第一次在保险行业联机交易和批量业务场景引入 NewSQL 分布式数据库架构,推动中国人寿财险核心业务系统实现了进一步技术演进迭代和整体降本增效的目标。

TiDB 分布式数据库在中国人寿财险核心业务的成功应用,首先节省了成本,通过 X86 通用服务器代替 IBM 小型机,硬件投入成本降低了 75%;其次,用先进的分布式数据库替换集中式数据库,改造完成之后,OLTP 和 OLAP 性能较原来的 *** 数据库均有了明显上升,其中全量状态统计报表的处理时效提升 80 多倍,并具备了更强的数据汇聚和查询能力;最后,通过开放架构实现了安全可控,初步打造了中国人寿财险的自主创新体系,并不断演进,为后续异地双活改造奠定了坚实的技术基础。

与行业科技公司共创新型合作模式

PingCAP 在拓展场景时常常会碰到多种多样的各类需求,而这些需求来自于各个企业所属的竞争环境,这些挑战无论是业务还是技术上,都不是一家企业能够独自完成的,要想深耕行业,就需要各种行业的垂直解决方案、服务能力, PingCAP 在与平安科技的合作中尝试出一种新的生态合作模式,为行业领域用户提供更深入的行业解决方案。

平安科技 - 携手共建的发行版战略

平安科技总工程师汪洋分享了 TiDB 发行版 *** 的前世今生。*** 是平安基于 TiDB 基础的数据库引擎自研的数据库发行版,定位是金融级分布式数据库,能够覆盖金融全场景,并满足国家信息自主可控和一行两会对于数据库技术的要求。

汪洋 平安科技 总工程师

*** 前三个字母 Ubi 是英语 ubiquitous (无处不在)的缩写。在发音上,汪洋称 *** 为“无比 SQL”,希望这个数据库具有良好的扩展性,非常强的高可用性,能够做到无与伦比,无处不在。

过去一年来,平安科技与 PingCAP 进一步加强了合作关系,探索出了从产研到交付到服务的全新合作模式。在该模式转变前,双方各自有一个内循环,围绕着平安、PingCAP 自己的核心场景转动。平安作为一个综合性金融集团,涵盖了全牌照的金融服务,包括银行、基金、保险、投资,甚至包括一些互联网金融,非常丰富。围绕这些核心场景,平安有自己的 *** 产研团队、解决方案团队、运维团队,这些之间形成了一个内循环。当产品发布之后,平安可以通过自己的数据库架构师或者产品解决方案师,给应用系统做出一些建议,提出一些架构选型方面的建议,还有一些系统的使用性建议。在系统上线后,还可以根据线上问题提供一些售后的运维支持,包括整体系统的优化,定期 review ,健康检查,在这个过程中平安能够发现产品所需要提升的地方,形成了一个闭环。

PingCAP 同样有三种角色,但是唯一不同的是缺少这样的金融场景。所以之前这两个环是相对独立的。

在这种模式运行一段时间后,双方发现在很多方面还没有打通,没有产生 1+1>2 的效果,而是 1+1=2,甚至于可能是小于等于 2 。现在,通过双方合作的进一步加强,平安和 PingCAP 形成了内循环 + 外循环模式,内循环与外循环是打通的:双方的产研团队打通,形成产研方面的联合团队;在交付方面打通,形成了解决方案师的联合团队;在售后方面打通,形成了技术服务的联合团队。通过将这些团队角色打通后,双方发现在问题的解决效率、产品新特性的发布、产品问题的修复等方面,都得到了非常大的提升。

这种新模式就是开放合作和共赢。当线上 *** 的一个应用系统发现问题后,双方组建的运维团队可以迅速介入分析问题,诊断问题。一方面能够快速解决问题,恢复生产,恢复服务;另一方面可以继续去寻找产品产生问题的根本原因,并制定对应的解决方案,让问题不再发生。在查找问题原因、制定解决方案的同时,也会看到一些对产品方面的提升建议,平安会提交给产研联合团队,进一步了解产品的实现机制。

PingCAP 的产研团队则更聚焦在 TiDB 最新的版本或者未来的版本上,能够进行产品特性方面的增强或者 bug 修复,而平安的团队也能够把这些方案在产品方面的一些实现,快速应用到现网运行上的一些系统中,快速进行现网产品的提升,这是双方合作的意义所在。通过组建这些联合团队,可以看到覆盖的应用系统从设计到开发到上线到售后到销售整个生命周期,覆盖了驻场运维服务、问题咨询、功能申请、技术支持、系统优化、故障上报等端到端服务能力。通过这种全新的合作模式,平安与 PingCAP 形成了共赢的基础。

共赢还使得双方无论在研发能力、运维能力,还是解决方案能力方面,都得以提升。可能连 PingCAP 的研发也没有意识到,在某些特定场景和负载下产品会出现的问题,通过双方合作可以发现和修正。这种模式不仅可以极大程度上帮助 TiDB 打磨金融场景的基础能力,同时还能帮助平安 *** 的研发团队加深对代码的理解,能够更迅速地从代码级定位问题,修复问题。当产品发生问题后,双方团队可以对问题诊断分析,能够发现一些以前包括研发、运维团队所不知道的特性与机制。从这些方面来看,合作不光使平安科技的交付团队、运维团队能力得以提升,就连 PingCAP 的售后工程师技能也得以提升。

PingCAP 与平安就是通过这样更加开放的态度进行更加深入的合作,从而达到双方共赢,实现能力、产品的提升,进一步适配金融场景需要,实现 1+1>2 的效果。相信通过这种全新的合作模式,PingCAP 和平安,包括 ***,都可以走得更远,越做越好

加乘创新 智简未来,构建友邻多元生态

除平安科技外,PingCAP 的整个生态体系也会涉及到各行各业非常核心的场景,除了前面讲到的社区、技术、人才、共赢生态,还需要有更多传统企业级解决方案加进生态中,融合开源、多源和行业解决方案,将 PingCAP 的整个生态体系进化为“友邻式”的多元生态。

用户峰会上,陈煜琦与神州数码、中电金信、天翼云、东软集团、云徙科技、嘉和美康等生态合作伙伴共同启动了“加乘创新 智简未来”的共创仪式,将合力为银行、保险、证券、电信、政企、零售餐饮、制造、医疗等数字转型企业,以及 SaaS、金融科技、游戏、电商等数字原生企业,提供更加丰富的企业级解决方案及服务。

赵琳 神州数码企业业务集团软件本部总经理

“神州数码与 PingCAP 在面向数据库企业服务市场、面向技术人才及开源运营生态、面向双方战略合作共赢上一直有着深入合作,神州数码的数云融合技术战略致力于为企业形成数据洞见及敏捷应对变化和创新的能力,拥抱云和开源,与TiDB 等开源厂商就云原生的分布式架构、Dataops、定制化通用聚合平台等进行解决方案整合,为企业提供一站式企业数字化转型解决方案。”

邵建军 中电金信副总裁

“中电金信和 PingCAP 在杭州银行等越来越多的金融机构领域成功合作,我们认为未来与 TiDB 的合作层级会越来越广阔,不断加强合作的深度和广度。”

侯圣文 天翼云大数据 AI 首席专家

“天翼云在 2018 年开始参与了 TiDB 开源项目,我们有很多开发者一起探索在云原生当中的 HTAP 场景,在多个行业领域落地,都取得了非常良好的效果。天翼云团队一直在践行着中国人真正的担当,走向了一个自主可控的路径,未来和 TiDB 一起,希望我们能把自研数据库做得越来越好。”

郭晓龙 东软集团股份有限公司医疗保障事业部开发中心主任

“东软集团成立于 1991 年,在汽车互联,软件国际化服务都属于领先领域。我们和 PingCAP 是在医疗保障行业里深度合作,通过产品选型和技术认证,我们选择了 PingCAP 的 TiDB,并打造了山东临沂千万级别人口城市标杆的医保项目,这个项目解决了传统的分布式数据库的适配成本高,管理成本大,性能优化难的问题,受到了医保,山东医保的高度肯定。接下来我们想和 PingCAP 公司携手共进,开展更加全面深入多元化的合作。”

江威 云徙科技副总裁

“云徙科技主要在企业服务里做基于中台的营销数字化服务,帮企业构建一体化的数字增长服务。我们和 TiDB 面向大数据的营销场景、业务中台应用落地,未来希望在越来越多企业应用中与 TiDB 一起共同提供更好的服务。”

潘状 嘉和美康平台数据中心产品总监

“嘉和美康是国内比较早从事医疗软件研发和产业化的公司,公司主营业务是医疗软件,在这个行业内深耕了 11 年,目前已经形成具有自主知识产权,包括临床医疗,医患互动,医养一体,医疗大数据相关产业链。我们与 TiDB 合作的主要方向是在医疗大数据方向,看重 TiDB 优秀的在线数据分析能力,数据处理能力,未来我们希望与 PingCAP 一起在医疗行业内秉承合作共赢、开放的理念,加速我国医疗信息化数字化转型。”

未来,相信将有更多的企业用户和合作伙伴加入 PingCAP 这个“友邻式的多元生态”,共同助力数字转型企业和数字原生企业的业务敏捷创新。

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:《数据迁移》--单库迁移
下一篇:刘奇:能否掌控复杂性,决定着分布式数据库的生死存亡
相关文章