黄东旭关于基础软件产品价值的思考
699
2023-04-13
国产数据库真的迎来转折点了吗?
下一步,永远比这一步更难。
“缺芯少魂”之痛常让人为国产操作系统的不足捏一把汗,而数据库却更像藏在水面之下的冰山,甚少有人关注。现在,市场上显现出了一些新的变化,国产数据库已经迈出了通往快速路的第一步。
那时,操作系统、中间件、数据库都在尝试国外厂商已有的数字化实践之路。从今天来看,虽然国外厂商仍占据我国数据库市场80%以上,国内厂商仍不是主流产品,但一些新的趋势正在行业内部悄然发生。
比如,关系型数据库市场中,国产数据库市占率已经从2009年的4.2%提升至2019年的18.9%以上;2020 年 11 月Gartner 发布的2020年度数据库厂商评估报告中,中国数据库厂商已经占据三席。
国产数据库真的迎来转折点了吗?国产数据库的机会在哪里?在云时代,我们又将需要怎样的数据库?
回答这些问题,***有独到的理解和不容置疑的发言权。
曙光初现背后的“临危受命”
时间轴来到2020,从投入、参与和关注上,我们可以看到国产数据库的丰收之色。
据「甲子光年」不完全统计,仅2020年新成立的初创型国产数据库公司就已完成13个融资项目。此外,一家仅成立5年的创业数据库公司在2020年就已拿到2.7亿美元的融资。
不止资本方面,学界也在发挥力量。从2020年论文发表数量来看,中国名列前茅。根据中信证券的分析报告,2020年 VLDB(大规模数据库国际会议)刊登的 63 篇论文中,来自中国学者和研究人员的文章有23篇,在所有国家中排行第一,占比 36.5%。
2020年按国家分类VLDB论文发表数(单位:篇)
从参与度上来说,数据库的赛道更是从垄断状态进入了百舸争流的状况。
国产数据库的新动作更是紧锣密鼓,以***云为例:
2020年4月,其以3.86 亿元中标《2020年银联云建设采购项目》,成为当时国内金融云第一大单。其中,***云数据库为中国银联数字化转型提供支持;
新动作一直持续到去年(2020年)年底。12月24日,***云宣布其数据库品牌***品牌整合升级计划,集中发力数据库技术创新突破。***云原有的***、TBase、CynosDB三大产品线统一升级为“***云企业级分布式数据库***”。
这一年,国产数据库无疑迎来了火热发展的黄金时期。
这种火热程度对***云***来说不是跟风上,更是等风来。***云数据库技术负责人潘安群以一种身经百战的自信告诉「甲子光年」,“包括金融、政务、互联网、智慧零售、社交、电商等各行各业的场景,***是真正经历过海量实际场景验证的产品。”
的确,自诞生起,***云数据库的身上就有一种“临危受命”的使命感。
然而,***壮大的速度远远超过了开源数据库的承受能力。
2006年,QQ用户量增长速度创造了历史记录,QQ同时在线人数逼近2000万,开源的数据库没见过这么大的阵仗,市面上的开源数据库和传统商业数据库没有一家能够支撑***庞大的流量需求。
“增长太快了,”***云副总裁李纲告诉「甲子光年」,“当时每天早上我们看报表,发现报表时间到了,数据却没有跑出来,那就是已经挑战了集中式数据库的系统极限。”
既然别人家没有,那就自己造出来。
2007年,社交2.0爆发,***后台的请求量和访问量都呈现爆发式增长,***技术团队拍板决定自研数据库。既然要做,就做最稳定、最准确的数据库,“7*24小时高可用、数据一笔不差、金额一分不差”成为了***云数据库***最初立下的要求。
此后,“临危受命”成了***云数据库需要面对的家常便饭,这支小分队也成为***发展中每一场战役背后的中坚力量。
2009年,“QQ空间”大火,“QQ农场”、“好友买卖”、“抢车位”等一票社交游戏上线,而每偷一棵菜,数据库团队就需要改写、扩容,被人垂涎的是***的流量,而更辛苦却难以变现的部分,是***的技术支撑;2010年,***推出“开放战略”,能够和流量大厂一起吃肉,一时间各大小厂商蜂拥而至,今天的***云真正有记录意义的诞生就出在“开放平台”上。
那是***云数据库第一次面对外部客户,而对外,需要面对两个挑战。
一是从服务***这个“大胖子业务”变成服务很多小业务叠加的中长尾,而小业务的场景则更容易出问题。
比如在数据库的一致性方面,在数据不能丢、不能错的情况下,***需要提供一个更加完整的数据库解决方案,让对数据库使用毫无经验的使用者们实现“懒人模式”,同时不会出现数据错误。
二是服务外部会涉及到钱,比如由于有些游戏会涉及到账户的数据,开启了自动到账的功能,怎么样把关于钱的问题做到零差错,也是***需要面对的新挑战。
这两个难题虽然是挑战,但也成为***云第一次面向外部客户的必经之路。此后,***云数据库跨过了解决数据高可用、快速弹性拓展问题的阶段、解决业务海量扩展能力的阶段,以及产品化输出的阶段。
时间轴来到2014年,***走进了拥抱云的时代。
2014年,微信推出了“红包”功能,而在红包上拿下的第一城,当属2015年春晚的“摇红包”活动。与“电商双十一”可以提前预测流量、能够做好准备不同,“春晚摇红包”更具有突发性,一时间会增长特别快,而且没有非常准确的预期,不像传统IT能够知道增量是什么样子的。
谈起给微信红包做数据库后端支持的契机,***云数据库技术总监李跃森告诉「甲子光年」,“有一天,微信支付的总经理去开会的时候问我们,现在线上数据库MySQL一定是扛不住这样的流量了,能不能帮他们把这个事情搞定呢?”但那个时候,距离春节只有半年的准备时间,李跃森和团队一共6个人,需要完成的是保守预测10倍的增长。
结果很明显,微信红包一炮而红。
征战金融高地
自1970年IBM研究员E.F.Codd在论文中提出关系模型概念以来,数据库的发展可以被分为三个阶段:
第一个阶段,数据库龙头 ***、Informix、Sybase和***等公司相继诞生,并在2000年形成了***、Microsoft和IBM三巨头的竞争格局。
第三个阶段,随着云计算的蓬勃发展,云数据库成为新趋势。2014年,Amazon推出Aurora,凭借低性能、高成本、高可用的优势吸引了大批客户和尾随者,并在之后的6年里走到了全球前三的阵营中。2016年,此前对云计算持消极态度的甲骨文也开始向云计算进军。
在上述每一个阶段的过渡之中,我们都可以看到一些行业格局的重构,发生列队位次变化的痛点也可以归从两方面找到。
一是云化的趋势。李跃森告诉「甲子光年」,云化和数据库领域的云化不是未来的事情,而是已经在路上了。2018年,全球云数据库就已贡献了104亿美元,实现了68%的行业增长贡献。
但问题是,柜子的容量是有限的,到了系统的极限就会出现问题。而在银行的场景中,业务量并没有边界感,还对成本控制提出了要求,那么集中式的理念就是行不通的。
无疑,在今天的国产数据库探索中,***正好踩住了云化、分布式的趋势,而更具有突破性意义的是,***真正从需求导向走向目标导向的节点,刚好对准了金融场景这个“最难啃的硬骨头”。
对于数据库来说,金融是难攻下来的高地,却也是好盘踞的堡垒。在春晚红包的同一年,***云***接到了一个大任务——给微众银行提供数据库支持。
用潘安群的话来说,做金融领域是机缘巧合,对于***来说是有价值的挑战,但同时也让人胆战心惊。要知道,金融产品是所有产品中要求最苛刻的,而银行又是金融产品中要求最高的。
在互联网场景中,卡顿会影响使用体验,但不会造成巨大损失。而在金融场景中则风险更大,举个例子,当用户购买理财产品时,某个时间点前后的收益会出现很大的差异,所以一旦出现卡顿的情况,将会造成严重的损失。
除了满足自身的业务需求之外,由于银行的行业特殊性,并不存在试错的可能性。在微众银行之前,并没有银行有过这样的尝试,这第一次也是唯一一次的机会。潘安群告诉「甲子光年」,“他们(微众银行)前期就告诉我们,故障半小时已经是非常严重的级别。”
那时,微众银行刚成立不久,在国产化的浪潮中,作为国内首家互联网银行,微众期待把普惠金融的IT架构做好,希望能够改变传统银行的单业务成本高的问题,提出了既能够服务海量用户,又可以把每个用户的成本控制到很低的范围内的要求。
在今天看来,微众的案例已经取得了胜利,可以被认为是代表了整个银行界IT分布式架构的标准。
微众银行对于机房的部署是,同城有5个机房、异地有2个机房,如果按照传统的架构,同城的5个机房做成1主4备,其余的4个机房就会造成资源浪费,而在***分布式架构中,多个数据库实例的主备节点交叉部署在五个机房,这样任何一个机房故障都只会影响1/5的流量,且任何一个机房故障不会造成全局系统性宕机的风险。
简言之,既保证了资源有效利用,又解决了稳定性的问题。
它的IT架构可以把成本控制得非常低,「甲子光年」也从***团队获悉,现在大部分银行在做分布式的时候,基本上都是在用这种架构,比如华通银行在构建底层架构时,就直接联系了***,希望可以用这个架构构建自己的核心系统。
但在当时,这样的任务对于***团队来说,更是一场让人眉头紧锁的拉锯赛。
这是***团队第一次真正意义上走到需求了前面。走出***内部的温床,对刚刚成熟的***来说是探索未知,但也让***变成了更好的自己。
首先,走进无人区的难点在于未知。
对于新筹备的互联网银行来说,交易量、未来业务的发展程度都未可知,对于***来说,分布式能达成成本控制的程度、银行监管的要求和新业务面对拓展性、一致性和监管要求的挑战也未可知。而分布式数据库是现阶段金融场景能够给出的最好回答。
其次,外部的历练让***变成了更好的自己。
另外,走出家门,就不再被家长“宠着”了。潘安群告诉「甲子光年」,“给客户做数据库的时候,很多也是未知的领域,做的不好的话,不是在自己家改一改就好了,人家真的会骂你。”
在和微众银行合作的初期,由于双方都是第一次尝试金融场景里的分布式架构,也还经历过“***觉得微众不懂互联网,而微众觉得***不懂银行”的磨合期。
但磨合过后的成效也在今天得以显现。目前,微众银行基于***搭建的分布式银行核心系统可以做到7*24小时全天候不间断服务。已成功服务超过2.5亿客户,实现年均日交易3.6亿笔,单日交易峰值近6亿笔,最高TPS(每秒传输的事物处理个数)达到10 万+,也为微粒贷、微业贷等业务的数百个核心系统提供了坚实支撑。
如果过去,***只是站在金融场景下的一只小白鼠,那么今天,对于微众银行和***来说,更是互相都懂了。
实际上,***在今天仍可以成为前排选手,不变的是面对无人区时,仍敢于向前的勇气。
“换心”传统深水区
2013年,曾发生过一件让使用国外信息软硬件的中国公司感到警铃大作的事。
根据美国时代周刊当时的报道,美国政府对公众隐私的监控可能比媒体报道的更深入。FBI和NSA监视范围广泛,其挖掘了包括微软、雅虎、谷歌、Facebook、PalTalk、YouTube、Skype、AOL、苹果等等各大技术公司的数据。
这就是轰动一时的“棱镜门”事件。
该事件一出,使用数据库的中国机构就开始转向寻找国产数据库产品,而令人痛心疾首的是,就当时的产品竞争力而言,国产数据库与 *** 相差巨大。
然而,7年后的今天,国产数据库的门前正在点燃两门礼炮。
第一炮,信息爆发式增长刺激数据库需求。
根据2018年11月IDC白皮书《Data Age 2025》,全球数据量总和将从2018年的33ZB增至2025年的 175ZB。与此同时,IDC数据同样指出,到2025年,全球49%的已存储数据将会存在公共云中。这意味着,分布式数据库和云数据中心正在成为数据新的存储方式。
高增长必然会带动强需求,需求导向的市场状态将会刺激资本、学界、国家等多层面的关注,也就是我们前文提到的火热状态发生的根源所在。所以,数据库的布道者们更加会为之倾注心力。
2010-2025年全球数据规模量 资料来源:IDC,数据时代2025,兴业证券经济与金融研究院
第二炮,我国正在步入加快推进基础科技创新与安全可控时代,这将推动数据库国产化率的快速提升。
根据IDC预测,到2024年中国关系型数据库软件市场规模将达到38.2亿美元,未来5年整体市场年复合增长率为23.3%,与这样的预期增长数字相伴的,是与时代携手的共同前行,大的机遇和发展空间。
而此刻正是***突破蚕茧、完成蝶变的重要时间节点。
微众银行的战役告一段落之后,***并没有离开金融云数据库的赛场,而是在向深水区更近了一步。他们把战役的矛头对准传统银行,其中两个典型的案例分别是张家港农商行(以下简称张家港行)和平安银行。
相比微众银行需要研发新的系统,传统银行的数据改造难度更大。如果微众银行只是一片尚未开荒的新土壤,传统银行可以被看作是难度更大的深水区。
两者的不同点在于,传统银行有历史包袱,改造并不只是在原有的系统上搭建新东西,而更是拆除、归零,需要将老系统的数据平稳过渡到新系统中,还需要在银保监会要求的时间内完成变更。
同样,在此之前,国内没有一个传统银行或金融机构把核心系统放在国内的分布式数据库上,也就没有前车之鉴可以作为参考。摆在***云面前的挑战是,能够突破原有老式框架、银行系统的监管以及和银行方面的磨合问题。
第一,突破原有集中式数据库使用上的问题。
在与***云***合作之前,张家港农商行的老核心系统使用的是国外商业数据库Sybase。随着业务量的增长,集中式数据库常常跟不上请求的速度,出现卡顿、运行缓慢的问题,张家港行便把目光投向了分布式数据库,***刚巧是选项之一。
也许是传统银行严谨性的把控,在张家港行的数据库正式上线之前,其实开发了两套系统,一套是基于***,一套是传统集中式数据库。经过对两套系统的性能、可用性和成本的对比,张家港行选择了以***的分布式架构作为试用,而集中式的作为备胎,以防不时之需。
这个过程中,也出现了由于集中式和分布式数据库在使用上的不同,导致分布式呈现出数据过低、效果也比较差的情况。在这样的数据下,张家港行也向分布式提出质疑,“分布式到底靠谱吗?”
得知这个消息,作为***数据库专家的张文就跑到张家港待了足足一个多月,让张家港行掌握了分布式数据库的正确使用方法,并赢得了行方的信任,促使数据库更平稳的运行。
直至2019年8月,项目行将结束之时,张文在朋友圈里记录了这样一段文字:
“记得年初第一次来张家港银行,那时开发人员对分布式数据库根本无从下手,核心系统改造当时看来还是天方夜谭。再看今天,全行核心业务跑在分布式架构下稳如磐石,性能轻松碾压国内同等规模银行,软硬件综合成本降低75%。
张家港行的分布式改造实际上是银行的一场换‘心’行动,而除了张家港行,在此之前国内尚未有一家银行冒这个险。”
而那个集中式数据库的备胎,放在后备箱待了一年也没派上用场。
第二,银行的业务特殊性问题。
做金融级数据库的最大挑战就在于行业特殊性,一旦数据库出现瘫痪,可能就会引发银行整个系统都无法正常运作的连锁反应,这对银行和用户来说带来的损失不可估量。
如果经验不足,真诚和实力就是最打动人的武器。
最终,三方合作的默契度和决心获得了各方的认可。
当谈及做张家港项目的初心,张文说,“我们并不觉得***是为张家港银行或者哪个银行定制的功能,在做银行和to B上,我们没有国外的集中式厂商做的时间久,我们是抱着虚心的态度进行场景适配,达成有效的沟通,让三方都觉得是很默契的合作。”
没有明确的发心,单纯想把事情做好,也许才是能够做好的起点和终点。
第三,在每一份沟通与合作中,最重要的就是信任和磨合的问题。
于对外经验相对缺乏的***团队来说,如何让带着产品经理思维的鹅与银行打好配合,是前路是否好走的关键。
与张家港行相似,平安银行一直以来在技术上的重视,其对人力、交付和SOA的响应度都有更高的要求。更重要的是,平安银行要做的,是业务首次将银行核心系统从传统集中式大型机下移。这无疑又是一次前无古人的突破尝试。
平安银行对***的放心,更来自***云团队对项目的全程保驾护航。比如,给平安银行定制一整套的交付流程、每周都会进行保障、在项目上线的头两周和上线之后的后两周是24小时进行相应的、投产的三天,24小时里会有6个工作人员一直在现场。
让***云数据库专家工程师王辉印象深刻的是一次机型采购的事件。当时,平安银行采购了两套机型,在测试的过程中,戴尔机型的延时偏大,联想机型偏小,而未经过分析的平安银行同事直接冲到***的会议室说“你们的产品存在问题”。
“当时他们很着急,我们希望对方把情况讲清楚,但是他们不愿意花时间让我们了解情况。”这也让看起来温文尔雅的王辉有点生气,“我想我是做乙方的,怎么样都要忍住,就到外面院子里转了一下,买了瓶饮料压了压火,然后和这个同事搞清楚了,问题在于戴尔和联想的机器不一样。”
问题解决了之后,两人一起吃了饭,并约定好这个项目成功之后一定要喝酒。
后来呢?就真的喝了酒。
从微众银行到平安银行,对于金融场景这个最难啃的“硬骨头”,今天的***已经摸了个遍。
谁的大机会?
与国产化浪潮对应的,是巨大的市场空间。
过去十年来,国产数据库的市占率从2009年4.0%增长至2017年的14.26%,增长超过3倍。然而,数据库的国产化率仍处于较低水平,根据兴业证券的预测,在保守、中性与乐观假设下,数据库国产化的潜在市场空间分别为108亿、268亿和428亿元。
机会之下,这无疑是国产数据库的逆袭时刻。能够抓住机会的人,更应该懂得机遇与竞争同在,常有犬牙相搏,竞者厮杀。面向未来,***云数据库将云原生数据库【1】和高速网络设备的超融合【2】两大特点有机结合,在***云副总裁李纲看来,能够与赛道中的伙伴们同行是一件幸事。
在今天,我们或许应该对“胜利者”有新的定义,此时此刻的阶段性号角,为***吹响,但也不只为***吹响。但清晰可见的是,在这条关于国产自主、关于云、关于数据库的探索道路上,***拥有的是伙伴、团队和沃土。
从伙伴上来看,从B到C,***未变的是产品经理的服务意识和生态联动。
其次,***和一些头部关系非常好的客户建立联动机制,这些客户的诉求不仅仅是享受提供的服务,更多是可以和***一起探索更多的未知。
再次,在***的生态上下游中,包括集成商、硬件、硬件的服务商和线下的各种支付和运营都能够和***一起,以生态的数据库形象做好客户的服务。
李纲也向「甲子光年」表示了他们对客户的态度,“即使未来你不用了,合同不签约了,你不用我们的维保服务了,你自己的运营人员加上生态的支持,你还是可以让你的数据库很稳定,问题不是很大。”
从团队上来看,***同样稳定和专业。
潘安群聊起加入***云的出发点时说,“我们的发心很单纯,就是把事情做好,整个团队不会有太多的外部压力和太多想法。”也许正是出于这份纯粹,从2003年到今天,和李纲一起奋战在一线的主创团队成员们几乎都还在。
此外,***云数据库也注重人才的培养,***向「甲子光年」表示,***自2003年开始,就在内部培养了很多人才,自己培养的专家在***的专家团队里占比非常高。而且,***还会从高校或者海外数据库的企业引进一些高端的人才,比如***有分散在美国、北京、杭州、上海、深圳的专家委员会,定期会有数据库技术探索群来对前沿技术问题进行交流。
前文提到的专家工程师王辉就来自***数据库,选择***,正是出于此前在和***的合作中,对***团队的认可。
而更多的,生长于***自有的这块沃土上,从不缺锻炼的机会、勇敢的能力和大厂的底气。
在***内部有一个不成文的规定,即新鲜出炉的数据库产品先是部门自己用,然后放到公司内部用,最后完全没有问题才会推到外面,***内部多样的产品线和大量复杂的业务场景给***提供了不断打磨更好产品的沃土。
其次,关于***的开放、包容以及持续支持的态度,是被***团队多次提到的工作体验。而这,也被公认为是团队自发产生主动性的原因。正是***这个大家庭耐心的投入、历练的机会和上层的支持与肯定,让发展初期宛如婴孩的***云数据库拥有了完美的童年。
在今天,***长大了,也是时候可以独当一面了。
那么,未来的困难还有多少呢?
如果说初期还有一些经验可循,今天的***云数据库向无人区深处更进了一步。如何拨开迷雾,认清前路,保证不会偏航,是成熟的***需要面对的新问题。
而从未改变过的是,每天早上,在***云数据库的办公楼下,依旧格子衫攒动。
原文标题:谁在国产数据库的无人区开荒? | 甲子光年
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。