麒麟v10 上部署 TiDB v5.1.2 生产环境优化实践
607
2023-06-09
本文讲述了传统商业数据库踌躇,数据库的主要特点是什么?
云数据库为什么受到了比以往更多的关注?
其实数据库一直都是基础软件市场份额非常大的一部分,只是对行外人士来说声名不显。根据Gartner数据,2017年,全球企业基础设施软件市场规模是1958.52亿美金,数据库市场规模是388亿美金,占比近20%,是企业基础设施软件市场中最大组成部分。
首先从大背景来看,整个世界正处于数字化进程之中,进而催生海量数据存储需求,过去一家企业的用户数量可能几千上万算多的,在今天随便一家企业的数据可能都是几百G,甚至到PB级。
传统的数据库架构面向早期业务模型,包括传统数据库的售卖方式、使用方式、服务方式,在数字化的背景和海量数据存储的诉求下,已经不能满足大多数企业的诉求,这也是为什么近两年云原生数据库受到特别关注,此为历史背景。
从技术角度,云计算已经发展到非常成熟的阶段,并且被广泛认可,云计算由量变到质变的过程,给数据库带来了颠覆,核心是云计算彻底改变了数据库的分发方式。
“原来数据库分发方式是怎么样的?一家企业要买数据库,比如***,首先要买一年或者两年的授权,第二要买跑数据库的硬件,第三还得买数据库相关的服务,包括固件更新、维护升级等等。传统的数据库购买流程是一个非常沉重的过程,投入会非常大”,周振兴表示。
云计算起到的作用是倒逼传统数据库转型,如果没有外力推动,相信传统商业数据库仍将保持一个缓慢的步调,毕竟在过去的数十年都是如此,***、微软和IBM等厂商把持了这个行业的绝对话语权,
另外,开源数据库的发展也很迅速,对传统商业数据库同样造成较大冲击。早期开源数据库各项指标都比较差,但是经过了几十年的发展,现在的开源数据库逐渐变得比较成熟,典型的包括***最新发布的*** 11,MySQL也发布了MySQL 8.0,开源数据库虽然还没有达到商业数据库的成熟程度,但也足够支撑企业快速构建一个企业级应用,成本优势显著。
如何界定云原生数据库?
对于云原生数据库,没有一个严格意义上的完整规定,但是大致有两个共同特点,第一个是存储计算分离架构下的数据库架构,第二个是解耦数据库模块,并分别提升各个模块的吞吐量和性能。
传统数据库架构在过去几十年非常成熟而且变化不大,云原生数据库把原来耦合在一起的数据库模块,包括数据库的缓存节点,数据库的计算节点,数据库的存储节点,数据库的日志节点,全部都分布到不同的计算机器集群上,通过这种方式提升各个模块的弹性能力。此外就是各大厂商根据自己产品战略的创新。
云原生数据库的特点也即难点,要实现原有的数据库模块分开并且跨机器跨网络通信,仍然很有难度,这要求厂商在数据库内核层级有相当强的积累,目前较为成熟的云原生数据库产品莫不如是。
除了内核能力要求高,厂商还需要在分布式技术有非常强的创新。“云原生数据库底层的计算存储分离以后,底层的存储一般都是分布式架构,要保证多个节点之间数据一致性的同时,还要保证高效、性能和吞吐量等,不是随便一家厂商都可以拿出这样的实力”,周振兴表示。
微软正在从传统向云转型,在云数据库层面也体现出了相当的实力,做云原生数据库起步虽晚但已经拿出了成果,比如刚刚发布的Azure SQL Database托管实例,通过托管实例的方式,该服务能够满足多个本地***数据库迁移上云的需求,让用户将本地SQL数据库以低成本、高效率的方式,保证不丢失数据的情况下同步迁移到云端。云端部署的SQL Database托管实例,同步提供最新版*** 2019的全部功能。
做了几个比较大的创新,首先是把RDMA网络引入到存储计算分离架构中,存储计算分离架构比传统数据库有很多优势,但是也带来很多问题。
“计算和存储跨机器通信,延迟和响应时间变高,业务时间变长,我们引入了RDMA网络,通过高速的网络来解决这个问题,在软件层面也做了适配,通过Polar FS的创新,可以让本地的SQL查询所涉及到的IO操作,都能以最短路径的方式,从AGT到BGT去做读写,基本上能够把远程读写的访问效率达到跟本地磁盘的访问是差不多的状态”。
Polar FS的研究成果已发表在数据库顶级会议 VLDB 2018 《PolarFS: An Ultra-low Latency and Failure Resilient Distributed File System for Shared Storage Cloud Database》。
本次没有联系到数据库的直接负责人,从此前自研云原生数据库CynosDB内测结果来看,CynosDB架构主要特点是定制内核、计算与存储分离、云面向服务的体系结构以及软件优化与新硬件相结合(软件是SPDK & RDMA, 自研的用户态分布式对象存储系统,硬件是英特尔3D XPoint)
目前排名靠前的云厂商基本上都具备云原生数据库的产品能力,布局早晚以及产品路线呈现差异化。
没上云数据库的客户还在等什么?
原因是复杂多样的,多数客户并不是不想上,而是保护历史投资,尤其是大型企业客户,过去购买传统数据库投入的机房建设成本还没有收回。
了解到,很多机房建设以三年或者五年为周期规划,周期未到成本未收回,企业用当下的商业数据库也能勉强应付业务,为了不浪费成本还没有全面转向云数据库。
传统商业数据库厂商如何反攻?
在全面向云的大潮中,传统商业数据库厂商并不是全无机会。其一是历史积累优势,传统数据库大多有着丰富的功能,目前云数据库还有待追赶。
其二是加强自己的“锁定”优势,令数据库和上层SaaS服务捆绑更紧,比如SAP的HANA、微软的***都是如此,让数据库被更多的SaaS厂商集成,通过这种方式发展业务。
其三是向云转型,***就处于这种动荡之中,裁员也是为此,IBM选择收购Redhat是不同的手段同样的思考,最终都是向云转型。
云数据库发展如何影响服务器和存储行业?
云计算本质是一次产业模式的迁移,不可避免的会颠覆现有市场格局,也会诞生新的市场机会。
从服务器行业角度,承载云原生数据库的服务器朝着更定制化的方向发展,不同的数据库模块会更细分。因为云厂商要实现更低成本更高效率的数据库产品,会做更多的面向云数据库定制的服务器,这与原来购买标准服务器的模式完全不一样。
不同数据库模块的服务器会有不同的定制需求,计算节点、存储节点、日志节点的需求都不尽相同。
从存储行业角度,存储厂商的空间会不断被压缩,而且会被压缩的非常厉害。通用服务器加上分布式软件即可实现一个具备非常强IO吞吐力的存储集群,不再需要传统的存储服务。
传统的厂商会被压缩的非常小,但是还有一小部分场景会选择传统存储。这就和X86服务器占据整个服务器市场绝大部分的市场份额,但是大型机或者小型机在少部分业务场景下仍存在市场空间一样。
另外,围绕云数据库的服务生态正在形成,相关厂商正在转型,原来的服务生态围绕传统数据库,今天的生态必须向云数据库转型,这也是我们目前看到很多生态服务的公司慢慢的去做转型,有的转型快,有的转型慢,但是这种趋势和潮流我们已经看到了,这是我们看到生态会带来的变化。
1、数据库系统的特点 1.数据结构化2.数据的共享性高,冗余度低,易扩充3.数据独立性高4.数据由DBMS统一管理和控制数据库系统实现了整体数据的结构化,这是数据库的最主要的特征之一。
2、这里所说的“整体”结构化,是指在数据库中的数据不再仅针对某个应用,而是面向全组织;不仅数据内部是结构化,而且整体式结构化,数据之间有联系。
3、因为数据是面向整体的,所以数据可以被多个用户、多个应用程序共享使用,可以大大减少数据冗余,节约存储空间,避免数据之间的不相容性与不一致性。
4、数据独立性高数据独立性包括数据的物理独立性和逻辑独立性。
5、物理独立性是指数据在磁盘上的数据库中如何存储是由DBMS管理的,用户程序不需要了解,应用程序要处理的只是数据的逻辑结构,这样一来当数据的物理存储结构改变时,用户的程序不用改变。
6、逻辑独立性是指用户的应用程序与数据库的逻辑结构是相互独立的,也就是说,数据的逻辑结构改变了,用户程序也可以不改变。
7、数据与程序的独立,把数据的定义从程序中分离出去,加上存取数据的由DBMS负责提供,从而简化了应用程序的编制,大大减少了应用程序的维护和修改。
8、 [1] 数据由DBMS统一管理和控制数据库的共享是并发的(concurrency)共享,即多个用户可以同时存取数据库中的数据,甚至可以同时存取数据库中的同一个数据。
9、DBMS必须提供以下几方面的数据控制功能:数据的安全性保护(security)数据的完整性检查(integrity)数据库的并发访问控制(concurrency)数据库的故障恢复(recovery)。
上文就是小编为大家整理的传统商业数据库踌躇,数据库的主要特点是什么?
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。