分布式数据库中间件DDM的实现原理

分布式数据库中间件DDM的实现原理

随着数据量不断增大，传统的架构模式难以解决业务量不断增长所带来的问题，特别是在业务成线性、甚至指数级上升的情况。此时我们不得不通过水平扩展，把数据库放到不同服务器上来解决问题，也就是我们说的数据库中间件。

作为数据库中间件，分布式数据库中间件DDM将底层数据库存储引擎以集群方式管理起来，用户使用非常方便。应用程序不需要关心具体有多少分片。类似操作单机数据库，用户通过DDM管理控制台进行数据库运维，使用JDBC等驱动服务或SQL客户端连接数据库，进行数据读写。

DDM服务的业务架构图示

分片是解决数据库存储容量限制的直接途径。分片包括垂直分片与水平分片两种方式。

垂直分片

垂直分片又叫纵向分割，即以逻辑表为单位，把原有数据库切分成多个数据库。切分后不同的表存储在不同的数据库上。

垂直分片与业务架构设计有密切的联系。比如从业务领域对系统进行架构优化，分成多个子业务系统，各个子业务系统耦合度较低。子业务系统间以接口方式进行数据通信和数据交换。垂直拆分后业务清晰，拆分规则明确，系统之间容易整合与扩展。一般用于数据库上层架构设计。

垂直分片示意图

水平分片

水平分片又叫横向分割，即以逻辑表中的数据行记录为单位，把原有逻辑数据库切分成多个物理数据库分片，表数据记录分布存储在各个分片上。

水平分片主要用业务架构无法继续细分，而数据库中单张表数据量太大，查询性能下降的场景。通过水平分片，即解决单库容量问题，同时提高并发查询性能。

水平分片示意图

H(Key(OrderId)) =Hash(Key(OrderId))%N

其中，N表示一共有N个数据分片，H(Key(OrderId))表示该订单经过订单号Hash并求模后存储的分片编号。

分片后数据存储示意图

路由分发

路由分发与水平分片同为DDM的基础功能。在分布式数据库中，路由的作用即将SQL语句进行解析，并转发到正确的分片上，保证SQL执行后得到正确的结果，并且节约QPS资源。例如：订单支付系统包含了shard0、shard1、shard2三个分片，订单号2017010112345678的订单数据存储在shard0分片上，则应该将以下语句路由分发到shard0分片上执行。

select Customer,OrderStatus, CreateDate from Order

where OrderId ='2017010112345678';

如果同时路由到shard0、shard1、shard2三个分片，会造成多余的查询，浪费资源；如果路由到shard1、shard2分片，则得不到正确的返回结果。

DDM对单张表的路由解析流程如下：

单张表的路由解析流程

读写分离

数据库中对计算和缓存资源消耗较多的往往是密集或复杂的SQL查询。当系统资源被查询语句消耗，反过来会影响数据写入操作，进而导致数据库整体性能下降，响应缓慢。因此，当数据库CPU和内存资源占用居高不下，且读写比例较高时，可以为数据库添加只读实例。

添加只读实例的作用有以下：

1、将查询非事务性查询SQL路由到只读实例中执行，主实例上执行事务性SQL，在很大程度上缓解主实例上的S锁与X锁的竞争。

2、对只读实例上的表可配置不提供事务支持的数据库引擎，进而提升查询效率。

3、增加只读实例，也相当于数据库横向扩展，直接增加负载能力，同时增加数据冗余，确保数据库高可用。

读写分离示意图

平滑扩容

随着业务增长，逻辑库存储空间不足，并发压力较大，此时可对DDM实例逻辑库进行平滑扩容，通过增加RDS实例来提高数据存储能力与并发支持能力。

平滑扩容原理

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。