如何开发一个分布式内存数据库

网友投稿 725 2023-04-07

如何开发一个分布式内存数据库

如何开发一个分布式内存数据库

如何开发一个分布式内存数据库

目前有很多商用的内存数据库(timesten, atibase),很多开源的分布式物理数据库,而成熟的分布式内存数据库却很少。当然mysql cluster算是一个,但其受控于***,真正要拿来商用,费用应该不低。我们从使用内存数据库已有近15年历史,随着系统分布式的推进,内存数据库的分布式随之也提上日程。基于目前的技术储备,我们相信我们有能力构建一个符合业务要求的(实时计费系统)、可靠的、商用级别分布式内存数据库——暂且叫她 mdbcluster。

一、目标构想:

mdbcluster应该具备如下功能:

1. 具备一个内存数据库的基本能力。

2. 数据节点容器化

3. 支持数据分片

4. 节点支持水平扩缩容(业务中断)

5. 故障节点快速恢复

6. 数据库操作界面

7. 数据3份拷贝,并且支持分布式数据一致性

8. 节点支持在线扩容

9. 数据库集群管理

10. 数据库集群监控及报表

二、如何实现

1. 找一个开源的单机版内存数据库

我们并不是要从零开始进行开发,重复造车轮并没有什么意义。因此找一个可以驾驭的、简单的、性能不错的单机版内存数据库成为不二之选。我承认这里有很大的风险,如果这一步走错,可能会导致整个项目的失败。FastDB进入我们的视线。

先说优点:

a) FastDB是C++写的,相信性能应该很快,初步实验支持20W/S update操作。

b) 支持完整事务及数据库的基本操作,对我们后面进行能力扩展有很大益处。

c) 故障快速恢复的能力,由于打算运行在容器环境上,这点至关重要。

缺点:

a) 更新的时候需要锁库,你没听错,不是行锁,也不是表锁,而是库锁。索性他支持读、写分离,并且性能够好。考虑到将来节点可水平扩容,单节点处理能力有上限也没有太大关系。

b) 支持操作api特殊。并不是通用的SQL,NoSQL,NDBAPI等等。所幸我们在这方面有较丰富的经验,设计一套adapter并不是太难。

c) 暂时还没有想到……

2. 设计总体架构

a) MDBProxy负责与客户端通讯,转发请求消息,处理分片路由。

b) MDBAgent负责数据写入,由于涉及数据多分片的数据一致性,需要在这个节点处理数据的二阶段提交。

c) MDBRNode负责数据的读取操作,可以多进程提高速度。

d) MDBWNode负责数据的写入操作,可以一表一进程,提升性能。

e) 暂未画出分布式的其它节点,待后续更新。

3. 接口设计

b) 未来趋势,通用性强,后面数据库除了有C++接口,可能还会有JAVA等语言接口。

初步想法:在客户端发送请求时,在URL中应该带上分片的hash值,带上操作的类型(I、U、D、S)。这样MDBProxy就可以借此转发数据,而不用解包。并且包采用JSON格式,因为客户端的数据通常都比较小。JSON格式有利于快速查询。

在服务端回查询包的时候,如果测试性能不差,也考虑用JSON,便于扩展。否则,考虑采用Protocol Buffer,压缩数据,尽可能提高性能。

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:对Primary-backup分布式数据库分布式一致性的猜想
下一篇:事务隔离级别,分布式数据库,ACID,CAP
相关文章