GreenPlum：基于PostgreSQL的分布式关系型数据库

GreenPlum：基于***的分布式关系型数据库

GreenPlum是一个底层是多台***分表分库的分布式数据库，它有如下特点

支持标准SQL，几乎所有***支持的SQL，greenplum都支持支持ACID、分布式事务支持上百台集群(这一点有点不好，hadoop可以万台)

系统架构

Master Host

处理用户请求，生成执行计划，以及在执行计划执行必要的聚合操作(avg)或者排序内部有一个***数据库，保存所有的元数据，索引信息监控所有segment的状态信息

Segment host

每台Segment host有多个segment，一般segment等于core数segment是一个***数据库，负责存储具体数据

内部网络

GreenPlum内部使用udp网络，但是Greenplum会对数据包进行校验，因此可靠性等同于TCP。使用TCP的时候，最多支持1000个segment

执行计划

当master接受到一条SQL语句，会将这条语句解析为执行计划DAG，将DAG中不需要进行数据交换的划分为slice，多表连接，aggerate，sort的时候，都会涉及到slice的重分布，会有一个motion任务来执行数据的重分布。将slice下发到涉及到的相关segment中。

我认为slice类似与Spark中的stage的概念，不需要进行数据shuffle

motion方式

gather motion(N->1)：在master节点上把所有segment数据聚集起来，一般是sort，sort group，sort joinboardcast motion(N->N)：每个segment把数据广播给其余所有segmentredistribute motion(N->N)：每个segment把数据按照hash的方式重新分布

算子实现

索引

Greenplum支持所有postgresql的索引，另外还支持位图索引

Join方式

Hash join：nestloop join：笛卡儿积必须nestloog joinmerge join

分布式事务

Greenplum虽然是面向OLAP的数据库，但是也提供了插入，删除，更新数据的接口，利用两阶段提交协议支持分布式事务，提供强一致性，支持ACID，支持的隔离级别是(读已提交，可串行化)。

Greenplum采用和Postgresql类似的方式，上层事务块控制事务状态转换，底层事务负责执行具体的语句以及和相关segment交互。

例子

正常流程

END命令，状态为DXT_STATE_PREPARED。这里master状态为TBLOCK_END，slave segment状态为TBLOCK_DEFAULT(初始状态)

第二阶段，开始正式提交。DXT_STATE_PREPARED->DXT_STATE_INSGRETE_FORGET_COMMIT。master状态为TBLOCK_END->TBLOCK_DEFATULT，slave segmeng又重新经历一轮所有状态

容错

slave segment容错

Primary Segment 与对应 Mirror Segment 之间的数据基于文件级别同步备份。Mirror Segment 不直接参与数据库事务和控制操作。

为什么采用文件同步的机制：mirror库数据直接获取primary的文件(日志文件)和数据(修改的数据页)。

恢复流程

发生宕机时，greenplum有两种恢复模式，"read-only"和"continue"。

read-only：也就是说如果一个segment坏了，整个greenplum会变成只读，不能写了continue：由mirror正常提供服务，master节点会把新增数据记录下来，等待primary恢复后同步

primary segment容错

基于数据流通过WAL同步，由postgresql提供的容错。

负载均衡和数据组织方式

数据组织方式

有一类特殊的表，称为append-only表，支持列存储，表压缩通过gpfdist插件，可以支持外部表

负载均衡

Greenplum通过分布和分区的方式，使得庞大的数据分布在不同的segment上。严格来说，分布才是拆表，分区只是为了加快查询速度。

分布：是从物理上把数据分散到各个SEGMENT上，Greennplum提供hash函数分区：segment内部按照规则将数据组织在一起

分布

hash分布：distributed by (column_name)，可以指定多个分布键。相同的hash值分布到同一个segment随机分布：distributed randomly，相同的记录可能分布到不同的segment

建议：

分布列尽量选择需要经常JOIN的列，这类查询的并发越高，越应该考虑尽量选择分布均匀的列，或者多列不要轻易使用随机分布

分区

range partition：按照数据的范围list partition：按照List中的值多级分区

建议：

尽量选择和查询条件相关的字段，缩小QUERY需要扫描的数据当有多个查询条件时，可以使用子分区，进一步缩小需要扫描的数据

资源控制

限制正在执行的所以SQL的最大cost限制最多运行多少SQL控制正在运行的SQL的优先级

参考资料

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。