实时HTAP功能具体是如何实现的?

知梧 552 2024-03-12

TiDB的实时HTAP功能是通过整合多个技术栈与产品,形成一个统一的数据处理平台来实现的。这个平台既支持OLTP类型的实时事务处理,又支持OLAP类型的深度数据分析。具体来说,TiDB采用了模块化的架构设计,使得可以单独思考事务处理和分析处理两个场景,无需对现有的引擎做太大的改变,从而加快了产品成型和稳定周期。在存储层面,TiDB使用了分布式KV存储TiKV来实际存储数据,并通过Load Balancer将用户的SQL请求打散,发送到TiDB Server中,TiDB Server是一个无状态的计算层,可以随意扩展。

实时HTAP功能具体是如何实现的?

在HTAP的具体实现上,TiDB引入了可更新列式存储引擎Delta Tree,以及实时且一致的复制体系,这些技术共同保证了数据的一致性和完整性。此外,基于Binlog的复制体系能够很好地封装不必要的细节,只要列存引擎TiFlash可以正常回放日志就可以,无需关心例如事务实现等细节。TiFlash作为TiDB HTAP的关键技术之一,其列式存储引擎的架构和基本原理对于实现HTAP能力至关重要。

TiDB还探索了Flink + TiDB架构来适配更多的使用场景,目前也已经有多家用户在使用这种架构满足其自身的业务需求。此外,TiDB 5.0版本引入了MPP执行模式,进一步服务于更广的用户场景。

总的来说,TiDB的实时HTAP功能是通过其模块化架构、分布式存储、列式存储引擎、复制体系以及与其他技术栈的整合等多种技术手段共同实现的,这些技术的综合应用使得TiDB能够在一套集群内同时支持实时事务处理和深度数据分析。

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:mysql分布式数据库是什么
下一篇:HTAP和传统数据库对比有哪些优势和不足?
相关文章