深入浅出理解什么是HTAP,HTAP数据库技术的现在和未来

本文讲述了深入浅出理解什么是HTAP,HTAP数据库技术的现在和未来 

HTAP（Hybrid Transactional/Analytical Processing）混合事务 / 分析处理。这里的HTAP就是常见的比较经典的OLAP和OLTP的处理场景的结合体。即可解决OLTP在线事务处理场景，还可以解决OLAP在线分析场景。Gartner也认为HTAP数据库将成为数据库领域的一个重要的发展趋势，一个集成的数据平台将会加速数字化转型。

HTAP的概念最早在2014年Gartner的报告中提出这一概念， 《混合事务/分析处理促进重大商业创新 》。对于这个HTAP的概念可以满足当前的所有数据处理模型，而且可以支持各类数据工作者的各类模式需求。其中我们知道的比较流行的TiDB和***都是基于HTAP实现的。

什么是OLAP和OLTP

1. 什么是HTAP数据库？

2. HTAP 解决的问题

3. HTAP实现思路

1.什么是HTAP数据库？

传统数据库OLTP和OLAP其实是一种泾渭分明的状态，用传统的OLTP数据库实现在线交易处理，TP数据库要保证数据的正确性包括整体的ACID特性，冷热数据分明，数据量相对较小，需要保证点查询的效率，也需要实现高并发、点查询、窄表的模型，最关键的一点是要保证增删改查数据的实时性。

传统数据库通过ETL工具将OLTP数据库的数据同步到OLAP数据库，在AP分析库中涉及大量数据的分析与计算，可能高达上百TP或者数十TP的数据，但是业务响应并发度并没有那么高，是在相对范围查询，数据量会非常大，复杂关联查询聚合宽表模型比较多，实时性要求比较低。数据库发展多年以来都是这种TP和AP泾渭分明的状态，很少有一款数据库支持两种业务场景，毕竟业务属性或者数据存储状态不一样。

HTAP数据库是最近几年兴起的一个概念，图中是Gartner对HTAP的一个定义，混合事务和分析型处理是一种新兴的应用程序架构，可以打破事务处理和分析之间的壁垒，让决策或者效能更加明确、实时。但是应用程序的架构并不是一个产品形态，HTAP不是一个产品，应该是一个技术演进方向或者应用程序架构的状态。

2.HTAP解决的问题

这些年，数据量持续暴增，互联网、IoT、智能制造等发展带来数据的爆发式增长，云计算的发展让数据汇聚变得更容易。HTAP的出现是为了满足降本增效的需求，原来一套OLTP数据库、一套OLAP数据库是两套系统，运维成本和人力成本将是双倍，用户体验较差，对接成本也非常高。数字经济的发展要求数据库有更高的及时性和准确性，数据要素的价值越来越高。

以前传统的应用场景，正常交易后隔一天或者几个小时以后再去做分析，现在数字经济发展起来，用户转账之后行为分析马上就会出来，在电商买一个东西以后人物模型需要实时计算出来，实现千人千面的实时推送。数字经济时代，互联网行业已经发生了实时需求的变化，未来传统行业也会发生这样的变化，原来TP和AP泾渭分明的状态，并不能适用于未来市场和客户的需求。

3. HTAP实现思路

如果HTAP是一个应用程序架构或状态，数据库怎么实现HTAP？我们认为数据库通过充分发挥硬件能力以满足应用高性能、低成本数据存储与查询需求的技术集合来实现HTAP。想要将HTAP的应用架构或者Gartner定义的应用程序架构运用好，关键要看硬件的演进，可以看到云的发展带来基础设施逐渐升级，计算层面从最早的虚拟化技术到容器，架构越来越轻。另一方面，存储容量变得“无限”大，相比于十年前开始应用云的时候，现在一个单独的RAM存储已经扩展到原来的十倍，云的基础设施为整个应用架构带来了升级。

实际上软件和硬件还要做一些相应的磨合和整合，随着CPU、摩尔定律逐渐失效，硬件无法做到18个月性能整体提升1倍，再发展下去就会彻底失去CPU摩尔定律的特点。目前100GB网络在很多大型客户都实现了普及，RDMA在大型云厂商基础环境实现了普及，再过三到五年，RDMA基础环境也会变成普及的状态。未来内存容量会变得更大，频率提升会较慢。其实硬件的演进会助推HTAP数据库层面的应用架构走向成熟，也会让HTAP成为一个比较基础层面的演进。以前的硬件环境需要把TP和AP分开，随着云基础设施的普及，以及新硬件不断推出，未来可以逐渐向HTAP的应用架构形态演进。

而具体到数据库角度来看，HTAP的技术形态应该做什么？TP比较看重高并发、行存、事务、结构化，AP看重吞吐、列存、计算。通过统一化、标准化和平台化的能力将事务处理能力和分析能力直接整合到一套数据库，让数据库具备这种应用架构设计的HTAP能力，这就是数据库向HTAP演进的大方向。

HTAP作为一款新技术形态架构，会带来很多优势。首先为用户带来统一的技术栈，不管是协议层面还是基础层面，都要实现更优的用户体验，让业务的研发成本更低。其次是带来统一的数据，不管是行存、列存单独存储，还是行存、列存放到一起，数据都无需搬迁。然后是统一的运维，一套班底、一套系统，一个运维管理界面解决AP和TP负载同时存在的需求。统一云平台，让上手门槛更低。而站在使用角度来看，HTAP能够更实时，因为是一套系统，可以实现实时数据分析，包括即时策略和响应市场。此外，HTAP能带来更低的成本，把原来的行存OLTP和列存OLAP整合在一起，即使今天有些HTAP产品形态行存、列存还要单独存储，但是HTAP都可以极大节省计算和管控的资源成本。HTAP还可以滋生Serverless DB形态，实现随用随计费，实现更低的成本。HTAP的技术其实也可以实现更高规模的数据处理，突破传统的瓶颈达到主流的PB级别，基本实现存储近乎无限的扩展能力，以及计算无缝计费的弹性。

总结来看，HTAP是一个良好的应用程序架构，能够更好地解决今天数字化转型过程中的一些特定需求，为了用户运维的便捷性，以及满足业务降本增效的需求，PingCAP数据服务平台一直将HTAP的应用程序架构应用到王牌数据库产品中，HTAP已经成为PingCAP数据服务平台自带的附加能力。

上文就是小编为大家整理的深入浅出理解什么是HTAP,HTAP数据库技术的现在和未来。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。