TiDB 分布式批量解决方案，分布式技术的优势在哪儿，可以应用到哪些领域?

本文讲述了TiDB 分布式批量解决方案，分布式技术的优势在哪儿，可以应用到哪些领域?

适用于网络贷款核算、核心批量核算、统一对账平台等分布式跑批典型场景。

为支撑数字金融的发展，金融行业信息化架构从传统单体集中式向复杂分布式架构转型，处理的业务种类随业务发展快速迭代、处理的数据量级动态弹性增长，通常每日处理的数据量级达到 TB 级。现有方案在分布式批量架构的痛点为：

数据暴涨后集群处理能力不足，集群缺乏弹性扩展能力；

复杂数据库技术栈，数据分散到不同数据库，缺乏灵活性和扩展性。 

TiDB 分布式批量数据处理技术架构

联机或批量应用实时或批量将各个业务流水、账务明细、产品信息等海量数据写入 TiDB 数据库；

TiDB 数据库根据业务数据量的增长进行弹性扩缩容；

分布式调度处理程序根据流水明细等静态数据进行批量处理，将任务切分给执行节点执行，结合 TiDB 分布式数据库的特性，提供批量处理、高效写入、弹性计算等核心分布式批量数据处理能力。 

基于 TiDB 打造分布式批量弹性架构

联机或批量应用实时或批量将各个业务产生的海量数据写入 TiDB 数据库；

批量调度程序统一负责批量任务的运行管理和监控，并根据业务运行情况进行应急扩容或补偿操作；

基于 TiDB 分布式数据库的弹性及高可用架构能力，分布式调度处理程序可以根据业务数据量对执行节点进行弹性调度，打造统一分布式批量弹性处理架构。 

基于 TiDB 打造“联机+核算”分离的分布式批量弹性架构

联机或批量应用实时或批量将各个业务产生的海量数据写入 TiDB 数据库；

通过 TiDB 分布式数据库提供的 CDC 能力或应用系统现有的 ETL 机制，实现将批量待处理数据准实时同步到批量处理数据库；

基于 TiDB 分布式数据库的弹性及高可用架构能力，分布式调度程序对批量处理数据库进行跑批业务处理，实现联机与批量核算交易物理分离，打造“联机+核算”分离的分布式批量弹性处理架构。 

一、满足大数据场景下海量数据存储。

二、分布式架构整体弹性扩缩容。

三、联机与核算分离。

实现联机及批量应用交易海量高频多点写入，批量调度高效弹性执行；

通过应用联机业务与会计核算分离，实现联机业务与批量核算业务相互隔离互不影响。

简单来说，所谓分布式（distributed），就是将不同的服务模块部署在多台不同的服务器上，然后通过远程调用协同工作，共同对外提供服务。对于用户来说，就像是一台计算机在服务一样。

我们知道，初代的服务器架构往往比较简单，应用程序、数据库、文件、代码等所有资源都放在一台服务器上，也就是单机结构。随着企业业务量的增多，一台服务器已经难以满足数据处理的需求了，那么就对单机进行“复制粘贴”，就能收获一个处理能力高出好几倍的“服务器集群”。

不过，集群式扩展很容易到达物理上限，最直接的反映就是无论怎么增加节点，整个集群的性能似乎也没有被提升多少，这时候，就需要分布式系统登场了。分布式具有以下优势：

（1）具有灵活的体系结构。

（2）适应分布式的管理和控制机构。

（3）经济性能优越。

（4）系统的可靠性高、可用性好。

（5）局部应用的响应速度快。

（6）可扩展性好，易于集成现有系统。

分布式主要用在三大领域：

一是分布式存储。云服务作为智能化的输出载体，对数据的存储和分析是不可或缺的能力之一，而传统的数据存储模式往往都有容量大小限制或是空间局限，云端需要的可支撑庞大数据的存储方案恰恰只有分布式能够实现，比如 Apache Hadoop HDFS。

二是分布式计算。资源池的规模越大，对于资源使用效率，即计算效率的要求也就提出了更高的要求。传统的集群结构采用的并行计算往往需要耗费相当长的时间，而分布式计算会将任务拆分成诸多子任务再分配给多台计算机，这种高效率的计算方式也有效提升了云服务的整体性能。

三是分布式管理。我们知道，云服务的核心价值之一，就是能够帮助客户随时获得IT资源及应用，并且按需付费。这意味着云厂商的应用和服务，也需要基于可扩张性、灵活性与可靠性来进行设计。因此，能够将不同服务模块进行分割、复用的分布式框架就显得非常必要了。

上文就是小编为大家整理的TiDB 分布式批量解决方案，分布式技术的优势在哪儿，可以应用到哪些领域?

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。