行业挑战
为支撑数字金融的发展，金融行业信息化架构从传统单体集中式向复杂分布式架构转型，处理的业务种类随业务发展快速迭代、处理的数据量级动态弹性增长，通常每日处理的数据量级达到 TB 级。现有方案在分布式批量架构的痛点为：
- 数据暴涨后集群处理能力不足，集群缺乏弹性扩展能力；
- 复杂数据库技术栈，数据分散到不同数据库，缺乏灵活性和扩展性。
解决方案
TiDB 分布式批量数据处理技术架构
- 联机或批量应用实时或批量将各个业务流水、账务明细、产品信息等海量数据写入 TiDB 数据库；
- TiDB 数据库根据业务数据量的增长进行弹性扩缩容；
- 分布式调度处理程序根据流水明细等静态数据进行批量处理，将任务切分给执行节点执行，结合 TiDB 分布式数据库的特性，提供批量处理、高效写入、弹性计算等核心分布式批量数据处理能力。
基于 TiDB 打造分布式批量弹性架构
- 联机或批量应用实时或批量将各个业务产生的海量数据写入 TiDB 数据库；
- 批量调度程序统一负责批量任务的运行管理和监控，并根据业务运行情况进行应急扩容或补偿操作；
- 基于 TiDB 分布式数据库的弹性及高可用架构能力，分布式调度处理程序可以根据业务数据量对执行节点进行弹性调度，打造统一分布式批量弹性处理架构。
基于 TiDB 打造“联机+核算”分离的分布式批量弹性架构
- 联机或批量应用实时或批量将各个业务产生的海量数据写入 TiDB 数据库；
- 通过 TiDB 分布式数据库提供的 CDC 能力或应用系统现有的 ETL 机制，实现将批量待处理数据准实时同步到批量处理数据库；
- 基于 TiDB 分布式数据库的弹性及高可用架构能力，分布式调度程序对批量处理数据库进行跑批业务处理，实现联机与批量核算交易物理分离，打造“联机+核算”分离的分布式批量弹性处理架构。
方案优势
一、满足大数据场景下海量数据存储。
二、分布式架构整体弹性扩缩容。
三、联机与核算分离。
- 实现联机及批量应用交易海量高频多点写入，批量调度高效弹性执行；
- 通过应用联机业务与会计核算分离，实现联机业务与批量核算业务相互隔离互不影响。
