行业挑战
ECIF 作为企业级客户信息整合系统(Enterprise Customer Information Facility),提供客户维度的开立、变更、查询、校验客户信息等基本服务,以及合约关系管理、客户等级等增值服务。ECIF 数据管理经历了“单体模式——垂直拆分模式——垂直+水平拆分模式”的变迁,当前 ECIF 的核心诉求和痛点包括:
一、数据规模水平扩展
随着数据整合以及业务的快速发展,ECIF 所承载的数据规模将会呈指数级增长,传统单体数据库或分库分表模式无法满足需求。
二、简化数据管理模式
分库分表架构增加了系统的复杂度和维护成本,应用团队需要在业务功能迭代创新、系统稳定易用等方面不断平衡。
三、持续业务创新能力
数据拆分直接导致汇总查询、多维分析等跨分片场景无所适从,还需引入额外的汇总库,进一步加大了架构复杂度和管理成本。
四、弹性架构能力
分库分表模式在水平扩展能力上不够优雅,需要停机进行数据迁移,无法做到在线水平扩展及真正意义的 7*24 服务,也会对系统高并发服务能力造成制约。
解决方案
基于 TiDB 的 ECIF 弹性架构
- 基于 TiDB 的 OLTP Scale 能力承载 ECIF 系统的对私或对公客户信息、系统公共信息;
- 应用层通过数据访问组件基于负载均衡软/硬件访问 TiDB 中的各类数据进行联机和批量操作;
- 无需考虑分片键和反向索引设计,可基于标准索引进行多维度高效数据操作及汇聚查询;
- 批量操作可基于调度框架按业务维度分批次并行处理;
- 同时支持传统 ETL 离线入仓和 TiCDC 实时增量同步到下游 ;
- 可基于 TiDB 搭建跨中心级的高可用架构。
方案优势
一、在线水平扩展和弹性架构能力
TiDB 支持分布式事务和强一致性的水平弹性扩展,无论多大的数据量,只需轻松增加节点即可解决。
二、非分库分表,简化数据管理复杂度
应用无需再引入分库分表、应用级分布式事务等复杂技术栈,无需再引入额外的汇聚库处理汇总查询、多维查询等场景。
三、便捷化应用适配和业务能力提升
应用如同使用单体数据库一样使用 TiDB,无需考虑底层数据管理细节。应用系统将更多的精力回归到业务功能的迭代,以提供更加敏捷、创新、扩展的业务服务。