免费试用

业务挑战

长期以来,金融行业主要依赖国外厂商提供的基础软件产品,尤其是在关键的核心数据库领域,使用由 Oracle 等国外科技公司的产品。然而,国外数据库产品存在技术壁垒,其核心技术封闭且不可控,版权费用高昂,存在着潜在的风险。在自主创新的环境下,选择国产数据库替代主流的国外商业和开源数据库,已成为当前的主要趋势之一。

东吴秀财 APP 是东吴证券倾力打造的新一代移动端财富管理平台,是一个具有强烈互联网属性的产品。其原有架构主要基于 MySQL ,并在部分场景结合使用 NoSQL 数据库,如 MongoDB 提供服务。部分 MySQL 实例基于模块和项目组独立搭建和维护,采用了基于MyCat + 分库分表架构的逻辑集群。该架构存在以下问题:

  • 架构复杂:使用多款数据库产品,一个模块的应用使用一个独立的 MySQL,当业务量增长时,还需要采用基于 MyCat 的分库分表数据库,对于一些文档类的场景,还需要单独使用 MongoDB。多个数据库产品的堆积导致了烟囱式的发展,使得数据架构变得复杂,且无法有效解决业务问题。
  • 业务扩展性不足:用户行为、运营、消息等业务都呈现出明显的互联网特征,数据需要根据业务的需要实现灵活的扩展。然而,无论是单机 MySQL,还是基于 MyCat 的分库分表数据库,都未能满足这种灵活扩展的需求。
  • 性能不能满足要求:业务对数据插入和查询的效率要求相当高,尤其是在业务高峰期,性能要求更为严格。在一些复杂场景下,查询响应时间甚至超过了 10 秒,这对于 C 端应用来说是无法接受的。
  • 开发心智负担重:对于分库分表的集群,研发层面需要提前设计好分库分表的逻辑,原本由数据库处理的工作需要应用程序来实现,这给研发人员带来了相当大的心智负担。
  • 运维复杂:在监控和运维方面需要投入大量精力,许多独立的 MySQL 实例只是最基本的读写分离或者主备架构,无法做到故障情况下的自动恢复。

使用一个 TiDB 替换多个数据技术栈

在经过对多款产品进行严格测试验证并综合考虑研发、运维等方面的因素后,东吴证券最终选择了 TiDB 分布式数据库作为东吴秀财 APP 底层的数据库产品,一举替换了 MySQL、MongoDB、MyCat 等多个数据技术栈,解决了日常业务中的各种需求和痛点。经过三年时间的实践探索,TiDB 在 MySQL 兼容性、功能、性能、运维层面的表现达到了业务预期,主要情况如下:

东吴证券秀财 APP 数据架构示意图

东吴证券秀财 APP 数据架构示意图

兼容 MySQL 生态,应用平滑过渡

在研发层面,无需修改代码即可实现从 MySQL 平滑迁移至 TiDB。对于涉及大事务或特定函数的场景,可能需要考虑一些优化和调整,但改造成本相对较小。此外,无需引入额外的数据库驱动,对于使用标准框架进行开发的项目组来说,几乎没有额外的学习成本。对于遗留项目的迁移,TiDB 提供了一系列与 MySQL 生态兼容的工具,支持多种迁移和并轨的运行模式,可以实现应用的平滑过渡。总体上做到了对应用研发人员的透明无感知。

性能实现质的飞跃

得益于 TiDB 原生分布式架构设计,可按需对计算和存储节点分别进行在线扩容或者缩容,而这个过程对应用运维人员是透明的。在单机数据库无法应对因数据爆炸性增长的场景下,TiDB 成为一种性价比高的解决方案,其规模可以线性扩展,集群容量已经支持到 PB 级别。在迁移到 TiDB 后,在结构和查询语句设计合理的前提下,各个项目组基本上都反馈性能得到了大幅提升,从原来的 10+ 秒提升到 100+ 毫秒级别,实现了质的飞跃。

满足金融数据强一致性的 HTAP

以运营和用户行为数据为例,传统的数据处理流程需要经过线上库、数据仓库、数据集市等一系列采集、处理、聚合的流程。不仅耗时,还涉及到与数据组的对接和合作,整体上线和升级流程显得比较缓慢。使用 TiDB 的 HTAP 特性后,相关业务的交付效率大幅提升,整个处理流程都在 TiDB 和单一应用内完成,数据链路短,排障难度也大幅降低,极大地节省了人力和时间成本。TiFlash 提供了强一致性的数据保证,确保数据分析结果与业务数据完全一致,避免了数据延迟和不一致的问题。在金融行业中,这一特性显得尤为重要。

运维便捷

对于运维人员来说,TiDB 提供直观的监控 Dashboard、管理控制台,集群本身的扩容能力也使得日常的运维监控、服务器上下线、配置升级等操作更加容易。此外,统一对一个 TiDB 数据库集群进行监控维护的成本也会比维护多个零散的 MySQL 实例更为简洁。使用 TiDB 集群不仅提高了服务器的资源利用率,也大幅度减少了运维人员时间成本的碎片化,极大地提升了工作效率。

未来展望

当前,很多证券企业遇到了存量 MySQL 实例的标准化和管理成本问题。这些 MySQL 实例部署和使用的周期不同,在版本、配置和工具的使用方面都大相径庭,导致在升级、维护和管理上需要投入大量成本。后续,东吴证券计划引入 TiDB 新版本的资源管控功能,结合 TiDB 的可伸缩特性,通过构建 TiDB 统一集群的方式对通用服务资源进行分配和隔离,实现对存量 MySQL 实例的归集和统一管理,提升资源利用率,降低运维投入,同时解决不同业务之间的资源争抢问题。

东吴证券
客户简介

行业:金融

东吴证券股份有限公司(以下简称“东吴证券”)成立于 1993 年,是拥有全部证券类业务牌照的综合券商。2011 年 12 月 12 日,东吴证券作为全国第 18 家上市券商、首家地级市上市券商在上海证券交易所挂牌上市。目前,东吴证券在全国设有 22 家分公司和 132 家营业网点。

咨询案例详情

体验全新的一栈式实时 HTAP 数据库

新经济行业内容专区上线,为新经济企业数据库选型和应用提供深入洞察和可靠参考路径。