麒麟v10 上部署 TiDB v5.1.2 生产环境优化实践
2032
2023-06-02
本文讲述了金融级数据库的未来,目前国内外常用的金融数据库的主要优点是什么
近年来,全球金融科技每年的投入已经超过500亿美元,中国的金融科技发展更是引领世界潮流。在金融科技不断发展的今天,中国金融互联网化和零售化的发展愈加激烈,使得我国金融业务与科技的有机结合应用模式备受世界瞩目。
对应着高速发展的业务模式与创新,现代金融系统亟需技术架构的革新来满足日益增长的业务需求。这其中包括了业务系统敏捷性、风险控制、成本控制、性能和业务发展对应的弹性增长能力。
在信息化时代的今天,数据库承载着金融企业的核心数据。作为新技术架构的枢纽,金融级数据库是现代金融系统转型与革新的基础。
近期,巨杉数据库与Gartner联合发布了《金融级数据库的未来发展方向》报告。报告为业界阐述了当前需求下金融级数据库的技术革新以及未来发展方向的趋势。
引言
长期以来,金融级数据库市场被***、IBM ***、Microsoft SQLServer等传统关系型数据库所垄断。在经历了几十年的发展与迭代后,传统关系型数据库已经无法适应新型金融科技发展的需要。因此,由新型分布式数据库替代传统架构,成为金融级数据库市场的主流趋势。
在过去的几十年中,受限于传统数据库的存储与计算能力,企业中不同业务部门之间的数据往往以独立的方式分别存放。而伴随着金融科技新型业务的不断发展,跨部门、跨业务的数据访问成为企业的核心需求。但是,各业务系统独立存放的数据往往形成一个个“数据孤岛”,使得企业内部的数据管理面临极大的挑战。
新型分布式数据库的出现旨在打破传统数据管理的体系,将跨业务、多类型的数据进行统一的管理与维护,从数据的层面将企业内部的各个部门与业务线融会贯通。
为了实现这个目标,新型金融级数据库需要在分布式架构、多模式数据管理、标准化数据访问、数据可靠性、与混合负载等几个角度对传统数据库架构进行重新定义。
分布式架构
伴随着金融科技的互联网化,传统数据库架构已经无法承载爆炸性增长的海量数据。同时,互联网渠道的大规模引入,使得金融科技应用对数据库的并发能力与性能产生新的需求。
由于传统数据库的单点架构无法满足新型金融科技应用对数据量与并发能力的需求,新一代金融级数据库必须采用分布式架构来应对该类挑战。
在传统数据库架构中,企业必须通过不断增强单一硬件设备处理性能的方式,来提升数据库的存储与处理能力。但是,在信息爆炸的今天,硬件性能的提升远远落后于数据量的增长。因此新型数据库采用分布式架构,将海量数据均匀存储在多台物理设备中,以避免单一设备所造成的瓶颈。
同时,分布式数据库的灵活扩展能力,为金融业务增长提供了弹性的容量与性能支持,在大规模数据应用中具有明显的技术优势。
此外,使用PC服务器或云环境,新型分布式数据库在保障安全可靠的前提下,能够有效降低TCO,提升开发与运维效率。
多模式数据管理
如今,在金融业务“互联网化”和“零售化”的趋势下,金融机构开始向用户提供更多个性化、定制化的产品与服务。同时,伴随着各个业务系统自身复杂性的提升,系统之间的关联性也在不断增强。因此,应用系统对数据的存储管理提出了新的标准和要求。
一直以来,传统关系型数据库仅支持表单类型的结构化数据存储和访问能力,而对于层次型对象、图片影像等半结构化与非结构化数据管理无能为力。
为了实现金融业务数据的统一管理和数据融合,新型数据库需要具备多模式(Multi-Model)数据管理和存储的能力,以满足应用程序对于结构化、半结构化、非结构化数据的管理需求。
通常来说,结构化数据特指表单类型的数据存储结构,典型应用包括银行核心交易等传统业务;而半结构化数据则在用户画像、物联网设备日志采集、应用点击流分析等场景中得到大规模使用;非结构化数据则对应着海量的的图片、视频、和文档处理等业务,在金融科技的发展下增长迅速。
多模式数据管理能力,使得金融级数据库能够进行跨部门、跨业务的数据统一存储与管理,实现多业务数据融合,支撑多样化的金融服务。
标准化数据访问
随着多业务、多模式数据的统一与融合,不断增强的业务多样性、复杂性使得数据访问方式面临了新的挑战。
在传统数据库中,SQL几乎是数据库唯一的访问方式。而随着业务多样化的发展,非结构化和半结构化数据在金融科技应用的比重不断增大。因此,新型分布式数据库除了需要对结构化数据提供标准SQL语言的支持,还需要针对半结构化、非结构化数据提供如JSON、对象存储管理等访问能力。
标准化数据访问能力既满足了多类型数据管理的需求,也为企业有效提升了开发与运维的效率。因此,金融级数据库作为新金融科技架构的枢纽,需要为应用程序提供标准化的数据访问能力。
数据安全
伴随着在企业内部价值的不断提升,数据已经成为了金融企业的生命线与核心资产。作为承载着企业关键数据的数据库,其安全性、可靠性、稳定性一直是金融级数据库的核心价值。
同时,无论在中国还是海外,金融行业的数据安全已经成为了监管机构的首要要求。例如,银行核心系统安全一直是我国银监会所关注的重点,大部分银行数据中心早已具备高可用与“两地三中心”的能力。
但是,在分布式架构中完美实现高可用与容灾面临着诸多技术挑战。一般来说,以统计分析为目标的分布式数据库相对弱化了该部分的功能,而面向在线与交易业务的分布式数据库则对数据安全保持了高标准的严格要求。
例如,数据容灾与双活是金融企业数据安全的最后保障。容灾要求数据在多个中心进行实时互备,一旦数据中心发生重大灾难,所有在线生产业务可以及时切换中心继续运行。而双活则是在容灾的基础上,让主备数据中心同时承担生产业务,充分利用双活能力提升业务性能,进一步减少灾难发生时的宕机时间。
混合负载
伴随着业务多样化与数据大融合,不同的业务对于数据管理的功能要求也不尽相同。由于传统数据库的数据存储与访问方式单一,用户通常将应用分为在线业务与离线业务两类。
在线业务一般表示如银行核心交易系统等面向最终用户的业务系统。通常来说,这类系统需要满足高并发、低延时、高可靠等特性。而与之对应的离线业务则专注于批处理作业。一般这类业务具有高吞吐量、低并发、高延时等特征。
随着金融科技业务的不断发展与融合,各业务条线对于数据的需求也不再完全独立。在该趋势下,金融级数据库需要同时支持在线业务与离线业务的混合负载。
根据Gartner的最新定义,混合负载(HTAP Hybrid Transactional/Analytical Processing)在保留原有在线交易功能的同时,也强调了数据库原生计算分析的能力。支持混合负载的数据库能够避免在传统架构中,在线与离线数据库之间大量的数据交互,同时也能够针对最新的业务数据进行实时统计分析。
为了避免在线实时读写与批处理作业之间的资源干扰,混合负载型数据库通常使用读写分离或内存处理技术实现。一般来说,分布式数据库的多副本架构天然支持读写分离技术,而基于传统架构的数据库往往采用内存处理技术进行实现。
中国金融级数据库的发展
长久以来,金融行业在全部企业级IT投入中一直占据50%以上。在几十年业务发展与强监管的要求下,金融机构普遍对数据库的安全性、可靠性、稳定性有着全行业最为严苛的要求。因此,满足金融行业需求的金融级数据库产品已经成为全部行业中的标杆。
与此同时,中国的商业银行的用户数量也一直保持世界前列。随着中国经济快速发展以及普惠金融、交易银行等业务和政策的推广,中国的商业银行业务也在向“互联网”、“零售化”不断转型。这使得银行与最终用户距离更贴近、交互频率更多、业务场景更多样。这些新需求促使中国的金融和银行业技术转型不断加速,并在多种技术与业务模式上走在世界前列。
另一方面,数据库产品的发展成熟周期漫长。一般来说,一个在金融行业大规模使用的数据库产品,需要在技术、产品、工程、售后支持以及行业经验上具有相当长时间的积累才能慢慢走向成熟。
此外,不同于应用软件,作为基础软件的通用数据库产品要在各类客户中满足各种业务需求,而不仅仅只为单一特定的场景服务。这要求数据库厂商牢牢掌握产品核心代码以及发展方向,从而能够在快速应对客户各类需求的同时,保证高度的产品化与标准化。同时,金融级数据库产品所面对的银行、证券、保险等头部行业对产品的质量与稳定性要求极高,这使得用户对金融级数据库在产品上的复杂度与成熟度又提出了更高层次的要求。
在这样的背景下,巨杉数据库作为我国自主研发的金融级数据库产品,其技术方向领先、应用场景多样、并且在金融企业中得以大规模应用。因此,巨杉数据库的不断蓬勃发展也得到了国际业界的瞩目和认可。
目前国内外常用的金融数据库的主要优点是:商品化的数据库管理系统以关系型数据库为主导产品,技术比较成熟。
金融数据除了具有数据的一般特性外,还具有自身的一些特性:
(1)广泛性。由于金融机构在国民经济中处于特殊地位,它与全社会各个经济细胞和微观主体都有着密切的联系,因此必须面向全社会广泛获取数据,这就使得金融数据的涵盖范围非常广泛。
(2)综合性。金融数据作为国民经济的综合部门,直接面向国民经济各行各业,为全社会的各群体提供金融服务。通过这些服务尤其是资金服务,可以汇集起反映国民经济运行的综合数据,因此金融数据具有很强的综合性。
金融数据库分类:
按照金融业务活动划分,可以将金融数据分为银行业务数据、证券业务数据、保险业务数据以及信托、咨询等方面的数据,其中银行业务数据又包括信贷、会计、储蓄、结算、利率等方面的数据。
证券业务数据又包括行情、委托、成交、资金市场供求以及上市公司经营状态等方面的数据;保险业务数据又包括投保、理赔、投资等方面的数据。这些数据都从某一侧面反映了金融活动的特征、规律和运行状况。
意思如下:
1.金融信用信息基础数据库,是由国家为防范金融风险、促进金融业发展提供相关信息服务设立,由中国人民银行征信中心建设、运行和维护的征信系统,该运行机构不以营利为目的,由国务院征信业监督管理部门-中国人民银行-监督管理。根据国务院第631号令《征信业管理条例》的规定,金融信用信息基础数据库接收从事信贷业务的机构按照规定提供的信贷信息。
2.金融信用信息基础数据库为信息主体和取得信息主体本人书面同意的信息使用者提供查询服务。国家机关可以依法查询金融信用信息基础数据库的信息。从事信贷业务的机构应当按照规定向金融信用信息基础数据库提供信贷信息。从事信贷业务的机构向金融信用信息基础数据库或者其他主体提供信贷信息,应当事先取得信息主体的书面同意,并适用本条例关于信息提供者的规定。
上文就是小编为大家整理的金融级数据库的未来,目前国内外常用的金融数据库的主要优点是什么。
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。