黄东旭解析 TiDB 的核心优势
1220
2023-06-05
本文讲述了被耽误的金融机构数据治理,谈谈银行业的数据治理!
在去年底公司的战略研讨会上,分管IT的领导指出,数据孤岛问题已影响到公司数字化转型的进程,呼吁大家重视解决。由于会议讨论的重点不在于此,该意见并没有引起太大的反响。
我所在板块的领导却敏锐意识到了问题的严重性。其曾经以为IT方面可以搞掂这一切,可现在从IT最高领导的发言中搞明白了,这不是靠IT能够解决的事情。为促使公司有效解决该问题,安排我们研究拿出意见。
数据孤岛问题凸显
公司近年来大力推进数字化转型战略。围绕数据开展了一系列业务模式创新。一些条线部门尝到了甜头,激发起了更大的热情。公司里数据应用的深度和广度均有了较大幅度的提升。
大家逐渐不满足于仅仅使用已有数据,主动在业务活动中获取更多数据,尝试使用集团内其他子公司、板块、条线和部门所拥有的相关数据。可现有配套的组织机制运转体系并不能很好的支持这一转变要求。
寿险子公司开展的以数据分析促进客户体验提升项目就很典型。该项目拟通过收集客户的行为数据,绘制出全流程、全触点的客户服务旅程,发现其中存在的断点或停滞状况,再有针对性的改进服务流程和资源配置,从而提升客户服务体验。
项目团队发现大量客户数据并不在自己的控制范围内,需要跨部门、条线、板块和子公司去协调获取。在其分管总的强力推动下,条线内的数据获取问题总算得到了一定程度的解决。条线外数据的获取情况却很不尽如人意。
基于已得到的数据,还是发现了不少客户体验问题,改进后得到了客户的好评。鉴于项目所取得的突破,团队对未来借助数据大幅提升客户服务体验,有了更多期待,强烈希望公司能从根本上解决数据打通使用的问题。
进一步调查发现,公司集团内其他板块、条线和部门也有类似的诉求。导致这一局面的并不是相关各方缺乏合作精神,而是现有机制体制并不鼓励数据共享,某种程度上甚至存在负激励。
一方面很多客户数据没有在系统中记录下来。原因是记录和存放保管数据都需要增加很大IT成本。当掌握客户活动服务场景的部门自己没有使用数据的需求时,自然不愿意记录和存放更多数据。
另一方面即使有一些数据被记录下来,拥有数据的部门出于安全的考虑,也不愿意轻易提供给其他部门使用。毕竟牵扯到客户信息的安全问题,处理不当就可能带来一系列未知后果。既然责任重大,自然就会尽可能谨慎行事。
第三拥有数据的部门存在一定程度的对外信息屏蔽、自我保护的意识,不愿意分享数据。担心若被别人拿到了数据,也就相当于被拿到了对自己不利的证据,生怕会暴露自己工作中存在的不足。
第四许多数据的口径标准不一,质量参差不齐。现已获取的数据大多都是各业务应用系统的副产品,只是为了配套实现应用功能而记录,原先并没有考虑用于其他目的,自然不会考虑其他使用者的质量诉求。
第五现有管理制度流程中,缺乏协调数据收集和使用的配套规则,也没有对参与各方的责、权、利做出有效的界定,更没有相应的激励机制。加之风险合规、信息安全、IT开发等专业部门均要履行相应职责,更增加了组织协调的难度。
数据共享的事项多为一事一议。大家本来就各自有不同的任务目标,时间、精力和资源都很有限。面对额外增加的工作,自然会安排较低的处理优先级,行动中难免会有被动应付的情况。
遇有公司里重大任务事项,想要全面获取数据,就必须高层领导出面协调。耗费极大的精力,效果却并不能得到保证。只有彻底改变现有体制机制,让大家在整体一盘棋下获取和使用数据,才能让数据顺畅的流通起来。
从公司治理层面做出根本改变
相信许多公司跟我们一样,早就提出了“打通底层数据”或“消除数据孤岛”等类似的目标。就是想让数据能够顺畅有效的流通,在使用中产生价值,从而把大量的数据资源转变成公司的资产。
虽然采取了许多措施,付出了不小代价,结果却并不十分理想。究其原因,很大程度是解决问题的层面不够高。由于数据存放在电脑系统中,许多领导会很自然的认为,这应该交给IT部门去负责。
可IT部门对此能够真正发挥的作用却很有限。其所扮演角色是数据管家,并不是数据的主人。更多是在执行业务部门的要求,做好数据的收集、保管、加工和发送等方面的技术支持。
有些公司将该职责指定给某专业部门。因其身份定位上的局限,缺乏足够大的影响力,难以承担起统筹全局的责任,同样会遭遇到小马拉大车的困境,只能在局部取得一定的优化效果。
企业才是数据的主人,其高层领导授权各产生数据的业务部门分别代为行使主人的职责。数据打通必须由企业最高决策层制定出有效的运作规则,让所有数据代理人达成共识,在整体一盘棋下协同运作。
这就必须要在公司治理层面做出部署,与财务治理、IT治理类似,开展公司数据治理。这不是对数据的治理,而是对数据资产的治理,是对数据资产所有相关方利益的协调与规范,是对企业数据工作的顶层设计。
内容包括但不局限于数据资源资产化,数据确权与合规,价值创造与人才培养。数据只是一些电子记录,并不天生具备资产属性。只有让数据资源能够产生预期收益,才可能使其成为数据资产。
数据确权是要确定数据的产权。如果暂时做不到数据确权,那么至少要做到,对数据实际控制者的行为严加管束,做到合法合规。要努力让数据产生价值,这是数据治理的核心驱动力。再就是要关注人才团队的建设与培养。
数据治理强调企业内最高领导层的深度介入,从企业组织架构与职责入手,明确各数据相关方在数据收集和使用过程中的责、权、利,配套相应的制度和流程,激发起参与者内心的善意。
当前很多企业开展的所谓数据治理,只是对现有数据本身进行质量管理。仅仅是在信息技术、数据应用等专业层面开展工作。只在出现问题的层面想办法是无法解决问题的,只有上升到更高的治理层面,才是根本的解决之道。
随着公司数据治理的不断深入推进,营造出良好的数据共享文化氛围,就能够促使大家在各种场景渠道下,主动收集数据,确保数据质量和数据安全,快速积累起更大规模的数据资产。
在数据流通使用过程中,相关各方积极提供支持,促进数据应用更加有深度和广度。所有涉及数据的工作环节都能够做到依法合规。在给企业带来更大价值的同时,参与各方也能够实现自身的价值。
2022年1月银保监发布的《中国银保监会办公厅关于银行业保险业数字化转型的指导意见》中,明确向各金融机构提出了健全数据治理体系的要求。而早在2018年,当时的银监会就发布了《银行业金融机构数据治理指引》。对于数据治理架构、数据管理、数据质量控制、数据价值实现、监督管理都给出了详细的规范。
许多金融机构已积极将公司数据治理提上了日程,取得了一定的成效。可最近三年仍有很多金融机构因数据质量问题受到监管处罚,说明当前金融机构的数据治理工作尚有很大的改进空间。
加大公司数据治理力度
依据银保监会文件中的指导意见,结合数字化转型过程中的实际需要,各金融机构应下决心加大公司数据治理力度,改变以部门层级开展数据管理的现有模式,自顶向下做出统筹规划和部署。
既然数据治理属于公司治理的范畴,就一定要由企业家来主导。应由企业高层领导亲自挂帅,主导数据治理的进程。可以在企业内明确一比较有影响力的部门做为牵头单位,会同与数据相关的主要各方,以项目团队的形式协助领导先期启动数据治理的规划工作。
鉴于数据治理有一定的专业门槛,而大多数企业缺乏相应的储备,可以考虑引进一家外部公司提供咨询服务支持,获取专业的方法论指导和业内先进经验。外部公司有一项重要职责是做好传、帮、带的工作。
具体项目工作一定要以企业自己为主,在外部公司的指导帮助下,快速搭建形成公司数据治理体系。在实践中完成相关知识的转移,确保公司在未来的时间里,可以自主持续的进行数据治理。
开展公司数据治理一定要结合企业的实际。先要调研数据现状,掌握现有的数据架构、数据标准和执行情况,数据质量的状况和痛点,已经具有的数据治理能力等情况,摸清家底。还要搞清楚借助数据治理想要达成的目标。基于此形成切实可行的公司数据治理路线图。
广义的数据治理涉及范围很大,可以覆盖企业全部业务和技术领域,以及数据的整个生命周期等等。想要一次实现完整的公司数据治理既不现实也无必要。很可能消耗了大量的企业资源,却带不来更多的收益。
最佳选择应是采取循序渐进的策略,聚焦当前数据应用中的主要问题,集中火力形成突破。取得局部成功后,再进一步扩大战果。伴随着企业数据应用范围的扩展,逐步延申到更多的领域。
许多金融机构考虑从解决监管数据报送质量问题入手。该任务目标非常明确,十分迫切和重要,达成的效果比较好衡量,虽涉及面比较广,但执行的过程并不复杂,很容易把控,是个不错的选择。
一定要在数据治理过程中,将关注的重点放在业务方向上。数据问题产生的原因,往往不是技术,而是业务。表面上的技术问题,本质上还是业务管理上不规范,甚至是管理缺失。
以报送监管数据的质量问题为例,很多是因为数据来源渠道多,相关责任不明确,导致同一份数据在不同的信息系统中有不同的表述,还有就是业务需求不清晰,数据填报不规范或缺失等等。
开展公司数据治理,会改变大家原有习惯的行为方式和利益格局。一开始,相关各方的配合意愿度不会很高。因此,一定要在前期做好统一思想的工作。让大家认识到这一切对企业未来的重要意义。
与此同时要安排专业团队提供必要的指导和帮助,甚至可以配套提供些额外的资源支持。只要坚定的执行一段时间,大家就会发现所有当前的不方便都会变成长期和整体的极大方便。逐渐养成新的习惯,一切也就纳入了正轨。
公司数据治理是一项长期而繁杂的工作。要安排专门的部门和专业人员负责持续推动该项工作。过程中要特别注意形成及时有效的反馈机制,衡量进展情况,发现其中的问题,不断迭代改进。
企业的最高领导应像重视企业的其他资产一样,重视数据资产的持续增长和有效使用。公司数字治理是其中最为有效的工作抓手,只要坚持抓下去,就能源源不断的给企业注入数字化转型的活力,帮助企业在数字时代建立起崭新的竞争优势。
数据价值链螺旋受阻
在我们对数据利用提出迫切需求的过程中,许多深层次的数据问题其实已经开始逐步暴露,例如,数据认责不明导致数据源头录入质量不高,数据标准缺失导致统计口径混乱,整体数据质量缺乏有效的监控和管理等等。
数据已经成为企业的资产,但是很遗憾的是它本身并不能直接产生价值,这也是大数据这么火但是很少有企业能够充分发挥数据的价值的原因。要明白如何让数据成为生产力,我们必须理解数据、信息、知识和智慧之间的关系。
数据:它是一种将客观事物按照某种测度感知而获取到的原始记录,未被加工解释,不能回答特定问题,它与其他数据之间也没有建立相互联系,是分散和孤立的。
信息:对数据进行加工处理之后,是数据之间建立相互的联系,形成回答某个特定问题的文本,以及被解释具有某些意义的数字、事实、图像等形式的信息。
知识:是知识工作者运用大脑对获取的信息进行系统化训练和提炼、研究、总结和分析之后的结果,知识能够精确的反映事物的本质。
智慧:在已有的知识的基础之上,对信息进行分析、对比、演绎并找出有价值的部分,并将其深化到已有的知识框架中,则上升为智慧。
这是个螺旋上升的过程,其实也是我们数据产生价值的过程。在这个过程中,最重要的一步是将数据转化为信息,这一步做的成果的好坏,直接关系到整个数据价值链的成败。也就是说,要想让数据成为银行的生产力因素,就必须将数据治理放在全行战略的高度。
在顾问近几个月走访江浙区域银行的过程中,能听到的一个明显的声音是,大家都知道数据的价值,也都能够发现数据质量对发挥数据价值的阻碍,但是当领导提出数据治理的期望时,科技部往往面面相觑。
大多数的科技部门对于数据治理还是停留在缺失数据补充,错误数据清洗等具体的事情上。诚然,这些具体的措施都是数据治理的一部分,但很遗憾这样的工作是没办法实现全面的数据治理的,也没办法通过这样的数据治理将数据应用和挖掘提升一个层次。
我国银行数据治理现状
经过多年的信息化银行的建设,我国各家银行积累了海量的、丰富的数据资源。在当今大数据时代,数据本身非常重要,其潜在资产价值对于银行而言更为关键。未来最善于利用数据分析来引导决策、控制风险、进行产品创新的银行将获得更多新的竞争优势。
顾问了解到,当前很多银行纷纷将数据治理提上了日程,开展了一系列持续的治理工作,在业务发展模式上更加注重数据的管理提升和内部挖掘潜力,并取得了一定的成就,比如基本统一了全行编码规则,初步实现了客户和产品的主数据维护等。但是现阶段银行的数据治理还是存在管理维度、核心领域和技术维度三个层面的难度,要解决困境就需要对各个层面的问题进行分解、逐个突破。
在推进精细化管理和建立分析挖掘平台方面,银行的数据还存在数据基础薄弱,数据不完整不一致的问题。总结来看,当前我国银行特别是农商行体系数据治理存在的问题主要包括:
1.缺少数据治理企业文化
银行数据治理是一项庞大而复杂的工程,需要各个部门之间,尤其需要加强科技部门和业务部门之间的合作,才能最终高质量、高成效的完成数据治理工作。全行企业文化的建设必须考虑到数据资产管理这个层面,从战略角度启动 、开展和推进数据治理工作,建立一种以数据资产为导向的企业文化,将数据治理、科技治理和公司治理有机的结合起来。
2.没有完善的组织和制度
随着数据治理工作逐渐被重视,银行内部已离不开一个企业级的数据治理职能组织。目前,多数商业银行的数据治理组织和制度由科技部门牵头,整个组织体系业务参与度欠佳,但从数据问题分析的结果来看,业务部门是产生数据的最初、最大来源,数据治理的目的是使银行业务更好地被经营和管理,所以也需要业务部门对数据治理工作进行重视,深入参与和主动负责,保证数据治理的真正落地。
3.未建立数据治理流程和有效的认责管理制度
当前,使用数据的部门因具有明确的、迫切的数据需求,而成为处理问题的主要推动者。但是,在一般情况下,由于没有完整的流程管理机制,在推动工作中会出现以下问题:
(1)不同领域的数据分布在不同的系统中,并由不同的部门负责管理,当需要进行夸领域、跨系统的数据治理工作时,会出现沟通成本高,协调难度大的问题。
(2)解决数据问题时仅从局部考虑,为解决当前紧急问题,较少考虑数据复用和共享机制,不利于后续的系统整合工作。
(3)数据问题解决后,较少进行跟踪管理和规范治理,后续的认责机制不健全,不利于体现数据治理的重要性和必要性。
4.缺少数据治理各领域的管理体系
(1)缺少企业级数据标准管理体系。
虽然银行拥有了大量的数据资源,但是,也经常面临重要数据缺失,系统间数据不一致,统计口径和加工方法不一致,导致数据可信度降低的问题。深入分析后发现,出现这种现象的原因为缺乏有效的数据标准化。
(2)缺少企业级元数据管理体系。
目前,我国大多数银行的元数据管理仅限于少数系统和少数用户,尚未达到体系化的程度,也存在完备性不足的情况。
(3)缺少企业级数据质量管理体系。
数据的质量对银行业发展尤为重要,并且银行对数据质量的治理重视程度会直接影响数据治理的成效。银行的数据质量管理应当涵盖数据质量问题的防范、识别、度量、分析、监控、清洗等管理活动,以满足对数据质量的要求。
(4)缺少完备的数据生命周期管理体系。
当前我国银行大部分在系统无法支撑时才考虑数据清理备份的工作,难以做到对数据生命周期的统筹管理,并且对支付数据生命周期管理的系统和工具建设力度不够,不能很好的支撑全行数据生命周期管理工作。
(5)缺乏完善的系统支撑和技术手段。
现代的银行系统数据量庞大,各式系统多种多样,如果不依赖技术手段,没有相应的支撑平台和工具,就不可能理解如此庞大的数据量和看到其潜在价值。
要想达到数据开发、共享、使用和管理的全方位良性循环,就必须建立起全行级别的数据治理体系,整合行内人才资源,制定相应的管理制度和文化体系,完善数据治理流程管理,利用好科技力量进行各项工作支撑。
建立银行数据治理体系
做好数据治理是一项复杂、长期、系统性的工程,涉及思维、方法、组织、系统工具等多方面要素的综合运用。为了满足企业内部的信息使用需要,一般会通过成立专门的数据治理体系来保证数据的可用性、可获取性、高质量、一致性以及安全性。下面将对银行的数据治理体系架构进行介绍:
基于数据治理时代浮现的诸多机遇,以及面临的一系列问题,我们对商业银行数据治理体系进行研究分析,发现银行的数据治理体系也是一个金字塔结构,依次为战略、机制、领域、技术支撑,从上至下指导,从下而上推进,形成一个多层次、多维度、多视角的全方位框架,如下图:
战略:需要进行目标和规划的蓝图设计,将数据治理提升到全行经营战略地位。
机制:需要建立健全组织、制度、角色和流程等四个方面的机制,进行全方位可持久的数据治理工作。
领域:数据治理的具体领域包括元数据、数据标准、生命周期管理、数据模型、数据存储、数据分布、数据交换、数据集成、数据服务和数据质量管理等内容。
技术支撑:数据治理需要在技术层面对上面的各个领域进行管理和支持,比如有数据质量分析、数据建模工具、数据清洗工具、生命周期管理、质量检查工具、数据管理系统等。
从商业银行数据治理体系的金字塔结构可以看出,实际上银行的数据治理体系包含两个层面:一是数据治理核心领域,二是数据治理的保障机制。战略、机制及各领域的技术支撑是商业银行进行数据治理的全面概貌。其相互关系如下图:
数据治理包含保障机制和核心领域两个部分,他们之间相互支撑,共同保障数据治理的全过程管理。保障机制提供制度和战略力量的支持,明确了组织架构、制度章程、流程管理和及时应用,用来规范数据治理的各个核心领域标准化实施;数据治理的核心领域提供了全方位的数据治理视角,从各个层面各个维度进行数据质量保障,通过相应的系统和技术对战略目标进行支撑和落地,两者之间应该是紧密配合的。
总结
从上面的介绍我们知道,数据治理的过程就是建立数据治理保障机制和完善数据治理核心领域的过程,这两个方面相辅相成,保障机制是数据治理的战略指挥,核心领域是数据治理的枪支弹药,要打好数据治理这场持久战,就必须双管齐下进行建设。
而我们作为全球先进的数据分析和商业智能平台提供商,在长期的数据应用建设过程中积累了海量的数据治理案例和经验,至今已经形成了一套从数据质量分析、问题发现、数据补录、流程管理到最后的绩效分析的全流程管理系统,也发布了主数据管理、元数据管理、数据交换、数据生命周期管理等多个解决方案,在数据治理方面能够帮助客户快速搭建起数据治理的全套管理流程和分析架构。
上文就是小编为大家整理的被耽误的金融机构数据治理,谈谈银行业的数据治理!
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。